Instytut Informatyki Politechniki Poznańskiej buduje infrastrukturę informatyczną dla badań muzycznych w projekcie „Cyfrowa infrastruktura badawcza dla humanistyki i nauk o sztuce DARIAH-PL”

Artykuł ukazał się w Głosie Politechniki wrzesień-październik 2023

Politechnika Poznańska jest jednym z 16-tu konsorcjantów projektu „Cyfrowa infrastruktura badawcza dla humanistyki i nauki o sztuce DARIAH-PL”, który jest realizowany w latach 2021-2023.

Projekt jest współfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego, Programu Operacyjnego Inteligentny Rozwój 2014-2020, działania 4.2 – „Rozwój nowoczesnej infrastruktury badawczej sektora nauki”.

Celem projektu DARIAH-PL jest utworzenie krajowej inteligentnej cyfrowej infrastruktury badawczej dla humanistyki i nauk o sztuce. Infrastruktura ma służyć pozyskiwaniu, przechowywaniu i integracji różnorodnych danych badawczych oraz przetwarzaniu, wizualizacji i udostępnianiu zasobów cyfrowych. W tym celu jest budowana powiązana z podmiotami gospodarczymi sieć rozproszonych laboratoriów wyposażonych w nowoczesne narzędzia i zasoby umożliwiające realizację interdyscyplinarnych badań, wymagających wykorzystania różnorodnych materiałów.

Planowane efekty projektu:

• rozszerzenie zakresu prowadzonych w Polsce badań z dziedziny humanistyki i nauk o sztuce,

• digitalizacja i ochrona materialnego i niematerialnego dziedzictwa kulturowego oraz udostępnienie tego dziedzictwa szerokim grupom odbiorców,

• zwiększenie konkurencyjności polskich ośrodków badawczych oraz związanych z kulturą i sztuką w kraju i na arenie międzynarodowej ,

• przyspieszenie tempa rozwoju gałęzi przemysłów kreatywnych oraz turystyki regionalnej.

Całkowita wartość projektu: 129 496 338,76 PLN

Wkład Funduszy Europejskich: 99 800 000,00 PLN

Wartość projektu dla Politechniki Poznańskiej: 1 324 232,68 PLN

Budowana infrastruktura funkcjonuje pod nazwą Dariah.lab (https://lab.dariah.pl/).Liderem projektu jest Poznańskie Centrum Superkomputerowo-Sieciowe. Na Politechnice Poznańskiej projektem kieruje dr inż. Ewa Łukasik, prof. PP z Instytutu Informatyki na Wydziale Informatyki i Telekomunikacji.

Politechnika Poznańska buduje system internetowych narzędzi do wspomagania badań muzykologicznych, o roboczej nazwie MusicPUT, dostępnych w dowolnym miejscu i w dowolnym czasie. Tematyka projektu wiąże się ściśle z wieloletnimi zainteresowaniami badawczymi kierownik projektu, dr inż. Ewy Łukasik, prof. PP, jej realizacją wcześniejszych projektów w ramach Grupy Roboczej MIR (ang. Music Information Retrieval) w DARIAH-PL (https://mir-wg.dariah.pl/) oraz współpracą z Instytutem Sztuki PAN, również konsorcjantem projektu w zakresie badań etnomuzykologicznych. Budowane narzędzia obejmują cztery zakresy tematyczne, które wymagały od programistów specjalistycznej wiedzy wykraczającej poza ich kompetencje zawodowe. Dwa moduły systemu MusicPUT wykorzystują metody Sztucznej Inteligencji.

ScoreScribe – narzędzie do automatycznej transkrypcji nagrań utworów jednogłosowych

Archiwa Instytutu Sztuki zawierają wiele historycznych nagrań muzyki ludowej artystów, których sztuka była niepowtarzalna, a które dziś mogą być udostępnione tylko w niewielkim zakresie ze względu na przepisy RODO. Mozolna praca transkrybentów pozwala na opublikowanie tej muzyki w postaci zapisu nutowego. Narzędzie ScoreScribe pozwala ten proces znacznie przyspieszyć automatycznie ekstrahując melodię i zamieniając ją na możliwe do komputerowego odtworzenia dźwięki MIDI oraz na kilka formatów przeznaczonych do „maszynowej” reprezentacji muzyki, np. MEI, MusicXML, ABC oraz na zapis nutowy. Oczywiście maszyna nie zastąpi człowieka, jednak może proces transkrypcji znacznie ułatwić, zwłaszcza początkującym transkrybentom. Długie godziny spędzone na rozmowach na ten temat z dr. Arletą Wysocką-Nawrocką z Instytutu Sztuki PAN wpłynęły na funkcjonalność narzędzia, a także na opracowanie metodyki korzystania z niego.

TimbrA – narzędzie parametryzacji, wizualizacji i porównania barwy dźwięku

Znane jest wyznanie Vincenta van Gogh’a: „Zanurzam się w kolorze” . Miłośnicy muzyki zanurzają się w barwie dźwięków muzyki. Barwa w tym kontekście jest zjawiskiem wielowymiarowym, które często wyraża się opisowo jako np. barwa jasna, ciemna, ostra, szorstka, soczysta, bogata, nosowa itp. Jak te określenia przełożyć na parametry obliczeniowe, jeśli zapis komputerowy muzyki potraktować jako dane? W dziedzinie Music Information Retrieval wypracowano cały szereg parametrów określających barwę dźwięku, które TimbrA (Timbre Analyzer) oblicza, wizualizuje, zestawia i porównuje w rozmaitych konfiguracjach, by odpowiedzieć na pytania tak specyficzne, jak np.: „Czym różni się barwa dźwięku różnych skrzypiec mistrzowskich?”, „Jak bardzo zmienia się barwa wiolonczeli gdy grają na niej różni muzycy?”, „Czy i jak naturalny dźwięk oboju różni się od dźwięku zsyntetyzowanego?”. Wykorzystując narzędzie TimbrA można na te pytania odpowiedzieć nie musząc programować! Aby tak się stało, zespół PP długo konsultował rozwiązania z dr inż. Magdaleną Chudy z Instytutu Sztuki PAN.

GOST – narzędzie generowania ścieżki muzycznej dla gier komputerowych

Wykorzystując bazę muzyki do komputerowych gier retro nauczyliśmy system o nazwie GOST (Gaming Online Sound Track) generować muzykę do gier w formacie MIDI. Wystarczy podać, jaki wydźwięk emocjonalny ma mieć muzyka – pozytywny lub negatywny, ewentualnie jakie ma być tempo, a narzędzie wygeneruje ścieżkę muzyczną. Można też podać początkowy fragment muzyki w postaci pliku MIDI – system zaproponuje jej przedłużenie. Jest też moduł postprocessingu, za pomocą którego można zmienić tonację, tempo czy instrument – pozostawiono użytkownikowi duże pole do eksperymentowania z różnymi parametrami. Jest to narzędzie głównie dla niezależnych twórców gier, dla których zapewnienie ścieżki muzycznej do gry nie jest łatwe.

OMRAT – automatyczne narzędzie wspierające anotację dokumentów nutowych dla OMR

Rozwiązanie, na które czekają m.in. bibliotekarze muzyczni, a także użytkownicy bibliotek cyfrowych, to automatyczny „odczyt” skanów zapisu nutowego. Umożliwia go OMR – optyczne rozpoznawanie muzyki (ang. Optical Music Recognition). Jest to złożona metoda rozpoznawania wielu drobnych obiektów jakimi są nuty i inne znaki muzyczne (ponad 100 klas symboli) upakowanych na małej powierzchni, by można było np. odtworzyć muzykę bezpośrednio z nut, albo też wyszukać utwór muzyczny na podstawie zapytania w postaci serii dźwięków. Aby system działał jak najlepiej, potrzebne są zaanotowane dane treningowe dla sieci neuronowej. Anotacja ręczna jest niezwykle czasochłonna. Pomysłem było zbudowanie narzędzia OMRAT (OMR Annotation Tool) wykorzystującego głębokie sieci neuronowe do wykrywania symboli zapisu nutowego na podstawie dostępnych danych treningowych i pozostawienie specjalistom zadania jedynie ręcznej korekty oznaczonych dokumentów. Mechanizm jest taki sam, jak dla OMR, jednak system ręcznej korekty pozwala przygotować zaanotowane poprawnie dokumenty, które wzbogacą dane uczące, a tym samym poprawią działanie docelowego systemu OMR.

Warto dodać, że dodatkowo oferujemy moduł konwertera pozwalający na zamianę muzycznych formatów symbolicznych dla wielu plików jednocześnie (np. MusicXML na MEI, MEI na MIDI itp.). Takie zamiany są bardzo potrzebne w różnych zastosowaniach archiwizacyjnych i badawczych.

Blikiem w krainę DARIAH MusicPUT

Wymaganiem instytucji wdrażającej jest, by wytworzona infrastruktura była utrzymywana przez partnerów przez pięć lat od zakończenia projektu i udostępniana w formie płatnych usług. Aby korzystanie z usług umożliwić szerokiemu gronu odbiorców, MusicPUT jest wyposażany w system mikropłatności. Przewidywane są drobne opłaty za licencje miesięczne lub roczne. Z odbiorcami Instytucjonalnymi będą zawierane specjalne umowy.

Wykonawcy projektu

Czas przedstawić wykonawców projektu. Dołączali w różnych fazach jego rozwoju, mieli różne zadania, na początku pracowali samotnie i zdalnie, a wraz z nastaniem fazy integracji narzędzi, integrowali się również jako zespół. Pracami kieruje dr inż. Ewa Łukasik, prof. PP, która jest również ekspertem merytorycznym i specjalistką ds. budowy systemów muzycznych. Dr inż. Tomasz Łukaszewski jest specjalistą w zakresie uczenia maszynowego. Mgr Magdalena Sroczan jest specjalistą ds. administracyjno-finansowych oraz w zakresie UX. Zespół programistów tworzą: inż. Marcin Pałasz, inż. Stanisław Graczyk, mgr inż. Wojciech Kasperski, mgr inż. Konrad Kubzdela, mgr inż. Filip Szymański, mgr inż. Zuzanna Piniarska oraz mgr inż. Mateusz Kałamoniak. Wszyscy są absolwentami informatyki naszej uczelni. Mgr Piotr Poznaniak jest specjalistą ds. infrastruktury sieciowej, a mgr Martyna Sarnowska – projektantką interfejsów graficznych. Przez krótki okres współpracowali z nami studenci: Patryk Kaszuba, Mateusz Ogrodowczyk, Kajetan Wencierski , Dorota Solarska, Daniel Parkhanovich oraz inż. Anna Foltyniewicz.

W projekcie postawiono na młodzież i na współpracę z wiarą, że wieloaspektowe doświadczenie, jakie zdobyli członkowie zespołu w pracy nad systemem MusicPUT zaowocuje w przyszłych doświadczeniach zawodowych i otworzy ich na inne dziedziny działalności ludzkiej w nadchodzącej erze transdyscyplinarności, rozumianej jako nową przestrzeń dotychczas nie zagospodarowaną całkowicie przez żadną z dyscyplin.

Promocja projektu

Wytworzone narzędzia były i będą prezentowane na konferencjach krajowych i zagranicznych. Wymieńmy je z kronikarskiego obowiązku:

• XV Ogólnopolska Konferencja Bibliotekarzy Muzycznych, Wrocław, 28-30 listopada 2022 r.,

• 154 Audio Engineering Society Convention, Helsinki, 13-15 maja 2023r.,

• 4^th Warsaw Seminar for Computer Science Researchers w ramach “Perspektywy Women in Tech Summit”, 14 czerwca 2023 (zaproszenie specjalne),

• DARIAH Annual Event, Budapeszt, 6-9 czerwca 2023r.,

• Krajowa Konferencja Sztucznej Inteligencji PP-RAI, Łódź, 24-26 czerwca 2023r.,

• European Seminar in Ethnomusicology ESEM, Palermo 19-23 września 2023r.,

• International Symposium on Sound Engineering and Tonnenmeisterung, ISSET Warszawa, 12-14 października 2023r.

• Konferencja podsumowująca projekt DARIAH-PL, Poznań, 17-18 października 2023r.

• Konferencja Digital Libraries for Musicology , Mediolan, 10 listopada 2023r.

• Otwarte Seminarium DARIAH-PL dla regionu wielkopolskiego, Poznań, 21-23 listopada 2023r.

W planach jest jeszcze sporo wydarzeń promujących projekt. Autorzy liczą na prace badawcze i doktoraty realizowane z wykorzystaniem infrastruktury MusicPUT. Osoby zainteresowane badaniami proszone są o kontakt mailowy pod dedykowany adres dariah@cs.put.poznan.pl

Zaproszenie na prezentację projektu DARIAH-PL partnerów poznańskich

Wyniki projektu uzyskane przez poznańskie instytucje badawcze zostaną zaprezentowane społeczności regionu wielkopolskiego w czasie Otwartego Seminarium „Infrastruktura badawcza dla humanistyki i nauk o sztuce Dariah.lab. Podsumowanie prac poznańskich partnerów projektu UAM, PP, IBL PAN i PCSS”, które odbędzie się w terminie 21-22 listopada 2023 roku.

Zaproszenie jest skierowane do całej społeczności akademickiej związanej z szeroko pojętą humanistyką oraz rozwojem technologii dla humanistyki, a także do bibliotekarzy muzycznych, archiwistów, autorów tekstów, tłumaczy, budowniczych instrumentów muzycznych, studentów, uczniów, twórców gier, pasjonatów nowych technologii i humanistyki cyfrowej, do społeczności miasta Poznania i okolic. Odbędą się wykłady i demonstracje wytworzonej infrastruktury w laboratoriach poznańskich partnerów, w tym oczywiście Politecniki Poznańskiej w Centrum Wykładowym.

Wydarzenie ma charakter otwarty, jednak ze względów organizacyjnych jest prośba o rejestrację. Szczegóły znajdują się na stronie https://lab.dariah.pl/seminarium.

Część zespołu projektowego MusicPUT.