Von Noten und neuronalen Netzen

22.12.2023

Eine Forschungsgruppe an der Universität Würzburg will grundlegende Methoden zur Musikanalyse mit Hilfe des Maschinellen Lernens weiterentwickeln. Geleitet wird das Projekt von Professor Christof Weiß am CAIDAS.

Mit Datensätzen klassischer Musik arbeitet Christof Weiß daran, automatisierte Analysemethoden für Musikaufnahmen grundlegend weiterzuentwickeln. (Bild: Ingo Knopf / Klaus Tschira Stiftung)

In seiner Funktion als Professor für Informatik (Computational Humanities) an der Julius-Maximilians-Universität Würzburg (JMU) verbindet Christof Weiß zwei augenscheinlich äußerst unterschiedliche Fachbereiche: Mathematik und Informatik treffen bei ihm auf Kunst und Kultur.

Im Rahmen ihres Emmy-Noether-Programms fördert die Deutsche Forschungsgemeinschaft (DFG) seine Arbeit nun mit 1,4 Millionen Euro und ermöglicht ihm den Aufbau einer neuen Forschungsgruppe zum Thema Computerbasierte Analyse von Musikaufnahmen: Ein versionsübergreifender Ansatz. In dieser sollen automatisierte Analysemethoden für Musikaufnahmen grundlegend weiterentwickelt werden, welche zukünftig in der Musikwissenschaft und den Computational Humanities zum Einsatz kommen könnten.

Musikdaten sind komplex

„Die Analyse von Musikstücken ist extrem vielschichtig“, erklärt Christof Weiß. „Musik ist äußerst facettenreich, charakterisiert durch verschiedene semantische Dimensionen wie Zeit, Tonhöhe, Klangfarbe oder Stil, die in den Audiodaten stark miteinander verflochten sind. Die Parallelität vieler Stimmen und Klänge macht sie komplexer als etwa die gesprochene Sprache.“

Darüber hinaus sind musikalische Konzepte oft mehrdeutig und subjektiv, was interpretierbare Methoden und mehrfache Annotationen erforderlich macht. Genau diese annotierten Daten stehen aber oft nicht in ausreichender Menge zur Verfügung.

Ein versionsübergreifender Ansatz

Diese Datenknappheit stellt eine besondere Herausforderung für Deep-Learning-Ansätze dar, die daher oft an eine „gläserne Decke“ stoßen. Überwinden möchten Weiß und sein Team diese durch einen versionsübergreifenden Ansatz: „Wir wollen Datensätze klassischer Musik nutzen, die für jedes Musikwerk mehrere Modalitäten, also Notentexte und Aufnahmen, mehrere Interpretationen beziehungsweise Einspielungen und Annotationen mehrerer Fachleute bereitstellen.“

Solche Datensätze ermöglichen die Übertragung von Annotationen zwischen den verschiedenen Versionen und erlauben so fundierte Rückschlüsse auf die Robustheit der Maschinellen Lernverfahren. Die klassische Musik bietet hierfür ein einzigartiges Szenario.

Zunächst gilt es, ein Framework mit mehreren Datensätzen aufzubauen und Evaluationsmethoden zu entwickeln. Diese sollen den Blick hinter die Kulissen der neuronalen Netze („KIs“) und Algorithmen ermöglichen: „Neuronale Netze sind fast immer Black Boxes. Wir wollen ihre Arbeitsweisen durchleuchten und dadurch Schlüsse auf die Verlässlichkeit der Ergebnisse ziehen, die sie in der Musikanalyse liefern“, so Weiß.

Drei Projektschwerpunkte

Die Forschungsgruppe, deren Förderung sich zunächst auf drei Jahre beläuft und nach erfolgreicher Zwischenevaluation um drei weitere Jahre verlängert werden kann, wird sich mit drei Anwendungsschwerpunkten beschäftigen. Zunächst steht eine Grundlagenanalyse an, hier werden etwa Tonhöhen und Notendauern untersucht.

Es folgen eine lokale Analyse, die Aspekte wie Schläge, Akkorde, Takte und Tonarten ins Visier nimmt, und schließlich eine Stilanalyse. Hier geht es auch um Ähnlichkeitsbeziehungen zwischen verschiedenen Komponisten, wodurch etwa Urheberfragen bei Werken, die nicht eindeutig zuzuordnen sind, mit neuen Werkzeugen untersucht werden könnten.

Alle drei Bereiche sind mit einer Doktorandenstelle verknüpft, von denen die erste im Frühjahr 2024 besetzt werden soll.

Interdisziplinäre Anwendungsmöglichkeiten

Die Forschungsgruppe ist Teil des Center for Artificial Intelligence and Data Science (CAIDAS) und räumlich im neuen Zentrum für Philologie und Digitalität (ZPD) beheimatet. Für die Projektarbeit wollen die beteiligten Wissenschaftlerinnen und Wissenschaftler die fachübergreifenden Kompetenzen beider Zentren nutzen – ein attraktives und produktives Arbeitsumfeld.

„Unser Standort eignet sich ausgezeichnet für diese Art von Forschung“, betont Christof Weiß. „Die Methoden, die wir entwickeln möchten, können neben der computerbasierten Musikforschung auch in anderen Bereich der Digital Humanities Anwendung finden sowie generelle Einblicke in maschinelle Lernverfahren bieten.“

Zum Emmy-Noether-Programm

Das Emmy Noether-Programm der DFG richtet sich an Postdocs und befristet beschäftigte (Junior)Professorinnen und -professoren in einer frühen Phase ihrer wissenschaftlichen Karriere.

Ihnen wird die Möglichkeit eröffnet, sich durch die eigenverantwortliche Leitung einer Nachwuchsgruppe über einen Zeitraum von sechs Jahren für eine Hochschulprofessur auf Lebenszeit zu qualifizieren.