Wenn Maschinen selbstständig lernen

Ein intelligentes Kameraüberwachungssystem soll auf einem Bahnhof selbstständig herrenlose Gepäckstücke oder andere verdächtige Objekte aufspüren. Dazu muss es wissen, wie Koffer und Taschen aussehen. Um das zu erreichen, muss der Mensch das System mit Trainingsdaten füttern – in diesem Fall mit möglichst vielen Bildern von unterschiedlichen Gepäckstücken.

Ganz anders funktioniert eine Form des maschinellen Lernens, die Reinforcement Learning („Verstärkendes Lernen“) heißt. „Dateninput von Menschen ist dabei nicht nötig“, sagt Informatikprofessor Carlo D‘Eramo. Stattdessen sammeln die Algorithmen ihre eigenen Erfahrungen, indem sie in vielen Simulationsdurchläufen Aufgaben nach dem Prinzip „Versuch und Irrtum“ lösen. Richtige Entscheidungen werden belohnt, etwa mit Punkten, die den Algorithmen gutgeschrieben werden. Diese positive Verstärkung bewirkt, dass bevorzugt gewünschte Aktionen ausgeführt werden – das System lernt.

„Man kann sich diese Art des Maschinenlernens vorstellen wie ein Baby, das nach und nach seine Umgebung erkundet. Es macht dabei gute und schlechte Erfahrungen, und die merkt es sich“, erklärt der Professor. „Schlechte“ Handlungen wird das Baby künftig vermeiden, „gute“ wird es wiederholen.

Multitasking und Transferlernen als Ziele

Carlo D’Eramos Gruppe arbeitet daran, die Methoden des Reinforcement Learning weiter zu verbessern. Unter anderem geht es darum, den selbstlernenden Systemen Multitasking und Transferlernen beizubringen.

Beim Thema Transferlernen zieht der Forscher wieder einen Vergleich zum Menschen: Fußballspieler wissen, dass sie zu einem Team gehören, das in einem genau definierten Umfeld gegen ein anderes Team spielt. Sie können die Laufwege der anderen einschätzen und verfügen über Ballgefühl. Diese und andere Erfahrungen sind nützlich, wenn Fußballer andere Ballsportarten lernen: Sie übertragen ihr Wissen aus dem Fußball auf den anderen Bereich. Genau diese Art von Wissenstransfer möchte Carlo D’Eramo für das Maschinenlernen nutzbar machen.

BMBF-Projekt in der Robotik

Seiner Arbeitsgruppe hat der Informatiker den Namen LiteRL gegeben. RL ist die Abkürzung für Reinforcement Learning, Lite steht für „light“ (leicht) – damit will D’Eramo ausdrücken, dass er auf möglichst einfache lernende Modelle setzt, die aber komplexe Aufgaben bewältigen können.

„Wir forschen in Theorie und Praxis. Ob unsere theoretisch erarbeiteten Methoden effektiv sind, überprüfen wir in Simulationen und realen Anwendungen, zum Beispiel in den Bereichen Finanzen, Spiele und Robotik“, erklärt der Professor.

Im Bereich Robotik zum Beispiel erhält Carlo D’Eramo rund 750.000 Euro vom Bundesministerium für Bildung und Forschung (BMBF) für ein Projekt, das vor kurzem erst gestartet ist. Ziel ist es, einem vierbeinigen Roboter mittels RL das unfallfreie Laufen auf verschiedenen Oberflächen beizubringen.

„Einen Roboter mit vier Beinen auf ebenem, festem Untergrund laufen zu lassen, ist einfach“, sagt der Forscher. Schwerer werde es, wenn der Boden rutschig oder uneben ist oder wenn Hindernisse im Weg sind. Genau dieses Problem soll im BMBF-Projekt gelöst werden. Das Fördergeld wird auch für die Finanzierung von drei Promovierenden verwendet.

Werdegang des neuen Professors

Carlo D’Eramo wurde 1989 in Pescara in Italien geboren. Er hat Informatik an der staatlichen Technischen Universität Politecnico in Mailand und an der Universität von Illinois in Chicago (USA) studiert. Er hat jeweils einen Masterabschluss aus Chicago und Mailand.

Schon als Student orientierte sich der Informatiker zur Künstlichen Intelligenz hin – weil sie genau die Fächer vereint, die ihn sehr begeistern: Informatik, Mathematik und Logik.

Nach der Promotion 2019 in Mailand ging er als Postdoc an die Technische Universität Darmstadt in die Gruppe für Intelligente Autonome Systeme. Dort leitete er ab 2022 seine eigene Forschungsgruppe, die auch am Hessischen Forschungszentrum für Künstliche Intelligenz (hessian.AI) verortet ist.

Im November 2022 folgte Carlo D’Eramo dem Ruf auf die Professur für Reinforcement Learning and Computational Decision-Making an der Universität Würzburg. Die Professor wurde neu geschaffen, und zwar im Rahmen des Centers for Artificial Intelligence and Data Science (CAIDAS). Seine Gruppe am hessian.AI wird der Professor weiterhin leiten, bis seine zwei Promovierenden dort ihren Abschluss haben.

Kontakt

Prof. Dr. Carlo D‘Eramo, Professur für Reinforcement Learning and Computational Decision-Making, Universität Würzburg, T +49 931 31-83457, carlo.deramo@uni-wuerzburg.de

Webseite der Professur