Ein Roboterarm beobachtet keine Gelenkwinkel und bekommt in den Trainingsvideos keine fertigen Maschinenbefehle. Trotzdem kann er daraus lernen, wie ein Becher bewegt, eine Schale gekippt oder ein Tuch entfaltet werden soll. Roboter lernen aus Videos mit einem neuen KI-Modell der University of Maryland vor allem die räumlichen Bewegungen von Händen und Gegenständen. In realen Versuchen erreichte der Ansatz bei drei Aufgaben eine durchschnittliche Erfolgsquote von 91,7 Prozent.
Für einen Menschen ist sofort erkennbar, was bei einer alltäglichen Bewegung geschieht. Eine Hand greift einen Behälter, hebt ihn an, kippt ihn und lässt den Inhalt in eine Schale fallen. Für einen Roboter steckt darin eine lange Kette aus räumlichen Entscheidungen. Er muss erkennen, welches Objekt relevant ist, wohin es bewegt wird, wie stark es gedreht werden muss und an welchem Punkt der Kontakt mit einem zweiten Objekt entscheidend wird. Bisher lernen viele Maschinen solche Tätigkeiten mit aufwendig aufgezeichneten Demonstrationen, bei denen nicht nur Kamerabilder, sondern gleichzeitig die exakten Zustände und Steuerbefehle des Roboters gespeichert werden. Diese Daten sind teuer und zudem stark an einen bestimmten Roboter gebunden. Genau dieses Problem versucht das neue System mit dem Namen μ₀ zu umgehen. Das Modell soll aus gewöhnlichen Aufnahmen zunächst lernen, was sich bewegen muss, bevor eine zweite Komponente daraus konkrete Befehle für einen bestimmten Roboter erzeugt.
Das Verfahren gehört zur Forschung an sogenannter physischer Intelligenz. Gemeint sind KI-Systeme, die Sprache und visuelle Wahrnehmung nicht nur für digitale Antworten verwenden, sondern damit Bewegungen in der realen Welt planen. Die Herausforderung unterscheidet sich grundlegend von einem Sprachmodell. Bei einem Roboter führt eine ungenaue Vorhersage nicht nur zu einem falschen Wort, sondern möglicherweise dazu, dass ein Greifer neben ein Objekt fasst oder es fallen lässt. Das Team der University of Maryland entwickelte deshalb eine Darstellung, die nicht jedes Pixel eines zukünftigen Videos erzeugt. Stattdessen beschreibt μ₀ die räumlichen Wege ausgewählter Punkte an Händen, Werkzeugen und Gegenständen. Diese sogenannten Bewegungsspuren enthalten Informationen darüber, wohin sich ein Gegenstand bewegt, wie er sich dreht und an welchen Stellen Kontakt entsteht. Die Forscher stellen das System in ihrer Originalmeldung der University of Maryland ausführlich vor und benennen zugleich die noch bestehenden Grenzen.
Der zentrale Unterschied zu vielen bisherigen Ansätzen liegt in der Trennung zweier Lernaufgaben. Zuerst soll das Weltmodell verstehen, wie relevante Objekte während einer Handlung durch den dreidimensionalen Raum wandern. Erst danach übersetzt ein sogenannter Action Expert diese Information in die Motorbefehle einer bestimmten Maschine. Dadurch muss das Videomaterial nicht bereits mit den Gelenkwinkeln, Greiferpositionen oder Kräften eines konkreten Roboters gekoppelt sein. Das Team entwickelte dafür zusätzlich TraceExtract. Dieses System sucht in Videos nach bedeutenden Punkten, verfolgt sie räumlich und verbindet einzelne Bewegungsereignisse mit sprachlichen Beschreibungen. Gleichzeitig soll es unterscheiden, ob sich tatsächlich ein Gegenstand bewegt oder nur die Kamera. Das ist wichtig, weil eine Kamerafahrt sonst wie eine Bewegung der gesamten Szene erscheinen könnte. Das zugrunde liegende Forschungspapier zu μ₀ beschreibt diese dreidimensionalen Bewegungsspuren als kompakte Repräsentation für Interaktionen.
Entscheidend ist, dass die Forscher den Ansatz nicht nur in einer Simulation testeten. Ein Roboterarm mit Zwei-Finger-Greifer musste Gegenstände in ein Spülbecken legen, Mandeln ausschütten und ein Tuch entfalten. Über diese drei Aufgaben hinweg lag die durchschnittliche Erfolgsquote bei 91,7 Prozent. Zwei Vergleichssysteme lagen nach Angaben der University of Maryland um 20 beziehungsweise 11,7 Prozentpunkte darunter. Das Ergebnis zeigt, dass die aus Videos gelernten Bewegungsmuster tatsächlich in reale Aktionen übersetzt werden können. Es ist jedoch kein allgemeiner Beweis dafür, dass der Ansatz bereits beliebige Haushalts- oder Industrieaufgaben beherrscht. Die Zahl stammt aus drei klar definierten Tätigkeiten mit einem bestimmten Roboterarm. Dass der Sprung von einer Demonstration zu robusten realen Bewegungen schwierig ist, zeigt auch die bisherige Entwicklung humanoider Systeme. Auf forschung-und-wissen.de wurde etwa bereits beschrieben, wie der Roboter Figure 01 neue Aufgaben durch Beobachtung lernt.
Die reale Erfolgsquote ist deshalb besonders interessant, weil die Simulationsergebnisse kein durchgehend überlegenes System zeigen. Bei acht simulierten Küchenaufgaben erreichte μ₀ im Mittel 30,25 Prozent. Damit lag es über einem Vergleichsmodell mit 25,25 Prozent, aber unter einem zweiten Ansatz mit 42 Prozent. Das zeigt eine typische Schwierigkeit moderner Robotik. Eine Methode kann in einer bestimmten Darstellung oder bei einzelnen realen Aufgaben sehr gut funktionieren und trotzdem in einer breiteren Sammlung virtueller Tests nicht an erster Stelle liegen. Simulationen erlauben viele Wiederholungen und stark variierende Szenen, bilden Kontakte, Reibung, Materialverformung und Fehler realer Kameras aber nicht vollständig ab. Umgekehrt sind physische Versuche teurer und werden deshalb häufig mit weniger Aufgaben durchgeführt. Für die Einordnung des neuen Systems sind deshalb beide Ergebnisse relevant. μ₀ liefert einen überzeugenden Nachweis für reale Übertragbarkeit, aber noch keinen universellen Roboter, der Tätigkeiten aus beliebigen Internetvideos zuverlässig nachmachen kann.
Der mögliche Vorteil liegt in der Menge verfügbarer Daten. Menschen haben Milliarden Stunden an Videos aufgezeichnet, in denen Gegenstände gegriffen, Werkzeuge benutzt, Lebensmittel verarbeitet und Maschinen bedient werden. Roboterspezifische Demonstrationen sind im Vergleich dazu knapp, weil sie für eine bestimmte Hardware aufgezeichnet werden müssen. Ein Modell, das aus gewöhnlichen Videos allgemeine Bewegungsmuster gewinnt, könnte diese Lücke verkleinern. Dabei bleibt die Anpassung an den Roboter notwendig. μ₀ entscheidet nicht direkt, welcher Motor wie stark angesteuert wird. Diese Übersetzung übernimmt der Action Expert anhand zusätzlicher Roboterdemonstrationen. Die Trennung könnte aber bedeuten, dass ein großer Teil des Wissens wiederverwendet werden kann, wenn sich die Hardware ändert. Das ist besonders relevant, weil humanoide Systeme inzwischen vom Labor in größere Fertigungsserien wechseln. Ein aktuelles Beispiel ist die Serienfertigung humanoider Roboter in China, bei der flexible Lernverfahren zunehmend wichtiger werden.
Die Forscher nennen mehrere Einschränkungen. Fehler beim Verfolgen der Bildpunkte oder bei automatisch erzeugten Beschreibungen können direkt in die Trainingsdaten eingehen. Hinzu kommt ein grundlegendes physikalisches Problem. Das Modell beschreibt vor allem Geometrie und Bewegung, berücksichtigt Kräfte und Tastsinn aber nicht ausdrücklich. Für viele Tätigkeiten reichen räumliche Wege allein nicht aus. Ein Roboter muss beispielsweise unterscheiden, ob er ein Glas, ein weiches Tuch oder einen schweren Topf greift. Identische Bewegungsbahnen können je nach Material völlig unterschiedliche Greifkräfte erfordern. Auch das Verhalten des Systems auf anderen Robotern und bei einer breiteren Auswahl von Tätigkeiten ist noch nicht untersucht. Damit befindet sich μ₀ zwischen einem leistungsfähigen Forschungsprototyp und einem allgemein einsetzbaren Lernsystem. Der entscheidende Fortschritt liegt weniger darin, dass ein Roboter bereits alles durch Zuschauen lernen könnte, sondern darin, dass Bewegungswissen von der konkreten Maschinensteuerung getrennt wird.
Für die Robotik ist diese Trennung ein möglicher Weg zu größeren Trainingsdatensätzen. Statt jede neue Maschine von Grund auf mit kostspieligen Demonstrationen auszustatten, könnte ein allgemeines Weltmodell zunächst aus menschlichen und robotischen Videos lernen, wie sich Gegenstände bei bestimmten Handlungen bewegen. Danach wäre nur noch eine kleinere Menge hardwarespezifischer Daten nötig, um das Bewegungswissen auf einen bestimmten Arm oder Greifer zu übertragen. Ob dieser Ansatz bei hunderten Aufgaben ebenso stabil bleibt wie bei den drei realen Tests, muss erst gezeigt werden. Die Studie liefert dafür aber einen konkreten technischen Nachweis. Videos werden damit nicht lediglich zu Anschauungsmaterial für Roboter. Sie können zu einer Quelle räumlicher Bewegungsinformationen werden, aus denen Maschinen lernen, welche Teile einer Szene sich wohin bewegen müssen. Genau darin liegt der Unterschied zwischen einer KI, die eine Handlung erkennt, und einem System, das sie in der physischen Welt ausführen kann.
Mit KI-Unterstützung erstellt
Wählen Sie Forschung und Wissen bei Google als bevorzugte Quelle oder folgen Sie uns per RSS-Feed.