Odyssey-3 lernt GTA V aus zwei Stunden Videomaterial und reitet dann in Red Dead Redemption 2 auf einem Pferd
Odyssey, das 2023 von Oliver Cameron und Jeff Hawke gegründete Unternehmen für Weltmodelle, stellte Odyssey-3 am 15. September vor. Das Konzept: ein vortrainiertes Modell, das versteht, wie sich die physische Welt verhält, ergänzt um kleine „Aktions-Decoder“, die einen bestimmten Körper steuern – einen Roboterarm, einen Humanoiden, ein Auto, eine Drohne oder eine Figur in einem Videospiel. Das Gaming-Ergebnis ließ uns aufhorchen. Eine Bewegungs-Policy, die mit ungefähr zwei Stunden GTA-V-Material trainiert wurde, ritt in Red Dead Redemption 2 auf einem Pferd und fuhr in Sleeping Dogs Motorrad, ohne für eines der beiden Spiele trainiert worden zu sein. Ankündigung von Odyssey.
Odyssey-3 reitet in Red Dead Redemption 2 mit einer Policy, die ausschließlich mit GTA V trainiert wurde. Die Einblendung zeigt die gedrückten Tasten. Bild: Odyssey.
Ein Modell, viele Körper
Odyssey-3 ist ein autoregressiver Diffusion-Transformer, der mit einer laut Unternehmen riesigen Sammlung visueller Beobachtungen trainiert wurde. Das Ziel ist, ein allgemeines, kausales Modell davon zu erlernen, wie sich die Welt verhält. Dieses Modell bleibt unverändert. Für jede Verkörperung trainiert Odyssey einen kleinen Aktions-Decoder mit Beobachtungs-Aktions-Paaren. Seine Aufgabe besteht darin, den internen Zustand des Weltmodells in die Steuersignale zu übersetzen, die der jeweilige Körper benötigt.
Laut Odyssey steckt der Großteil des Verständnisses im unveränderten Modell, sodass die Decoder nur sehr wenige Daten benötigen. Roboterarme lernen aus einigen Dutzend Stunden an Demonstrationen. Die Ankündigung zeigt einen Roboterarm, der sich von einem fehlgeschlagenen Greifversuch erholt und ein Objekt aufnimmt, das in einer ungewöhnlichen Ausrichtung gelandet ist. Humanoide lernen in Zusammenarbeit mit Flexion aus einigen Dutzend Stunden Teleoperation. Drohnen lernen anhand einiger Dutzend Stunden simulierter Flüge, Wegpunkte anzufliegen. Am konkretesten ist die Zahl zum Autofahren: Eine mit 20 Stunden simulierter Fahrten trainierte Policy legte auf stark befahrenen indischen Straßen zwischen Eingriffen des Sicherheitsfahrers ungefähr 77 % der Strecke zurück, die eine mit realem Videomaterial trainierte Policy schaffte. All das sind Herstellerangaben aus Hersteller-Demos, und keines dieser Ergebnisse wurde bislang außerhalb von Odyssey reproduziert.
Der Spiel-Agent sieht Pixel und drückt Tasten
Der Gaming-Decoder wird mit Gameplay-Aufnahmen und den dazugehörigen Tastatur- und Mauseingaben trainiert, mit denen sie erzeugt wurden. Zur Laufzeit betrachtet die Policy die letzten Frames, gibt Tastendrücke und Mausbewegungen aus und beobachtet, was als Nächstes geschieht. Sie greift weder über eine API auf das Spiel noch auf dessen Zustand zu. Sie spielt so, wie ein Mensch an einem Laptop spielt. Deshalb ist im Demo-Material auch eine kleine WASD-Einblendung in der Ecke zu sehen: Das sind die Tasten, die sie gerade drückt.
Odyssey berichtet von längeren Spielsitzungen in GTA V, die Autofahren, Schusswechsel und Nahkämpfe umfassen. Besonders bemerkenswert ist das Transferergebnis. Eine Mobilitäts-Policy, die mit etwa zwei Stunden GTA-Material trainiert wurde, bewegte in Red Dead Redemption 2 eine Figur auf einem Pferd – in einem anderen Spiel mit einer anderen Figur, einem anderen Fortbewegungsmittel und einer anderen Welt – und fuhr in Sleeping Dogs Motorrad. Zwei Stunden sind praktisch nichts. Das bedeutet, dass der Decoder weniger „GTA“ lernt, sondern vielmehr, die Vorstellung des Weltmodells von der Bewegung durch einen Ort auf vier Tasten und eine Maus abzubilden.
Dieselbe Policy in GTA V, dem Spiel, mit dem sie tatsächlich trainiert wurde. Bild: Odyssey.
Die Ankündigung zeigt außerdem, wie das Modell Umgebungen erzeugt und Agenten diese erkunden lässt. Die Argumentation lautet, dass ein ausreichend guter Simulator die in ihm agierenden Agenten trainieren kann und deren Fehlschläge wiederum aufzeigen, was der Simulator falsch abbildet. Dieser Kreislauf ist das eigentliche Produkt. Die Roboter, Autos und Spiele demonstrieren, dass er funktioniert. Odyssey will das Modell in den kommenden Wochen öffentlich veröffentlichen, ohne anzugeben, in welcher Form.
Dasselbe unveränderte Modell steuert einen zweiarmigen Roboter bei einer Aufgabe mit einer Lebensmittelkiste. Bild: Odyssey.
Warum das für uns relevant ist
Wir haben dieses Jahr über drei Weltmodell-Projekte berichtet, die in unterschiedliche Richtungen weisen. MIRA ersetzte die Game-Engine und renderte ein spielbares Match direkt aus dem Modell. Atlas von World Labs erzeugt, rekonstruiert und simuliert die Welt selbst. Odyssey-3 lässt die Engine unangetastet und spielt in ihr. Von den drei Ansätzen ist das derjenige, der ein bereits entwickeltes Spiel unmittelbar betrifft.
Jedes Spiel, das mit unserem Game Creator erstellt wird, läuft in einem Browser und wird mit Tastatur und Maus gesteuert – genau über die Schnittstelle, die diese Policy nutzt. Ein Agent, der sich nach zwei Stunden Videomaterial durch GTA V bewegen kann, dürfte mit noch weniger Material sehr wahrscheinlich auch ein kleines, von Creatorn erstelltes Spiel bewältigen. Damit hätte man einen Spieletester, der sich nie langweilt, keine Anweisungen braucht und innerhalb einer Minute feststellen kann, ob die Steuerung verständlich ist. In diese Frage investieren wir bereits viel Arbeit, denn invertierte Kameras und nicht reagierende Sprünge gehören zu den häufigsten Gründen, warum ein neues Spiel abgebrochen wird. Ein günstiger Agent, der meldet „Ich kam nicht durch die erste Tür“, bevor ein Mensch das Spiel überhaupt sieht, würde unsere Tests grundlegend verändern.
Das gilt auch in die andere Richtung. Wenn sich die Fortbewegung durch eine 3D-Welt so leicht zwischen Spielen übertragen lässt, wird die Weltmodell-Komponente eines spielenden Agenten bald zur Standardware. Entscheidend ist dann der Decoder: wie ein Spiel seine Steuerung zugänglich macht, wie verständlich sein Feedback ist und ob ein Agent erkennen kann, dass er das Richtige getan hat. Genau diese Eigenschaften machen ein Spiel auch für Menschen spielbar. Für den Agenten und für den Spieler zu entwickeln, könnte sich letztlich als dieselbe Aufgabe erweisen.