Atlas von World Labs ist ein einziges Modell, das 3D-Welten generiert, rekonstruiert und simuliert
Fei-Fei Lis World Labs veröffentlichte Atlas am 1. September und bezeichnete es als „ein Weltmodell für räumliche Intelligenz“. Lässt man den Slogan beiseite, ist die technische Aussage konkret: Atlas ist ein einzelner multimodaler autoregressiver Diffusion Transformer, der von Grund auf vortrainiert wurde, nativ Text, Bilder, Videos, Kameraposen und Tiefendaten als Eingabe verarbeitet und Bilder, Videos, Punktwolken sowie 3D-Gaussian-Splats ausgibt. Kein Videomodell mit nachträglich angebautem 3D-Modul und kein Rekonstruktionsmodell mit vorgeschaltetem Generator. Ein einziges Netzwerk.
World Labs zufolge wird Atlas „künftige Versionen von Marble antreiben“, dem im vergangenen November gestarteten Produkt zur Szenengenerierung, und skaliert mit dem Trainings-Rechenaufwand ähnlich wie Sprachmodelle. Der Zugang ist auf Anfrage für ausgewählte Partner möglich. Es gibt weder Preise noch eine öffentliche API.
Drei Aufgaben, ein Modell
Die erste Aufgabe ist die kameragesteuerte Generierung. Gibt man Atlas ein Bild und einen Kamerapfad, rendert es entlang dieses Pfads ein bis zu einminütiges Video in 1440p. Da die Kamera statt eines Texthinweises eine explizite geometrische Eingabe ist, kann das Modell nicht vom vorgegebenen Weg abweichen. World Labs führte menschliche Präferenztests zur kameragesteuerten Generierung durch und verglich Atlas mit fünf aktuellen Videomodellen. Nach Angaben des Unternehmens entschieden sich die Testpersonen in 75 % der Fälle für Atlas statt MiniMax H3, in 81 % statt Gemini Omni Flash, in 86 % statt Happy Horse 1.1, in 93 % statt FLUX 3 und in 94 % statt Seedance 2.5.
Die zweite Aufgabe ist die Rekonstruktion – und für diesen Teil würde ich heute schon bezahlen. Speist man Atlas mit einem bis hin zu mehr als hundert Fotos eines realen Ortes, erzeugt es eine Punktwolke oder eine Gaussian-Splat-Szene und rekonstruiert dabei die Kamerapositionen. World Labs behauptet, dass Atlas bei der mittleren absoluten relativen Abweichung in Standard-Benchmarks wie DTU, ETH3D, KITTI und ScanNet eigens für die 3D-Rekonstruktion entwickelte Modelle wie Pi3X und VGGT übertrifft und bereits mit zwei oder drei Bildern „originalgetreue Ergebnisse liefert und spezialisierte 3D-Modelle übertrifft“. Da Rekonstruktion und Generierung im selben Netzwerk stattfinden, kann es auch extrapolieren: Gibt man ihm ein einziges Foto auf Straßenebene, erzeugt es eine Luftaufnahme des Häuserblocks, die in keiner Eingabe enthalten ist.
Die dritte Aufgabe ist die Simulation. Atlas kann ein aufgenommenes Video aus drei bis fünf neuen Kamerawinkeln darstellen, Interaktionen mit starren, gelenkigen und verformbaren Objekten modellieren sowie RGB- und Tiefenbilder aus der Perspektive eines Roboters rendern. World Labs ließ fünf Roboterplattformen jeweils eine Stunde lang ohne menschliches Eingreifen in von Atlas generierten Umgebungen laufen. „Die Welt und die Sicht des Roboters darauf stammen aus demselben Modell“, heißt es im Beitrag – und dieser Satz erklärt, warum das Unternehmen so viel Kapital eingesammelt hat.
Atlas als Real-to-Sim-Werkzeug: Die Umgebung und die Sensoransicht des Roboters stammen aus einem einzigen Modell. Bild: World Labs.
Der übliche Vorbehalt
Das sind Anbieterzahlen aus vom Anbieter ausgewählten Tests, und World Labs räumt selbst ein, dass „kein einzelner Benchmark erfassen kann, was Atlas leistet“. In den Präferenztests tritt Atlas gegen Videomodelle bei einer Aufgabe an – der Kamerasteuerung –, für die Atlas entwickelt wurde, die anderen Modelle jedoch nicht. Die Rekonstruktionsvergleiche sind aussagekräftiger, weil sie auf öffentlichen Datensätzen mit veröffentlichten Metriken basieren. Doch bislang hat niemand außerhalb der Early-Access-Liste sie unabhängig nachvollzogen.
Auch der Kontext ist für die Einordnung der Ankündigung wichtig. World Labs nahm im Februar in einer Series-B-Finanzierungsrunde 1 Milliarde US-Dollar von Autodesk, Andreessen Horowitz, Nvidia und AMD ein – bei einer berichteten Bewertung von 5 Milliarden US-Dollar. Der Robotikschwerpunkt geht auf SceniX zurück, das das Unternehmen im Juli übernahm. Atlas ist das Ergebnis dieses Kapitals und dieser Übernahme und wird ebenso sehr Partnern und künftigen Investoren wie Nutzern präsentiert.
Was das für Spieleentwickler bedeutet
Wir verfolgen Weltmodelle das ganze Jahr über, weil sie die glaubwürdigste Herausforderung für die heutige Art der Spieleentwicklung darstellen. MIRA führte im Juli ein spielbares Rocket-League-Match ohne Engine aus, und Googles Genie-Reihe erreicht immer längere Zeithorizonte. Atlas geht das Problem aus einer anderen Richtung an. Es versucht nicht, selbst die Spielschleife zu sein. Es will das Werkzeug sein, das die Welt erzeugt, in der die Spielschleife läuft.
Kurzfristig ist das für uns – und wahrscheinlich auch für euch – nützlicher. Splats und Punktwolken bringen weder Kollisionen noch Navigation oder Gameplay mit. „Eine 3D-Welt generieren“ bedeutet daher weiterhin „eine Kulisse generieren“, bis jemand die Umwandlung in Meshes und Collider löst. Doch aus zwei oder drei Smartphone-Fotos eine Szene zu rekonstruieren, durch die sich eine Kamera frei bewegen lässt, ist genau die Abkürzung bei der Umgebungsgestaltung, die sich jedes kleine Team wünscht. Wenn Atlas das so gut beherrscht, wie die Benchmarks behaupten, lautet die interessante technische Frage, wie sich aus einem Splat Gameplay-Geometrie gewinnen lässt. Und dieses Problem hätten wir lieber als das, vor dem wir heute stehen.
Der ehrliche Stand: Es ist ein starkes Paper mit einem Anfrageformular. Wir berichten erneut darüber, sobald jemand außerhalb von World Labs das Modell getestet hat.