Atlas de World Labs est un modèle unique qui génère, reconstruit et simule des mondes 3D
World Labs, l’entreprise de Fei-Fei Li, a présenté Atlas le 1er septembre en le qualifiant de « modèle de monde pour l’intelligence spatiale ». Au-delà du slogan, l’affirmation technique est précise : Atlas est un unique transformeur de diffusion autorégressif multimodal, préentraîné de zéro, qui accepte nativement en entrée du texte, des images, de la vidéo, des poses de caméra et des données de profondeur, et produit en sortie des images, des vidéos, des nuages de points et des splats gaussiens 3D. Ce n’est ni un modèle vidéo auquel on aurait greffé un module 3D, ni un modèle de reconstruction précédé d’un générateur. C’est un seul réseau.
World Labs affirme qu’Atlas « propulsera les futures versions de Marble », son produit de génération de scènes lancé en novembre dernier, et que ses performances progressent avec la puissance de calcul consacrée à l’entraînement, comme celles des modèles de langage. L’accès se fait sur demande pour des partenaires sélectionnés. Aucun tarif ni aucune API publique ne sont disponibles.
Trois tâches, un seul modèle
La première tâche est la génération contrôlée par caméra. Donnez à Atlas une image et une trajectoire de caméra, et il produit une vidéo suivant cette trajectoire, d’une durée maximale d’une minute en 1440p. Comme la caméra constitue une entrée géométrique explicite plutôt qu’une simple indication textuelle, le modèle ne peut pas dévier de sa trajectoire. World Labs a mené des tests de préférence humaine comparant Atlas à cinq modèles vidéo actuels pour la génération contrôlée par caméra. L’entreprise rapporte que les évaluateurs ont préféré Atlas dans 75 % des cas face à MiniMax H3, 81 % face à Gemini Omni Flash, 86 % face à Happy Horse 1.1, 93 % face à FLUX 3 et 94 % face à Seedance 2.5.
La deuxième tâche est la reconstruction, et c’est la fonctionnalité pour laquelle je paierais dès aujourd’hui. Fournissez à Atlas entre une et plus d’une centaine de photos d’un lieu réel, et il produit un nuage de points ou une scène en splats gaussiens, tout en retrouvant les positions des caméras. World Labs affirme qu’il surpasse des modèles spécialement conçus pour la reconstruction 3D, notamment Pi3X et VGGT, en matière d’erreur relative absolue moyenne sur des benchmarks standards tels que DTU, ETH3D, KITTI et ScanNet. L’entreprise ajoute qu’avec deux ou trois images, il « fournit des résultats fidèles et surpasse les modèles 3D spécialisés ». Comme la reconstruction et la génération sont réunies au sein du même réseau, il peut également extrapoler : donnez-lui une seule photo prise au niveau de la rue et il produira une vue aérienne du pâté de maisons, absente de toutes les données d’entrée.
La troisième tâche est la simulation. Atlas peut recadrer une vidéo capturée depuis trois à cinq nouveaux angles de caméra, modéliser des interactions avec des objets rigides, articulés et déformables, et générer des images RVB ainsi que des données de profondeur du point de vue d’un robot. World Labs a fait fonctionner cinq plateformes robotiques dans des environnements générés par Atlas pendant une heure chacune, sans intervention humaine. « Le monde et la vision qu’en a le robot proviennent du même modèle », explique l’article, et c’est cette phrase qui permet de comprendre pourquoi l’entreprise a levé autant d’argent.
Atlas comme outil de conversion du réel vers la simulation : l’environnement et la vue des capteurs du robot proviennent d’un même modèle. Image : World Labs.
Les réserves d’usage
Il s’agit de chiffres fournis par le développeur sur des tests qu’il a lui-même choisis, et World Labs le reconnaît en précisant qu’« aucun benchmark unique ne peut rendre compte de tout ce qu’Atlas est capable de faire ». Les tests de préférence le comparent à des modèles vidéo sur une tâche — le contrôle de caméra — pour laquelle Atlas a été conçu, contrairement à ses concurrents. Les comparaisons de reconstruction sont plus significatives, car elles reposent sur des jeux de données publics et des métriques publiées, mais personne en dehors de la liste d’accès anticipé ne les a encore reproduites indépendamment.
Le contexte est également important pour interpréter cette annonce. World Labs a levé un milliard de dollars en série B en février auprès d’Autodesk, Andreessen Horowitz, Nvidia et AMD, pour une valorisation annoncée de cinq milliards de dollars. Le volet robotique trouve son origine dans SceniX, une entreprise acquise par World Labs en juillet. Atlas est le fruit de ce financement et de cette acquisition, et sa présentation vise autant les partenaires et les futurs investisseurs que les utilisateurs.
Ce que cela signifie si vous créez des jeux
Nous suivons les modèles de monde depuis le début de l’année, car ils représentent la remise en question la plus crédible de la manière dont les jeux sont conçus. MIRA a fait tourner en juillet un match jouable de Rocket League sans moteur de jeu, tandis que la gamme Genie de Google continue d’allonger ses horizons temporels. Atlas aborde le problème sous un autre angle. Il ne cherche pas à devenir la boucle de jeu. Il cherche à produire le monde dans lequel cette boucle s’exécute.
À court terme, cette approche nous est plus utile, et elle le sera probablement aussi pour vous. Les splats et les nuages de points n’intègrent ni collisions, ni navigation, ni mécaniques de jeu. « Générer un monde 3D » signifie donc toujours « générer un décor » tant que personne n’aura résolu leur conversion en maillages et en volumes de collision. Mais la reconstruction d’une scène explorable par caméra à partir de deux ou trois photos prises avec un téléphone est exactement le raccourci dont rêvent toutes les petites équipes pour créer leurs environnements. Si Atlas y parvient aussi bien que les benchmarks le prétendent, la question technique intéressante devient alors celle de l’extraction d’une géométrie exploitable pour le gameplay à partir d’un splat — et c’est un problème que nous préférerions avoir à résoudre plutôt que celui auquel nous sommes confrontés aujourd’hui.
Le constat honnête : c’est un article de recherche solide accompagné d’un formulaire de demande d’accès. Nous en reparlerons lorsque quelqu’un d’extérieur à World Labs l’aura testé.