Atlas dari World Labs adalah satu model yang menghasilkan, merekonstruksi, dan menyimulasikan dunia 3D
World Labs milik Fei-Fei Li memublikasikan Atlas pada 1 September dan menyebutnya sebagai "model dunia untuk kecerdasan spasial." Jika slogan itu disisihkan, klaim teknisnya cukup spesifik: Atlas adalah satu transformer difusi autoregresif multimodal yang dipralatih dari nol, yang secara bawaan menerima teks, gambar, video, pose kamera, dan kedalaman sebagai input, lalu menghasilkan gambar, video, point cloud, dan Gaussian splat 3D sebagai output. Bukan model video yang ditempeli komponen 3D, dan bukan pula model rekonstruksi dengan generator di depannya. Satu jaringan.
World Labs mengatakan Atlas "akan menjadi penggerak versi Marble mendatang," produk pembuatan adegan mereka yang diluncurkan November lalu, dan bahwa kemampuannya meningkat seiring bertambahnya komputasi pelatihan seperti pada model bahasa. Akses tersedia berdasarkan permohonan bagi mitra terpilih. Belum ada informasi harga maupun API publik.
Tiga tugas, satu model
Tugas pertama adalah pembuatan dengan kamera yang dapat dikendalikan. Berikan sebuah gambar dan jalur kamera kepada Atlas, lalu model ini akan merender video mengikuti jalur tersebut hingga satu menit pada resolusi 1440p. Karena kamera menjadi input geometris eksplisit, bukan sekadar petunjuk teks, model tidak dapat menyimpang. World Labs menjalankan pengujian preferensi manusia dengan membandingkan Atlas terhadap lima model video terkini dalam pembuatan video dengan kamera yang dapat dikendalikan. Mereka melaporkan bahwa evaluator memilih Atlas dalam 75% pengujian melawan MiniMax H3, 81% melawan Gemini Omni Flash, 86% melawan Happy Horse 1.1, 93% melawan FLUX 3, dan 94% melawan Seedance 2.5.
Tugas kedua adalah rekonstruksi, dan inilah bagian yang bersedia saya bayar sekarang. Masukkan mulai dari satu hingga lebih dari seratus foto lokasi nyata ke Atlas, lalu model ini akan menghasilkan point cloud atau adegan Gaussian splat, lengkap dengan posisi kamera yang dipulihkan. World Labs mengklaim Atlas mengungguli model yang dibuat khusus untuk rekonstruksi 3D, termasuk Pi3X dan VGGT, dalam rata-rata galat relatif absolut pada tolok ukur standar seperti DTU, ETH3D, KITTI, dan ScanNet. Mereka juga mengatakan bahwa dengan dua atau tiga gambar, Atlas "memberikan hasil yang sesuai dengan aslinya dan mengungguli model 3D khusus." Karena rekonstruksi dan pembuatan berada dalam jaringan yang sama, model ini juga dapat melakukan ekstrapolasi: berikan satu foto dari permukaan jalan, lalu Atlas akan menghasilkan tampilan udara kawasan tersebut yang tidak terdapat dalam input mana pun.
Tugas ketiga adalah simulasi. Atlas dapat menyajikan ulang video rekaman dari tiga hingga lima sudut kamera baru, memodelkan interaksi dengan objek kaku, berartikulasi, dan dapat berubah bentuk, serta merender RGB dan kedalaman dari sudut pandang robot. World Labs menjalankan lima platform robot selama masing-masing satu jam di lingkungan buatan Atlas tanpa campur tangan manusia. "Dunia dan pandangan robot terhadapnya berasal dari model yang sama," tulis unggahan tersebut, dan kalimat itulah yang menjelaskan mengapa perusahaan ini berhasil menggalang dana sebesar itu.
Atlas sebagai alat real-to-sim: lingkungan dan tampilan sensor robot berasal dari satu model. Gambar: World Labs.
Catatan kehati-hatian seperti biasa
Angka-angka ini berasal dari vendor dalam pengujian yang dipilih vendor sendiri, dan World Labs mengakuinya dengan mengatakan bahwa "tidak ada satu tolok ukur pun yang mencakup semua kemampuan Atlas." Pengujian preferensi tersebut membandingkannya dengan model video dalam tugas pengendalian kamera, yang memang menjadi fokus rancangan Atlas, sementara model-model lain itu tidak dirancang khusus untuknya. Perbandingan rekonstruksinya lebih bermakna karena menggunakan dataset publik dengan metrik yang telah dipublikasikan, tetapi belum ada pihak di luar daftar akses terbatas yang menjalankannya secara independen.
Konteks juga penting saat membaca pengumuman ini. World Labs menggalang pendanaan Seri B sebesar $1 miliar pada Februari dari Autodesk, Andreessen Horowitz, Nvidia, dan AMD, dengan valuasi yang dilaporkan mencapai $5 miliar. Aspek robotikanya berakar pada SceniX, yang diakuisisi perusahaan tersebut pada Juli. Atlas merupakan hasil dari pendanaan dan akuisisi itu, dan model ini dipresentasikan kepada para mitra dan calon investor sama besarnya seperti kepada pengguna.
Artinya bagi pembuat game
Kami mengikuti perkembangan model dunia sepanjang tahun karena teknologi ini merupakan tantangan paling kredibel terhadap cara game dibuat saat ini. MIRA menjalankan pertandingan Rocket League yang dapat dimainkan tanpa engine pada Juli, sementara lini Genie dari Google terus menawarkan durasi simulasi yang lebih panjang. Atlas mendekati masalah ini dari arah berbeda. Model ini tidak mencoba menjadi game loop. Atlas mencoba menjadi sesuatu yang menghasilkan dunia tempat game loop berjalan.
Dalam waktu dekat, pendekatan itu lebih berguna bagi kami, dan mungkin juga bagi Anda. Splat dan point cloud tidak memiliki collision, navigasi, atau gameplay, sehingga "menghasilkan dunia 3D" masih berarti "menghasilkan latar" sampai ada yang memecahkan proses konversinya menjadi mesh dan collider. Namun, rekonstruksi dari dua atau tiga foto ponsel menjadi adegan yang dapat diterbangkan kamera adalah jalan pintas pembuatan environment art yang diinginkan setiap tim kecil. Jika Atlas melakukannya sebaik yang ditunjukkan tolok ukurnya, pertanyaan rekayasa yang menarik bergeser menjadi cara memperoleh geometri gameplay dari splat—dan kami lebih memilih menghadapi masalah itu daripada masalah yang kami hadapi sekarang.
Status sejujurnya: ini adalah makalah yang kuat dengan formulir permohonan akses. Kami akan membahasnya lagi ketika seseorang di luar World Labs sudah menjalankannya.