World Labs'in Atlas'ı, 3D dünyalar üreten, yeniden oluşturan ve simüle eden tek bir model
Fei-Fei Li'nin World Labs'i, Atlas'ı 1 Eylül'de yayımlayarak onu "uzamsal zekâ için bir dünya modeli" olarak tanımladı. Sloganı bir kenara bırakırsak teknik iddia oldukça net: Atlas; sıfırdan önceden eğitilmiş, çok modlu ve otoregresif tek bir difüzyon transformer'ı. Metin, görüntü, video, kamera pozları ve derinliği doğal olarak girdi şeklinde alıyor; görüntü, video, nokta bulutu ve 3D Gaussian splat çıktıları üretiyor. Sonradan 3D başlığı eklenmiş bir video modeli de değil, önüne üretici yerleştirilmiş bir yeniden oluşturma modeli de. Tek bir ağ.
World Labs, Atlas'ın geçen kasım ayında piyasaya çıkan sahne üretim ürünü Marble'ın "gelecekteki sürümlerine güç vereceğini" ve eğitim hesaplama kapasitesi arttıkça dil modellerine benzer biçimde geliştiğini söylüyor. Erişim, seçilen iş ortakları için başvuru yoluyla sağlanıyor. Herhangi bir fiyatlandırma veya herkese açık API yok.
Üç iş, tek model
İlk iş, kamera kontrollü üretim. Atlas'a bir görüntü ve kamera rotası verdiğinizde, bu rota boyunca 1440p çözünürlükte bir dakikaya kadar video oluşturuyor. Kamera, metinsel bir ipucu yerine açık bir geometrik girdi olduğu için model rotadan sapamıyor. World Labs, kamera kontrollü üretimde güncel beş video modeline karşı insan tercih testleri gerçekleştirdi ve değerlendiricilerin MiniMax H3 yerine zamanın %75'inde, Gemini Omni Flash yerine %81'inde, Happy Horse 1.1 yerine %86'sında, FLUX 3 yerine %93'ünde ve Seedance 2.5 yerine %94'ünde Atlas'ı seçtiğini bildiriyor.
İkinci iş yeniden oluşturma ve bugün olsa para ödeyeceğim kısım da bu. Atlas'a gerçek bir mekânın bir ila yüzü aşkın fotoğrafını verdiğinizde, kamera konumlarını da belirleyerek bir nokta bulutu veya Gaussian splat sahnesi üretiyor. World Labs, Atlas'ın DTU, ETH3D, KITTI ve ScanNet gibi standart kıyaslamalardaki ortalama mutlak göreli hata bakımından Pi3X ve VGGT dâhil, özellikle 3D yeniden oluşturma için geliştirilmiş modelleri geride bıraktığını; iki veya üç görüntüyle "aslına sadık sonuçlar sunduğunu ve özelleşmiş 3D modellerden daha iyi performans gösterdiğini" iddia ediyor. Yeniden oluşturma ve üretim aynı ağda yer aldığı için model çıkarım da yapabiliyor: ona sokak seviyesinden tek bir fotoğraf verdiğinizde, hiçbir girdide bulunmayan kuş bakışı bir mahalle görünümü üretebiliyor.
Üçüncü iş simülasyon. Atlas, kaydedilmiş bir videoyu üç ila beş yeni kamera açısından yeniden çerçeveleyebiliyor; etkileşime girilen katı, eklemli ve deforme olabilen nesneleri modelleyebiliyor ve bir robotun bakış açısından RGB ile derinlik görüntüsü oluşturabiliyor. World Labs, insan müdahalesi olmadan beş robot platformunu Atlas tarafından üretilen ortamlarda birer saat çalıştırdı. Gönderide, "Dünya ve robotun bu dünyaya ilişkin görüşü aynı modelden geliyor" deniyor; şirketin aldığı yatırımı neden alabildiğini açıklayan cümle de bu.
Gerçekten simülasyona geçiş aracı olarak Atlas: ortam ve robotun sensör görünümü aynı modelden geliyor. Görsel: World Labs.
Alışıldık ihtiyat payı
Bunlar, üreticinin kendi seçtiği testlerden elde edilen üretici verileri ve World Labs de "Atlas'ın yapabileceklerini tek bir kıyaslamanın yansıtamayacağını" kabul ederek bunu açıkça belirtiyor. Tercih testleri, Atlas'ın özellikle tasarlandığı ancak diğer video modellerinin tasarlanmadığı kamera kontrolü görevinde yürütülmüş. Yeniden oluşturma karşılaştırmaları, yayımlanmış metriklere sahip herkese açık veri kümelerinde yapıldıkları için daha anlamlı; ancak erken erişim listesinin dışından henüz kimse bunları bağımsız olarak çalıştırmadı.
Duyuruyu değerlendirirken bağlam da önemli. World Labs, şubat ayında Autodesk, Andreessen Horowitz, Nvidia ve AMD'den, bildirilen 5 milyar dolarlık değerleme üzerinden 1 milyar dolarlık Seri B yatırımı aldı. Robotik tarafının kökleri ise şirketin temmuz ayında satın aldığı SceniX'e uzanıyor. Atlas, bu yatırımın ve satın almanın ürünü; kullanıcılara olduğu kadar iş ortaklarına ve gelecekteki yatırımcılara da sunuluyor.
Oyun geliştiriyorsanız bu ne anlama geliyor?
Dünya modellerini tüm yıl boyunca takip ediyoruz çünkü oyunların geliştirilme biçimine yönelik en inandırıcı meydan okumayı bunlar oluşturuyor. Temmuz ayında MIRA, herhangi bir oyun motoru olmadan oynanabilir bir Rocket League maçı çalıştırdı ve Google'ın Genie serisi giderek daha uzun süreleri destekliyor. Atlas ise soruna farklı bir yönden yaklaşıyor. Oyun döngüsünün kendisi olmaya çalışmıyor. Oyun döngüsünün içinde çalışacağı dünyayı üreten şey olmaya çalışıyor.
Bu, yakın vadede bizim ve muhtemelen sizin için daha kullanışlı. Splat'lerde ve nokta bulutlarında çarpışma, navigasyon veya oynanış özellikleri bulunmuyor; dolayısıyla biri bunları mesh'lere ve collider'lara dönüştürme sorununu çözene kadar "3D dünya üretmek", hâlâ "arka plan üretmek" anlamına geliyor. Ancak iki veya üç telefon fotoğrafından, içinde kamerayla gezilebilen bir sahne oluşturmak, her küçük ekibin istediği ortam tasarımı kestirmesi. Atlas bunu kıyaslamaların söylediği kadar iyi yapıyorsa asıl ilginç mühendislik sorusu, bir splat'ten oynanış geometrisinin nasıl çıkarılacağı hâline geliyor. Bu da şu anda karşı karşıya olduğumuz soruna tercih edeceğimiz bir sorun.
Dürüst değerlendirme şu: ortada güçlü bir makale ve bir başvuru formu var. World Labs dışından biri modeli çalıştırdığında yeniden yazacağız.