TRELLIS.2: Microsoft'un açık kaynaklı görüntüden 3D'ye modeli saniyeler içinde PBR varlıklar üretiyor
Microsoft Research, eksiksiz PBR malzemelere sahip dokulu 3D varlıklar üreten, 4 milyar parametreli görüntüden 3D'ye modeli TRELLIS.2'yi yayımladı. MIT lisanslı, açık kaynaklı ve hızlı: NVIDIA H100 üzerinde 512³ çözünürlükte 3 saniye, 1024³ çözünürlükte 17 saniye ve 1536³ çözünürlükte 60 saniye.
Microsoft'un TRELLIS modeli, 2D görüntüleri tamamen dokulu 3D modellere dönüştürüyor
Neler üretiyor?
Gömülü köşe renklerine sahip temel ağlar oluşturan önceki görüntüden 3D'ye modellerin aksine TRELLIS.2; albedo, metaliklik, pürüzlülük, normal ve opaklık dahil olmak üzere eksiksiz PBR malzeme haritaları üretir. Bunlar, oyun motorlarının ve görüntü işleme işlem hatlarının beklediği haritalarla aynıdır. Dolayısıyla üretilen varlıklar, elle malzeme kurulumu gerekmeden doğrudan Blender, Unreal Engine veya Unity'ye aktarılabilir.
Model, akış eşleştirmeli transformer'lar ve yeni bir O-Voxel temsili kullanıyor. O-Voxel, rastgele topolojileri işleyebilen, 16 kat uzamsal sıkıştırmaya sahip, "alansız" bir seyrek voksel yapısıdır. Buna, önceki izoyüzey yöntemlerinin temsil edemediği açık yüzeyler, manifold olmayan geometriler ve iç yapılar da dahildir.
Hız ve çözünürlük
Üretim hızı çözünürlüğe göre değişir:
| Çözünürlük | Süre (H100) |
|---|---|
| 512³ | ~3 saniye |
| 1024³ | ~17 saniye |
| 1536³ | ~60 saniye |
Ağdan O-Voxel'e dönüştürme işlemi CPU'da 10 saniyeden kısa sürer. O-Voxel'den tekrar ağa dönüştürme ise CUDA hızlandırmasıyla 100 milisaniyeden kısa sürer.
TRELLIS 1 ile karşılaştırması
TRELLIS.2, parametre sayısını 2 milyardan 4 milyara çıkarıyor. Orijinal TRELLIS yeterli düzeyde geometri üretebiliyor, ancak uygun PBR malzemeler sunmuyordu. Sürüm 2; eksiksiz malzeme işlem hattını ekliyor, daha karmaşık topolojileri işliyor ve daha yüksek çözünürlüklerde çalışıyor.
Eğitim: TRELLIS ile 2D görüntülerden 3D modeller oluşturma
Nasıl kullanılır?
TRELLIS.2'yi çalıştırmanın birkaç yolu vardır:
Hugging Face demosu. Ücretsiz web demosu, herhangi bir yerel kurulum yapmadan bir görüntü yüklemenize ve karşılığında bir 3D model almanıza olanak tanır.
Yerel dağıtım. GitHub deposu, yerel kurulum için Docker imajları içerir. Sorunsuz kullanım için en az 24 GB VRAM'e sahip bir NVIDIA GPU gerekir.
ComfyUI entegrasyonu. Topluluk tarafından geliştirilen ComfyUI düğümleri, TRELLIS.2'yi diğer yapay zekâ araçlarıyla birlikte mevcut üretim iş akışlarına dahil etmenizi sağlar.
Bu neden önemli?
Açık kaynaklı görüntüden 3D'ye teknolojisi istikrarlı biçimde gelişiyor. Ancak çoğu model ya zayıf dokulara sahip yeterli geometri üretiyor ya da topolojiyi yakından incelediğinizde dağılan, güzel görünümlü sonuçlar sunuyor. TRELLIS.2, üretimde kullanılabilecek çözünürlüklerde uygun PBR malzemelerle temiz geometri oluşturarak her iki sorunu da ele alıyor. MIT lisansı, modeli ticari amaçlarla herhangi bir kısıtlama olmadan kullanabileceğiniz anlamına geliyor.
Bu, oyun geliştiricileri ve 3D sanatçıları için kullanışlı bir prototipleme aracıdır. Bir konsept çizimini yükleyin, saniyeler içinde dokulu bir 3D model elde edin ve ardından modeli geliştirin.