TRELLIS.2: Microsoft का open-source image-to-3D मॉडल सेकंड में PBR एसेट बनाता है
Microsoft Research ने TRELLIS.2 जारी किया, एक 4 अरब पैरामीटर वाला image-to-3D मॉडल जो पूरे PBR materials के साथ textured 3D एसेट बनाता है। यह MIT लाइसेंस वाला, open source और तेज़ है: NVIDIA H100 पर 512 cubed रिज़ॉल्यूशन पर 3 सेकंड, 1024 cubed पर 17 सेकंड और 1536 cubed पर 60 सेकंड।
Microsoft का TRELLIS 2D images को पूरी तरह textured 3D मॉडल में बदलता हुआ
यह क्या बनाता है
पुराने image-to-3D मॉडल baked vertex colors के साथ सादे meshes देते थे, लेकिन TRELLIS.2 पूरे PBR material maps बनाता है: albedo, metallic, roughness, normal और opacity। ये वही maps हैं जिनकी game engines और rendering pipelines को ज़रूरत होती है, यानी बनाए गए एसेट बिना किसी manual material setup के सीधे Blender, Unreal Engine या Unity में जा सकते हैं।
यह मॉडल flow-matching transformers और एक नए O-Voxel representation का इस्तेमाल करता है। O-Voxel एक "field-free" sparse voxel structure है जिसमें 16x spatial compression होता है और यह किसी भी topology को संभाल लेता है। इसमें open surfaces, non-manifold geometry और ऐसी internal structures शामिल हैं जिन्हें पुराने iso-surface तरीके दिखा नहीं पाते थे।
स्पीड और रिज़ॉल्यूशन
generation की स्पीड रिज़ॉल्यूशन के साथ बदलती है:
| रिज़ॉल्यूशन | समय (H100) |
|---|---|
| 512³ | ~3 सेकंड |
| 1024³ | ~17 सेकंड |
| 1536³ | ~60 सेकंड |
Mesh-to-O-Voxel कन्वर्ज़न CPU पर 10 सेकंड से कम लेता है। O-Voxel से वापस mesh बनाने में CUDA acceleration के साथ 100 milliseconds से कम लगता है।
TRELLIS 1 से तुलना
TRELLIS.2 पैरामीटर की संख्या 2 अरब से बढ़ाकर 4 अरब कर देता है। मूल TRELLIS ठीक-ठाक geometry बना लेता था लेकिन उसमें सही PBR materials नहीं थे। वर्ज़न 2 पूरी material pipeline जोड़ता है, ज़्यादा जटिल topology संभालता है और ऊंचे रिज़ॉल्यूशन पर चलता है।
ट्यूटोरियल: TRELLIS के साथ 2D images से 3D मॉडल बनाना
इसे कैसे इस्तेमाल करें
TRELLIS.2 चलाने के कई तरीके हैं:
Hugging Face demo. एक मुफ्त web demo से आप एक image अपलोड करके बिना किसी local setup के 3D मॉडल पा सकते हैं।
Local deployment. GitHub repository में local installation के लिए Docker images शामिल हैं। आराम से चलाने के लिए आपको कम से कम 24GB VRAM वाला NVIDIA GPU चाहिए होगा।
ComfyUI integration. कम्युनिटी के बनाए ComfyUI nodes आपको TRELLIS.2 को दूसरे AI tools के साथ मौजूदा generation workflows में जोड़ने देते हैं।
यह क्यों मायने रखता है
Open-source image-to-3D लगातार बेहतर होता रहा है, लेकिन ज़्यादातर मॉडल या तो ठीक-ठाक geometry के साथ खराब textures देते हैं या फिर देखने में अच्छे रिज़ल्ट देते हैं जो topology जांचने पर बिखर जाते हैं। TRELLIS.2 दोनों का हल देता है, क्योंकि यह production के काम लायक रिज़ॉल्यूशन पर साफ geometry और सही PBR materials बनाता है। MIT लाइसेंस का मतलब है कि आप इसे बिना किसी रोक के commercial तौर पर इस्तेमाल कर सकते हैं।
game developers और 3D artists के लिए यह एक काम का prototyping tool है। एक concept art image डालिए, सेकंड में textured 3D मॉडल पाइए और वहां से आगे उसे निखारिए।