TRELLIS.2 : le modèle open source de Microsoft transforme des images en ressources 3D PBR en quelques secondes
Microsoft Research a publié TRELLIS.2, un modèle de transformation d’images en 3D doté de 4 milliards de paramètres, qui génère des ressources 3D texturées avec des matériaux PBR complets. Il est open source, sous licence MIT et rapide : 3 secondes à une résolution de 512³, 17 secondes à 1024³ et 60 secondes à 1536³ sur une NVIDIA H100.
TRELLIS de Microsoft transforme des images 2D en modèles 3D entièrement texturés
Ce qu’il génère
Contrairement aux précédents modèles de transformation d’images en 3D, qui produisent des maillages basiques avec des couleurs de sommets précalculées, TRELLIS.2 crée des textures PBR complètes : albédo, métallicité, rugosité, normales et opacité. Ce sont les mêmes textures que celles attendues par les moteurs de jeu et les pipelines de rendu, ce qui permet d’importer directement les ressources générées dans Blender, Unreal Engine ou Unity sans avoir à configurer manuellement les matériaux.
Le modèle utilise des transformeurs d’appariement de flux et une nouvelle représentation appelée O-Voxel. O-Voxel est une structure de voxels clairsemés « sans champ », avec une compression spatiale de 16×, capable de gérer n’importe quelle topologie. Cela inclut les surfaces ouvertes, les géométries non-manifold et les structures internes que les précédentes méthodes d’isosurface ne pouvaient pas représenter.
Vitesse et résolution
La vitesse de génération varie en fonction de la résolution :
| Résolution | Temps (H100) |
|---|---|
| 512³ | ~3 secondes |
| 1024³ | ~17 secondes |
| 1536³ | ~60 secondes |
La conversion d’un maillage en O-Voxel prend moins de 10 secondes sur CPU. La reconversion d’O-Voxel en maillage prend moins de 100 millisecondes avec l’accélération CUDA.
Comparaison avec TRELLIS 1
TRELLIS.2 double le nombre de paramètres, qui passe de 2 à 4 milliards. Le TRELLIS d’origine pouvait générer une géométrie correcte, mais ne disposait pas de véritables matériaux PBR. La version 2 ajoute un pipeline de matériaux complet, prend en charge des topologies plus complexes et fonctionne à des résolutions supérieures.
Tutoriel : créer des modèles 3D à partir d’images 2D avec TRELLIS
Comment l’utiliser
Il existe plusieurs façons d’exécuter TRELLIS.2 :
Démo Hugging Face. Une démo web gratuite permet d’importer une image et de récupérer un modèle 3D sans aucune installation locale.
Déploiement local. Le dépôt GitHub comprend des images Docker pour l’installation locale. Pour une utilisation confortable, vous aurez besoin d’un GPU NVIDIA doté d’au moins 24 Go de VRAM.
Intégration à ComfyUI. Des nœuds ComfyUI créés par la communauté permettent d’intégrer TRELLIS.2 à des workflows de génération existants aux côtés d’autres outils d’IA.
Pourquoi c’est important
La transformation open source d’images en 3D progresse régulièrement, mais la plupart des modèles produisent soit une géométrie correcte avec de mauvaises textures, soit des résultats visuellement convaincants dont la topologie ne résiste pas à un examen attentif. TRELLIS.2 résout ces deux problèmes en générant une géométrie propre, accompagnée de véritables matériaux PBR, à des résolutions adaptées à la production. La licence MIT permet de l’utiliser commercialement sans restriction.
Pour les développeurs de jeux et les artistes 3D, il s’agit d’un outil de prototypage pratique. Importez une image de concept art, obtenez un modèle 3D texturé en quelques secondes, puis affinez-le.