Meshy 7 arrive avec quelque chose de plus rare qu’un nouveau modèle : un moyen de le vérifier
Meshy a lancé Meshy 7 le 10 août et l’a annoncé publiquement le 12 août. Il s’agit d’un nouveau modèle fondamental de conversion d’image en 3D, que l’entreprise a optimisé pour une seule propriété : l’alignement géométrique, autrement dit la fidélité avec laquelle la forme générée correspond à l’image fournie.
C’est une promesse plus ciblée que celles généralement formulées lors de ce type de lancement, et aussi plus utile. La plupart des annonces de conversion d’image en 3D s’appuient sur des rendus en rotation d’un asset vedette. Ceux-ci montrent que le modèle peut produire quelque chose d’impressionnant, mais ne disent rien sur sa capacité à produire ce que vous lui avez demandé. Quiconque a déjà fourni du concept art à un générateur 3D connaît le type d’échec qui fait réellement perdre du temps. Le maillage est réussi. Mais ce n’est pas votre design.
Le benchmark est la partie la plus intéressante
En parallèle du modèle, Meshy a publié la méthode de son benchmark géométrique ainsi que ses premiers résultats. Meshy 7 obtient 81,0 % pour les proportions globales, 79,7 % pour la distribution spatiale et 59,8 % pour les détails de surface, devançant quatre modèles concurrents de conversion d’image en 3D dans les trois catégories. L’écart le plus important concerne les détails de surface : 5,3 points d’avance sur le deuxième meilleur modèle avec une seule vue en entrée. Les tests couvraient une vue de face, une vue de trois quarts supérieure en plongée et des combinaisons de quatre vues. C’est avec une seule vue que la différence se creuse, car avec plusieurs vues en entrée, l’écart se resserre à environ deux points.
Aucun des modèles testés ne dépasse 60 % pour les détails de surface à partir d’une seule image. Ce chiffre est le véritable enseignement de cette sortie et décrit assez justement l’état actuel de la technologie : les proportions sont en grande partie maîtrisées, mais pas la géométrie fine des surfaces.
Le benchmark géométrique publié par Meshy, comparant Meshy 7 à quatre concurrents non nommés. Graphique : Meshy.
C’est la méthodologie qui mérite l’attention. Meshy a comparé directement la géométrie générée à des modèles de référence exclus de l’entraînement, plutôt que d’organiser des votes de préférence humaine ou de confier l’évaluation à un modèle vision-langage. Comparer la géométrie à la géométrie évite d’avoir à estimer la caméra de l’image source et empêche un modèle de masquer des erreurs de proportions en redimensionnant le résultat sur un axe jusqu’à ce que la silhouette corresponde. Du côté du modèle, l’encodeur d’image analyse désormais l’entrée à plusieurs échelles et accepte une résolution plus élevée. Les formes fines sont ainsi préservées pendant la génération au lieu d’être lissées. Les données d’entraînement ont également été reconstruites afin que chaque échantillon corresponde exactement à sa géométrie cible, sans style, éclairage ni arrière-plan.
La réserve évidente s’applique pleinement. Il s’agit de chiffres fournis par le constructeur sur un benchmark qu’il a lui-même conçu, face à quatre concurrents qu’il a choisi de ne pas nommer. Unite.AI l’a bien résumé dans son article : la prudence habituelle reste de mise. Meshy indique que le benchmark lui-même sera publié séparément après le lancement. C’est à ce moment-là que l’affirmation pourra être vérifiée, car la vraie question n’est pas de savoir si Meshy 7 gagne sur les références choisies par Meshy. Les textures constituent un problème distinct, avec leurs propres enjeux d’alignement, et Meshy indique qu’un benchmark consacré aux textures sera publié ultérieurement.
Ce que cela implique si vous générez des accessoires
Nous utilisons la conversion d’image en 3D en production. Il s’agit donc pour nous d’une question pratique, et non d’un débat de classement. La gamme Hunyuan3D de Tencent et Tripo font tous deux partie de notre stack, et nous avons déjà écrit sur ce que Meshy développe au-delà des assets.
Image de référence, géométrie brute, puis résultat texturé, pour des expressions, des mécanismes en surface dure et une sculpture en relief. Images : Meshy.
L’alignement est la métrique la plus importante pour le contenu de jeu, mais elle est sous-estimée parce qu’elle manque de prestige. Un accessoire magnifique mais 20 % trop large pose problème dès qu’il est placé dans une scène à côté d’un encadrement de porte déjà construit. Un personnage dont les proportions s’écartent du concept art oblige à refaire le rig. Lorsque vous générez une douzaine d’accessoires pour un même niveau, le coût d’un résultat presque correct ne vient pas du rendu : il vient du fait qu’il faut repérer l’écart et recommencer. Chaque point gagné en précision des proportions représente une nouvelle tentative que quelqu’un n’aura pas à lancer.
Autre raison de suivre ce benchmark : mesurer la géométrie par rapport à des références exclues de l’entraînement est une méthode que tout le monde peut adopter. Si le benchmark est publié comme annoncé et que d’autres laboratoires l’utilisent, la conversion d’image en 3D disposera d’un étalon commun au lieu d’une galerie de rendus montrant uniquement les meilleurs cas. Pour les équipes qui commercialisent des jeux, cela aurait plus de valeur que n’importe quel lancement de modèle pris isolément, y compris celui-ci.
Meshy 7 est disponible avec les différentes formules d’abonnement, mais le téléchargement des modèles est réservé aux offres Pro et supérieures. Pour l’instant, le mode Ultra ne prend en charge qu’une seule vue, la prise en charge de plusieurs vues étant annoncée pour bientôt. L’entreprise a levé près de 400 millions de dollars lors d’un financement de série B, sur la base d’une valorisation de 1,5 milliard de dollars. Voilà le contexte dans lequel elle publie un modèle fondamental et un benchmark au cours de la même semaine.