Meshy 7 bietet etwas, das seltener ist als ein neues Modell: eine Möglichkeit, es zu überprüfen
Meshy veröffentlichte Meshy 7 am 10. August und kündigte es am 12. August öffentlich an. Es handelt sich um ein neues Foundation Model für Bild-zu-3D, das das Unternehmen auf eine einzige Eigenschaft optimiert hat: die Geometrieübereinstimmung, also darauf, wie genau die erzeugte Form dem vorgegebenen Bild entspricht.
Das ist ein enger gefasstes Versprechen, als es bei solchen Veröffentlichungen üblich ist – und ein nützlicheres. Die meisten Ankündigungen zu Bild-zu-3D stützen sich auf Rundum-Renderings eines Vorzeige-Assets. Diese zeigen, dass das Modell etwas Beeindruckendes erzeugen kann, sagen aber nichts darüber aus, ob es tatsächlich das Gewünschte erzeugt hat. Wer schon einmal Concept Art in einen 3D-Generator eingegeben hat, kennt den Fehler, der wirklich Zeit kostet. Das Mesh sieht gut aus. Aber es ist nicht dein Design.
Der Benchmark ist die interessante Hälfte
Zusammen mit dem Modell veröffentlichte Meshy die Methodik hinter einem Geometrie-Benchmark sowie dessen erste Ergebnisse. Meshy 7 erreicht 81,0 % bei den Gesamtproportionen, 79,7 % bei der räumlichen Verteilung und 59,8 % bei den Oberflächendetails und liegt damit in allen drei Kategorien vor vier konkurrierenden Bild-zu-3D-Modellen. Der größte Vorsprung zeigt sich unter Single-View-Bedingungen bei den Oberflächendetails: 5,3 Prozentpunkte vor dem nächstbesten Modell. Die Tests umfassten eine Vorderansicht, eine erhöhte Ansicht schräg von oben und Kombinationen aus vier Ansichten. Bei der Eingabe aus nur einer Ansicht entsteht der entscheidende Abstand, denn mit Multi-View-Eingaben schrumpft das Feld auf einen Unterschied von ungefähr zwei Punkten zusammen.
Keines der getesteten Modelle erreicht bei Oberflächendetails aus einem einzelnen Bild 60 %. Diese Zahl ist die ehrliche Schlagzeile der Veröffentlichung und beschreibt den Stand der Technik treffend: Proportionen sind weitgehend gelöst, feine Oberflächengeometrie ist es nicht.
Meshys veröffentlichter Geometrie-Benchmark, in dem Meshy 7 gegen vier nicht genannte Konkurrenten bewertet wird. Diagramm: Meshy.
Die Methodik verdient besondere Aufmerksamkeit. Meshy bewertete die erzeugte Geometrie direkt anhand von Referenzmodellen, die nicht im Training verwendet wurden, statt menschliche Präferenzabstimmungen durchzuführen oder ein Vision-Language-Modell urteilen zu lassen. Der Vergleich von Geometrie mit Geometrie macht es unnötig, die Kamera des Ausgangsbilds zu schätzen. Außerdem kann ein Modell Proportionsfehler nicht verbergen, indem es die Geometrie entlang einer Achse skaliert, bis die Silhouette übereinstimmt. Auf Modellseite verarbeitet der Bild-Encoder die Eingabe nun in mehreren Größen und mit höherer Auflösung. Dadurch bleiben feine Formen bis zur Generierung erhalten, statt herausgemittelt zu werden. Zudem wurden die Trainingsdaten neu aufgebaut, sodass jedes Beispiel exakt seiner Zielgeometrie entspricht und Stil, Beleuchtung sowie Hintergrund entfernt wurden.
Der offensichtliche Vorbehalt gilt hier uneingeschränkt. Es handelt sich um Zahlen des Anbieters aus einem Benchmark, den der Anbieter selbst entwickelt hat, im Vergleich mit vier Konkurrenten, deren Namen er nicht nennt. Unite.AI formulierte es in seinem Artikel treffend: Der übliche Abschlag ist angebracht. Laut Meshy wird der Benchmark selbst nach dem Start separat veröffentlicht. Dann lässt sich die Behauptung überprüfen, denn entscheidend ist nicht, ob Meshy 7 bei den von Meshy ausgewählten Referenzen gewinnt. Texturen sind ein separates Problem mit einer eigenen Frage der Übereinstimmung, und Meshy zufolge soll später auch ein Textur-Benchmark folgen.
Was das für die Generierung von Props bedeutet
Wir setzen Bild-zu-3D in der Produktion ein, daher ist dies für uns eine praktische Frage und keine Diskussion über Ranglisten. Tencents Hunyuan3D-Reihe und Tripo gehören beide zu unserem Stack, und wir haben bereits darüber geschrieben, was Meshy über Assets hinaus entwickelt.
Referenzbild, Rohgeometrie und anschließend das texturierte Ergebnis für Gesichtsausdrücke, mechanische Objekte mit harten Oberflächen und Reliefschnitzereien. Bilder: Meshy.
Die Übereinstimmung ist die wichtigste Kennzahl für Spielinhalte. Sie wird unterschätzt, weil sie wenig glamourös ist. Ein Prop, das wunderschön, aber 20 % zu breit ist, funktioniert nicht mehr, sobald es in einer Szene neben einem bereits gebauten Türrahmen steht. Weichen die Proportionen einer Figur von der Concept Art ab, muss das Rig neu erstellt werden. Wenn man ein Dutzend Props für ein Level generiert, liegen die Kosten eines Beinahetreffers nicht im Rendering. Sie entstehen dadurch, dass jemand die Abweichung erkennen und einen weiteren Durchlauf starten muss. Jeder zusätzliche Punkt bei der Proportionsgenauigkeit bedeutet einen Wiederholungsversuch weniger.
Es gibt noch einen weiteren Grund, diese Entwicklung zu verfolgen: Anhand zurückgehaltener Referenzen bewertete Geometrie ist eine Messmethode, die jeder übernehmen kann. Wenn der Benchmark wie beschrieben erscheint und andere Labore ihn einsetzen, erhält Bild-zu-3D einen gemeinsamen Maßstab statt einer Galerie aus Best-Case-Renderings. Für Menschen, die Spiele veröffentlichen, wäre das wertvoller als jede einzelne Modellveröffentlichung – einschließlich dieser.
Meshy 7 ist in allen Abonnementstufen verfügbar, wobei Modelldownloads Pro-Abonnenten und höheren Stufen vorbehalten sind. Der Ultra Mode unterstützt vorerst nur eine einzelne Ansicht; Multi-View soll bald folgen. Das Unternehmen nahm in einer Series-B-Finanzierungsrunde bei einer Bewertung von 1,5 Milliarden US-Dollar fast 400 Millionen US-Dollar ein. Das ist der Kontext dafür, dass es in derselben Woche ein Foundation Model und einen Benchmark veröffentlicht.