Skip to content

Meshy 7 带来的不只是新模型,还有更罕见的东西:一种检验它的方法

Meshy 于 8 月 10 日推出 Meshy 7,并在 8 月 12 日正式对外发布。这是一款全新的图像转 3D 基础模型,该公司围绕一个特性对它进行了专门调优:几何对齐,也就是模型生成的形状与输入图片的匹配程度。

与这类产品通常的宣传口径相比,这个目标更聚焦,也更实用。大多数图像转 3D 产品发布都依靠某个主打资产的转台渲染来展示效果。这些渲染只能说明模型可以生成令人惊艳的东西,却无法说明它生成的是不是你真正想要的东西。任何把概念图输入 3D 生成器的人,都知道哪种失败才真正浪费时间:网格看起来很好,但那不是你的设计。

基准测试才是更有意思的部分

在发布模型的同时,Meshy 还公布了一套几何基准测试背后的方法及首批结果。Meshy 7 在整体比例、空间分布和表面细节三个项目上分别获得 81.0%、79.7% 和 59.8% 的分数,三个项目均领先于另外四款图像转 3D 模型。差距最大的是表面细节:在单视图条件下,它比第二名高出 5.3 个百分点。测试覆盖了正视图、抬高的顶部四分之三视图以及四视图组合。真正拉开差距的是单视图测试,因为使用多视图输入后,各模型之间的差距会缩小到约两个百分点。

在单张图片生成表面细节的测试中,没有任何参测模型超过 60%。这个数字才是此次发布最诚实的标题,也准确描述了这项技术目前所处的阶段:比例问题已基本解决,精细表面几何仍未解决。

几何质量基准测试,对比 Meshy 7 与四款领先图像转 3D 模型在整体比例、空间分布和表面细节方面的表现

Meshy 公布的几何基准测试,对 Meshy 7 与四家未具名竞争对手进行评分。图表:Meshy。

真正值得关注的是它的方法。Meshy 将生成的几何体直接与未参与训练的参考模型进行比较,而不是发起人类偏好投票,也没有让视觉语言模型担任评委。几何体对几何体的比较绕开了估算源图像相机参数的难题,也防止模型通过沿某个轴缩放、让轮廓匹配的方式掩盖比例误差。在模型层面,图像编码器现在会以多种尺度读取输入,并支持更高分辨率,因此精细形状可以保留到生成阶段,而不会在处理过程中被平均掉。训练数据也经过了重建,确保每个样本都与其目标几何体精确对应,同时去除了风格、光照和背景。

显而易见的注意事项在这里完全适用:这些是厂商在自己设计的基准测试上得出的数据,对手是四款厂商拒绝透露名称的模型。Unite.AI 在报道中的说法很准确:一如既往,应当对这类数据打些折扣。Meshy 表示,这套基准测试将在产品发布后单独推出。到那时,这项主张才真正可验证,因为问题不在于 Meshy 7 能否在 Meshy 自己挑选的参考模型上获胜。纹理是另一个独立问题,也有其自身的对齐挑战;Meshy 表示,纹理基准测试将在之后推出。

如果你在生成道具,这意味着什么

我们在生产环境中使用图像转 3D,因此这对我们来说是一个实际问题,而不是排行榜上的争论。腾讯的混元 3D 系列和 Tripo 都在我们的技术栈中,我们之前也介绍过 Meshy 在资产之外构建的东西

Meshy 7 在三类对象上的生成结果:基于参考半身像的面部表情、根据概念图生成的硬表面发条鸟,以及浮雕作品;每类均展示参考图像、原始几何体和纹理化结果

面部表情、硬表面机械结构和浮雕三类对象的参考图像、原始几何体与纹理化结果。图片:Meshy。

对游戏内容而言,对齐是最重要的指标,却常因不够吸引眼球而被低估。一件漂亮但宽了 20% 的道具,一旦放进场景、摆在别人已经搭好的门框旁边,立刻就会露馅。角色比例如果偏离概念图,就会迫使团队重新制作绑定。当你为一个关卡生成十几件道具时,一次“差一点”的真正成本并不在渲染,而在于你必须先发现这个偏差,然后重新再做一遍。比例准确度每提高一个百分点,就可能少一次人工重试。

这件事值得关注还有另一个原因:使用未参与训练的参考模型对几何体进行评分,是任何人都可以采用的测量方式。如果这套基准测试能如描述般发布,并由其他实验室运行,图像转 3D 领域就将拥有一把共同的标尺,而不再只是陈列一批最佳案例渲染图。对于真正要发布游戏的人来说,这种共同标尺的价值将超过任何单款模型的发布,包括 Meshy 7。

Meshy 7 已向各个订阅层级开放,但模型下载功能仅限 Pro 及以上套餐。Ultra Mode 目前只支持单视图,据称多视图支持很快就会跟进。该公司以 15 亿美元估值完成了接近 4 亿美元的 B 轮融资,这也是它能在同一周发布基础模型和基准测试的背景。

参考资料