Stability AI 加速 3D 图像生成技术,推出 Stable Fast 3D
生成3D图像曾经是一项复杂且耗时的工作,但随着技术的发展,这一过程已经变得快速和简单。2024年8月1日,Stability AI公司宣布推出了一种名为Stable Fast 3D的新型生成式AI技术,该技术能够从单张图片快速生成3D图像,且生成速度极快,仅需半秒钟。这一技术的进步显著,相较于之前需要数分钟来生成相似结果的模型,Stable Fast 3D的生成速度提高了1200倍。
Stable Fast 3D技术的发展基于Stability AI之前与3D建模供应商Trip AI的合作,该合作始于2023年3月,旨在构建一种快速生成3D资产的技术。在一篇研究论文中,Stability AI的研究人员详细介绍了新模型用于从单张图片快速重建高质量3D网格的创新方法。该系统通过结合几种新颖技术来解决快速3D重建中的常见问题,同时保持速度并提高输出质量。
Stable Fast 3D的核心是一个增强的transformer网络,用于从输入图片生成高分辨率的triplanes,即3D体积表示。该网络设计用于高效处理更高分辨率的图像,而不会大幅增加计算复杂性,从而实现更精细的细节捕捉和减少混叠伪影。
研究人员还详细介绍了一种创新的材料和照明估计方法。材料估计网络使用一种新颖的概率方法预测全局金属和粗糙度值,从而提高图像质量和一致性。
特别值得注意的是,Stable Fast 3D模型能够将3D图像所需的多个元素(包括网格、纹理和材料属性)组合成一个紧凑、即用型的3D资产。
Stability AI以其文本到图像生成技术的Stable Diffusion而闻名,但该公司自2023年11月以来一直在研究3D技术。2024年3月推出的Stable Video 3D带来了基本的相机平移图像查看功能以及3D图像生成质量的提升。Stability AI并未止步于3D,就在上周,该公司宣布推出了Stable Video 4D,为短3D视频生成增加了时间维度。
Stable Fast 3D模型的实用性预计将涵盖设计、建筑、零售、虚拟现实和游戏开发等多个行业。该模型可以通过Stability AI的Stable Assistant聊天机器人和Stability AI API使用,并且还可以在社区许可下通过Hugging Face获得。