DreamFusion是谷歌推出的文本转3D模型。

DreamFusion是由Google Research开发的一种文本到3D合成技术，它利用2D扩散模型来生成高质量的3D模型。这项技术通过结合扩散模型和神经辐射场（NeRF）来实现，无需依赖大规模的3D训练数据。具体来说，DreamFusion的工作流程如下：

1. 生成阶段：使用预训练的2D文本到图像扩散模型（如Imagen），根据给定的文本提示生成多个2D视图。这些视图涵盖了不同视角的图像，确保3D模型的多面性。
2. 表示阶段：采用Mip-NeRF作为3D表示方法，通过优化随机初始化的NeRF模型来生成3D几何体。这个过程利用了分数蒸馏采样（SDS）方法，通过比较扩散模型生成的2D图像与NeRF渲染的2D图像来调整3D模型参数，使得3D模型能够准确地反映文本描述的内容。
3. 优化过程：DreamFusion通过梯度下降法不断优化3D模型，使从随机角度渲染的2D图像达到低损失状态。这一过程不需要反向传播，因为扩散模型能够直接预测更新方向，从而加速了模型的训练。
4. 输出结果：生成的3D模型不仅具有几何形状，还包含纹理信息，能够进行不同的光照条件渲染，并且可以导出为网格文件，供进一步加工和使用。

特点与优势

• 无需3D数据：DreamFusion不依赖于3D训练数据，仅使用2D扩散模型进行训练，克服了3D数据稀缺的问题。
• 高质量生成：通过扩散模型的先验知识和NeRF的表示能力，生成的3D模型质量高，细节丰富。
• 多视角一致性：生成的3D模型在不同视角下保持一致性，能够生成逼真的图像。
• 可扩展性：DreamFusion可以处理各种文本提示，适用于多种场景和对象的生成。

限制与挑战

• 分辨率限制：当前DreamFusion使用的扩散模型输出分辨率有限，可能影响最终3D模型的细节。
• 多样性不足：使用SDS方法生成的2D图像样本缺乏多样性，3D结果在随机种子间的差异较小。
• 过饱和与过平滑：SDS方法可能产生过饱和和过平滑的结果，需要进一步优化。

应用前景

DreamFusion为文本到3D内容生成开辟了新的途径，尤其在元宇宙内容创建、游戏开发、动画制作等领域具有广泛的应用前景。通过结合2D扩散模型和NeRF，DreamFusion展示了利用现有技术解决3D生成难题的潜力，为AI生成高质量3D内容提供了有力工具。