Nvidia研究人员提出用2D图像生成3D对象的渲染框架的方法

（题图 via TechSpot）

DIB-R 的全称是“基于可微分插值计算的渲染器”，底层由 PyTorch 机器学习框架构建。在本周于温哥华举办的年度神经信息处理系统会议上，英伟达研究团队介绍了他们的最新进展。

该框架的工作原理，几乎是与 GPU 的日常工作反过来干。它需要分析 2D 图像，然后形成一个高保真的 3D 对象，包括形状、纹理、颜色和照明。

编解码器的体系结构，会从多变球形开始，并使用 2D 图像中给定的信息，对其进行变形处理。值得一提的是，该流程仅需 1 / 10 秒。

若使用单个英伟达 V100 GPU 进行训练，需要对神经网络展开为期 2 天的训练。若使用其它 GPU 进行训练，更需要耗费数周的时间。

在对其投喂了包含鸟类图片的多个数据集之后，DIB-R 能够在给出单个图像时，准确地创建 3D 模型。

不过论文合著者 Jun Gao 表示，该系统还可将任何 2D 图像渲染为 3D 模型：“实际上，这是有史以来的第一次，您几乎可以拍摄任何 2D 图像，并预测相关的 3D 属性”。

研究人员认为，该系统可用于自主式机器人的深度感知应用，从而增强其在现实环境中工作时的安全性和准确性。通过这样的三维化处理，机器人能够更好地导航、以及操纵其需要处理的对象。

据悉，英伟达已将 DIB-R 添加到其 3D 深度学习的 PyTorch GitHub 库中（Kaolin），以帮助研究人员加速 3D 深度学习实验。

本文素材来自互联网