来看看三星用人工智能技术渲染的场景有多逼真

来看看三星用人工智能技术渲染的场景有多逼真

根据国外媒体报道，来自三星人工智能部门的三位研究人员最近开发了一种新的神经网络技术，能够从视频中以独特的新视角呈现出非常逼真的图形场景。

在上面的视频中我们看到了一个比较复杂场景的3D渲染画面。它将视频输入画面转换成多个能够代表场景几何形状的点来进行创建。而这些点可以形成云数据，然后被输入到神经网络中，神经网络技术可以将这些点呈现为计算机图形画面。

外媒与三星的研究人员、该团队论文的作者之一德米特里·乌里扬诺夫(Dmitry Ulyanov)取得了联系，了解了关于关于该项目的更多信息。

渲染图像的流程如下：首先使用普通的摄像机扫描目标，使用普通的软件（如 Agisoft Metashape）生成 3D 点云，将点云和视频输入神经网络，这样就可以渲染目标图片了。在推断过程中只需要点云和学习到的描述器。

算法的核心是一个 8 维的描述器（descriptor），从云中的每个点上进行学习，而不是常见的 3 维 RGB 色彩。神经网络渲染器解释这个描述器，并输出 RGB 图像。研究人员在 Scannet 数据集上训练了这个网络，提升模型的泛化能力。

乌里扬诺夫表示，这个想法的宗旨是要学会从任何角度来渲染场景。而作为唯一的输入信息是用户以相当自由的方式来制作场景视频。在这些视频中，三星展示了从一个新的视角对场景的渲染效果，比如我们从火车视频中获取摄像头的轨迹，并将其移动一定幅度，而这就是这项技术生成新轨迹的方式。

乌里扬诺夫与同事卡拉·阿里·阿利耶夫(Kara-Ali Aliev)、维克多·兰普茨基(Victor Lempitsky)合作开发了这种神经网络。目前，该技术已经可以处理视角的轻微变化，比如缩放或移动摄像头的效果。我们可以在上面的视频中看到的不是原始输入效果，而是渲染之后的画面。

训练过程中，研究人员将从多场景中学习 ConvNet，并泛化到其它场景中。在测试过程中，对于未见的 RGB(D) 图像，他们重复训练流程，但是会固定 ConvNet 的权重，只优化点云描述器。有了描述器和训练好的网络，模型就可以从各种各样的视角渲染新场景。

看看这些并排排列的渲染画面和最接近真相环境的图片(左边的是人工智能渲染效果，右边的是最接近原始视频输入的匹配画面)：

通常来说，这种渲染使用的网格，主要定义了空间中物体的几何形状叠加来完成。这些方法不仅非常耗时、对处理器的负担更大，而且还需要人工进行专业知识的干预。但这种新型基于神经网络的系统可以用相对较少的资源在一小部分时间内创建出结果。

乌里扬诺夫表示：“传统的真实感渲染方法，如光线跟踪，实际上需要大量的计算资源。这对于使用Blender、3DS Max等软件的3D建模人员来说，虽然成片两分钟实际上是很短的时间，但有时要等上好几个小时才能完成渲染过程。在很多情况下，建模人员的任务是重现一个真实的场景，所以他们首先会花时间建模，然后等待计算机完成每一帧的渲染。而使用我们的方法，只需要一个场景的真实视频，然后等待10分钟来让系统学习场景。当场景学习完毕之后，渲染每帧只需要20毫秒。”

当然，这项工作目前尚处于起步阶段，乌里扬诺夫表示，目前该系统看起来仍然相当“愚蠢”，因为它只能试图重现一个场景的视频，而且不能以任何方式对场景进行。还有任何与原始视角有大角度偏离的画面都会导致渲染失败。

但是如果有人还记得几年前英伟达的StyleGAN效果是多么“脆弱”的情况，就会知道一旦我们掌握了更先进的技术，那么在人工智能的世界里，这项技术的发展速度究竟会有多快。

在今天我们会看到一个通过人工智能网络渲染出逼真的图像从视频输入实时更新新的视角，甚至还包括透视相关的功能，如光线的反射和阴影。也许未来有一天，我们可以戴上虚拟现实头戴设备，在我们最喜欢的电影场景中漫步。想象一下，还可以在自己的家中通过训练神经网络，然后通过任何角度去还愿自己当时的记忆。

目前来看我们可能还没有技术能力完全做到这一点，但至少已经看到了希望。乌里扬诺夫表示，该小组已经开发了一款独立的应用，可以让我们未来在虚拟场景中以第一人称视角实现“自由旅行”。