NVIDIA发布研究论文：深入探讨AI生成画面与传统游戏引擎结合的方法

NVIDIA的DLSS深度学习采样技术是目前显卡界最强的防狗牙技术，但AI的强大当然不会止于此。NVIDIA昨天发布的一篇研究论文探讨了AI生成画面与传统游戏引擎结合的方法，他们也为此制作了一个混合图形系统原型。

虽然NVIDIA所使用的算法和构架思路前人早已提供，比如pix2pix、GAN(对抗生成式神经网络)，不过NVIDIA在此实现的新突破，则是借助这些现有的东西，用它们制作了一个能跑起来的游戏demo，尽管这个驾驶模拟demo很简陋，而且跑的成本有些高(NVIDIA用了块Titan V)，从无到有这一过程总有它的特殊意义在。

为实现该demo，NVIDIA首先喂给GAN模型一堆从自动驾驶中获得的开源数据组，让AI学习辨识画面中的内容如天空，车辆，树木道路以及建筑等等，随后交由其自己根据学习数据生成这些物体的新状态;接下来是准备虚拟环境，用虚幻4引擎以传统方式构建出车辆所处环境的基本拓扑;最后，GAN模型会把构成画面的各种元素实时生成出来传递给虚幻4引擎，更新画面的模型信息。

在demo成型的初期，GAN模型的表现非常不稳定，在25fps的帧率条件下它所传递的物体颜色和贴图信息几乎每帧都会改变，画面相当瞎眼;在为模型加入短时记忆之后，通过对比两帧画面，整套系统会自行判断画面内物体的运动，让整体动画看起来更具关联性，更像是连续行进中的游戏画面。

NVIDIA强调称该技术仍处于实验室的早期阶段，没个十年二十年恐怕不会出现在我们最终能玩到的游戏内。但是这类AI玩法我们其实已经在“根据人脸塑造自己的3D角色形象”，还有深度伪图等实例中见过了，也许它所要花的时间，会比我们想象中的要短。

关键词： NVIDIA 显卡

推荐DIY文章

主机存在磨损或划痕风险 PICO4便携包宣布召回

穿越湖海！特斯拉Cybertruck电动皮卡可以当“船”用

vivoXFold+折叠旗舰开售 配备蔡司全焦段旗舰四摄

飞凡R7正式上市 全系标配换电架构

中兴Axon30S开售 拥有黑色蓝色两款配色

荣耀MagicBookV14 2022正式开售 搭载TOF传感器