NVIDIA发布研究论文:深入探讨AI生成画面与传统游戏引擎结合的方法

NVIDIA的DLSS深度学习采样技术是目前显卡界最强的防狗牙技术,但AI的强大当然不会止于此。NVIDIA昨天发布的一篇研究论文探讨了AI生成画面与传统游戏引擎结合的方法,他们也为此制作了一个混合图形系统原型。

一番深度学习后:NVIDIA AI首次写出虚幻4赛车游戏Demo

虽然NVIDIA所使用的算法和构架思路前人早已提供,比如pix2pix、GAN(对抗生成式神经网络),不过NVIDIA在此实现的新突破,则是借助这些现有的东西,用它们制作了一个能跑起来的游戏demo,尽管这个驾驶模拟demo很简陋,而且跑的成本有些高(NVIDIA用了块Titan V),从无到有这一过程总有它的特殊意义在。

为实现该demo,NVIDIA首先喂给GAN模型一堆从自动驾驶中获得的开源数据组,让AI学习辨识画面中的内容如天空,车辆,树木道路以及建筑等等,随后交由其自己根据学习数据生成这些物体的新状态;接下来是准备虚拟环境,用虚幻4引擎以传统方式构建出车辆所处环境的基本拓扑;最后,GAN模型会把构成画面的各种元素实时生成出来传递给虚幻4引擎,更新画面的模型信息。

一番深度学习后:NVIDIA AI首次写出虚幻4赛车游戏Demo

在demo成型的初期,GAN模型的表现非常不稳定,在25fps的帧率条件下它所传递的物体颜色和贴图信息几乎每帧都会改变,画面相当瞎眼;在为模型加入短时记忆之后,通过对比两帧画面,整套系统会自行判断画面内物体的运动,让整体动画看起来更具关联性,更像是连续行进中的游戏画面。

NVIDIA强调称该技术仍处于实验室的早期阶段,没个十年二十年恐怕不会出现在我们最终能玩到的游戏内。但是这类AI玩法我们其实已经在“根据人脸塑造自己的3D角色形象”,还有深度伪图等实例中见过了,也许它所要花的时间,会比我们想象中的要短。

关键词: NVIDIA 显卡

推荐DIY文章
主机存在磨损或划痕风险 PICO4便携包宣布召回
穿越湖海!特斯拉Cybertruck电动皮卡可以当“船”用
vivoXFold+折叠旗舰开售 配备蔡司全焦段旗舰四摄
飞凡R7正式上市 全系标配换电架构
中兴Axon30S开售 拥有黑色蓝色两款配色
荣耀MagicBookV14 2022正式开售 搭载TOF传感器
it