本报记者许心怡吴可仲北京报道
游戏引擎公司Unity近年来动作不断,通过收购和扩大合作向非游戏领域发展。其中一大举动是于2021年出资16亿美元收购WētāDigital。
Wētā Digital是一家知名特效公司,其打造的作品包括《阿凡达》《权力的游戏》《指环王》《猩球崛起》,以及去年底上映、全球影史票房排行第三的《阿凡达:水之道》。
Unity的跨界尝试,或许是游戏技术向外应用的范例之一。Unity中国在接受《中国经营报》记者采访时表示,Unity本身是一款非常强大的实时3D引擎,除了游戏和电影领域,Unity的技术及解决方案已在汽车制造、建筑建造、工业制造、消费文旅和影视娱乐等有所应用。
为开发者提供创作工具
Unity已经建立了支持在任意平台上进行优化的生态系统,不限于配备了高端显卡的PC,还覆盖了Switch、安卓系统和手机。
2021年,Unity宣布收购Wētā Digital时称,希望将后者众多先进的独家视觉特效工具送到全世界数百万创作者和美术师的手中。
“来自Unity Wētā Tools的一整套工具可以帮助游戏开发者实现更高质量的画面效果和更复杂的动作与动画,从而让想象中的虚拟世界更为栩栩如生。”Unity中国相关人士在采访中向记者介绍,Unity已经建立了支持在任意平台上进行优化的生态系统,不限于配备了高端显卡的PC,还覆盖了Switch、安卓系统和手机。
收购完成以后,WētāDigi-tal加入UnityWētā Tools部门,持续完善旗下Manuka、Lumber-jack、Loki、Squid、Barbershop、HighDef和CityBuilder等数十种专利图形和VFX(视觉特效)套件。记者从Unity中国方面了解到,这些工具通过基于云的工作流程提供给不同领域的创作者,也不断融入Unity工作流,为特效画面质量带来变革。
“将来自Wētā Digital的不同工具融入Unity工作流,对我们而言也充满挑战。目前,我们的工程师正着力推进这一进程,持续为全球开发者提供更优秀的创作工具。”Unity中国方面表示,由于此类项目的制作周期通常不短,所以目前还未有可公开的产品案例。
据记者此前了解,游戏制作和电影制作是两个不同的方向,游戏引擎与其他专业软件也有一定区别。例如,游戏引擎需要考虑实时渲染和客户端能力,但在场景精细度方面不如Houdini等CG软件。而WētāDigital此前在电影特效制作领域名声大噪,其工具能否顺利融入Unity平台?
对此,Unity中国方面表示,将WētāDigital的工具整合至Uni-ty的目的并不仅在于创造工具,还在于更贴近创作者的日常工作,最终与将Maya、Houdini或Blender作为主要工具的创作者产生交集,“无论是VFX专业从业者还是独立游戏开发者,我们都希望为他们的现有工作流加入更强大、更易用的工具,让他们倚赖这些工具获得成功。”
打造《阿凡达》特效的利器
Wētā为《阿凡达:水之道》中的数字角色制作提出了APFS系统(AnatomicallyPlausibleFacialSystem合乎解剖学的面部系统)。
Wētā Digital加入Unity后,最为知名的特效作品是《阿凡达:水之道》。目前这部电影的票房已经达到22.43亿美元。该片上映的第十周,票房就超过了卡梅隆导演的另一部电影《泰坦尼克号》。而卡梅隆此前表示,如果《阿凡达:水之道》的票房不冲到全球影史票房的第三或第四,就无法实现收支平衡。
庞大开支中的一部分来自特效制作。卡梅隆在一篇文章中写道,2007年他和团队通过融合CG动作捕获和真人表演实现了想象的画面,13年后又在续作中再次实现飞跃。
Unity中国对记者表示,《阿凡达:水之道》中使用了大量尖端技术,包括高级动作捕捉、3D建模和模拟以及深度合成。其介绍,电影中的潘多拉星球拥有独特的环境风貌、多样的自然生态和独特的居民们,同时很多情节都需要在海洋中的水下环境里发生,他们为此创造了一整套全新的制作和可视化工具,“不仅与卡梅隆团队一起呈现了高质量的视觉画面,也为影视特效打造建立了新的行业标准。”
谈及影片制作的突破,Unity中国介绍,Wētā为影片中的数字角色制作提出了APFS系统(Anatomically Plausible Facial Sys-tem合乎解剖学的面部系统)——一个基于肌肉纤维曲线的面部动画参数化系统,并提供了一整套与之配合的特效画面制作生产流程。
据了解,APFS系统取代了已有20多年历史的FACS(面部动作编码系统),提供了一个更基于解剖学基础、更以动画师为中心的创作环境,在帮助动画师通过肌肉曲线直接控制面部肌肉,生成高保真的面部表情的同时,也将复杂的非线性皮肤表现纳入深度神经网络(一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型),继而通过大约7万~10万次的高质量面部扫描来训练AI模型。Unity方面认为,这一技术能够帮助电影创作者更高效地制作高逼真度画面。
游戏引擎向外应用
在3D引擎之外,AI目前也参与了包括游戏脚本创作、游戏音乐编曲、游戏广告投放等环节。
据Unity中国介绍,Unity本身是一款非常强大的实时3D引擎,已在包括游戏、文旅互娱、消费零售等在内的丰富场景中得到深度应用。除了游戏和电影领域,Unity的技术及解决方案已在汽车制造、建筑建造、工业制造、消费文旅和影视娱乐等有所应用,包括全球前十大汽车OEM厂商(原始设备生产商),以及国内的蔚来、小鹏、理想等造车新势力;Unity也在用实时3D技术赋能智慧城市、智慧园区、智慧交通、智慧产线等领域的发展,“Unity中国持续加大研发投入,致力于打造中国本土的、适配各类国产软硬件平台的数字生产力工具,丰富由实时图形渲染技术支撑的AR、VR、MR以及数字孪生体验,赋能中国数字经济发展。”
《2023游戏产业趋势报告》显示,Unity3D技术的应用案例,包括为小鹏G9打造的搭载行业首个量产的3D人机交互系统,卡奥斯COSMOPlat数字孪生平台,在卡塔尔世界杯期间在云端打造的支持万人同屏的星际广场主会场等。
谈及3D领域的创作热点,Unity中国方面介绍,工业界各种各样的元宇宙和层出不穷的新颖生产流程正在一一涌现,科研成果方面目前有仿真技术、体积捕捉、Nerf,以及用AI生成3D数字资产(AIGC for3D与AI for3D character motion)等,这些技术都有机会成为未来的主流。
作为一款通用商业化引擎,Unity在移动游戏开发中占据绝对的市场份额。移动端也是市场最为广泛的游戏平台,且当前很多游戏立项之初就决定平台互通,PC端的游戏也上线移动端版本。但是,移动端设备往往功耗、算力有限。来自Wētā的特效是否能顺利应用到移动游戏开发中?
针对这个疑问,Unity中国方面介绍,Unity正致力于将创作流程搬到云端,通过普及极具兼容性的工具矩阵,最终提高创作的便捷性,从而实现一种全新的工作方式。
Unity方面认为,未来,不仅对于开发者,对于游戏玩家而言,游戏开发工具和服务将不断模块化和云端化,云平台的出场将带给游戏行业前所未有的颠覆,上个时代的算力禁锢可能很快就会消失,云将让人们不再需要依赖单个算力节点的能力,即使低配置设备,也可以在云端拥有近乎无限的算力资源,“如果说AI在游戏创作与运营中显著降低了开发成本,那5G的降临,则让大规模实时云渲染成为可能。”
“我们预测,到2024年,中国云游戏市场规模将达到400亿元人民币,算力的发展也必然催生海量的高水平云游戏佳作,而游戏引擎需要完成的,不仅是支持云渲染、极端急速的云端分发等云化需求,也包括在云端重新设计分布式架构,完成客户端与服务端的解耦。”Unity中国方面表示。
最近火出科技圈的聊天机器人ChatGTP让人们看到人工智能进一步大规模商用的前景。而游戏行业向来被看作是人工智能技术可广泛应用的场景。
据Unity中国方面介绍,AI已被不断集成至Unity的工具流中,主要用于强化管线的渲染能力。在3D引擎之外,AI目前也参与了包括游戏脚本创作、游戏音乐编曲、游戏广告投放等环节。
谈及AIGC(人工智能生成内容),该公司表示,其会在程序化数字资产生成和可微渲染的部分,为AIGC的落地做能力加强和生态储备,同时也会参与GPT之类的预训练模型的使用探索,在多模态、数据合成、对比学习等领域紧跟学术界的成果,争取早日在3D数字资产创作领域实现AIGC。
关于AIGC如何实现,Unity中国以场景生成为例,表示目前看起来有一个可能的路径是:首先通过GPT之类的生成模块,自动生成对一个用户需要的场景足够详细的描述,然后通过一个多模态模块进行模态融合,去驱动一个全可微的程序化建模模块来生成场景,继而通过可微渲染器渲染的结果,最后把这个结果交给类似CLIP的模块去生成的符合最初描述的图像或视频。
“这样的类似过程可以用在很多类型的资产生成过程中,‘一句话建模’也就由此实现了,在此之前,工具引擎需要在程序化和可微的方向上做好准备,同时时刻紧跟AIGC相关领域的科研进展,在新锐技术落地的第一时间,让一切成为可能。”Unity中国方面表示。