又要涨知识了呢~

才明白,原来这都属于虚拟制作! 来自深夜小编

又要涨知识了呢~

*文章授权转自微信公众号「CG世界」
文/索菲亚·嘟胖

最近VP这个词儿挺火的,不是让你出去玩的工具(VP*),不是打球的最有价值球员(MVP),更不是你们公司的副总裁(VP)。没错就是VP,即虚拟制作(Virtual Production,简称为VP)。感觉今天的开场和绕口令似的。

说它只是一个简单的词语其实并不准确,你可以把它理解为一种实时技术,用来增强创作过程、提高制作效率的那种,与传统方式略有不同的那种;说它是最近才出现的技术也不准确,VP有很多类型和分支,和我们日常工作密不可分的,甚至可以说咱对它相当熟悉,只不过最近才正儿八经系统专业地介绍给大家认识。

是啥事呢?大佬Epic Games上个月底发布了一篇名为《虚拟制作领域指南》(The Virtual Production Field Guide)的PDF文档,作为基础信息文档为VP爱好者和需要在制作中利用到这些技术的专业人士提供更多了解和帮助。


那今天我们就来非常浅显地分享一下,到底什么是虚拟制作?



虚拟制作是一个广泛的术语,它指的是一系列计算机辅助制作和可视化电影制作的方法。

一千个团队心中有一千个“哈姆雷特”关于虚拟制作的定义。Weta团队把它看作是物理世界和数字世界的交叉点;MPC团队在Weta说法的基础上加入了技术细节,他们认为VP利用CGI和游戏引擎技术,将虚拟现实与增强现实结合起来,使在现场进行创作和拍摄的工作人员能够清楚的了解到自己所创建场景和镜头效果到底是什么样子的。



咱们一开始说到虚拟制作流程与传统方式略有不同,到底不同在哪里呢?来张图展示一下。上面是传统制作流程,单一上下游环节的流水线过程,简单明了;下面是虚拟制作流程,交错复杂。

So~利用实时技术可以将传统流水线转变为一个多条线并行的过程,模糊了预备制作、制作和后期制作几个环节之间的界限,不同领域的艺术家可以共同协作,使整个流程进行的更为顺畅。



虚拟制作大致可以分为四类,包括可视化、表演捕捉、混合虚拟制作和Live LED Wall In-Camera。虽然乍一看并不能发现什么相似点,悄悄说,他们使用的都是类似于Unreal这样的实时引擎。接着看,你会发现,哇噻,这些不用你说我都知道啊!


可视化应该是咱们小伙伴接触最多的虚拟制作方法,我们经常利用可视化的方式制作图像原型,来表现一个镜头或者一个序列的创意内容。换成普通话说,可视化就是Pitchvis、Previs、Virtual Scouting、Techvis、Stuntvis和Postvis。你看我的普通话说的普通不?

Pitchvis可以浅显地理解为是立项的关键,能不能得到公司绿色通行证的批准,能不能顺利拿到潜在金主爸爸的项目资金,就得看你的Pitchvis做的如何。一支合格的Pitchvis中要包含目标项目的关键序列,或者是要通过这支类似预告的作品传达出作者的创意想法。

有一些咱们熟悉的影片就是因为Pitchvis做的好才顺利拿到了项目绿卡,比如《哥斯拉》《黑衣人3》《僵尸世界大战》《巨人捕手杰克》《魔境仙踪》。

▲图片来源:Halon官网/Pitchvis介绍

Previs是大家最熟悉的一种虚拟制作,大多数电影都会在幕后制作和before/after特效展示中发布影片的previs制作效果。承让...班门弄斧了。


Virtual Scouting在大部分电影中是作为前期制作过程的一部分,工作人员可以利用电脑或佩戴头显与数字版本中设计好的场景位置进行互动。

VR版本的Virtual Scouting包括重新定位的道具和虚拟相机,可用于设计镜头、确定场景建筑等。电影制作者可以利用它专注于某个重要的部分,忽略其他部分,避免出现艺术家花时间制作出来的资产结果用不上这种问题。


Techvis是虚拟元素和真实拍摄设备的一种结合,用于设计镜头,把拍摄脚本和虚拟资产整合到一起。制作人员还会用Techvis来确定相机移动和相机位置,确保实拍脚本和虚拟资产能够默契配合。

比如在《复仇者联盟》第一部中,制作人员就利用techvis把现场捕捉到的爆炸效果动画化,并在这个基础上进行特效制作。它不仅可以用来确定爆炸的形状和体积,而且可以根据相机移动速度确定爆炸的速率,确保后期添加的爆炸特效与现场拍摄脚本是合拍的。

▲哎?为啥例子是复联的,截图是《火星救援》的?

Stuntvis是一种用于现场拍摄之前的视频参考,是特技协调员和动作编排者设计项目特技的其中一部分,正式拍摄时的动作设定或者战斗序列会以其为参考,可能会成为previs,也有可能用到剪辑当中。

其中会涉及到场景blocking、动作编排、特技测试、绑定、场景设计、道具武器概念、相机移动、灯光设置等诸多问题,作为加强版的故事版供多个制作部门参考使用。


Postvis是现场实拍脚本和临时视觉效果的图像组合,新的CG镜头会作为占位符来为剪辑服务。

▲Postvis将拍摄脚本和VFX相结合,指导后期制作顺利进行

恩,就这几类了。


表演捕捉!!分为动态捕捉、表演捕捉、面部捕捉和全身动画这四部分。

动态捕捉就是记录物体或者演员动作的过程,使用捕捉到的数据制作数字模型动画。如果其中包含演员面部或更多细微表情,那就得算到表演捕捉或者面部捕捉的范畴了。演员身穿带有标记点的服饰,特殊相机进行跟踪拍摄,没有面部标记点的时候就会佩戴传感器或者深度传感器,或者干脆在演员脸上画标记点。

▲《复仇者联盟3:无限战争》动捕拍摄现场/图片来自网络

表演捕捉和面部捕捉大家也都很熟悉了,咱们这里就不再复读机了。比较经典的表演捕捉作品是《欢迎来到马文镇》,比较经典的面捕电影作品是《星球大战外传:侠盗一号》里的塔金和《本杰明·巴顿奇事》。

▲《欢迎来到马文镇》表演捕捉过程

▲《星球大战外传:侠盗一号》/图片来自网络

▲《本杰明·巴顿奇事》/图片来自网络
 
全身动画就是将演员从上到下所有动作搬到另一个角色身上。因为演员和角色的高矮胖瘦都不尽相同,尤其是动画角色与演员相比有明显不同身体几何形状的时候,这其中就会涉及到重定向、大小比例缩放等工作。比较经典的作品就是《阿凡达》、《指环王》里的咕噜、《欢迎来到马文镇》和《猩球》系列。

▲咕噜/图片来自网络


混合虚拟制作就是使用相机跟踪把绿幕拍摄脚本和CG元素合成到一起。不仅可以为摄影指导、相机操作员和后期制作提供实时预览,而且能在相机中呈现最终画面效果。这类虚拟制作一般用于现场直播,特别是体育直播的情况,而且也越来越多的使用到了电影和电视剧的制作当中。它又包含了两种基础类型,一个是实时,另一个是后期制作。
 
绿屏上的实时混合虚拟制作最早出现于新闻天气预报,我们看到的就是天气预报员在地图上一直比划各个地方的天气,其实他身后只是一个大绿屏。锁定相机位置后呈现出来的画面效果还是可以的,当然比不上电影级别哈。近几年随着GPU加速和实施引擎技术,这种虚拟制作的质量确实得到了极大的提高。


比如虚拟演播室系统Zero Density就是利用Unreal现场合成各种新闻和娱乐节目,用户可以在摄影棚内进行实时虚拟制作。


后期制作混合虚拟制作就是利用相机跟踪数据为绿屏拍摄脚本进行in-camera的现场合成过程。现场合成通常具有代理分辨率,在绿幕前拍摄演员和道具时会为镜头效果提供一个参考,帮助导演、摄影指导、相机操作员对CG角色和场景延伸这些虚拟元素获得更好的空间感,进而为后期VFX制作提供便利。把这种技术利用到极致的作品有影片《奇幻森林》,电视剧集《复仇》《美国众神》等。

▲后期制作混合绿幕虚拟制作方式,利用Simulcam和相机跟踪使得现场拍摄制作的交互性更强


可视化、表演捕捉和混合虚拟制作这三类说完,就还剩下一个相机内现场LED墙的虚拟制作。


一说到现场LED屏幕墙拍摄,我们最先想到的就是《登月第一人》,有图有真相,其实就是大飞机自己在那嘎悠。

▲《登月第一人》拍摄现场

这种技术将实时引擎并带有相机跟踪的图像输出,投放在拍摄现场的LED屏幕墙上,在in-camera中生成最终像素版本的画面效果。

▲现场LED墙虚拟制作可在相机内创建最终像素级别的图像

参与现场拍摄的工作人员都可以实时看到镜头效果,相机操作员可以根据真实物体来构图,演员也不用对着代替虚构图像的标记点表演,最终图像依然会完好地呈现出来。LED屏幕发出的自然反射和灯光增强了艺术效果和图像真实感,避免了传统拍摄可能出现的溢色效果和不必要的反射。光说没意思,咱们看下面这个拍摄实例。


是不是好奇为什么机车小哥哥要在荒无人烟的山地摆酷玩?其实这是Epic公司联合Quixel、Magnopus、Lux Machina、Profile Studios、ARRI和DP Matt Workman等顶级团队在洛杉矶的某个仓库里搭建了一个示例场景作为虚幻引擎虚拟舞台。



正如Lux Machina的首席技术官所说,任何一种创意的目的都是为了尽可能真实的去呈现最终画面效果,而且越早实现越好。而他们所搭建虚拟舞台就是能够实现这种目的的途径之一。


实际的拍摄现场是这样的,虚拟舞台地面是泥土和沙子,中间演员骑着一辆摩托车,被四组LED墙包围着(左右侧各一块,演员背后有一块,头顶还有一块),舞台前面是各种斥巨资的拍摄设备。在这个场景中,技术人员可以实时追踪相机位置,实时渲染相机角度。



这里的关键在于背景,LED屏幕上播放的是实时渲染的数字环境,画面可以动态呈现,也可以在Unreal Engine里进行修改和调整,场景处理起来更为灵活。


另外实时灯光亮度不仅可以在虚拟环境中改变,而且也可以影响现场灯光效果。


虚幻引擎的功能也得到了拓展,可用作为一个多人写作平台,像摄影指导和导演这些人都可以直接在引擎中看到场景或是进行修改,不用等很长时间只为了一个场景修改。


利用真实相机以某种方式对演员进行拍摄,很难区分出哪块是现实世界,那块是数字渲染。而在相机拍摄过程中为了获得正确的位移视差,数字环境也可以实时移动。


在像这样的特定环境中,LED屏幕能够提供灯光效果和交互式光线,使演员看上去像是在真实环境中汽车一样,而且不用麻烦后期环节再次添加环境。当然还是会存在一些在舞台上拍摄参考和交互灯光效果的情况,那个我们先不做讨论。

总之,通过现场LED墙的虚拟制作方式,拍摄团队可以更加脚踏实地的进行场景拍摄,把更多精力用在如何更好的讲述故事上,其他不同部分也能协作分工,使各项任务有条不紊地进行下去。

好的!今天关于虚拟制作非常浅显的介绍就到这里了。在Epic发布的在Epic发布的《虚拟制作领域指南》文档中,除了关于虚拟制作技术的基本介绍之外,还有对这个领域一些专业人士的采访,因为他们经历了虚拟制作的发展和进步,也为之不断努力着。如果你对虚拟制作非常感兴趣,也想要了解更多关于这篇专业文档的内容,可以移步至下面的文档链接处哦,文档是全英的,辛苦大家慢慢看啦!


https://cdn2.unrealengine.com/Unreal+Engine%2Fvpfieldguide%2FVP-Field-Guide-V17_Digital-27611325301895169b008441b09fe595ecf31f32.pdf



欢迎关注作者的微信公众号:「CG世界」

加载中