Light Stage是由美国南加州大学ICT Graphic Lab的Paul Debevec所领导开发的一个高保真的三维采集重建平台系统。这个系统是一种先进的扫描技术，可以准确地对人脸进行数字捕捉，通过各个角度光源获取有效的主体面部表演，重建超写实3D模型。从第一代系统Light Stage1于2000年诞生，至今已经升级到Light Stage 6，最新的一代系统命名为Light Stage X。
从诞生到最新的X版，技术和设配都在不断的迭代和升级。这不，最近南加大ICT Graphic Lab的Paul Debevec及其团队成员与Google合作，整出了Light Stage实现不了的最新玩法——被称为Solaris的Light Stage X4技术，能够精确地模拟包括太阳在内的自然光照环境，用于解决CG、模拟和图像采样等方面的复杂问题。
Light Stage X4 : Solaris
Solaris包括4D重建技术和最前沿的Relightables投射技术。
1. 第四维度：时间
从Light Stage1诞生以来，都是通过超高分辨率的快照过程生成精细、高细节的人脸扫描。Light Stage产生的毛孔水平细节主要是静止的（FACS）面部表情。那么如何让得到的结果更更更精细，具有超高细节呢？唉？南加州大学ICT团队就一直在琢磨这个事，他们就把解决方法放在了时间的概念上，所以就出现了这个第四维度：时间。与Google合作之后，他们设计了新的Light Stage，既可以扫描整个身体，又可以放大到面部进行详细的面部扫描，这一切都是基于时间来捕捉的。
除了4D重建之外，Solaris另一非常牛逼的技术是叫Relightables投射。这是一段带有逼真灯光效果的角色体积表演捕捉。Relightables投射是对早期Light Stages原始功能的一种回归，可对任何HDR采样位置光照下的演员进行重光照。而相比之下，Relightables投射又是一种巨大改进，它可以对正在移动的全身进行体积捕捉，并加入到传统的CG制作流程中，还能利用深度学习生成可在任何环境中使用的高模。
通过把时间多重照明（time multiplex lighting）和一系列经过重新设计的有源深度传感器结合起来，研发团队得到了每像素细节的表面法线信息和置换贴图，这样就获得了与标准摄影测量系统相媲美的人体扫描。
大家都知道传统的摄影测量法在重建之后会产生一组不相关的模型，随着时间的推移，缺乏一致性和相关性，帧与帧之间会产生闪烁的问题，而Relightables投射就很好的解决了这个问题。
那么接下来我们再来聊聊这个Light Stage X4的构成。它是一个配备了331个定制LED灯、一系列高分辨率相机和一组定制的高分辨率深度传感器的庞大装置。系统使用特殊的色彩梯度照明，可以60fps进行有效拍摄，以30fps输出详细、连续、可重新打光的3D模型。
为了使系统和演员的配合完美一些，灯光系统会在两个梯度之间以180Hz频率变化，速度快到你无法察觉，相机以60Hz的频率运行，短快门每3帧捕捉一次。这样两种模式交替出现，演员就出现稳定平均的灯光效果了，而且没有闪烁的现象。
Light Stage X4具有多个自定义深度传感器，可以60 Hz捕捉高分辨率 (4112X3008) 的深度图，它有90台高分辨率12.4 MP重建摄像机，有32台使用主动红外光照的红外相机和58台RGB相机组合而成的捕捉系统。
又是红外又是RGB的，都负责干啥呢？这里的红外传感器用来提供准确可靠的3D测量，RGB相机用来捕捉高质量的几何法线贴图和纹理，摄像机使用两种不同交错可见的照明条件或球形梯度照明来拍摄原始视频。一段600帧或10秒钟的剪辑片段将生成大约650GB数据，相当于每秒800亿像素（！大的有些惊人了）上传到Google云端，以备需要时采用。
除了密度和模型细节都非常出色之外，这个系统还具有创新的算法，即使演员在表演杂耍或是做一些复杂的手部动作，它也能够提供合理且稳定的几何形状。很多普通体积系统虽然可以捕捉到凸起形状，但遇到表演者手拿球，例如球从一只手换到另一只手的过程中，是很难将球和手分开捕捉的，从手部动作和卷起衣服的位置很容易就能看出破绽。而Relightables投射不仅能解决这些，还能处理头发扫描和其他比较难处理的面部问题。
考虑到复杂的设置，Light Stage X4的工作过程不依赖于绿幕抠像重建的方式，而是使用基于分割的深度学习技术来检索精确边缘，生成模型的多边形边界。
2. Relightables投射vs Kinect
Relightables投射捕捉的是全身扫描，虽然比传统的Light Stage面部扫描多出很多内容，但Light Stage X4 并不是第一个、也不是最大一个做出这种尝试的系统，Light Stage 6比它还大，而且是第一个实现全身扫描的Light Stage，只是没营养的提一下，但我们今天并不打算聊Light Stage 6。
Relightables投射实现的真实效果和准确性的方法之一，就是在捕捉过程中进行投射的模式。这种方式比以前的解决方案更加密集和详细。时下最为流行就是是微软的Kinect Sensor。对，就是大家玩的那个游戏传感器。它是根据光反射回来的时间判断物体的方位，当然检测光的飞行速度是几乎不能实现的，所以发射一道强弱随时间变化的正弦光束，然后计算其回来的相位差值。
下面这张图就对比了Kinect和Relightables投射的效果。
从上面的图可以看出，Relightebles投射比较密集而且复杂，它基本达到了Kinect所能提供的激光投射效果，但Relightebles投射亮度提高了10倍，分辨率提高了10倍，图案也更加独特了。
3. Light stage X4光谱感应和照明
南加大ICT团队还研究了可用于新型光谱渲染器的全光谱捕捉。Solaris具有7种LED颜色，可用于生成受控的光谱照明，除了红色、绿色和蓝色之外，还有通常与蓝色搭配使用的宝蓝色、浅绿色、琥珀色（黄褐色）和白色。
设备中有90台相机是12.4MP分辨率的相机（前面已经说过了）。RGB和IR相机使用的都是使用Sony IMX253传感器的Ximea科学相机 (XimeaMX124)，该传感器是4112x3008分辨率的CMOS 芯片，更重要的是它具有全局快门。表面重建流程，58个彩色摄像机和32台IR相机从多视图（动态立体）生成90个深度图，多数图算法带有可产生紧密点云的语义分割功能，这些紧密点云可用来进行泊松几何重建。
4. 为什么采用60Hz进行拍摄？
说到这里可能有小伙伴想问，现在数码相机都能以更高帧速率拍摄了，为啥他们还用60Hz？研发团队为咱们做出了解释。为了捕捉光度表面法向，需要两个颜色梯度图。这两个三维反转梯度合为正常的均匀白光，组合而成的白光会提供RGB纹理贴图，两个成对梯度图之间的差异提供了表面法线。因此对于每个输出帧来说，需要有两个图像。南加州大学ICT团队使用更快的高速相机进行了实验，但是拍摄速度越快，产生的噪点就越多，因为每帧曝光所需要的时间越来越少，与1/60s的快门相比，1/500s的快门使光到达传感器的时间要少的多，想要解决问题，要么在景深上妥协，要么大幅增加落在被捕捉物体上的光照，但后者会引起演员的不适感。当然这些只是一部分答案。
速度稍高一些的相机不是不能用，只是60fps的更实用，不会产生比实际需求量多出10倍的海量数据来。另外，他们并没有使用面部扫描产生更多数据，而是采用了最近大火的机器学习。首先使用OLAT（One Light At a Time）数据集（之前称其为4D反射场）在光线来源的每个方向创建一个面部训练数据集，将每个面部在两种标准颜色梯度照明条件下的外观添加到机器学习中。这是 Light stage使用的最标准的照明模式，先以一种颜色梯度照亮演员，接着是第二种颜色梯度，然后以螺旋状从上到下旋转灯光。
团队表示他们会用“在每个灯光方向两个梯度是什么样子的、角色在整个反射场是什么样子的”来训练神经网络，完成训练阶段后向其发送一张新的仅带有颜色梯度的面部图像，并询问这个OLAT是什么样的，作为神经网络来说，输出效果还是相当不错的。这样团队就可在单独灯光条件下从HDR进行基于图像的照明，结果也非常合理。
虚拟制作
新的Light stage系统在虚拟制作中有着非常有趣的应用，它可以测试演员在任何给定灯光条件下、在任何位置的表演，可像扫描布料那样来评估衣着服饰，并如实复制其款式和颜色。
有一个必须要考虑到的因素就是，这些过程都是自动生成的合成，并不包括像边缘融合、灯光包裹、光晕等任何标准合成技术，也不包括任何和添加雾或深度提示的功能。
Solaris也可以在没有人在场的情况下运行，把人偶放到系统中心的座位上，团队远程打开系统进行测试拍摄，结束之后将其关闭就可以了。
未来方向
未来肯定会有更多机会使用到Light Stage X4技术和机器学习，而在Light Stage X4中对全身进行采样时也可能会用到其他类似的技术。Google团队也在探索其他工程技术，当然Relightables投射很实用，为轻量级资产生成可在移动硬件上播放的图像提供了可能。
研发团队成员表示，弄清楚如何重现一个与神经相关的角色版本并在实际制作中使用是一件很有趣的工作，虽然机器学习的速度很慢，但在实际应用时还是很快的，这种技术也会推广到适用于Google的其他案例上并非不可能，但仍需不断努力。
好啦，关于Light Stage X4的介绍先到这里！感兴趣的话，大家可以自己搜搜相关内容哦！
原文：
https://www.fxguide.com/fxfeatured/exclusive-paul-debevec-and-the-light-stage-research-at-google/
*文章授权转自微信公众号「CG世界」
加载中
