第一节 虚拟演播室技术
一、原理与关键技术
虚拟演播室技术是视频技术与计算机技术结合的产物，它把传统的色键技术和图形图像处理技术紧密结合，是一种新颖独特的电视节目制作技术。传统的色键技术是将演播室蓝色幕布前的人物叠加在另一个背景上，其局限性是当摄像机做任何运动时，背景不能相应变化，只是前景图像发生变化，所以，前景与背景的透视关系不符，好像人物飘浮在背景上，使合成图像失去真实感，而虚拟演播室技术可以保证前景与背景的透视关系正确。
1.原理
虚拟演播室技术与色键技术十分相像，它是把以前景主持人为主的画面和背景画面，采用色键的方法构成一体，产生人物置身于背景的组合画面中。在真正的虚拟演播室技术中，背景是由计算机产生的，计算机接受摄像机参数的控制，随着摄像机的推拉摇移、俯仰角度的改变，计算机相应改变画面的大小和角度，为了正确再现前景与背景的空间透视关系，还需要对前景和背景实施空间锁定，这种空间锁定是通过精确测定摄像机的所有定位参数（包括镜头调整参数）来实现的。
主持人一般是在呈“U”型或“L”型的蓝箱里做着各种表演，前景摄像机对其进行拍摄，背景图像（画面装饰、道具和风光背景）大都是三维立体图，由制作人员预先用计算机生成，前景与背景图像在传输或录制过程中混合。这种合成图像的制作方式被称为“虚拟”。故此，这种图像摄录系统也被称为“虚拟摄像机”，与传统的蓝幕色键技术截然不同的是，虚拟演播室技术中的真实摄像机（前景图像）与虚拟摄像机（产生背景图像）始终保持同步互锁，为此，必须对真实摄像机的以下参数进行确定：蓝幕背景的X、Y、Z坐标值；摄像机的俯仰、摇移以及可旋转角度的数值；镜头的焦距和聚焦，真实摄像机的所有上述参数都送入计算机分析，系统对与前景图像相关的虚拟背景图像发出控制指令。最后，录有表演者和真实道具的前景图像与计算机生成的背景图像在色键控制器里合成为一幅画面，传送至视频切换台输出。
虚拟演播室系统可分解为三个部分：摄像机跟踪部分、计算机虚拟场景生成部分及视频合成部分。
虚拟演播室技术对背景进行调整或移动，使之与摄像机的运动同步，即使用一个所有位置、参数能够被测量的摄像机系统，它与一个计算机系统相连接，该计算机系统能够使用这些数据控制背景图像的生成，使背景与摄像机同步运动，即前景图像与背景图像建立起正确的透视关系。
虚拟演播室系统在现场拍摄及录制过程中，使用计算机制作的三维模型场景、实际地与现场拍摄的演员、录像机以及其他信号源合成在一起，保证现场演员在虚拟演播室中与三维背景呈现真实的透视关系，同时允许插入视频片段、互相作用的三维特技效果、图形/音频及其他东西。这些效果可以是事先准备好的，也可以是导演现场的决定，所有的三维场景是由同一台摄像机拍摄的感觉。
“虚拟演播室摄像机”进入合成系统，能够实现许多功能，能在演播室范围外游移，以完全不同的场景出现或者飞出演播室之外，在运动中安全平滑地返回虚拟演播室场景，以及过渡到真实的摄像机。虚拟蓝背景技术允许摄像机拍摄蓝背景以外的事，不受现场演播室的局限。
利用虚拟演播室技术，可以避免真实制景的繁琐及浪费，而且三维场景可以循环使用，大大降低了制景费用，拓展了环境背景图像范围，能够充分发挥人的创作想象力。
摄像机运动跟踪系统将获取的摄像机运动参数进行处理后，去控制背景图像生成装置，使生成的背景图像与前景图像保持正确的透视关系，最后摄像机所摄的前景与背景在色键合成器中合成并播出。
2.关键技术
（1）摄像机跟踪技术
摄像机跟踪技术的目的是将摄像机当前的位置、方向和镜头参数通过RS-422或RS-232接口输入计算机，控制计算机将其计算的控制数据输入到背景制作的计算机中。背景制作的应用软件根据这些参数调整虚拟摄像机的位置、方向和镜头参数，使虚拟场景产生对应的变化。
镜头参数的确定。ENG/EFP类型摄像机的镜头安装在特殊的柱架上，柱架上有特殊的编码器，能够检测出四个轴（上下/左右/推拉/聚焦）的参数变化，将其数据编码输出，柱架的齿轮必须和聚集/推拉行紧密咬合，以保证聚集参数的准确性。
方向参数的确定。上下左右位置参数由液压基座上的编码器得到，可以安装在三脚架上，也可以安装在云台上。编码器能够测量摄像机上下左右运动的角度得到上下左右的位置参数，进行编码输出，测量精度很高。
位置参数的确定。通常摄像机是安装在三脚架、云台或升降臂上，所以位置参数（地面位置X，高度Z）由三脚架、云台或升降臂的参数决定。可以用类似编码器方式测量，也可以采用读条码方法，使用安装在三脚架上的一个专用广角摄像机拍摄一个垂直固定在演播室地面上的条形码板，可以测量出摄像机三脚架的方向参数，而且能给出三脚架的方向参数。
摄像机的锁定。虚拟演播室空间可以是任意大小的，虚拟演播室的摄像机和实际的摄像机没有任何直接关系。意味着与某台实际摄像机对应的虚拟摄像机可以放在虚拟演播室的任何地方。虚拟摄像机的左右摇摆轴的起始点，也可以是任意的，这两个方面决定了我们所能看到的虚拟演播室的场景内容。为了保证实际摄像机之间的切换时，实际的景物和播音员在虚拟演播室中的位置和其他虚拟景物的位置关系不变，必须将虚拟摄像机进行区域锁定，使虚拟摄像机和实际摄像机之间的距离一致。
摄像机运动跟踪图形识别法。在演播室的蓝背景上绘制两种深浅程度不同的图形，虚拟演播室的最初值确定之后，当摄像机的机械运动参数发生变化时，它所拍摄的背景图形的特征也发生相应变化，通过测试图形的变化，经过运算可以确定摄像机上下左右和镜头推拉的变化量。
具体方法是：选择格子图案。在深蓝色的幕布上用浅蓝色绘制出特定的格子图案，带有格子图案的蓝箱。蓝箱整体采用与传统演播室相同的蓝色，下面有用浅蓝色组成的格子图案，倾斜放置。
实际拍摄时，利用电率差在由深蓝色格子图案组成的背景中，可将浅蓝色格子图案分离出来。摄像机在任何角度任何位置摄制的图案具有不同的特征。通过对这些特征的运算，能够确定摄像机的镜头状态、倾斜角度及空间位置参数。用这些参数去控制背景生成装置，就可以生成出与前景匹配的背景。
此方法的优点是不需要传感器，便携式摄像机也能跟踪，可以直接使用演播室的原有摄像机无须改造，不足之处是蓝箱组成是两种色度的蓝色，有敏感的色度键效果，往往造成阴影的消失，如果缺少所需的那部分图案，或者散焦则会引起跟踪停止。数据处理时间较长，加大了视频延时量，比传感器的精度略差。
（2）背景
虚拟演播室的背景图像可以是采自录像机或摄像机的活动图像，也可以是静止图像。实际上使用最多的是由计算机创作的二维或三维图形CG（Computer Graphics），即虚拟场景。与一般演播室的场景设计不同之处是，不用考虑演播室场景设计中所需的道具制作、运输、储藏等费用，能够设计现实中不存在的物体。
对虚拟场景中的所有物体进行设计，如物体的外形和衬景，即建立三维模型，计算机会分解成许多多边形，在每个多边形上施加材质。描绘处理，如简单的颜色、砖头、木头、水泥或皮毛等。可以把图像或照片施加在多边形上，产生更逼真的效果。
模型定位后，使用虚拟灯光产生所需要的效果，如阴影、高光、反射和折射等。利用来自摄像机编码器的数据建立虚拟摄像机，用虚拟摄像机实时生成场景，保证虚拟场景与背景图像有正确的透视关系，需要计算机工作站作为虚拟背景生成装置。虚拟背景应在演播室使用前做成并存成文件形式。
蓝箱技术即蓝背景，它与一般演播室的蓝背景不太一样，它必须有两面或三面墙加上地板而不是单景片，拍摄时有较大的摇摄余地，能够利用较大的虚拟布景区与演员及道具合成。
蓝箱的限制是：摄像机拍摄范围不能超过蓝背景，只能在蓝箱的物理边界内拍摄。为了让摄像机能够越出蓝箱，虚拟布景软件要提供真实蓝背景之外的一个“虚拟的蓝背景”进行遮挡。利用这一技术能够产生一个“虚拟的天花板”遮挡真实背景墙上（蓝箱）的各种实物（尤其是灯具），也可以产生实际摄像机360°旋转的效果，这些是一般演播室里无法实现的。
（3）灯光
灯光在虚拟演播室节目制作中十分重要，为了消除不需要的阴影，保证色键的效果，应重视灯光的布置。
首先，要合理调配灯光，使前景与虚拟背景的照明亮度及方向匹配。在蓝背景区域内，不仅需要顶部悬挂灯具，沿墙面和地面还需要增加灯具。对于需要色光的节目，由于色键制作的限制，布光会很困难，虚拟布景中能容易地完成预先的灯光状况之间的叠化。
虚拟演播室中，实际和虚拟光源之间的同步变化非常重要。要求演播室灯光的控制必须计算机化，实际光线的任何变化都可以被计算机产生的背景检测，触发虚拟灯光随之变化，反之亦然。此时，色键控制器也会同步取出适合新的灯光状况的设置。
其次，影子问题。演员及真实道具在蓝箱投下的影子也要随演员及道具一起进入虚拟空间。为了更好地拾取阴影，灯光的设置应使阴影处的蓝色电平与背景蓝幕布的蓝色电平有较大的区别。影子的方向也要和虚拟空间中的光源方向一致。为了表现虚拟背景中反光地板上的影子效果，可以在蓝箱地板上铺设蓝色透明塑料。虚拟演播室的影子效果一般只限于地板，但如果要求演员或真实道具的影子投射到虚拟空间的墙壁上，就要在蓝箱中相对应的位置上放一个大的蓝色物体以产生这种阴影效果。如果要求影子投射到虚拟空间的不规则物体上，实际则很难在蓝箱中用灯光模拟出逼真的影子效果。
灯光的布景决定着虚拟背景的真实感，仔细观察会感觉到一些不“真实”的痕迹，实时制作一些灯光效果是不可能的，必须要事先制作处理。如追光或地面光线的改变造成摄像机到光束方向上虚拟景物的光线变化，就很难实现。
（4）色键
虚拟背景与前景图像的混合是通过色键合成器完成的。色键制作的质量与蓝背景、制作环境灯光和摄像机有关系，色键合成器本身的质量也非常重要。
高档次的色键合成器具有外底遮挡的功能，监测演员在蓝箱中的位置，并根据位置信息产生一个遮挡键信号，使前景和背景合成。虚拟场景不仅可以作为背景使用，还可以作为前景使用。
（5）延时
实际虚拟演播室会产生视音频延时，延时的原因是处理来自摄像机传感器的原始数据和用户接口上处理摄像机运动和镜头运动数据需要花费时间，所以，在摄像机的输出要增加延时，以保证前景的运动与背景运动之间的时间关系，同样，音频也得进行相同的延时，以保证观众不会超前图像听到的声音。
（6）计算机
虚拟演播室系统一般有两套计算机系统，一套是用来处理摄像机跟踪的数据，常用高配置的小型计算机工作站。另一套是用于虚拟演播室的场景制作，一般为大型计算机工作站，具有足够的计算能力；多重任务处理功能；支持实时操作系统；极强的绘画功能；实时和抗闪烁的处理；能够与系统锁相；带Alpha通道的广播级质量；能够锁相的视频输入和输出；控制其他视频和音频设备的能力等。
（7）二维虚拟演播室
二维虚拟演播室系统是一个处理摄像机运动和镜头运动的视频图像系统。使用串行分量数字信号，可以将背景图像增大八倍而不出现马赛克现象，能够处理的背景素材范围不受限制，背景可以是活动画面，也可以是静止图像。此系统包括一个摄像机、计算机、背景处理器、视频延时器和色键器。
来自摄像机的上下俯仰左右摇摄、变焦的参数等输入到计算机里，计算机将这些参数进行编码、产生控制信号，输入到图像处理器，控制背景图像的变化，使之与前景图像运动同步，由于图像处理器可以输入任何信号源的串行信号，包括计算机非实时生成的图像，但是它会有延时，所以各路信号要加延时。
二维虚拟演播室系统不需要生成实时前景的大型计算机，比较适合于制作上具有连续性和重复性的节目，如新闻、体育、天气预报和现场事件报道等节目，也适合于直播节目。
（8）三维虚拟演播室
摄像机在演播室中是移动的，摄像机的位置参数会发生变化，输入到跟踪处理计算机的数据量大且复杂，需用大型计算机计算，同时还需制作实时的三维动画场景。它所制作的场景镜头变化是受摄像机跟踪处理计算机的控制，场景的变化与现场摄像机镜头的变化是一致的。
