基于高真实度昆曲交互表演系统设计与应用
张 进，方 珂，韩 悦
(南京航空航天大学，江苏 南京 211106)
昆曲作为中国的戏曲之一，具有缠绵、柔美的特点。昆曲的表演也有其独特的体系和风格。它最大的特点是抒情性强，动作细腻，歌舞结合巧妙、和谐。同时注重歌唱技巧的声音控制，节奏和速度的起伏，以及发音的讲究[1，2]。昆曲自成功“申遗”后便逐步迈入一个快速发展的阶段。在该阶段中，不断涌现出大量新的昆曲编戏，同时高校中也举办很多昆曲进校园的主题活动以及创建一些高校曲社。然而，由于昆曲在传统的表现形式和传播方式上具有一定的瓶颈，所以随着时代的变迁，昆曲面临着一个重大问题，即如何继承和发扬民族戏曲的传统，使其在岁月的长河中能够继续焕发出新的光彩[3-5]。
传统的昆曲表演是通过搭建戏曲舞台来进行表演展示的，观众也只能通过去剧院才能观看一场精彩的昆曲演出。所以正是这种线下单一的传播形式才造成目前昆曲的受众人数较少，昆曲的传播途径受到了很大的限制[6]。VR作为一种新兴的技术，将其运用到昆曲表演当中，能够有效的促进昆曲的传播。
观众可以通过VR的头部显示，在虚拟空间中随时随地体验昆曲表演舞台，做到身临其境。VR在昆曲传播中具有两大优势：第一，促进了昆曲表演在空间和时间上的多维更新，能够吸引新一代观众。第二，在艺术家现场表演的基础上，通过动作收集和真实记录，记录下艺术家们的表演精髓。最终通过VR的形式将昆曲中的手眼身法步生动地展示给观众，便于其反复观察和模仿，从而能够更好地传承戏曲文化。VR让昆曲以一种新的方式被解读，而技术让文化得以复兴和传承[7，8]。
昆曲的传承与保护势必要向创新技术领域去发展，VR技术作为新兴数字媒体的技术代表，充分发挥虚拟世界的灵活生动性，可以作为一种新的形式引入昆曲传统艺术，揭开昆曲保护与传承的新章程[9，10]。本研究主要基于虚拟现实引擎技术，实现全面系统地优化昆曲场景及人物建模、昆曲虚拟角色面部识别、骨骼绑定与跟踪，试图为昆曲表演提供一种更真实、更具交互性的应用方法。
2.1 模型嵌入系统
模型嵌入系统是能够反映虚拟现实效果的第一个重要因素，对于场景交互的效率及流畅性具有举足轻重的作用。该系统通过将模型划分为三个不同的精度等级，实现在不一样的视距中灵活切换模型。这种转换必须遵循一个基本准则，即能够确保高精度的前景模型、适中精度的中景模型、低精度的远景模型。从而能够使虚拟现实根据场景的不同视角进行实时优化。
2.2 面部识别系统
面部识别系统主要是获取人脸的眼虹膜、鼻子、耳朵、嘴巴等五官的特征属性，比如其位置、大小和距离等。随后通过获取后的属性值来计算其几何特征向量，用来描述该人脸的整体特征。该系统的核心技术是基于深度学习算法来识别人体部位并进行特征分析。其具体流程是利用人物面部活动的特征，与几何相关的多数据形成的识别数据库中的所有原始参数进行比较、判断和确认等一系列过程。
2.3 骨骼绑定系统
骨骼绑定系统是针对已经识别好关节部位的虚拟人物模型架设骨骼系统，使其能够按照后续的指令活动起来。该系统在输入和输出介质的选择上要注重真实动作与虚拟现实反馈机制的平衡，即如果虚拟行动者要执行一个具体的身体动作，可以通过光学捕获技术与虚拟角色的相同动作姿态进行交互。而且昆曲的身段训练对身体部位参与度要求极高，动作的细腻程度决定VR展示的效果，所以在输入介质上的选择往往需要考虑易用性。尽量能够做到无需借助繁琐的手持设备则可以实现真实与虚拟互动的高度一致效果。
2.4 渲染系统
渲染系统一般作为虚拟现实系统中的最后一个流程，主要负责驱动整个渲染管线以及全局配置管理等，使得最后的图像能够符合虚拟场景建设的要求。它可以被认为是将渲染所需的所有资源串在一起，将它们转换为一系列渲染指令到渲染硬件接口，然后交给不同的图形API来执行真实的绘图。
2.5 蓝图系统
蓝图系统是引擎中一个面向对象的、基于节点的界面可视化脚本系统。开发人员通过在编辑界面去创建所需要的功能模块节点，然后根据规定的逻辑原则去连接每个功能模块节点，从而实现各种行为和功能。相关的功能模块节点可以是每个实例的对象构造、功能函数、事件以及变量。
通过对上述各个分系统的工作原理进行分析，可以清晰得出VR在昆曲交互表演方面的制作思路。本文主要从人物及场景搭建模块、Kinect数据(彩色和深度数据)采集模块、骨骼节点信息获取和绑定模块、场景更新模块、渲染系统等展开研究。首先，在Unity3D平台上搭建好虚拟角色与场景模型，然后通过Kinect设备获取人体深度、彩色以及骨骼关节点信息，最后在Unity脚本中采用动态库的方式对Kinect数据进行调用和绑定，实现对虚拟人物的关节实时更新，整个设计流程如图1所示。
图1 工作流程图
4.1 模型的创建
本文模型的创建过程需要用到的引擎工具是3dsMax和Unity3D，首先是通过使用3dsMax来对舞台场景以及昆曲表演人物进行建模，然后在构建和完善好所有模型后需要将其导入到Unity3D虚拟现实制作平台中。具体建模流程如下。
4.1.1 场景建模
场景模型主要分为建筑和场景建模两个部分。建筑建模则是昆曲表演舞台的构建，可以使用3dsMax软件对其进行构建，如图2所示。图中昆曲舞台的设计模型尺寸设置为1100cm (L) × 800cm (W) × 300cm (H)，该舞台自上而下可以大致划分为坡顶、椽子、拱梁、其它道具和铺装五个部分。其中道具部分可能会存在一些复杂的道具模型构建，比如桌椅、板凳、箱子以及各种装饰品等，那么在模型布线阶段遵循四边形布线的原则，在道具的转弯区域通过增加布线数量来增强轮廓细节，而平整区域减少布线，确保整个场景的布线疏密有当。
图2 昆曲舞台场景建模
场景部分则属于建筑外部区域，可以采用3dsMax中自带的场地绘制功能进行建立，这样便可以有效地减少创建过程中模型的面数，从而能够大大减小模型的占据内存空间大小，提高运行的效率。
4.1.2 角色建模
角色建模主要可以划分为角色模型建立、人体骨架构建和蒙皮绑定三个部分。
1)角色模型建立
角色模型的构建最重要的步骤就是人物的初始姿态设定，即绑定姿态。初始姿态的选择决定蒙皮绑定阶段的高效准确性。而且本文创建的是昆曲人物，故初始姿态的设置就显得尤为重要。实验中发现假如将人物的初始动作姿态设置为手臂自然下垂的状态，将会存在一个明显的问题，那就是表演者在将手臂抬起时过程中很容易造成关节处的区域缺损，即“皮肤凹陷”的状况。所以，本文在角色模型构建中选择了一种‘T-Pose’姿态，也就是表演者的双腿并拢站立，手臂向两侧伸直。
图3 昆曲角色模型
2)人体骨架构建
人体有着结构严谨而复杂的骨骼框架系统，骨骼与骨骼之间共存有200多个关节自由度，若在此基础上对昆曲演员的所有骨骼进行3D建模，则需要对演员的骨骼模型进行分类和简化。简化原则主要是把一些活动关节和骨骼进行合并。本文运用Maya软件针对昆曲选段里的演员设计了一套虚拟骨架结构，其中演员的活动关节在骨架结构中是以多点状球形结构呈现的，方便了昆曲演员在运动状态下的数据绑定。如图4是本文设计的人体“T”型骨架模型，共展示了昆曲演员表演时会用到的30个关节点，但为了与Kinect采集的骨骼节点建立起系统内部的匹配关联，本文仅选用了昆曲演员“T”骨架的20个主要关节来进一步建立人体运动学关系。
图4 人物骨架结构
3)蒙皮绑定
本文采用对偶四元数线性蒙皮(DLB)算法来提取虚拟人物的骨骼蒙皮，该算法的流程可以采用式(1)来表示：
(1)
图5 昆曲人物骨骼蒙皮
4.2 Kinect数据采集
Kinect作为一种数据集成算法，是直接通过传感器去获取记录人物的彩色、深度及音频三种数据，同时可以利用收集来的图像信息进行骨骼跟踪、身份识别、语音识别，架构如图6所示。本文主要通过Kinect来采集昆曲表演者的深度图像信息，并对其进行人体骨骼的识别。
图6 Kinect架构图
1)深度图像获取
Kinect体感装置是利用光编码的原理，采用红外发射器发射红外线镭射光，然后镜头前的衍射镜片diffuser将透过的镭射光均匀投射在测量空间当中，从而能够形成镭射光散斑。接着与CMOS感光芯片中已经标注好的数据进行比较，输出具有深度信息的三维深度图像，如图7所示。在获得图像的深度信息后，还需要去采集记录下人体的骨骼信息进行骨骼识别。
图7 深度信息
2)骨骼数据提取
Kinect设备采集人体骨骼数据的流程图如图8所示，主要包括三个步骤：人体轮廓识别、人体部位识别、人体骨骼点定位。
图8 骨骼数据提取
第一步，人体轮廓识别。在深度图像中定位人体轮廓，实现人体目标轮廓完整的识别与分割。Kinect设备通过人体的肢体动作与手势，可快速获取深度信息并优先分割出靠近传感器的一侧。当识别出人体大致轮廓或者检测到有连体“大”字出现，Kinect设备会开启对像素点的逐一扫描，建模并统计出整个区域的深度数据，然后定位判断该点是否是隶属于人体的像素区，最终，进一步检测像素点阵的边缘轮廓实现对背景与人体轮廓的区分。
第二步，人体部位识别。身体各部位的协调运作形成了人体的动作。通过第一步对人体和背景进行分割后得到只有人体轮廓的图像，随后则要识别并分类出图像中人体的头部、四肢、驱干等主要部位。基于Kinect的人体部位识别原理是利用目前主流的机器学习算法，通过收集大量昆曲表演者的图像信息用于机器学习训练保存最优的模型，通过不同部位的具有不同的特征来实现对各部位的识别，结果如图9所示。
图9 人体部位识别
第三步，人体骨骼点定位。人体骨骼点定位。识别人体部位后，根据Kinect已识别的人体部位中识别出更多的人体骨骼关节点，以提高动作捕捉的准确性。本文采用深度学习的方法来预测出各个部位对应的骨骼关节点，如图10所示。
图10 人体骨骼点定位
经过前面的三个步骤，人体各个部位的骨骼点位置可以在坐标中显示出来并加以记录，然后使用SDK软件中的Skeleton功能达到对骨骼的实时跟踪效果。
4.3 骨骼数据绑定
为了能够去控制虚拟人物的运动姿态，本文在Unity3D开源软件中通过自定义Unity模块来控制Kinect设备的数据采集及记录更新，同时采用动态库提取人物角色的信息。Unity脚本的部分代码如表1所示，一共包含了4个端口：Kinect＿Init端口的作用是初始化设备；
Kinect＿Close端口用来控制数据流的开合；
Kinect＿Update端口具有数据流更新的功能；
Kinect＿GetData端口的作用是采集Kinect数据。除此以外，在编写Unity脚本代码时，还额外加入了一个Update函数，主要是负责更新Kinect数据流，从而能够得到所需的骨骼、深度以及彩色信息，同时还可以更新模型。
Unity脚本部分代码：
[Dlllmport(@"KinectDriverDLL")]
private static extern void kinect＿Init()；
[DllImport(@"KinectDriverDLL")]
private static extern void kinect＿Close()；
[Dlllmport(@"kinectDriverDLL")]
private static extern void kinect＿Update()；
[DllImport(@"KinectDriverDLL")]
private static extern void Kinect＿GetData(int[] n，float[] skeleton，byte[]depth，byte[] color)；
在实验中可以调用Unity脚本中的接口来直接获取Kinect设备中的数据信息，操作较为简单方便。但是如果想要得到人物的骨骼数据，则需要在调用Kinect＿GetData()端口前，必须要去先定义一个20*3大小的float类型数组，便于存储20个骨骼点对应的三个坐标数据，如表2所示。然后基于Kinect数来构建关节点与运动控制节点之间的模型，进而控制虚拟人物角色。所以在将创建好的人物模型导入到Unity3D中后，必须去求解出人物模型的关节点与Kinect设备采集到的20个骨骼点数据进行一一配对。
骨骼点数据定义：
float[] SkeletonPosData1f=new float[20 * 3]；
Kinect＿GetData(i，SkeletonPosData1f，pDepth，pColor)；
4.4 模型优化
1)场景渲染
场景渲染是将昆曲舞台的光影信息烘托到贴图上，能够在舞台场景中没有虚拟照明灯光的条件下，构建的场景模型还能具有真实的感光效果以及真实的表面纹理，最终达到既可以加快渲染速度又能够有效节省系统资源的目的。
虽然贴图能够在一定程度上提高昆曲舞台的视觉体验效果，但是在实际的实验过程中会出现一些问题，比如表演中动态的对象往往无法融入到静态的场景中，导致场景中的光线很不自然。通常的方法是针对动态的对象进行实时烘焙，但是这样会降低模型的工作效率，消耗大量时间。因此本文在场景中灵活地设置一些Light Probes检测器，通过去获取周围的光和暗信息，然后对动态对象相邻的检测器进行插值，得到插值结果作用于动态对象上，从而达到实现静态场景与动态对象的实时融合效果。
2)面部识别优化
昆曲演员的头饰装扮和面部妆容的修饰是演出前必须重视的部分，尤其是在旦角装扮中。
因此对于面部的动作捕捉要求提高，针对面部模型进行优化从而展现出更加逼真的表演人物。系统采用的结构光原理，将光线投射至面部方向，昆曲演员脸部的形状是通过向脸部投射光，然后利用设备读取反射回的光信息来分析后确定的，所以投射光能够影响表演者面部形状的准确度。本文利用点投影仪将肉眼看不见的3万多个光点投射到人脸上，形成点阵，然后用红外镜头读取点阵图案，并结合前面相机拍摄的人脸进行计算，这样便可获取更加真实的人脸表情深度信息，构建真实的人脸三维模型。
3)重定向算法设计
在昆曲表演中，为了能够直观地体现不同人物角色的身份以及性格等特征，通常会在服装中使用水袖、霞帔、点翠等元素，而这些服装也会随着表演者的动作变化而发生摆动。这会导致在进行人物跟踪的过程中，虚拟画面中会出现服装的重影及抖动等相关的失真现象，如图11所示。本文模型优化的目的是将运动数据重定向到虚拟昆曲服装模型中，同时也要能够满足虚拟画面的实时性要求，设计了一种基于运动捕捉数据的密集重复性的重定向技术。该技术的核心之处就是将逆向率控制器与基于逆向运动学的重定向技术相结合。
图11 水袖的重影及抖动
4)后期特效优化
光溢出是一种真实的光照现象，所以为了能够让虚拟图像在视觉上更加的真实，可以通过后期特效优化得到一种光溢出的效果。比如观察暗的背景中亮的对象时就会出现光溢出的现象，如图12所示。但是添加更亮的对象也会产生其它的一些反面效果，比如条纹、镜头眩光等，所以导致在渲染非常亮的对象时，并不能很好的呈现出预期的效果。因此，当光源射到薄膜或者相机前时，可以通过模拟在眼睛中出现的效果来帮助表现对象的相对亮度。
图12 光溢出
VR作为当前新兴的数字媒体技术，其沉浸性、交互性的特点对传统艺术的传承传播具有积极的推动作用。昆曲艺术与现代科技的结合，将传统文化用虚拟化、数字化的方式呈现，加强VR和昆曲艺术之间的互动性，促使两者都得到共同的进步。本文基于高真实度昆曲交互表演系统设计对昆曲的传播与教学体验具有积极的推动作用，其具体优势如下：
1)构建以高真实度环境为基础的智能交互性体验系统。使昆曲虚拟演员的服饰、妆容、道具的仿真细节更逼真。
2)通过引擎中的实时渲染能够构建更逼真的昆曲戏台场景模型，能够优化昆曲虚拟角色的静态造型与动态肢体动作的连贯性，减少延迟。
3)基于此系统能够促进昆曲演员排演的积极性，适应昆曲表演场景的多元化，扩大昆曲受众的辐射范围，发展昆曲身段教学，数字化传播昆曲经典剧目，使百戏之祖历久弥新。
猜你喜欢 昆曲骨骼建模 也论昆曲的形成与梁辰鱼的贡献戏曲研究(2022年1期)2022-08-26做家务的女性骨骼更强壮中老年保健(2021年5期)2021-12-02三减三健全民行动——健康骨骼中老年保健(2021年5期)2021-08-24联想等效，拓展建模——以“带电小球在等效场中做圆周运动”为例中学生数理化(高中版.高考理化)(2020年11期)2020-12-14《红楼梦》的当代昆曲改编与经典化红楼梦学刊(2020年4期)2020-11-20基于PSS/E的风电场建模与动态分析电子制作(2018年17期)2018-09-28大江东去浪千叠——百戏之祖“昆曲”艺术启蒙(2018年7期)2018-08-23不对称半桥变换器的建模与仿真通信电源技术(2018年5期)2018-08-23益宝打造骨骼健康产业知识经济·中国直销(2018年3期)2018-04-12爱在昆曲里，化成一片旧时月色传奇故事(破茧成蝶)(2015年8期)2015-02-28