欢迎进入中国社会主义文艺学会官方网站!网址:www.cslai.org

您的位置:首页 > 诵读艺术 > 新闻

艺术+科技,共筑一朵“雪花”

时间:2022-02-24 11:00:51 来源: 《中国艺术报》 作者:田湉

 


艺术+科技,共筑一朵“雪花”

——北京冬奥会开闭幕式表演艺术中的科技之光

陶冉 摄

  与开幕式一脉相承,北京冬奥会闭幕式续写了关于“一朵雪花的故事”,12辆晶莹剔透的十二生肖冰车以车轮痕迹压出“中国结”,14米直径的冰雕雪花悬挂在鸟巢中央熠熠生辉,365束绿色LED杨柳枝表达折柳寄思的依依惜别,1200平方米的立面冰瀑垂直而下,2195立方米的冰立方被激光不断雕刻牵引,11500平方米的超大巨幕地屏,21000个LED灯珠组成的缓缓升起的“星光五环”……这一切基于了人工智能、动捕追踪系统、燃料动能、激光、LED装置、VR、AR、裸眼3D、8K+5G转播、智能机器人等前沿科技力量的支持。奥运会开闭幕式的高科技特性、技术运用程度、如何运用,都成为了这个国家科技创新力量的衡量标准。

  “数字科技+美学创新”遂成为此届北京冬奥会开闭幕式的视觉标签,这无疑需要国内顶流技术专家、编程师和视觉艺术家们的通力合作。以下,从计算机仿真技术的虚拟排演、AI实时动捕追踪的交互表演、VR及裸眼3D的增强现实效果三个方面来看开闭幕式表演中“艺术+科技”双重轨道的交汇融合。

  计算机仿真技术的虚拟排演

  冬奥会开闭幕式创意期,即实地排练前期,计算机仿真系统的虚拟编排功不可没。导演组要与北京理工大学计算机学院数字表演与仿真技术团队密切沟通,在仿真系统上集成物理环境和演出各要素构建虚拟环境,对创意文案、视频、动画等创意素材进行分析抽取后,进行推演验证形成创意数据。这套“冬奥会开闭幕式仿真与排练系统”,能够让导演组先期在计算机上进行推演验证,从而评估“创意预演内容”的可行性,对创意方案进行预判。

  开幕式中,由395个武校少年手举发光杆表演的《立春》,由北京舞蹈学院96个引导员表演的舞蹈《构建一朵雪花》,《雪花》篇章中由660个儿童表演的实时交互舞蹈“和平鸽”;闭幕式中手提雪花灯笼的开场表演《点亮》,缅怀时刻的《折柳寄情》等,都是由仿真流程在先的。仿真先后模拟了队形编排、点位设计、上下场流调方案等多个方面、多个步骤。在计算机上,模拟出演员点位,三角形、心形、方阵、圆圈等,以及演员调度位置,系统规划、优化演员流线和出场位置。

  仿真技术为开闭幕式的排练过程提供了有力支持。演员训练期间,仿真数据提供的点位训练手册成为导演组给演员们排练的必需品。开闭幕式中,孩子们的自由表演令人印象深刻:开幕式中手持发光“和平鸽”的儿童在雪地上自由玩耍,而闭幕式中手提发光雪花灯笼的儿童再次围绕着“雪花”装置重现自由玩耍的场景。而这个看似随意的表演,实际上演员位置也都经过了缜密的规划和点位排演。尤其是开幕式的《雪花》篇章,由于实时交互系统的高效追踪是建立在独立个体的基础上的,导演组又希望呈现自由玩雪的画面感,因此将点位放在了看起来很随意的“散点”上。看似随意,但其实“散点”也是需要经过设计的。“散点”意味着每个小演员之间前后左右的距离都有所间隔。这些都通过仿真技术提前进行设计和预判。

  同时,仿真技术往往可以解决在真实排练中解决不了的视角问题。众所周知,开闭幕式表演的主题是“雪花”,而巨大的被悬挂起来的闪亮“雪花”就成为了场馆内的核心装置。由于“雪花”装置被拉吊的角度分为45%、75%等不同角度,又由于“雪花”周围演员点位的角度仍是以主席台为主视角的,那么演员点位会比俯视角度的点位有所变形。比如演员点位是一个“心形”,基于主席台视角,“心形”需要匹配“雪花”上升角度,就会是一个有所“变形”的心形。所以,仿真在虚拟过程中就需要基于主席台视角,把围绕“雪花”本身的队形做出适度的透视视觉编排,这样也就避免了实际排练中的视角问题。

  AI实时动捕追踪的交互表演

  AI人机交互系统与“和平鸽”小演员们之间的实时追踪互动表演,被誉为此次开闭幕式表演中的“科技巅峰”。

  2020年底,笔者加入了北京冬奥会开幕式导演组,并被总导演张艺谋任命负责带领一支编导队伍排演主题歌《雪花》篇章,这是一个由500个来自北京金帆舞蹈团的舞蹈小演员和160个来自北京爱乐合唱团的合唱小演员共同带来的表演,由于它同时也是开幕式中规定的“和平鸽”表演,因此也被称为“和平鸽”环节。这是因为国际奥委会对奥运会开幕式设有几项规定动作:运动员入场式;奥运会组委会主席演讲(本届为蔡奇);国际奥委会主席演讲(本届为巴赫);唱会歌、升会旗;奥运火炬点燃;放飞“和平鸽”等。《雪花》篇章承担的就是“和平鸽”这一要素。

  《雪花》长达一年的排练过程中,英特尔联合北京电影学院交互设计团队发挥了重要作用,他们为“和平鸽”定制开发了“基于AI的大型演出实时特效系统”,这是能够制造出“雪花与孩子如影随形”画面的关键。这套“基于AI的大型演出实时特效系统”包括“低延迟人物对象跟踪”和“实时视觉特效”两个程序:“低延迟人物对象跟踪程序”通过摄像头捕捉演出现场小演员们站立的物理位置,通过局域网发送到渲染系统,再完成小演员们脚下的“雪花”图形的实时渲染;“实时视觉特效程序”则是基于实时图形渲染引擎构建的特殊效果算法。根据整体视觉设计要求,雪花不要实在的、具体的、现实生活中人们见到的“雪”,而是相对抽象的、游动的“雪花粒子”。为了强化“雪花粒子”的闪亮效果,粒子渲染中加入了光晕与HDR特效。整个过程以毫秒计,小演员们和地屏上闪亮的“雪花粒子”的交互追踪毫无延迟,总流程不超过0.1秒。

  导演组和技术团队的测试是从2021年10月开始的。尽管如此,在2022年1月22日的第三次开幕式全要素彩排之前却仍然出现了问题。由于下雪的极端天气影响,加之演员散点位置进行了大幅度调整,出现了单台图形采集设备的覆盖范围算力不足的情况,导致LED地屏的部分区域追踪效果失效。当天下午只有另外的3/4地屏是稳定运行的。因此,导演组花费了大量的时间精力和技术团队密切合作、不断磨合,在每天训练完天黑之后再次让小演员们上地屏,做人物对象跟踪的压力测试,通过点位调整寻找最为稳定的算力,将演出当天的追踪效果发挥到最大化。

  在AI实时动捕追踪的交互表演中,演员构成的往往是一个运动着的图像。《雪花》中,以小演员们和地面上“雪花”的交互追踪关系来建构这一视觉整体。每个小演员的手里都有一个发光的“小鸽子”道具,配合小演员们散点的流调、跑位,将脚下、手中的“闪亮”光点作为交互方式,构成视觉空间。小演员们被看成是一个个的视觉像素,是整体环境中的动态元素,他们在空间中构造并与脚下的“雪花”形成互动关系,整体形成的“闪亮”的雪花和星星点灯的童话梦境效果。

  实时交互这一创意决定了《雪花》的表演不再是国家大型文艺表演惯常可见的“团体操”式的编排。没有了排山倒海的队形变化,没有了大开大合的动作模式,没有了整齐划一的表演规范……当我们反其道而行之的时候,却显得真诚有趣,有着大道至简的自信。《雪花》最终实现了首次用660人的、大规模的基于人工智能与实时渲染,呈现真实演员与虚拟影像实时互动的特殊视觉效果,将实时视觉特效在大型文艺表演中的运用发挥到了极致。

  裸眼3D和AR技术的呈现效果

  开闭幕式大部分演出创意的产出,都是通过地面显示系统。这是目前世界最大的LED三维立体地屏系统,也是开闭幕式演员们表演的主舞台。这个超大地面显示屏画质为16K,每秒钟50帧,画面像素实际分辨率达到14880×7248,接近4个8K,可完美地呈现裸眼3D效果。

  闭幕式第一个开场节目《点亮》,延续了开幕式“一朵雪花的故事”。一群孩子们提着暖黄色灯光的雪花灯笼在冰天雪地中嬉戏,在孩子们脚下逐渐出现三维的冬奥会会徽,视觉上就好像孩子们站在立体会徽之上。这就要求在创意阶段,导演组首先要做的往往不是编排什么具体动作,而是想到孩子们和地屏上裸眼3D的呈现效果共同构成怎样的视觉整体。孩子们用自己的身体和地屏上“冬”字的立体空间成为一个视觉整体,每个孩子都成为了地屏画面的一个像素。

  随后,无数条红丝带从四面八方飞向鸟巢中心,一个巨大的实体中国结装置挂在鸟巢之上。这个巨型中国结是由数字AR增强现实技术生成,AR能在现实世界中展现出原本不存在的虚拟物体,以超高精细度形成逼真的视觉效果,看起来就像真有一个巨大的实体中国结悬于上空一般。

  同样用到了增强现实技术的篇章是开幕式上的舞蹈表演《构建一朵雪花》。音乐开始,就有了数字AR的各种各样的雪花从空中漫漫飘落,伴随现场舞蹈演员们脚下“雪花”的汇聚,演绎了人类命运共同体的构建。演员们高举的发光雪花引导牌,由于脚下跑动出现的“雪花”而形成地屏和演员的跟随关系。也就是说,演员的行为有效“影响”或说“搅动”了这些AR增强现实技术带来的演员周围的“雪花”,以及地屏上影像中的“雪花”。数字AR的“雪花”是提前设计好的,且大量参数在表演过程中被不断调适。演员与地面光影的“雪花”互动,加之增强现实技术布满天空的“飘雪”,点出了开闭幕式表演的核心——“雪花”,也体现出“世界大同,天下一家”这一构建人类命运共同体的宏大主题。

  结语

  北京冬奥会开闭幕式是让世界感受中国的一个窗口,是彰显国力的一次盛会,它体现出中国在当今世界格局中的文化艺术水平和科技实力。不论动作捕捉技术、实时交互技术,还是虚拟仿真技术、VR、裸眼3D等,其目的都是支持、激活、加强开闭幕式现场的表演效果。

  科技力量才是奥运会上奇观的制造者。正是这些各种各样的、隐藏着的、惊人的“黑科技”,共筑了开闭幕式盛会中的这朵“雪花”。

  (作者系北京冬奥会开幕式分场导演、北京舞蹈学院副教授)


版权所有:中国社会主义文艺学会@2019 京ICP备13008251号 网站维护:中安观研究院互联网科技中心 网站制作联系:010-57130801

京公网安备 11010502052014号