第二个挑战是表演时的人机互动。在舞台上，指挥和乐团是真人，虚拟歌手们要学会“听”指挥的指令，做到与交响乐团的现场演奏无缝衔接，而这并非易事。
记者在彩排现场看到，指挥潘明伦脱去了西装，他的腰上、肩上、手臂和手腕处都绑着装有传感器的绑带，他不时停下指挥，与台下的技术团队进行沟通磨合。
传感器的作用是把指挥的肢体动作“同声传译”给人工智能合唱系统。“难点也在于此，指挥的手势不是固定的，需要有个模糊逻辑让系统学习。开始挺乱的，现在越练越好了。”郭毅可说。
经过长达半年的科研攻关和人机磨合，浸大的人工智能合唱团成功地完成了与真人交响乐团的合作。
人工智能眼里的“东方之珠”
最大的突破来自人工智能的“创作”。配合歌曲意境，人工智能自主创作的3D音画，用天马行空的想象力和表现力向人类描述了它眼中的“东方之珠”。
在这段时长约4分钟的3D音画里，人工智能共生成近3000张图像，且画面之间逻辑顺畅，并与《东方之珠》的歌词和旋律相匹配。“根据歌词内容不断变化，动态生成各种场景。镜头设计了一个虚拟的飞行视角，其速度和高度随旋律而变化，音量高就飞得高；节奏快，速度也会加快。”郭毅可说。
刚开始的时候，团队只是让人工智能根据歌词生成一幅幅画，将它们简单连接。随着探索的深入，他们开始尝试让人工智能“创作”三维视频。“这需要对歌词内容系统地理解，而且逻辑必须连贯，并且自动生成。这个时候我们的创新就开始了。”郭毅可说。 |
