让“无声世界”感受赛场魅力!带你看看冬奥手语数字人有哪些奥秘******
2022年2月4日,第24届冬季奥林匹克运动会在北京举行,让世界目光再次聚焦中国。本届北京冬奥会秉持绿色、共享、开放、廉洁的办赛理念,凝聚中国科技力量,面向世界、面向未来,向全球奉献了一场精彩、非凡、卓越的奥运盛会。
本届冬奥会运用最新科技手段,为全世界观众提供了惊艳的现场转播和全方位覆盖报道,北京冬奥会也成一场上科技含量高的奥运会。赛事活动期间,为了让各类人群都能平等地享受本届冬奥盛会,北京电视台上线了智能手语播报数字人,在《北京新闻》和《北京您早》等节目中进行冬奥专题手语播报,为听障人士带来精彩赛事报道。
最新数据显示,我国听障人群超过2700万,这部分人群与健听人一样,他们对教育、社交、娱乐等信息获取都有巨大的需求。但长期以来,传统人工手语翻译工作量大,且主持人和手语主持人配合难度极高。手语动作表情复杂,语序与正常语序差异大,正常情况下想要熟练掌握手语大约需要2年左右的时间,还要结合语境进行猜测。
受北京市科委科技冬奥专班委托,北京电视台联合凌云光、智谱AI等业内科技公司,在北京市残疾人联合会和市残联聋人协会等支持下,用3个多月时间,让手语播报数字人完成了近10万条手语语料学习,且翻译准确率高达90%。
在如此短的时间内实现这项高难度动作,智能手语数字人是如何做到,在这背后又有哪些技术创新难点?
在多位业内人士看来,近年来人工智能体系建设重点布局在算法层和应用层,数据层建设远远不足,并且针对数字人相关产业,底层数据库的数量、质量和开源程度还明显不足。尤其是国内现有的手语语料数据库数量少,且多以图像、视频等二维平面为主,无法满足AI(人工智能)训练的需求。
同时,因手语语序与中文语序差异大,方言分化更加复杂,且需要通过表情、口型、动作等方式来传达信息。除了传统的二维平面图像、视频采集,三维肢体运动、表情信息数据采集及结构化参数表达外,手语语料数据库建设对三维运动信息捕捉也十分重要。
凌云光手语数字人产品相关负责人介绍,在建设高质量手语语料库的同时,他们充分调研了2022北京冬奥专用手语术语,并联合北京市残联、聋人协会等相关组织机构,进行数据标注,建设手语语义映射关系,不仅完善了国内手语数据库的建设,也为手语推广和AI研究留下了宝贵的数据资产。
该负责人举例说,基于“悟道2.0”超大规模人工智能模型的技术支撑,手语数字脑用计算机模仿听障人士的大脑,将看到的中文文本信息转换成手语词汇序列,包括中文语义蒸馏模型和AI手语分词快编算法的研究。中文语义蒸馏模型用于从输入的文稿或文本中提取出关键的语义信息,将中文文本语义提炼和精简,形成精准匹配适合手语表达的文本;AI手语分词快编算法则用于将蒸馏得到的中文文本,根据冬奥手语语料库划分成相应的手语词汇序列,供数字人做表达输入。
该负责人还提到,数字人是冬奥手语播报的载体和展现形式,通过高精度写实数字人全流程制作方案,可实现一键数字建模,高度还原真人发肤,重新毛孔等细节,更加真实亲切。同时,通过跨模态拟人生成算法,还可以将手语词汇序列,生成相应的动作信息,驱动数字人模型做出相应的动作、手势和表情。(姚坤森)
东西问丨田浩江:唐诗如何与歌剧等西方艺术碰撞交融?******
中新社纽约1月30日电 题:唐诗如何与歌剧等西方艺术碰撞交融?
——专访著名歌唱家、“唐诗的回响”音乐会艺术总监田浩江
中新社记者 王帆 廖攀
2023年伊始,一场“唐诗的回响”音乐会在美国费城和纽约上演,来自10个国家的15位歌唱家携手费城交响乐团,用中文演绎了以李白、杜甫、白居易等名家诗篇为基础创作的音乐作品,受到美中媒体的广泛关注。
唐诗如何与歌剧、交响乐等西方艺术碰撞交融?近日,“唐诗的回响”音乐会艺术总监、著名歌唱家田浩江接受中新社“东西问”独家专访,讲述了音乐会从作品征集到演出成型的背后故事以及他对艺术融合和文化交流的理解。
田浩江是首位与美国纽约大都会歌剧院签约长达20年的华人歌唱家,曾在40多个世界顶级歌剧院参演过1400多场歌剧,与帕瓦罗蒂、多明戈等有过多次合作,先后获丹佛大学终身成就奖、获曼哈顿音乐学院荣誉博士。田浩江认为,歌唱有一种力量,能潜移默化起到沟通的作用。不同文化应加强交流融合,这样世界才更充满希望。
现将访谈实录摘要如下:
中新社记者:唐诗音乐会为何在美国受到超出想象的欢迎?
田浩江:此次唐诗音乐会,是由世界著名的费城交响乐团演奏整场唐诗音乐作品,它不是一个孤立的表演艺术形式,而是综合性的。汇集中国唐诗的文学力量、现代音乐和多国歌唱家,这种综合性呈现出独特性。
2023年1月7日晚,2023“欢乐春节”《唐诗的回响:iSING! Suzhou和费城交响乐团中国新年音乐会》在纽约林肯中心爱丽丝·杜莉音乐厅上演。廖攀 摄中新社记者:唐诗是如何与歌剧等西方艺术碰撞交融的?
田浩江:唐诗是中国文学的高峰。在国内,大家从孩提时学习、背诵唐诗,这是文化的传承。说到融合,我当歌剧演员已经超过35年,最相信的就是歌唱。我唱了几十部歌剧,演出了1400多场。我认为,歌唱有一种力量,这种力量很难言语,它可以感动你。不管是意大利歌剧、德国歌剧、中国民谣还是中国现代歌剧,观众一分一秒都有感觉,会不知不觉地被吸引。唐诗音乐会的演员都是年轻的歌剧演员,只要是用心唱、唱得好听,歌唱就能让我们更好地感受彼此。这是一种沟通的力量。
我认为,西方的歌剧和中国的原创歌剧,都有成为经典的歌曲和音乐,这与音乐的丰富性、交响性、歌唱性有直接关系。此次唐诗音乐会不是简单的诗歌问题,而是一个完整的、有底蕴的艺术呈现问题。作曲家在创作时,把他们内心的感受赋予到作品中。来自多国的作曲家结合他们的历史知识,用现代音乐把对唐诗的感觉融进去。最后,我们的歌剧演员再把这种感觉表现出来。这是一种全新的综合性呈现。
歌唱家田浩江在位于纽约林肯中心附近的寓所,他身后的墙上挂满了他所饰演的歌剧角色剧照。廖攀 摄中新社记者:从作品征集到音乐会最终成型,您最大的感受是什么?此次演出,在演员、乐团等配置上有哪些考虑?
田浩江:我们的团队从组织国际作曲比赛开始,用了将近8个月的时间,选出一组来自6个国家的青年作曲家的唐诗谱曲。这是没有尝试过的项目,最终如何呈现、能否演出都充满未知。在2020年新冠疫情期间,西方的演出市场都关闭了,我们仍得到多方的大力支持。后来,多国歌唱家万里迢迢来到中国参加排练,唐诗音乐会先在国内进行了首演。时至今日,这个项目能够延续到纽约林肯中心的舞台上,可以说是经过了千山万水。这次15位独唱演员来自10个国家。做这个项目,要对唐诗有感情,要对呈现新的作品有追求。
乐团方面,此次美国演出,我们非常有幸能与著名的费城交响乐团合作。费城交响乐团演奏的每一个音,尤其是弦乐部分,都把作品提高了不止一个层次。他们演奏的水准,包括协调性和交响性,对于我们的歌唱家来说,是一种托举。
演出结束后该音乐会艺术总监田浩江与全体演职人员合影。廖攀 摄中新社记者:从一开始学习声乐表演,到参演歌剧,再到担任艺术总监,您对东西方艺术的感悟是多维度、多层次的。您怎样看待这种经历?在声乐领域,您觉得什么是好的艺术?
田浩江:对于一个歌唱家来说,经历对歌唱的影响是不容置喙的。一个人的经历不光是在舞台上、在音乐学院里,而是跟他人生的种种遭遇有直接关系。经历得越多,对喜怒哀乐的领悟会更丰富、深刻。你所经历的一切对你在台上塑造人物都有帮助。
任何一种声乐艺术实际上都有关联性,不能把它们隔开。搞声乐艺术的人,对歌唱、音乐形式一定要有宽阔的视野。我自己是一个歌剧演员,我也喜欢流行音乐、爵士乐、民谣等。对我来说,好的艺术是要好听、感人,这两点极为重要。
中新社记者:唐诗音乐会是否会去到其他国家?对于未来有什么计划或打算?
田浩江:据我所知,有观众在费城看完唐诗音乐会后,又追到纽约观看。可以说,美国这两场演出后,观众的反应超出了我的预期。唐诗音乐会值得去无数的地方演出。不过,未来是否能争取到投资,这个我也不知道。
一般来说,提到唐诗就会想到宋词,是继续做唐诗音乐会还是转向宋词或尝试民歌?这个问题我来问你。大家的期待对我们会有启发。
2023“欢乐春节”《唐诗的回响:iSING! Suzhou和费城交响乐团中国新年音乐会》的演出现场。廖攀 摄中新社记者:如何看待东西方文化之间的交流?在艺术创作和演绎方面,您觉得中国文化应该怎样与世界沟通?
田浩江:我认为,文化有包容性,不同文化之间的交流融合很重要,这样世界才更充满希望。就像艺术不可能停留在一个单音上,一定需要美好的和声和旋律。中国文化不是一种孤立的文化,一定会和世界上的其他文化融合起来。而且,文化本身有一种平等性,文化间的交流要自然地、从最美好的角度进行。
歌唱也会起到沟通的作用。通过不同的艺术形式去感受不同的文化,这就是一种很好的沟通方式。(完)
受访者简介:
歌唱家田浩江。廖攀 摄田浩江是首位与美国纽约大都会歌剧院签约长达20年的华人歌唱家,曾在40多个世界顶级歌剧院参演过1400多场歌剧,与帕瓦罗蒂、多明戈等有过多次合作,先后获丹佛大学终身成就奖、获曼哈顿音乐学院荣誉博士。
(文图:赵筱尘 巫邓炎) [责编:天天中] 阅读剩余全文() |