1月23日晚,中央电视台《经典咏流传》第二季节目中出现了一款“读诗成曲”的在线互动小工具,用户仅需要朗读一段诗词,就可以听到用自己声音演唱的经典诗词唱段。这一技术正是上海交大-思必驰联合实验室提供的个性化歌声合成算法。
歌声合成技术是语音合成(TTS,即 Text to Speech)的衍生品,其关键区别在于韵律预测模型不同。在普通TTS系统中,通常有个韵律模型来根据句子的内容和语调环境预测每个音素(音节)的时长和音高曲线。在歌声合成中,这个韵律模型则更换成由乐谱来预测每个音素(音节)的时长和音高的歌曲韵律模型。最终的生成过程仍然跟语音合成类似,将韵律参数和频谱参数结合,生成歌声。
在“读诗成曲”中,韵律预测模型可以使得机器根据人说话的语调合成歌曲,且根据唱段的韵律和节奏调整音调。
“读诗成曲”小工具在用户读诗录入后,设有“语音判断”环节,借助领先的语音识别技术,准确捕捉用户录入的诗词读音,并做出判断。当诗词读法准确无误时,用户就可以上传并合成歌声;当用户读法有误,如字词的错读漏读,系统则会建议用户返回录入环节,重新录音并合成歌声。这能够让大众在接触传统文化时,纠正其对经典文化认知方面的错误,保证传承的正确性,让大众享受科技、娱乐、文化三者交融的乐趣。
这一技术在央视舞台亮相后,引起了大众和业界的广泛关注,获得新华日报、人民网、新浪新闻、搜狐网、36氪等多家媒体报道。充分展现了上海交大-思必驰联合实验室在语音合成技术方面的卓越实力。
扫描以下二维码,可体验“读诗成曲”的神奇:
附:
新华日报2月20日报道:
语音合成帮你秒变“歌唱家”
http://xh.xhby.net/mp3/pc/c/201902/20/c596818.html
人民网:《经典咏流传》“读诗成曲”让亿万观众传唱经典
http://ent.people.com.cn/n1/2019/0202/c233223-30608218.html
中央广电总台国际在线:
《经典咏流传》人工智能“读诗成曲”让亿万观众传唱经典
http://ent.cri.cn/20190202/b28618ab-245b-a627-160b-a9ec26d7dc38-3.html
搜狐:
思必驰“读诗成曲”登上央视!为什么它被称为“文艺的科技复兴”?
http://m.sohu.com/a/292131157_365555
新浪:
新知丨智能语音合成帮你“读诗成曲” —江苏技术成就“爆款”
http://news.sina.com.cn/o/2019-02-19/doc-ihrfqzka7257506.shtml
36氪:
语音识别+歌声合成,思必驰的新产品想让普通人“读诗成曲”
https://36kr.com/p/5174580.html