电院要闻
计算机系赵海教授团队获得国际机器阅读理解顶级赛事SQuAD 2.0挑战赛第一名
日期:2019-08-07 阅读:1152

计算机系智能计算与认知工程上海高校重点实验室赵海教授指导的自然语言处理团队于2019年7月19日在国际机器阅读理解SQuAD 2.0挑战赛排行榜上获得单模型第1的成绩,首次单模型超越人类基准分数(包括EM和F1两项评估指标),同时综合模型在F1基准指标上首次超过90%。研究团队主要成员包括张倬胜(硕士)、巫宇威(本科生)、张帅亮(硕士)等。


机器阅读理解是人工智能领域中的关键挑战,旨在训练机器理解人类自然语言。而SquAD(Stanford Question Answering Dataset,斯坦福问答数据集,官方网址:https://rajpurkar.github.io/SQuAD-explorer/)则被视为机器阅读理解领域的顶级赛事。SQuAD机器阅读理解竞赛的目标是让机器阅读一篇文章,然后回答关于文章的任何问题,而2.0进一步引入了不可回答的问题,需要机器在回答时进行判断,更加逼近人类阅读理解的思维方式。研究团队结合了近几年在该领域的研究成果,针对阅读理解存在的语义理解不准确、易遭受对抗攻击等问题,提出多种有效解决方法,包括使用显性的语义和句法知识引导语言模型训练,构建的阅读理解系统性能达到了国际领先水平。

自SQUAD2.0挑战赛发布以来,历史上曾经获得第一名的队伍仅有Google、科大讯飞、XLNet团队和平安科技。赵海教授团队在最近让上海交通大学成为第五个获此殊荣的研究机构,也是目前为止成绩最高的学术机构提交者(下一个排名学术机构为首尔国立大学,排名24位),目前仅我们的成绩(单模型)就领先于知名的IT公司包括Google、Facebook、微软和阿里在内的所有单/组合模型系统。

此外,2019年,赵教授团队也是首次在另一类型的机器阅读理解(选择问答型)旗舰任务RACE上首次超越人工成绩的团队,并保持国际领先半年之久。

机器阅读理解技术可用于大量的应用场景,包括智能问答系统、下一代搜索引擎、对话机器人系统等,可覆盖电商、金融、医疗等领域。


供稿:赵海

图片:赵海

Baidu
map