上海交通大学BCMI实验室赵海教授团队(与NICT合作)在CoNLL-2019国际跨框架语义分析评测中获得单项第一名
在刚刚结束的CoNLL-2019国际评测（http://mrp.nlpl.eu/）中，上海交通大学BCMI实验室赵海教授团队(与NICT合作)近日在CoNLL-2019国际跨框架语义分析评测中取得单项第一名，总分第二名的好成绩。
CoNLL 系列评测每年由 ACL 的计算自然语言学习会议（Conference on Computational Natural Language Learning，CoNLL）主办，是自然语言处理领域影响力最大的国际技术评测，有力推动了自然语言处理各项任务的发展。
今年的 CoNLL 任务为：Cross-Framework Meaning Representation Parsing，即跨框架语义分析。涵盖了DM、PSD、EDS、UCCA、AMR等5种最为著名的语义表示框架，每种框架都将自然语言表示成图结构来表达特定的语义特性。5个框架按照图中结点与句子中的词的对齐关系，大致可以分为3类：
- 图中的节点与句子中成分一一对应(DM、PSD，EDS)
- 图中的节点与句子的成分存在部分对应关系(UCCA)
- 图中的节点和句子的成分之间没有显式的对应关系(AMR)
本次评测统一了5种框架的表示方法，与之对应的，也统一了评测的方法。具体来说，在评价每个系统表现的时候，需要计算标准图与预测图的同构程度，并考虑以下7项与语义图相关的属性：头结点、每个结点的标签、每个结点的特性（词性、词干)、结点对应句子中字符的范围（锚点）、有向边的集合、每条边上的标签、每条边上的属性（UCCA区分实边和虚边）。从下图可以看到，每个框架只对应若干个图的属性。在进行排名的时候，组织者将会计算每个参赛系统在5个框架下的表现，即按照每个框架所对应的属性，计算标准图与预测图之间的的匹配程度(F1)。最后将所有的框架在所有属性的匹配分数汇总起来，记为ALL-F1值，作为参赛系统的性能指标。
框架对应的语义图相关属性
今年的CoNLL评测引入了多种语义图框架，首次将形式和评估不同的框架结合在一起，形成统一的训练和评估设置。相对往年评测，难度显著增加。最终有包括北京大学、哈尔滨工业大学、苏州大学、香港科技大学、香港中文大学、亚马逊公司在内的16支队伍成功提交了评测系统。我们的系统在最关键的评测指标，即ALL-F1上获得了第二名，其中DM框架取得了第一名的成绩。
项目参与成员：李祖超(SJTU)，张倬胜(SJTU)
指导老师：赵海教授(SJTU)， 王瑞博士(NICT)
最终的ALL-F1排名如下：
排名下载链接：http://svn.nlpl.eu/mrp/2019/public/results.ods