开发集系统验证结束提醒 & 提交最终系统注意事项

各参赛单位,

距离系统验证截止只剩下一周时间(截止时间:8月7日 2359),请没有完成验证的队伍尽快完成验证,否则将无法参与最终的评测。

Codalab上要求使用docker的形式提供环境依赖,请务必提前准备好docker或者使用现成的docker(评测委员会并不会额外提供环境配置的时间)。

在系统验证后一周(即8月13日开始),我们要求参赛队伍提交最终的评测系统。

提交的系统将在完整的测试集上得出最终的客观评价指标并进行排名。

 

【近期时间点】

时间 事件 对参赛者的建议

8月7日 23:59前

完成系统验证

请参赛队伍尽快提交一版可跑通的系统

8月8日~8月12日

已验证的队伍准备最终系统

请务必再次确认codalab上的环境依赖,确保在下述时间内提交完毕

8月13日 ~ 8月17日

提交最终评测系统

参赛者提交最终的评测系统

9月初

公布评测最终排名

10月下旬

举办评测大会

 

【注意事项】

1、开发集、预测试集(即测试集的一部分)排名不影响最终的评测排名。

2、最终排名依据:F1和EM的平均值,保留小数点后3位

3、为了避免codalab拥堵,请尽量避免在最后一天提交系统

4、与系统验证阶段类似,参赛队伍可同时提交两个系统参加最终的评测排名。

5、两个系统只能是单系统+多模型融合,不允许同时提交两个单模型或两个多模型。

 

预祝大家取得好成绩!

启用新网址:cmrc2018.hfl-rc.com

各参赛单位,

由于之前IP限制,导致海外参赛选手无法访问评测网站,在此表示歉意。

目前评测网站已完成迁移,请大家访问新地址:

http://cmrc2018.hfl-rc.com

后续该博客中的系统排名将不再更新,请移步至上述网址进行访问。

备注:原地址仍可访问http://www.hfl-tek.com/cmrc2018

感谢大家的理解与支持!

 


CMRC 2018 评测委员会

请一定正确设置worksheet的权限,避免造成代码泄露(重要)

各参赛单位,
请各位一定注意:在新建任何worksheet之后,首先务必取消public的任何权限(包括read)
1、进入worksheet后,命令:cl wperm . public none
2、并设置cmrc2018-official用户组为可读:cl wperm . cmrc2018-official read
正确进行权限设置之后,才可以复制官方开发集、评测脚本等其他操作。
随着提交人数增多,源代码泄露风险也越大,请务必按照上述操作进行权限设置。
由于参赛队伍没有正确设置权限而导致源代码泄露,评测方概不负责。
——————————
评测委员会
第二届“讯飞杯”中文机器阅读理解评测(CMRC 2018)

系统提交流程更新(重要!)

经评测委员会讨论,对系统提交流程做如下改动,请参赛选手认真阅读:

1、本周开始(2018年7月2日周一),每个报名队伍每周可同时提交两个系统,以避免提交最终系统时因细微参数差别导致结果大幅变化。截止至系统验证结束(即8月7日)共计6周,即最多6次提交机会,每周一重置提交权限

2、每周只允许提交一次结果,即6次提交需分散在6周,如某一周没有提交,则当周提交机会自动作废。

3、本次评测不限制使用外部资源,允许合理使用外部资源提升系统性能(但需在最终的系统描述中说明)。

4、开发集、预测试集的结果不影响评测的最终排名,仅供参考。

5、由于参赛人数较多,评测委员会不接受Codalab以外的验证方式,敬请谅解。

6、所有系统必须在2018年8月7日前至少提交一次系统,否则将失去在隐藏测试集上的验证机会。

7、若在3个工作日内仍未见到结果更新至排行榜,请发送邮件至cmrc2018@126.com。

 

系统提交地址(2018年7月2日起有效): https://wj.qq.com/s/2130375/3f22

开始接收开发集/预测试集效果验证

各参赛队伍,
开发集/预测试集系统验证已开启,请访问评测网站了解详情。
海外用户访问:https://cmrc2018.wordpress.com
【注意事项】
1、参赛者并非需要提交自己最好的系统,由参赛队伍自行决定
2、开发集、预测试集的结果不影响评测的最终排名,仅供参考
3、由于参赛人数较多,评测委员会不接受Codalab以外的验证方式,敬请谅解
4、所有系统必须在2018年8月7日前至少提交一次系统,否则将失去在隐藏测试集上的验证机会
5、为了避免多次尝试预测试集,在比赛期间(至2018年8月7日),每个队伍共计5次机会
6、若在3个工作日内仍未见到结果更新至排行榜,请发送邮件至cmrc2018@126.com
——————————
评测委员会
第二届“讯飞杯”中文机器阅读理解评测(CMRC 2018)