聊聊自然基金委的另一项“武器”:辅助指派系统

浏览
138
回复
0
收藏
0

1#

2019-3-29 23:43:57
要有梦想,即使遥远。

cca9ed42f4f9e5a7dd477910554543d9.png

1  引言

今天火行将为大家带来基金委的另一项“秘密武器”--评审专家辅助指派系统!很多人都大概知晓评审的流程,一份成功的基金申请书的旅程从申报后会经过形式审查,通讯评审、会议评审等过程。大家对于这中间的相关的计算手段,很多人并不一定很清楚 ,甚至很多人也只是听过,确并不识得“庐山真面目”,今天我们让大家对这个专家遴选的辅助系统也做到一定程度上的知晓。

在此声明:火行只做公益分享,不对任何机构、人物进行点评。有消极情绪的朋友请绕道,当你不能改变环境,要学会先改变自己,努力使自己具有竞争力才是王道!

2  诞生与演进

这套系统官方大名叫做:项目评审专家智能辅助指派系统。

为什么要采用这个项目呢?

时任国家自然科学基金委副主任高文:“我们是专家决策机制,基金委的工作人员不能作出这个项目给谁的决策。以前是安排谁来评这个项目,但现在搞了计算机辅助指派系统。要想请谁评或者不让谁评,要先看计算机的建议,你要想把计算机的建议否掉,所有的系统里都是留有痕迹,出了问题你负责任【1】。”

该系统最早于2011年试点使用,2014年进行了全面推广,2017年进行了全学科覆盖。在相关的公开报道中【2】,已经明确的是:通讯评审专家计算机辅助指派系统2017在各科学部得到普遍使用,实现了学科全覆盖,使用辅助指派系统的项目占比达到86%,比2016年提高了近10个百分点。

4a8047f1b98e490d4cf7a5bd87482cbc.jpg

关于试点,一下子,满满的年代感就来了,2012项目指南中对于试点学科其实有相应的解读,那三个学科分别是:地理学(D01及其下属申请代码)电子学与信息系统(F01及其下属申请代码)肿瘤学Ⅰ(H1601至H1614申请代码。同时当时的辅助指派系统的核心要义一直沿用至今:申请代码-研究方向-关键词三级权重打分匹配指派

dc08181bc2868956bf5063f2736719d0.jpg

火行是个历史怀旧,总能在历史的踪迹中找到相关印记,一起来看看当时的地理学、电子学与信息系统,肿瘤学I的关键词典范,这三个学科都做了相应的学科关键词表:

364f98e02763764138e7b3e1bf8b8179.jpg

那么这些关键词表是怎么产生的?

看这一段示例你就明白了【2】:
地球科学一处组织编制工作组自2011年3月起查阅了大量文献,包括专业技术辞典、国内外近3年相关学科领域权威学术期刊、近3年国家自然科学基金(D01)申请书等。在梳理科学基金管理需求、学科发展趋势和重要研究方向、学科通用科学名词及专业研究名词的表达方式等基础上,经过全国64个单位的233位同行专家参与讨论和修改、109位科学基金项目评审人和167位科学基金项目申请人参与试用情况抽样调查,于2011年11月提出了《地理学学科方向分类与关键词》(试用版2012)(以下简称《试用版2012》)。后经主管委领导批准试用于2012年科学基金(D01)项目申请。

其实虽然小口在近几发生了一部分的变化,但是时至今日,系统仍在这部分基础上优化选择关键词来进行项评审指派,上述三个学科有兴趣的朋友不妨后台关注火行公众号后在后台回复“19关键词”获得相应的材料。

那么当时这试点学科运用指派,运行的怎么样呢?

当时的地球科学部对于这块试点,有过相关的性的总结,我摘录了其中重要的几句【3】:

(1)地球科学一处于2012年2月基本完成辅助指派实验研究系统NSFC_GEO的功能设计及运行测试,4月开始应用于地球科学一处2012年申请项目同行评议专家辅助指派工作。

(2)实验研究系统NSFC_GEO以研究方向和关键词规范表述的申请书和同行评议专家信息为数据基础,核心功能:一是项目分组,可根据关键词的组合情况引导分组二是提供推荐遴选专家的辅助信息与策略,主要包括计算了专家匹配度,区分了专家类型和等级,提供了根据不同项目类型的差异化专家检索和遴选策略,提供了回避信息提醒功能等。

后来这套系统怎么演进?

这方面基金委的同志在发布中国科学基金杂志上的评论【4】我选摘了一些:“由于人员编制限制,很难建立新的第三方专业评审部门,而智能辅助指派可以实现指派的真正随机化,计算机成为第三方,而且智能指派的准确率比人为要高出10百分点。

也就是全流程实现准确无人化指派将是这个系统演进的最终目的,这个在之前的文章已经有过相应的预测,有兴趣的火友不妨在公众号里搜索一下。

3  讲这个的目的

今天到这里,很多朋友学习了历史,也就自然明白为何今年的申报系统中的关键词有些选到了6位代码,选择研究方向后下面是有下拉要从系统中选择,而有些6位代码选择完,这个前两位关键词没有下拉选择,因为这套系统也是不断的演进完善,且因为关键词的试点上,有些学科经验与数据支撑足够多,而有些可能学科发展于相应数据缺乏,还处于完善中。

7ab1c415476ed262625275f4cc61f240.jpg


按照2018年基金委官方的总结,申请书中的关键词至少57%都不使用系统推荐,这块其实对于指派来说是个问题:辅助专家指派匹配正确度会不高的问题,同时会影响真正实现无人化指派的进程。

而有些学科选择完6位代码后有关键词推荐是因为已经建构完相应的学科关键词对应表,而有些学科因为比较新颖或其他原因,目前还暂未有相对应的关键词,这块系统也是在不时的更新递进,大家及时关注。

今年第一年要求前两位关键词规范化选择,相关系统的预判与实际上仍有一定的距离,相信会随着相应数据的获得(今年的在线申报系统中要求每一个项目都要填科学问题属性吗,也是一个道理)会不断的进行完善,最终较为完美的实现无人化全流程项目评审指派工作。

事关国自然基金,无一是小事,在关键词的选择上大家应该有了新的认知,大家对于学科关键词的问题也可以积极与所在学科处进行联系,今天的分享就到这里。

【1】央广网《自然科学基金委消除寻租空间完善激励机制》
【2】中国科学报《2017年国家自然科学基金:青年人才挑大梁》
【3】地球科学部《规范科学名词提高科学基金评审效率——辅助指派试点工作的启示》
【4】中国科学基金《科研项目的第三方专业评议与智能辅助指派》

版权归属:火行
转载请授权,感谢厚爱

回复

已有 0 条回复
您需要登录后才可以回帖 登录 | 注册
高级模式

关于作者
中级会员
帖子
93
日志
0
精华
0