自然科学基金项目会评的必要性之我见

浏览
797
回复
4
收藏
0

1#

2018-11-7 22:11:49

引言:基金项目评审中实行会评并不是我国特有,据我所知德国基金会(DFG)一般项目只采用函评。其方法十分简单,每份申请书发个两个专家,如果两位专家都同意就给予资助,都反对就不予资助;如果一位同意,另一位不同意,则再请第三位专家函评,如果该专家同意就资助,该专家不同意,项目就被否决。德国为什么能做到这点,他们的一位负责人说:“德国的教授都有DFG”的项目。

至于我了解的其它国家,似乎都有会评的过程,比如美国基金会(NSF),与我们的差异是他们不事前确定学科资助的项目数,而是先确定资助总经费。然后根据申请项目优劣,详细讨论每个项目应该资助的经费,有点像财务审计一样。当总经费分完了,排在后面的项目,再好也不给予资助了。

我也了解过澳大利亚的基金评审,他们采取同一批申请项目,由同一批同行专家先“函评”,给出项目的排序。然后,还是这一批专家通过会评,最后确定资助那些项目,以及每个项目的资助经费。他们的函评专家的工作量十分大,向我介绍的那位专家,收到的申请书有一个拉杆箱。因为这一批专家相互都认识,估计初审主要是“泛读”,并给出排序,然后在会评中认真确定该不该资助。当然,多数专家初审认为不予资助的项目,就不会在会上费太多功夫了。

国家自然科学基金项目的评审程序
过程可以分为四个阶段:
1,形式审查、初筛;,
2,函评;
3,学部评审会;
4,委务会终审。

对项目评审影响最大的,可以说是函评和会评。因为形式审查基本上是按基金委申请指南上的规定处理,不会有多大问题。不过,我们曾经对过去执行不认真的申请者,尽管他们的申请写得不错,处于“暂停一年”的“处罚”,以此让他们以后能认真对待国家给予的支持。

对于委务会的终审,一般在整个评审期间,没有出现投诉的情况,对前三步的评审也不会有太大影响。

由于现在函评同行评议的结果,通过计算机打分排序,很多申请人对于学科评审会的会评的必要性提出了质疑。认为计算机打分排序就可以了,会评反而会出现不公平,甚至怀疑有申请人会通过参会专家走后门。其实,函评结果的“绝对”可靠性,在一定程度上是比较差的,按计算机打分的合理性是值得怀疑的。为此,根据多年的基金管理实践,把自己对会评的必要性与大家交流一下。

一、函评存在的问题
如果整个函评是同一批专家,所得到的结果用计算机统计排序,可能具有一定的参考价值。而现在每个学科的函评,基本上是按子学科找专家,并且一份申请书只有3-5个专家函审,由于评审的尺度不可能一致,在一起排序,势必会导致差的反而排到良的前面。这才是绝对不公平的!

由于每一份申请只有少数专家评审,有人通过“不合法”的途径,与评审专家沟通,使评审结果不合理地被优化,这是计算机无法鉴定出来了。当然,学科工作人员凭工作经验,能够发现一部分问题,但由于专业的缺陷,不可能完全发现问题,因此,会评就起到最终把关的一道门槛。

基金项目中有一种被称为“非共识的创新项目”,它们的评价排序肯定不会很高,但这些项目确实需要科学基金来资助,就需要一些高层次的专家深入讨论予以鉴别。这也是会评的必要性之一。

二、处理函评意见学科的做法
由于不同子学科领域的学术水平有一定差异,既不能让学术强的子学科包揽所有资助项目,又不能因为子学科弱小得不到基金资助,所有学科在提交评审会的项目时,不可能简单依据计算机的排序,必须要考虑适当照顾所有学科的平衡发展。

不同的子学科的评审专家群中,由于人际关系等问题,也会出现评审不很公正的现象,这也是计算机无法解决的。只有靠学科长期工作,对专家情况有所了解,当然会审专家对评审专家群中的人际关系问题,可能比学科有更深入的了解,对上会项目能够给出更为公正的说明,供专家组来判断是否给予资助。
比如:我们学科有一位专家为了保护自己团队的研究,凡是涉及自己研究领域的申请项目都给予评价比较低的评价,而对其它领域项目评审是相对比较公平的,这就是由会评专家发现并揭示的现象。这也启发学科在以后找函评专家时,要让他回避参与相同类型项目的评审。

三、评审会专家的作用
首先,评审会上有一系列的回避制度,以保证不参杂一些不公正的现象。由于会评专家组一般由11位不同单位、不同子学科专家组成,对于所谓“走后门”的可能性相对几率比较低。

一般情况,参会专家能得到基金委学科的信任,他们绝大多数都比较注意自己的诚信度。学科也努力选择一些在专业和人品方面都值得信赖的专家。当然,我们也发现过有点“自私”的专家,但属于凤毛麟角。出现这样的问题,不一定会影响评审结果,但我们不希望这种现象干扰评审会,下一次评审会就不再邀请这样的专家了。一个“特殊”的专家,在会评的公开场合所作所为,不仅受到基金委工作人员的注视,也同时受到其他评审专家的注视,除非这种不公正的现象操作得太“隐蔽”,否则,是不能过关的。当然,论坛中有一些虫友称“评审会上有一些所谓的不公正现象”,希望大家不要以道听途说为依据,最好向基金委举报,让不公正现象在阳光下被铲除。

我最喜欢的是评审会上对一些有争议的学术问题的讨论,也许大家不一定有共识,特别对于其它子学科的专家也不能完全理解争议的观点,但有一个根据讨论的意见,做出自己进一步判断的过程,而不是仅仅按同行评议意见投出是否资助的意见。

由于参会专家,相对是所谓“大专家”,他们对国内外动态,特别是国内进展有更多了解,对学科把握方向也是一次学习的机会,这些通常在函评中是很难得到的。

在评审会上,专家通过讨论从学术深度进行舍取,这是函审不可能做得那么好的。特别对于一些有争议的项目,有充分的学术讨论,资助失误的可能性会明显下降。

也许没有表述得很清楚,希望大家有什么问题提出来,进一步讨论和交流!

2#

2018-11-7 22:12:39
会评和函评都有忧缺,结合会评函评似乎能取长补短。但实际情况是,长还是长,短还是短。我个人一点拙见,国自规则确实应该改啦。现在不都讲与时俱进嘛,持续了好多年的规则早就被利用的不成样子了。虽然由于咱们人多,不可能采取靳老提到的澳大利亚的方式,但是是不是可以这么改革:
1 我知道,为了方便管理、拨款,等等,所以喜欢统一操作。但不妨尝试个体操作。就如期刊投稿一样,允许每年一定时间范围内申请者个人提交申请书,如期刊评审一样的程序,在一定时间内给出评审意见,reject、revise和accept都可以,允许申请人有reply和appeal的权利。存在争议的允许仲裁。其实操作起来反而更简单可行。而且可以做到有冤伸冤,无理取闹则自明。
2 可以写英文版,有条件扩大评审专家范围,如国外专家。则公平性能得到更大改善。国自不存在国界竞争保护问题,操作理论无风险。
3 命中的申请书内容一律公示,国自应该不存在保密和知识产权问题。阳光照射下质量能得到更好保障。这样反而不容易出现抄袭问题

3#

2018-11-7 22:13:20
@陈伟鹏,你的建议理论上讲并没有问题,但基金委的现状可能很难适应你的改进意见。记得前两年杨卫在全委会上曾比较中美基金委的工作状态差异,大致是我们每年申请数量是20万,而工作人员200多一点,而美国NSF申请数是我们的一半,工作人员好像是我们的5倍。也就是说我们的工作量是他们的十倍。仅受理申请一项事,已经是难以承受,况且还有大量受资助项目的管理工作,每年将近2万项,在研算3年(重大和学科发展战略项目甚至5年)的工作量不亚于受理。况且,根据各上层对基金委的巡视,为了保证评审的公正性,要求参与评审会的送审项目必须由学科正式工作人员处理,评审期间借聘的老师们,不允许在这个环节帮忙,所以希望对基金评审工作改革,恐怕眼下很难进行。13年前我退休前,当时年申请约3万项,已经感觉压力很大,现在的任务远大于当年,想必更无法优化,恐怕还不如当年。
另外,需要告诉大家的是参与项目直接受理的学科人员仅有基金委的一半人员,我退休时还不到一百人。现在的工作量增加了约5-10倍,如何改革得更好,希望给出更有效的建议。

4#

2018-11-7 22:14:07
本人觉得涵评应该增加专家人数,去掉最高与最低再取平均分。会平应该全国直播,让全国人看看专家的水准。此外二本学校必须给倾斜。

5#

2018-11-7 22:14:29
张双菊 发表于 2018-11-7 22:14
本人觉得涵评应该增加专家人数,去掉最高与最低再取平均分。会平应该全国直播,让全国人看看专家的水准。此 ...

因为申请量大多,已经改为至少3份有效的同行评议。过去都是5份,十几年前就改了,目前很难往回改,当年申请数2-3万项,现在将近20万项。

回复

已有 4 条回复
您需要登录后才可以回帖 登录 | 注册
高级模式