ICML2022「元审稿」意见形同虚设!审稿结果出炉,评分取消引不满

新智元 2022-05-15 12:58



  新智元报道  

编辑:David 时光

【新智元导读】ICML2022最终审稿结果陆续出炉,作者们开始收到官方通知,和往届AI学术会议一样,今年同样少不了对审稿流程和质量的吐槽。


备受关注的AI顶会之一——国际机器学习大会(ICML 2022),目前审稿流程已经结束,终审结果已经陆续出炉。
 
ICML官方微博宣布,目前已经开始通过电邮将最终结果通知论文作者。
 
 
本次ICML2022采用两阶段审稿模式,这与今年AAAI、IJCAI等会议相同,即审稿人不打分,只提供评审意见、以及对优点和缺点的权衡。
 
另外,本次会议设立的「元审稿人」(MR)负责确保他们处理的论文得到专业评审,并在总体上得到公平对待。
 

「元审稿人」具体是干啥的?


按照大会发布的「元审稿人」规范指导,这个职位的作用相当于「审稿人的审稿人」。
 
具体点说,就是负责检查审稿的质量,敦促进度落后的审稿人,让审稿人修改质量差的审稿意见。
 
 
如果一篇论文被两个审稿人标记为第1阶段拒稿,MR需要仔细评估原因,并提出相应建议。如果MR决定保守地推荐被拒稿件,要写一份尊重他人的元审稿意见,解释原因,并提供证据。
 
而且在流程上,MR有两个级别:普通MR和资深MR。
 
PC分配每篇文章给2个审稿人和一位MR,2位审稿人出具拒稿意见后,先后交由两级MR审查这个意见,只有所有人同意这个意见,才会给作者发拒稿通知。
 
从设计上来看,这个机制旨在提高审稿质量,避免因为审稿人的审稿质量问题,在第一阶段就拒掉潜在的好文章,毕竟第1阶段就被拒的文章,是没有rebuttal机会的。
 
 
如果文章顺理通过了第1阶段,进入第2阶段后,会为每篇文章增加一位MR,PC要确保每篇文章至少有3位审稿人,新增的审稿人需要重新审稿,不能只参考之前审稿人的意见。
 
之后进入rebuttal阶段,审稿人视情况决定是否接受意见,并交由MR阅读审稿意见和rubuttal内容后给出MR意见,在交由资深MR审核讨论、出具最终意见。
 
最后,PC会在监督整个过程后经讨论,最终接受/拒稿的最终决定,并通知作者。
 
 
按照ICML2022大会官网公布的日程安排,第一阶段的拒稿通知在今年3月11日起陆续发送。
 
收到通知,随后于4月6日对作者开放意见反馈通道。
 
也就是说,如果没有在第一阶段就被拒,如果在此期间能够说服审稿人或MR,在第二阶段被拒论文还是有机会「起死回生」的。
 
而且,从新的审稿流程上看,MR的设立从理论上让这个机会变得更大了。毕竟,审稿人的意见和作者的rebuttal都要经过MR和资深MR的审阅和讨论,而且还是两轮。
 

吐槽:为啥取消打分?说好的MR意见呢?


现在,最后结果出来了,反响如何呢?
 
与以往一样,结果一出,又是几家欢喜几家愁!
 
为此,知乎上出现了一个关于「如何看待ICML2022结果」的讨论。
 
 
从问题描述来看,这次的「新规矩」把他折腾得够呛。
 
无论制度设计千好万好,归根结底,审稿的活还是由人来干。他表示,很多审稿人还是主要看实验和结果。
 
「不要对审稿人有过高的期望,没有实验,比不过sota,都要被拉分。」他说。
 
这一话题也引来了众多参会者、审稿人、机器学习爱好者的兴趣,目前被浏览次数接近27w。
 
 
大家的讨论主要聚焦在审稿质量问题上。
 
首先,有些人表示并没看见说好的「MR意见」。
 
网友Francesco Orabona指出,他已经收到了审稿结果,但没有大会审稿流程里说的MR意见。
 
 
不过,有人回复称,这可能是意外事故,评审结果可能也不是最终的,可能MR意见已经给了,但是作者看不见,「要不再等等」?
 
 
也有人看到了MR意见,但表示和自己预想得有很大差异,大部分只有寥寥数语,且是审稿人意见的机械总结,没有自己的理解。
 
按照这样的情况,MR「给审稿人纠错」的设立初衷可能就无法实现。
 
 
其次,没有分数,拿什么rebuttal?
 
今年的评审没有分数,这个大改也让很多人不习惯。
 
 
因为,不仅作者要看分数,审稿人要参考分数,MR也要视分数对审稿意见作出大概判断。
 
现在没有分数了,可能在rebuttal环节会更加茫然,不知道从哪下嘴。
 
 
网友Reinhold认为,「这没分数让人有点心慌」。
 
 
其实,不管是对作者还是审稿人,可能都很不适应。没有分数就没有一个量化标准,缺失了自我评估的重要依据。
 
尽管,没有分数可以避免分数给人的刻板印象,但是,现在把分数取消了是不是适得其反,反而降低了审稿质量呢?
 
另外,一些审稿人的评审水平不敢恭维。
 
有投稿人认为,此次评审的质量很低,没有直击论文要害,只评议边缘问题。4月15日,一位知乎匿名用户写到:
 
「他们通常停留在Problem setting的讨论,涉及到technical detail的改进意见几乎都是勉强凑数乱写,不懂装懂,当然有的知道自己不熟悉也不去多评价。」
 
为什么会出现这种「勉强凑数」的评审情况呢?可能与今年的评审机制改革有关,正如一位知乎用户所说的: 
「以投稿人作为审稿人的机制,看似平摊了审稿压力,实则增加了大量低质量评审,反而增加了随机性和不公平性,这极有可能让ICML的声誉受到极大打击。」
 
以「以投稿人作为审稿人」的机制,必然会出现评审质量参差不齐的状况,这似乎是可以预见的问题。
 
还有强迫引用评审者论文的现象。
 
在论文评审中,不乏一些评审人会使用「黑手段」来提高自己论文的知名度,比如,强制他人引用自己论文,并将此作为评审意见的一部分。
 
在这次评审中,也不例外存在此种不良现象。
 
总而言之,这届机器学习顶会评审被网友狂吐槽。无论是没有「元评审」、没有分数,还是评审人水平低、强迫引用等情况,均遭到不少负面意见。
 

当然也有心平气和的


正是因为今年大会在审稿上的机制改革,让每个人的评审际遇不一样。也并不是每个意见都是负面的吐槽,毕竟改变总有代价,只要文章质量好,良性的学术环境是可以共同维护的。
 
有网友认为,顶会质量不在评审好,而在于论文好。 
私以为,顶级会议之所以好,是因为有好的文章,而不是因为有好的审稿人。
 
还有网友比较心平气和,认为投稿、审稿工作都做得不错。
我审稿的文章大多数都收到了比较详尽的review,reviewer也在积极参与讨论,我个人也投入了大量的精力参与审稿工作。同时,我也看到了一些非常优秀的作品。
 
网友呼吁,要坚守纯粹的学术之心,维护好的学术环境。 
对于ICML或者接下来其他的会议,无论是作者还是审稿人,都希望大家可以尽力而为,杜绝黑化,坚守自己纯粹的学术之心,环境需要共同维护。

正如ICML审稿指导意见中所说地那样,「审稿永远也不会是完美无缺的,总有一些作者最后不高兴。
 
 
ICML表示,「我们想打造一个公平和透明的审稿流程,为什么接受或被拒?对于每篇文章、作者都会被明确告知原因。」
 
诸位,今年投稿ICML没有?中了几篇?对于审稿感受如何?欢迎讨论。

参考链接:


https://www.zhihu.com/question/524486916

https://media.icml.cc/Conferences/ICML2022/ICML2022_AC_Tutorial.pdf

https://www.icmlonline.com/

https://zhuanlan.zhihu.com/p/474283816#ref_2


推荐阅读