顶会扩招,一地鸡毛ICLR2020近
昨日，ICLR评审结果放出，被大量作者吐槽，甚至有开发者统计，本次大会近半数审稿人没有在相关领域发过论文。这把不久之前刚被清华列为人工智能A类顶会的ICLR，推上了风口浪尖。
昨日，ICLR的审稿结果终于放出。但放榜时间比预计的要晚了一天，原因在于今年的投稿数量多到爆炸，足足有篇，所以原有的审稿人手根本不够用。要知道，ICLR大会的投稿数是篇，而ICLR才多。两年时间增长了近两倍。
提交论文数量爆炸式增长，大概率导致几种结果，要么使得审稿人超负荷运转，要么减少在每篇论文上花费的精力，或者增加审稿人数量。而审稿人数量一多，就很容易出现「滥竽充数」的情况。甚至有些深度学习顶会的审稿人会发出一些灵魂追问，如著名的：「Whatissoftmax?」
ICLR的评审，就引发了社区的极大质疑。
谷歌大脑研究科学家BenPoole就在Twitter上表示，「机器学习同行评审崩塌了」。
一大批论文作者们也表示赞同。一位相关领域的PhD学生在Poole的Twitter下留言称，「ICLR感恩有你，我和学术界从此拜拜。如果能重来，我要选arXiv。」另一位相关研究者说：「吐槽大会审稿已经是一个传统了。但是本次大会的审稿情况真是令人震惊。（论文的）评论更像是Reddit的评论，而不是严格的学术评审。老实说，我已经丧失了尝试（投稿）的动力。」面对来自投稿者的「差评」，审稿人也大呼冤枉，表示「我们太难了……」
一位审稿人表示，自己真的在审稿方面花费了很多心血，不能一口气否定。这位审稿人审核了三篇论文，每篇用了6小时阅读、2小时写评论，并在之后又一次花1小时看一遍，以免出问题，评审意见平均达字之多。
不过有时候确实任务很繁重，一位审稿人对此回复说：「你这么做是对的，但是我可是在两周内审了八篇论文，而且我们可不是仅仅只有审文章这一个工作。」直到审稿截止日期的最后两天，纽约大学助理教授SamBowman还在twitter上在线征集ICLR审稿人。他表示，「这是最后时刻发起的请求，实在是没有有经验的审稿人可用了」。不过，此次征集的审稿人是有一定要求的，如需要在同等级会议上发表过文章。47%审稿人没发过相关论文如果说ICLR的评审结果「一地鸡毛」，相信也是跟审稿人的背景有关的。让没有在相关领域发过文章的审稿人参与评审，被认为是这次审稿崩塌的主要原因。
在Twitter上，有用户统计称，ICLR的审稿人中，有47%的人没有在相关领域发表过论文。南京大学周志华教授对此评论称，「顶会的『顶』正是因为有高水平专家把关，但现在已不可能了。」
ICLR大会最初由深度学习三座大山中的YoshuaBengio和YannLeCun牵头创办。众所周知，YoshuaBengio主管着蒙特利尔大学人工智能实验室，也就是MILA，这是世界上最大的人工智能研究中心之一。YannLeCun是Facebook人工智能研究院的院长，被称为卷积神经网络之父。不久之前，在清华大学发布的最新版《清华大学计算机学科推荐学术会议和期刊列表》中，成立短短6年的ICLR已经成为了A类顶会。
本着开源的原则，ICLR大会一直采用openreview制度，所有提交的论文都会开放在OpenReview.net网站上，遵循公开同行评审、公开发表、公开来源、公开讨论、公开引导、公开推荐、公开API及开源这八个原则。但正如周志华教授所言，openreview制度只有在参与者均为本领域专家的前提下才更显效用，否则存在误导风险。这并不是一种偏见，仅从学术判断专业性的角度出发而已。
这就是为什么学术界的人们非常信赖「顶会」。只有顶会能够汇聚更多的学术大咖和行业专家，让论文在更专业更深邃的审视下，能够脱颖而出。这样的论文才能经得起专业和历史的检验。然而，就ICLR的情况来说，这次论文评分的说服力恐怕要打个折扣了。
不堪重负的顶会（们）
无论是之前爆出的「本科毕业生成为NIPS论文同行评审」，还是如今的「近半数ICLR审稿人未在该领域发过论文」，其本质上反映的都是一个基本矛盾，即大会日益增长的投稿需求与审稿人数量有限之间的矛盾。
今年ICLR的截稿日期是9月25日。截至当日，ICLR的投稿量达到了篇，比去年多出65%。而在年，这一数字仅为，三年时间增长4倍还要多。
当然，面临这一情况的可不止ICLR一场大会。今年的NeurIPS大会收到了篇有效论文，比年（）增长了近40%；CVPR大会共收到篇有效提交论文，比去年增加了56%；ACL接收的有效论文数近篇，相比去年的篇增加了75%。压力都是相似的，出的问题自然也是相似的。早在去年5月份，NeurIPS大会就被曝出启用一名本科刚刚毕业的学生担任审稿人。这位年轻的「审稿人」在reddit上发帖提问，「我从来没有提交或者评审过这个大会的论文。所以我该如何选择论文？需要先从阅读旧NIPS论文开始学习其中的规律吗？最重要的是，如何写好评审意见？」
面对激增的投稿量，「降低审稿人选择标准」似乎是各大顶会不约而同的一个选择，这也解释了为什么每次评审结果出来之后都有人吐槽，「我觉得审稿人没有看懂我的论文。」也许，他/她真的没有看懂。ICLR论文评审整体情况
虽然评审工作一地鸡毛，但我们还是可以看一下今年论文的整体情况。毕竟，论文该投还是要投的……
今年评审得分的分布：均分3.91，中位数3.84。
数据来源[1]Top5得分论文的分数范围在8.20-8.91之间：
此外，Github网友从ICLROpenReview的网页上抓取了数据，在篇提交论文的基础上，对本次ICLR论文提交情况进行了可视化的呈现；投稿关键词中，深度学习、强化学习、表示学习、生成模型、图神经网络等是热门话题。
所有论文中常用关键字的Top50，以及它们出现的频率如下：参考资料：[1]
转载请注明：http://www.bixiongs.com/lwzs/12366.html
