九游会j9·游戏「中国」官方网站

aj九游会官网低到令东谈主担忧——其中一条评审以致话皆没说完-九游会j9·游戏「中国」官方网站

发布日期:2025-05-23 07:46    点击次数:189

aj九游会官网低到令东谈主担忧——其中一条评审以致话皆没说完-九游会j9·游戏「中国」官方网站

今天aj九游会官网,ICLR 2025 的 discussion phase 的 ddl 也曾截止。回看往时 14 天的谈判经由,可太精彩了!

各大平台上顺手一翻即是作家们的吐槽大会,皆在莫名这届 ICLR 评审的各式仙葩乱象。

比方 UCSB 博士生 @JiachenLi11 就在推特上越过之无奈:

我收到的评审试验,低到令东谈主担忧——其中一条评审以致话皆没说完。难谈审稿东谈主的 tokens 用罢了吗???

图源推友 @JiachenLi11

你还真别说,他这个" tokens 用完"的吐槽并不是谈听途看——

ICLR 2025 的论文提交数前所未有地高,约有 11000 篇。

为了升迁审稿速率和质地,ICLR 本年引入了 AI 参与审稿服务。

虽然了,倒也不是单一 AI,是多个 AI 大模子组成的 Agent。

然则,你以为审稿东谈主话不写完评审试验就点发送,即是 ICLR 2025 的一齐槽点了吗?

ICLR 吐槽大赏

要细数本年 ICLR 2025 的神奇事件,我们先从最广为东谈主知的一件提及:

[ 10,10,10,10 ] 和 3 个 poor 得分并存

本年的 ICLR 出现了一篇4 个审稿东谈主同期打出了 10 分的论文。

假如这个分数能保捏到中稿见知,这将是近 5 年来,ICLR 的独逐个篇满分作文。

论文题目如下图,是一个叫IC-Light(全称 Imposing Consistent Light)神志,是对于为止图像照明的。

作家张吕敏,亦然大名鼎鼎的 ControlNet 的作家。

他在苏州大学拿到学士学位后,去往斯坦福读博。

IC-Light 不错无为为止相片主体的光源和配景,将主体、光源、配景三者飞速地交融在一张图片里。

半年前,IC-Light 就在 GitHub 上开源,当今共 6.5k 星。

与此同期,ICLR 2025 还出现了几篇,某一审稿东谈主给某篇论文全打 1 分的论文。

这里我们打断一下,了解一下 ICLR 的评分体系:

1 分:太差了

3 分:阻隔

5 分:婉拒了哈

6 分:接……吧

8 分:吸收

10 分:强吸收

就拿其中一篇来说吧,看到这个成果给作家气的,写了一篇十几页的 strong rebuttal。

那审稿东谈主为什么给东谈主家 Soundness、Presentation、Contributions 皆给了 1 分?

审稿东谈主言辞越过利弊,直呼Paper Writing is quite bad,然后还绝不客气地发问:" Is there a human author on this paper?"

审稿东谈主还示意,(这亦然一齐最低分的最蹙迫少许),我们是不错判断一篇论文是东谈主写的照旧 AI 写的,"也许您在生成文本时莫得进行基本的连贯性查验"。

作家连续输出离题万里 rebuttal,并反抗"我可真钦佩你识别 AI 的智力"。

作家 5 页恢复,审稿东谈主在 ddl 瞬息狡赖限制

一位在北大 CS 读博的小某书网友 @Kevin 对审稿东谈主的神操作大吐苦水。

事情是这么的,ICLR 不是共 14 天用来 discussion phase 嘛。

这 14 天里,有一位审稿东谈主 5,一共对他场所团队提交的 paper 建议了 10 个问题。

团队讲求回复了整整五页,审稿东谈主 5 已读不回。

团队屡次但愿与其谈判,审稿东谈主 5 已读不回。

总之即是一统统这个词石千里大海。

到了昨天,也即是 discussion phase 的临了一天,"审稿东谈主 5 瞬息狡赖这个限制,并将 5 分改为 3 分"。

@Kevin 越过不睬解为什么审稿东谈主这么作念的意图。

果真就,令东谈主心碎的 discussion phase。

"你需要援用另一篇 ICLR 2025 投稿"

推友 @PandaAshwinee(普林斯顿博士毕业,当今在 Trails.ai 从事博后服务)给看淆乱的网友们画了个我方吸收到的评审试验的亮点:

你需要援用另一篇 ICLR 2025 的投稿。

张开说说,即是审稿东谈主斟酌了 ICLR 2025 openreview 的另外一篇论文,示意两个神志高度关系,是以小哥应该援用。

但是哭啊,小哥查过了,条款被引的论文根底不在 arXiv 上。

何况这不是他第一次嗅觉"天塌了"——他在驳倒区补充,之前他的神志在 ICML 2024 被拒,主要原因亦然"与另一篇 ICML 2024 投稿高度相通"。

不外 ICLR 很快在小哥推文底下回复了,抒发纪律主席运转拜谒这个事儿。

"乞讨式" ICLR

前边提到的皆是审稿东谈主和作家有来有回(哪怕回得慢)的情谊 battle,更有益象的事是,无论国内照旧外洋,许多东谈主皆把这届称为"乞讨式" ICLR。

简而言之,即是审稿东谈主一直不给评审不给分。

有东谈主上个月下旬的期间,就运转给统统 AC(区域主席)发了邮件,条款他们领导审稿东谈主回复作家。

或者至少阐述审稿东谈主们知谈我方还得干这活。

其时就有网友领导"最坏的规划",有的审稿东谈主会拖到临了一刻,因为他们也在为我方措辞……

竟然如斯,单看国内,昨天运转 24h 内倒计时了,许多作家还在恳求审稿东谈主快快评审,快快给分。

哎。

对作家的奇怪央求

在 Google DeepMind 服务的 Ahmad Beirami(@abeirami)共享了一则音问:

发到推特上后,有 ICLR 作家示意出了疑忌:

淌若作家们写了这玩意儿,是否果真对审稿有匡助?

他认为这"可能是在阔绰期间",因为审稿东谈主全皆可能看皆不看,班师去看 paper 原文。一切皆是枉然的。

不外 Ahmad 很快回复了这位作家:

Yes!

行为别称 AC,我想确保我莫得从作家的角度遗漏任何试验。可能会有许多变化、新成果等。我想确保我知谈在那里找到它们,以便大概酿成不雅点,判断一些原始驳倒 / 宽恕是否适用。

赢得这个答谢后,作家小哥很雀跃地去添加醒目去了。

ICLR 2025 为何这么

以上万般,仅仅大师或身在其中 / 或围不雅看淆乱的 ICLR 2025 的少许点故事费力。

但,身为巨擘顶会,为什么会这么?

有的东谈主认为和本年的稿件数目关联。

官方数据裸露,ICLR 2025 的论文提交数目达到了 11,000 多篇,同比增长 61%。

而客岁 ICLR 2024 组委会收到的投稿总和为 7,262 篇——虽然了,对那期间的 ICLR 来说亦然不小的服务量,同比增长了 47%。

本年,濒临如斯巨大的论文数目,审稿东谈主数目高达 15,000 多名。

这还不够,官方还引入了多个 AI 大模子组成的 Agent 来参与审稿。但它的功用不是全皆替代审稿东谈主,它不会撰写审稿驳倒或班师剪辑驳倒,而是提供竖立性和可操作性的反映,匡助审稿东谈主提高审稿质地。

这个 Agent 针对审稿中可能存在的三类问题提供建议:

饱读吹审稿东谈主改写朦拢的驳倒,使其对作家更具可操作性;

隆起著述中可能也曾回答了审稿东谈主问题的部分;

发现并处理不专科、不顺应的言论。

但许多作家认为,稿件数目激增如实加大了服务量,Agent 的扶植无可厚非,但绝不是 ICLR 变成被看淆乱的"科研春晚"的原因。

一方面,Agent 建议的建议,审稿东谈主是不错遴选遴选或者忽略不管的。

另一方面,极速推广的审稿东谈主中,是否有东谈主并不是合乎评审服务?

再一方面,为了确保审稿质地,每位审稿东谈主对等分拨 3 篇论文,顶天了看 4 篇,服务量并不是超负荷景况。

除了有点紊乱除外,另一个被网友们浓烈谈判的点,蚁集在这届 ICLR 的分数上。

一般来说,ICLR 的传统吸收率在 30% 控制,然后本年 ICLR 的排行前 30% 的论文,平均评分约为 5.6。

前边我们先容了,6 分算是一个勉强迫强的分数,属于论文被吸收的角落门槛。

这就意味着"低于‘角落遴选’门槛的论文将被吸收"。

网友谈谈,"当会议遴选变得如斯无为时,我们正在破碎统统这个词科学评估系统——这影响到 AI 研究举座的完好意思性。"

在此基础上,他建议了三点我方的想考,但愿 ICLR 应有更严格和公谈的纪律。

虽然,也有另一种声息:

期待一些超等强劲到俟机抢夺的大模子出现,让它们充任审稿东谈主,措置上述统统问题,以此匡助消弱审稿的服务。

仅仅不知谈这一天什么期间会到来了。

参考斟酌:

[ 1 ] https://x.com/mo_danesh/status/1863964693687107823

[ 2 ] https://x.com/JiachenLi11/status/1856472250636964350

[ 3 ] https://x.com/Yuchenj_UW/status/1862541099136651536

[ 4 ] https://x.com/abeirami/status/1863629237741064608

[ 5 ] https://x.com/PandaAshwinee/status/1856384624873570749

[ 6 ] https://x.com/ysu_nlp/status/1860504185583648863

[ 7 ] https://openreview.net/group?id=ICLR.cc/2025/Workshop_Proposals#tab-acceptaj九游会官网



热点资讯
相关资讯