论文里的AI水文,IdeaLens想靠点子而不是用词来抓

很多检测器盯的是用词,非英语母语的作者一润色就容易被误伤。马里兰大学团队的IdeaLens换了个问法:先把文章收成一份去掉原文句子的大纲,再看这些点子更像人还是AI。小编把预印本里「人出提纲、AI写正文」和反过来的两组结果分开讲,也写了它现在还不能当终审的原因。

紫色背景上的随机字母,用来说明论文用词和点子不是一回事

期刊现在大多允许一件事:用聊天机器人润色,只要说明,而且点子是您自己的。整篇论文由模型想、模型写,则是另一回事。麻烦在于,很多检测器看的是用词,不是点子。非英语母语的作者让模型改语法,就容易被误伤。

马里兰大学团队做的 IdeaLens,想换一个问法:这些观点更像人想的,还是更像机器想的。字是谁写的,先放一放。预印本在 arXiv,编号 2610.06778,作者包括 Rishanth Rajendhran 和 Mohit Iyyer,合作者来自 Google DeepMind 和西门菲莎大学。

先把文章收成一份骨架

做法分三步。第一步,用商业检测器 Pangram 给大约 100 万篇长文打标签,标成「人写」或「AI 写」。这些标签并不是人工逐篇核过的。第二步,让大语言模型把原文改写成大纲:每一条写清它在文章里干什么(背景、主张、证据还是论证),再用别的话把内容说一遍。第三步,另一个模型只看这份大纲,学习人和 AI 在结构上的差别。

说白了,就是先把文章的表皮撕掉,再看骨头。团队没法完全解释它为什么这么判,但他们观察到:人写的大纲里,更多是这一篇研究才有的细节;AI 更常写那种换篇论文也能用的空话。

两组数字,不要摸成一个

通俗报道和预印本讲的不是同一组测试。小编分开放。

情况IdeaLens只看用词的检测器
通俗稿:完全由模型写的文本误当成人写的,大约只有 1%这一栏报道没有直接对比
通俗稿:AI 只轻度改过大约 95% 仍认出是人的底子这类工具更容易把润色稿判成 AI
预印本:AI 按越来越完整的人类提纲来写判成 AI 的比例从约 95% 降到约 7%Pangram 仍在 90% 上下
预印本:人按 AI 提纲亲手写的 50 篇故事约 68% 被判成 AIPangram 大约 8%

这张表里最值得看的是后两行。人出了很细的提纲,只是让模型执笔,IdeaLens 会往「人」那边放。反过来,点子是模型的,字是人写的,它仍然会抓出一大半。只看用词的工具则几乎看不出来。

通俗稿还写,在一组评测里,IdeaLens 大约会漏掉一成 AI 文本。作者对《自然》说,宁可漏掉,也不要把人误判成机器。被误伤一次,对研究者的名声伤害很大。所以它只适合当筛子,筛出来还得人再看。

期刊为什么急着要工具

生成式 AI 已经进了科研写作。报道引用的估计有两个:一项 2025 年底的研究说,生成式 AI 把科研产出提高了 89% 以上;另一个估计说,大约 12.5% 的生物医学论文能看出明显的 AI 参与。这些是估计,不是精确清点。

2025 年的 NeurIPS 也碰到过疑似机器代写的投稿,还有上百条编造的参考文献漏过人工审稿。预印本网站 arXiv 收紧了计算机科学综述的投稿规则,要求先有同行评审。Pangram 则声称自己对文字的检测准确率在 99% 左右,并接进了 arXiv 的镜像站 alphaXiv。

《临床精神病学杂志》的编辑写过:要分清模型做了多少批判性思考,越来越难。用 AI 编数据、或者让它代替作者解释结果,越过了线。

它现在还不能当终审

  • 训练标签来自另一个检测器,不是逐篇人工核实。标签错了,它会跟着学偏。
  • 它是黑箱。判定理由说不清,就不该拿来定罪。
  • 人和模型真正一起改假说、一起定结论时,界限比「谁出提纲」更模糊。现有测试还没有覆盖这种日常写作。
  • 现在只给两个标签:人,或者 AI。更细的比例,还没有。

小编的用法建议很直接:编辑可以拿它当第一道筛子,不要当最后一道。您若是作者,润色可以说明;点子、数据和结论,还是得自己负责。检测器抓不出来,也不等于这篇论文没问题。