生成式人工智能正在加速学术领域的科学发现，甚至因此获得了诺贝尔奖。然而，技术的另一面是学术造假变得越来越便捷。学术界最近开始担心AI垃圾可能会淹没纸质图书馆。
瑞典布罗斯大学学院近日发表文章称，研究人员在谷歌学术平台中发现了数百篇疑似由人工智能生成的文章。研究人员认为，AI产生的“垃圾科学”正在侵蚀学术平台，给同行评审制度带来压力，对科研人员的信息素养提出更高的要求。
第一财经记者注意到，近一年来，多篇由AI产生的论文受到学术界质疑，甚至被撤稿。也曾出现过利用AI技术“润色”论文被视为学术不端行为的事件。
记者发现，目前人工智能可能造成的学术浪费可以分为两类。一种是利用人工智能翻译或生成一些文本表达，另一种是利用生成式人工智能进行学术造假。前者，AI主要起到辅助写作的作用，但可能是因为Paper作者没有仔细检查生成的内容，导致论文错误。后者的主要问题是人工智能让学术造假变得更容易。
“我还没有找到大量明显由AI生成的论文。如果作者把AI的痕迹全部删除，就很难找到了。但理论上来说，AI确实可以用来辅助论文写作，而且有还有疑似由人工智能生成的论文。”一位大学科研人员告诉记者。不少接受记者采访的博士生或科研人员认为，他们还没有发现人工智能导致学术垃圾充斥论文库，但人工智能已经可以用来做一些学术辅助工作，并且有可能利用人工智能来致力于不同研究领域的学术造假情况有所不同。
AI垃圾充斥论文库吗？
瑞典布罗斯大学学院的研究人员并不是唯一一个担心人工智能垃圾充斥论文库的人。
去年9月，莫纳什大学研究员朱利安·科普林（Julian Koplin）在The Conversation上发表文章称，随着ChatGPT等生成式AI工具的出现，越来越多的论文被怀疑使用了AI辅助写作，并且一些论文中出现了常用的表达方式AI，如值得称赞（mcommable）和细致（careful）。
还有一篇关于农业技术的论文明确使用了AI工具：“作为AI语言模型，我无法直接访问当前的研究文章或研究。但是，我可以为您提供一些最新趋势和进展的概述。” ..”。朱利安·科普林表示，人工智能存在幻觉问题，有时会犯严重错误，论文作者需要确保学术论文不存在严重错误。
去年5月，还有报道称，一篇未经同行评审的预印本论文通过对写作风格的分析估计，数以万计的论文可能经过了某种方式的AI打磨，部分论文留下了使用过的痕迹。人工智能。比如出现了一句“作为人工智能模型语言模型”开头的句子。一些研究人员认为，人工智能工具的滥用可能会损害公众对科学研究的信任。
学术论文中常见的人工智能表述也发酵成了一些舆论事件。早在2023年，《Physica Scripta》杂志上发表的一篇论文被发现使用了AI常用的短语，该论文随后被撤回。去年，有一篇论文出现了一句疑似ChatGPT的惯用回答“Certainly, Here is a possibleintroduction for your topic:”（当然，这里是关于你的主题的参考介绍:），也遭到质疑这篇论文被用人工智能来撰写，引起了学术界和媒体的关注。
由于学术界出现了不少带有人工智能痕迹的论文，传播学博士生李婷告诉第一财经记者，从某种意义上说，人工智能产生的学术垃圾是存在的，比如加剧刻板言论，导致虚假事实。并且参数会污染数据库。
但需要注意的是，瑞典布罗斯大学的研究人员强调，出现AI垃圾的谷歌学术平台并不等同于专业学术数据库，平台缺乏必要的质量保证流程。
接受记者采访的一些学者认为，使用专业学术数据库代替谷歌学术平台，可以有效筛选出低质量论文和“AI垃圾”。然而，利用人工智能润色或翻译论文已经变得越来越普遍，其踪迹可能很难被发现。
一位新闻学博士生告诉记者，她通常使用CNKI来收集中文文献，并将检索范围限制在CSSCI。她主要使用web of science收集英文文献，并将检索范围限制在SSCI。这样就只能找到相对比较国内和国外的文献了。她发现学术论文库被人工智能污染了。
刘耀文，研究员，博士。中科院生物学博士担心，一些研究人员仍然会使用AI来写论文，而AI痕迹可能很难被发现。他去年注意到一篇学术论文包含人工智能生成的痕迹。 “可能是AI生成的，但审稿人还没有注意到。这件事曝光后，以后用AI写论文的人会更加注意删除AI痕迹。”他说。 ”
利用AI写论文的背后，作者可能会利用AI对已经写好的论文进行翻译或者润色，也可能会利用AI辅助，直接利用AI生成内容。对于利用AI翻译论文的需求，刘耀文表示，国内研究人员在海外期刊发表论文时经常面临语言问题，通常会寻求翻译软件的帮助。但根据经验，人工智能的效果比翻译软件和人工翻译要好。 。现在很多人都用这种方法来润色论文。问题是AI可能会产生歧义的表达，需要作者翻译后进行更正。如果不进行修改，论文可能会成为垃圾邮件。
对于直接用AI来写论文，有受访者认为AI生成内容的表达能力尚可，但推测还不够。上述新闻学博士生表示，用Kimi生成的文本写本科论文还可以，但写其他论文就不好了。从生成文本的质量来看，AI生成的内容逻辑性和表达力基本都不错，但思辨性不够，缺乏深度，缺乏让人眼前一亮的东西。刘耀文注意到，利用人工智能生成论文文本似乎相当专业。人工智能生成的文本确实缺乏推测性。然而，并非论文中的所有内容都需要推测。
同为传播学博士生的尹文表示，人工智能确实可以补充学术写作，比如帮助翻译、润色文本、整合文学、激发思维等。 “当你想问问题又没有想法的时候，AI可以给你提供一些关键词或者整合一些前沿的研究成果，然后你就可以看它找到兴趣点。有时候你没有想到，但是AI更加系统化，我会帮你思考。”尹文说道。
“但是不要单靠AI，我觉得如果完全靠AI的话，对话是相当费劲的。如果我一点点教，还不如我自己完成。”尹文认为，如果用AI来处理作业，确实会产生大量的工作量。都是学术垃圾，但是如果真想做一些实质性的研究，现在的大模型还是写不出创新内容的。
即使用AI来做文献综述等不需要太多创新的工作，尹文也觉得“相当无用”。 “给AI一个关键词，它会挑选几篇被引用率很高的论文，帮你堆起来，但它无法分辨哪些是前沿的，哪些是优秀的。另外，在文献来源方面，AI也会引用一些常见的论文。根本没有用的文章，比如百家号上的文章。”
尹文认为，AI筛查数据库还存在很大问题。另外，AI的写法也很愚蠢。 “谁说的如此这般，或者罗列了几点，反正还有很多作者的处理，而且每次终究还是要我自己写。”
有研究人员认为，目前无需过多担心AI垃圾影响学术研究。 “学术圈一直都是优胜劣汰的机制，真正能留下来、被反复引用、反复讨论的文章并不多，如果AI生成的文章没有实质性内容，很快就会被淘汰。”不要太担心人工智能垃圾填满纸质图书馆或滋生学术不端行为。”一位理论物理学博士告诉记者。
AI学术造假的空间有多大？
对于学术界来说，生成式人工智能有它的闪光时刻。
2024年诺贝尔物理奖和化学奖将同时颁发给人工智能领域的科学家，这将把对AI for Science（人工智能驱动的科学研究）的关注提升到前所未有的水平。诺贝尔奖获得者包括使用物理工具开发机器学习基本方法的学者，以及使用人工智能模型预测蛋白质复杂结构的学者。越来越多的科学家正在考虑使用人工智能来辅助科学研究。
一位化学研究员告诉记者，他已经将AI充分应用在紫杉醇生物合成研究中，比如用AI来判断实验是否产生紫杉烷分子。一位数学物理研究员表示，她还要求学生尝试用AI来识别少层石墨烯的层厚和转角。
研究人员利用人工智能加速科学研究，并利用现有的人工智能工具生成论文并进行学术造假。这是这项技术的两个方面，但它们是根本不同的。
比如，像上面提到的这样一个可以辅助学术研究的人工智能工具，其门槛就相当高。从2018年推出可预测蛋白质结构的AlphaFold1到2024年推出AlphaFold3，谷歌DeepMind团队用了近6年的时间。记者了解到，要训练能够加速科学研究的AI工具，研究人员还需要花费能源来获取AI训练所需的数据。这个过程并不容易。
利用AI工具进行诈骗是一条更快的捷径。在学术界更受关注的事件似乎是利用AI辅助写作，而不抹去所有AI痕迹。不过，利用AI技术进行学术造假也引发了一些担忧。前段时间，一名中国学生因使用ChatGPT润色论文并修改部分用户访谈，被麻省理工学院开除，涉嫌学术造假。
记者了解到，不同研究领域利用人工智能进行学术造假的可能性存在差异。在一些文科研究领域，人工智能缺乏批判性思维，可能无法在学术工作中取代人类。上述理论物理博士告诉记者，在理论物理方向，几乎不存在学术造假的空间，因为论文中的推导是层层进行的，如果有问题就可以看到。更直接。
一位计算机科学博士生也告诉记者，对于计算机研究人员来说，利用AI制造欺诈似乎不太可行。想要在顶级会议、顶级期刊发表论文的研究人员不能利用人工智能制造造假。学术论文所要求的研究动机、方法设计、实验验证与分析是相互对应的。目前来看，人工智能还不太可能满足要求。不过，他也承认，人工智能技术可能会让审稿质量较低的会议或期刊更容易出现学术不端行为。
对于一些更加依赖实验、实验不确定性较多的学科来说，学术造假的潜在空间可能更大，而人工智能也可能成为学术造假的帮手。刘耀文告诉记者，学术造假一直是一个问题，而人工智能只会增加人们对造假的担忧，因为人工智能生成更快、更真实的内容。
刘耀文表示，过去发现的一些学术造假事件，往往是因为论文存在低级错误。例如，多篇文章使用了同一张图片，数据单位错误，或者数据中存在人为痕迹（例如，66.7是100的2/3，这可能是捏造的），而不是因为其他研究人员试图复制该数据实验。这背后，是学术界非常重视个人声誉，普遍不质疑学术权威。重复实验也需要成本，生物医学领域重复实验的成本非常高。即使重现实验，一些研究领域仍然存在较大的可变空间，例如“9点钟取的样本与10点钟取的样本不同”。研究人员可能很难确认实验无法重现的原因，尤其是在一些起步较晚、缺乏公理的研究领域。
刘耀文表示，学术造假的后果可以参考“心脏干细胞”论文造假事件。 2018年，哈佛医学院教授、心肌再生领域的先驱Piero Anversa被发现造假31篇学术论文，几乎对整个研究领域造成毁灭性打击。
刘耀文担心，随着AI技术的出现，论文作者可能会利用AI生成看起来更专业、更真实的数据。例如，数据将更加随机，数据欺诈将更难以检测。如果用人工智能来生成实验图，它们看起来会更加真实。伪造的实验图可能会导致错误的实验结果。他认为，个别研究人员很难辨别别人的论文是否造假。原因之一是很多学术论文库不开源，很难找到足够的论文进行比较和判断。
2023年，查尔斯特大学教授Geoffrey M. Currie也在论文中指出了监控Al伪造的困难。他表示，“深度伪造”可能会带来图像虚构。例如，生成对抗网络GAN可以去除噪声并使医学图像更清晰，但它也可以用于生成高度模拟的医学图像。此外，AI生成的文本可能会通过“折磨短语”的方式绕过抄袭软件的检测，并且AI可能会修改一些文本，让文本变味。
学术期刊如何规范人工智能技术的使用？
对于是否接受AI辅助论文、是否采取措施识别AI辅助论文真假以及措施是否有效，第一财经记者询问了知名学术期刊《Natrue》、《Cell》、《柳叶刀》、《Science》 、ACM、IEEE和中国图像学报发邮件，截至发稿尚未收到回复。
然而，2023年底，来自美国加州大学和英国的团队利用文献计量方法统计了Top 100出版商和Top 100期刊的AI使用规范和陈述，其分析结论为发表于《BMJ》）上级。
上述研究人员发现，排名前 100 名的出版商中有 24% 提供了生成式 AI 的使用指导，排名前 100 名的高排名期刊中有 87% 提供了生成式 AI 的使用指导。在提供指导的出版商和期刊中，只有 1% 明确禁止在稿件生成中使用生成式人工智能，但分别有 96% 和 98% 的出版商和期刊禁止作为作者使用生成式人工智能。
不同的期刊和出版商对于如何声明使用生成式人工智能（包括方法部分的致谢）有不同的看法，但普遍认为作者应该仔细检查人工智能生成的内容并承担全部责任。
一位新闻学博士生告诉记者，目前她只注意到新闻传播领域知名国际会议IAMCR要求提交论文使用AI生成技术。大致意思是可以使用AI技术，但作者需要解释一下AI工具的使用。记者还注意到，一些知名期刊要求作者解释AI工具的用途。 Nature对论文中使用AI技术的要求包括作者需要声明文章使用了AI工具。如果使用AI辅助文案编辑，则无需声明，但作者必须对最终文本负责。 《科学》还要求作者披露他们对人工智能工具的使用，并要求他们对其文章的准确性负责。 IEEE 要求作者在致谢部分解释如何使用人工智能生成内容。
由中国科学技术信息研究所牵头、2024年9月发布的《学术出版2.0 AIGC边界使用指南》也从纸质图表制作、文字写作、语言润色、同行等方面提出了规范做法。审查。例如，Western blot实验图、组织细胞染色图等实验生成的图像无法直接通过AIGC生成。 AIGC 不用于生成研究假设、直接撰写整个论文文本或解释数据，但可用于提高文本可读性并总结其他学术出版物或生成文献综述部分。研究人员需要验证AIGC提供的信息的真实性和准确性，并完整、正确地披露和声明AIGC的使用情况。
据李挺观察，目前学界对AI的态度是不反对用其辅助写作，但写作结果不应该让人们发现使用了AI。
“目前业界有AI测试网站，如果测试结果表明使用AI的可能性太高，就会对学术声誉产生影响。如果论文中存在明显由AI产生的错误，论文肯定会被撤稿，如果是写论文，可能连学位都拿不到。”李婷表示，目前期刊对于人工智能的使用还没有明确的标准。不同期刊和学术机构对AI都有支持和禁止，但在实际操作中往往很难证明AI的使用。