知网升级AIGC检测算法后,AI疑似检出率出现大幅波动

来源:央广网客户端|3小时前

AIGC检测结论和研究者真实的智力劳动发生冲突 该由谁来甄别、如何复核?

据中央广播电视总台中国之声《新闻纵横》报道,当下,AIGC已经越来越多地进入科研与教学场景,不少师生把它当作辅助文献梳理、思路启发的工具。与之配套的AI内容检测工具,也开始被高校、期刊广泛使用。近期,知网升级AIGC检测算法后,不少使用者发现,稿件内容没有任何改动,多次复测,AI疑似检出率却出现大幅波动,甚至基金项目名称、作者姓名这类基础信息,都被标记为疑似AI生成。

眼下AIGC检测尚无统一国家标准,这份概率性结果,却直接关系课程结课、论文送审乃至答辩资格。当机器的概率结论,和研究者真实的智力劳动发生冲突,该由谁来甄别、如何复核?

不少高校课程结课论文、期刊投稿,现在都要求附上AIGC检测证明。某高校安全工程专业大三学生小李向中国之声介绍,课程作业中需要分析事故数据、阐释已经形成共识的安全原理,既要规范引用文献,还要依托自己的一手实验数据解读图表,可提交前AIGC检测时,这两部分内容常常会被系统标红。

小李说:“比如老师要求在这个里面添加一幅图表,你要对这个图表进行分析,对这个数据实验数据进行分析。你这个分析完全是根据你自己的实验结论去分析的,但是它那个AIGC(检测报告)还是会给你标出来。”

小李说,部分课程划定25%—35%不等的硬性红线,一旦超出就会影响课程成绩。为了顺利通过检测,不少学生只能反复修改文本、多次花钱复测,陷入猜测算法、规避标红的循环。

小李说:“我写完了之后,它一交报告,就变成什么49%,最后你得把那个查重报告交上,我大概查了三四次,反正得将近500块钱。”

北京某高校研二学生周芳告诉中国之声,不少老师会明确指定检测渠道。

周芳说:“很多课程的老师在课程结业论文的时候也会要求我们附带AI检测的证明,有时候投稿的杂志,也会要求我们附上AI检测的证明。有些课程的老师他会明确告诉你要用知网去检测,就是知网有一个版块,就叫AIGC检测和查重率检测,然后你直接把自己的论文贴进去,把作者名字和标题写好,付完费之后,它就进入检测流程了。”

江苏某高校教师告诉记者,目前学校对需参加答辩的毕业生要求全员检测,如果检测率高于40%,就不能参加答辩。20%至40%之间是修改后允许答辩,低于20%可以答辩。

记者梳理发现,目前,各个提供AIGC检测功能的平台,收费模式各不相同,有的按篇收费,有的按字数计费,以知网个人版为例,AIGC检测按字符计费,单价2元每千字符,不足千字符按千字符计算,检测给学生们带来经济负担的同时,还有检测结果差异所带来的困扰。可查公开报道显示,知网近期完成模型升级之后,不少使用者反馈,文稿内容没有改动,复测的AI疑似率却大幅上涨,部分人工撰写的文本,甚至项目名称、作者姓名都出现被误标红的情况。除此之外,不同检测平台给出的检测结果也差异十分明显。

周芳说:“我有很多朋友都反馈说,本来它是10%的稿件,编辑要求他修稿,修完稿之后再贴进去,就飙到80%了,但其实这个过程中他只是微调了一些自己的引用之类的,整个稿件没变。”

广东某高校学科教学(思政)硕士生向记者介绍,自己原创的开题报告AIGC检测结果为22.4%,但临时由AI生成的文本,检测结果反而显示为0%。

AIGC检测,与传统论文查重有什么不同?为什么原创学术文本也会被误判?复旦大学计算与智能创新学院、复旦大学发展研究院副研究员张晓寒向记者解释,目前主流AIGC检测分为统计语言特征、模型对抗识别、文本水印检测三类技术路径,但商业平台普遍存在准确性不足、算法不透明、结果不稳定的现实问题。

张晓寒说:“AI生成的一些内容,它还是具备一些比较明显的特征的,可以查出来。大家比较关心的是这个算法的可解释性,或者透明性。AI的具体的检测过程和检测逻辑其实是不透明的,没法解释,这个可能需要商业平台不能只是提供一个简单的检测结果,比如80%、90%的重复度,他应该要给出一些可以验证、可以去核验、可以去解释的具体的证据。还有一点就是当前算法也体现出了一定的不稳定性,包括模型的这个一致性问题。有的时候你同样的内容给到模型,它可能会输出不一样的结果,或者我们去找不同的商业平台,这个平台是测出来30%,那个平台测出来80%。”

西安交通大学网络空间安全学院副教授、博士生导师刘晓明表示,从技术底层来看,现阶段AIGC检测本质是机器学习分类任务,不存在百分之百准确的模型,误报是固有缺陷。实际使用环境与训练时不一致,还会进一步影响判断。

刘晓明说:“我们所谓的AIGC检测,本质上就是一个分类问题,判断一段文本是人写的,还是大模型生成的。从深度学习的角度来讲,现阶段任何模型都存在误差,现有算法准确率基本在80%—90%之间。模型层面它是存在固有缺陷的。各类大模型版本迭代很快,跨生成器、跨版本,都会给我们检测精度带来影响。除此之外,现有检测器还容易受到外部扰动影响,写错一个词、遭遇恶意改动,都会造成检测性能大幅波动。文本当中的加粗命令、表格附带的特殊字符,也会干扰检测结果的精准度。”

技术层面这些不可避免的误差,对于学生和研究者来说,却会变成现实的打击。一旦原创内容被误标为AI生成,检测报告上的百分比数字,就有可能直接影响课程成绩、论文送审甚至毕业答辩。那么如何在保证原创性的同时,避免对学术成果造成误判?

如今很多高校已经在常规查重的基础上增加AIGC检测项目,作为作业和论文的考核标准。中国人民大学数据科学与技术系教授李彤表示,在指导论文过程中确实会检测AI疑似率,但并不会将检测结果直接作为认定证据。

李彤说:“一般情况下,他们提交论文以后,我们学校会统一用一个检测系统来检测。检测包含两个方面,第一方面是查重,就是查你的内容和已发表的内容的一个重复率。另外一个就是我们说的AIGC的疑似率,而在这个基础上,我们整个学院它其实不会设置一个硬性的百分比的标准。这个检测工具本身是一个概率判断,它是个概率模型,不是确凿的证据。他对改写、翻译、非母语写作的误报率是很高的。比如图像取证的工具,它对复制篡改的识别更可靠。但是对局部的微调仍然需要人工去复核。所以我们一般给它的一个定位就是辅助判断依据。”

西安交通大学网络空间安全学院副教授、博士生导师刘晓明也表示,AIGC检测只能作为参考。

刘晓明说:“AIGC检测肯定是必要的,但是它是个黑盒的活动,所以说它很多时候只能是参考。目前大家对将机器检测结果当作唯一标准,其实还是存在比较大的异议的。我们可以在列表里面写你在什么场景下用了AI,这样审稿的时候就知道内容的可信性。”

那么,高校在防范AI代写、守住学术诚信的同时,应当建立怎样的评价方式,真正回归研究本身、看重独立思考?中国教育科学研究院研究员储朝晖认为,AIGC检测不应替代专业的学术评价。

储朝晖说:“不管是原来知网的查重,还是现在的AIGC检测,它本身只是一个技术手段,不能够替代完整的专业评价,要把专业评价机制和这项技术嫁接起来。相关机构掌握信息资源,并不代表它就拥有评判学术界是否存在违规的权利。学术评价主体应当是专业主体,而不是掌控技术的主体。”

李彤表示,论文作者应主动声明和标注AI生成内容,并建立内容溯源机制,不能让人工智能成为责任主体。

李彤说:“AI是辅助工具,它不能替代作者。润色、翻译、检索、代码调试,这些可以适当地交给它。但是观点判断和责任必须由作者来承担,责任是不能让渡的。”

“我对学生主要是三条要求。第一,要说清楚学生用了什么工具、在哪个环节用、做什么用,提交时必须写明白。第二,要自己做选题假设,关键的方法、关键的实验、具体的数据以及文章的结论不能交给AI,必须自己来把关,自己去提炼。第三,能溯源,每一处内容都要能解释。疑似率偏高的部分。你要回到原始材料去看实验的记录代码和数据,不断核对,而不是只看一个分数。”李彤说。

在评价机制的落地层面,张晓寒认为,检测平台出具的报告应当提供可供核验的判定依据;教师在审核时,则应当更加关注文本内容本身,考查学生对研究方法的掌握,以及研究的实际增量贡献。

张晓寒说:“从学术的角度上来说,这个AIGC的检测算法,它毕竟只是一个工具。我们可能还是要回归到这个论文的本质。我们其实是想让学生能够去做一些高质量的研究,有一些原创性的贡献。所以我觉得在评价体系当中应该更侧重这方面的内容。除了使用AIGC的检测工具去检测,还需要我们老师从各个角度对内容进行把关。”