OpenAI发布检测AI生成文本的不完美工具
OpenAI最近发布了一个分类器,旨在确定一段文本是否由其自己的ChatGPT 工具等人工智能 (AI) 平台创作。
该公司在各种教育机构和学区禁止 ChatGPT 后发布了该工具,因为一些学生完全依赖它来撰写论文并将其作为自己的论文传递,这当然是作弊。目前,纽约市、西雅图、洛杉矶和巴尔的摩公立学区禁止使用 ChatGPT 。法国和印度的一些大学也限制使用该工具。最后,澳大利亚的一些州已禁止学生在学校互联网网络上访问 ChatGPT。
OpenAI 将其文本分类器描述为“一个微调的 GPT 模型,可以预测一段文本由 AI 从各种来源(例如 ChatGPT)生成的可能性。” 然而,尽管有这样的说法,该公司自己也承认该工具不可靠。在他们自己对英语文本的评估中,分类器仅正确识别出 26% 的 AI 编写的文本可能是由 AI 编写的,并将 9% 的人类编写的文本视为 AI 创作的。更重要的是,OpenAI 表示,分类器对于少于 1,000 个字符且使用除英语以外的其他语言编写的文本可能不可靠。
在我们自己的测试中,OpenAI 的分类器正确地认为 Neowin 上发表的大部分文章“非常不可能”由 AI 生成。然而,该工具对我们最近的Nothing Phone (2)报道优柔寡断,称“不清楚它是否是 AI 生成的”。当对通过 ChatGPT 生成的内容进行测试时,分类器似乎有点怀疑,认为该内容“可能是 AI 生成的”。
这可能就是为什么 OpenAI 说分类器产生的结果不应该是判断一段内容是否由 AI 编写时的“唯一证据”。值得庆幸的是,您还可以使用其他工具。例如,斯坦福大学的研究人员最近推出了DetectGPT,这是一种帮助教育工作者检测 AI 生成的论文的工具。此外,普林斯顿的一名计算机科学专业的学生开发了一种类似的工具,可以“快速有效地”确定一篇文章是否由 ChatGPT 创作。
版权声明:本文由用户上传,如有侵权请联系删除!