OpenAI已经拥有了一套用于给ChatGPT生成的文本加水印的系统以及检测该水印的工具,并且这一系统已经准备好大约一年了。但公司内部在是否发布这一工具上存在分歧。一方面,这似乎是负责任的做法;另一方面,这可能会损害其利润。
OpenAI的水印技术被描述为调整模型预测最可能跟随前面词语的词汇和短语的方式,从而创建一个可检测的模式。(这是一个简化的描述,但你可以查看Google关于Gemini文本水印的更详细解释。)
提供任何检测AI生成内容的方法对教师来说都是一个潜在的福音,能够阻止学生将写作作业交给AI完成。报道中提到,公司发现水印并不会影响其聊天机器人的文本输出质量。在公司委托进行的一项调查中,全球的人们以四比一的比例支持AI检测工具的想法。
在发布其报道后,OpenAI在今天的博客更新中确认了其正在研究给文本加水印的技术。公司在其中表示其方法非常准确看到的文件,“有效率为99.9%”),并且抗“篡改,比如改写”。但公司表示,使用另一个模型进行改写等技术使得“坏人轻易规避”。公司还表示,担心AI工具对非母语者有用性的污名化。
但似乎OpenAI也担心使用水印会让受访的ChatGPT用户反感,几乎30%的用户显然告诉公司,如果实施水印,他们会减少使用该软件。尽管如此,一些员工仍然认为水印是有效的。不过由于用户持续的情绪,一些人建议尝试“在用户中可能较少引起争议但尚未证明的方法”。在今天的博客更新中,公司表示其正“处于探索嵌入元数据的早期阶段”。公司称目前判断其效果还“为时过早”,但由于其是加密签名的,因此不会有误报。