禁止恶意辱骂Claude,Anthropic发新规:持续虐待AI,可能直接终止对话
别以为AI没脾气。如果你肆意谩骂Claude,Anthropic可能会直接关闭对话,情节严重时甚至会封禁账号。
10月8日,Anthropic对其AI产品的使用规范进行了更新,进一步明确了Claude等模型的使用界限。
其中一项引发讨论的新规定是:用户不得对Anthropic的AI模型进行持续且无意义的辱骂或残酷行为。
除了这一调整,本次更新还新增了AI不得干预选举、开发武器、部署监控技术等条款。
Anthropic在政策说明中指出,这项规定仅针对极端情况,比如用户反复以残酷方式对待模型,却缺乏明确的实际目的。
正常的用户不满、对模型答案提出质疑、创作涉及黑暗主题的内容,以及模型测试和研究,均不在该限制范围内。
换言之,如果Claude提供的代码有误,用户完全可以指出问题,要求它重新编写,甚至直接批评其回答质量。Anthropic并未要求用户对AI保持礼貌,也未禁止开发者通过压力测试检验模型表现。
事实上,早在2025年8月,Anthropic就曾宣布,Claude在部分对话中已具备主动结束交流的能力。当模型遭遇持续有害或带有虐待性质的互动时,可以选择终止当前对话,而非继续配合。
当时,Anthropic正在探讨一个尚无定论的问题:AI模型是否可能具备某种道德地位,以及模型表现出的情绪和厌恶反应应如何解读。
在相关研究中,Anthropic观察到Claude Opus 4对某些有害任务表现出较为稳定的回避倾向。
在允许模型自行决定是否继续对话的实验中,模型也会对部分令人不适的互动表现出类似痛苦的反应,并选择结束对话。
当然,这些表现并不能证明Claude具备意识,也不能直接说明它会像人类一样感受痛苦。Anthropic对模型是否具有道德地位仍持不确定态度,但希望通过一些成本较低的措施,降低可能存在的风险。
如今,新政策明确禁止用户持续虐待模型。Anthropic表示,违反规定时,Claude结束对话仍将是主要的强制手段。当Claude终止聊天时,该对话将无法再发送任何消息,但其他聊天不受影响。
此外,Anthropic还调整了其他几项规定:
欺骗性宣传活动:在AI使用政策中,Anthropic新增了专门章节,整合针对政治和商业欺诈、虚假信息的相关规定,禁止发布虚假评论、伪装成普通公众制造舆论声势、建立虚假网站,以及让机器人伪装成人类行事。
选举:重新调整后的选举章节范围有所收窄,明确禁止使用Claude模型欺骗选民或扰乱选举(例如,散布关于候选人或投票方式的虚假信息、冒充候选人或选举官员,或试图压制投票率)。
武器:Anthropic的《使用政策》一直禁止利用Claude开发武器。近期,Anthropic发现有人试图利用其模型开发武器的制导与控制软件。更新后的条款明确指出,禁令不仅适用于武器本身,也涵盖使武器得以运作的软件和组件,以及为无人机和其他自主载具装配武器等行为。
执法:Anthropic重新修订了执法相关规定。例如,未经他人同意追踪其行踪属于禁止行为,无论是实时追踪,还是通过分析此前收集的数据进行追踪,都不例外。
Claude也不得用于在执法或刑事司法过程中决定或建议调查、逮捕或起诉哪些人。此外,利用Claude构建或改进监控工具同样受到禁止。新条款还明确列出了仍然允许的用途,包括在获得当事人同意的情况下进行追踪(例如欺诈监测)、内容审核、新闻报道和法律研究。
物理操作:这也是一个新增章节,其中规定如果模型连接到能够自主执行物理动作、且可能造成人身伤害的硬件设备,就必须满足相应的安全条件:具备资质的操作人员必须能够观察设备的运行情况,并在必要时将其停止;即使Claude断开连接,设备也必须能够维持在安全状态。
有害内容:新增规定,禁止制作、传播或威胁传播未经当事人同意的私密影像,同时禁止制作这类影像所使用的工具。
针对此次更新的大部分内容,Anthropic表示是为了让原有政策更清楚地适应模型能力和使用方式的变化,而不是意味着公司突然改变了此前所有的执行标准。
例如,武器相关软件、未经授权的监控以及欺骗性宣传,此前已经受到不同条款的限制。此次更新将这些要求进一步整合,并针对模型能力提升后出现的具体滥用方式作出更明确的说明。
新政策适用于Anthropic产品和服务的使用者,包括Claude.ai和Claude Code的个人用户、通过API使用模型的开发者和企业,以及将Claude集成到自己产品中的服务提供商。
Anthropic表示,如果发现用户可能违反使用政策,公司可以发出警告、限制使用速度或功能、暂停访问,甚至终止用户对产品和服务的访问权限。
此次更新后的使用政策将于2026年11月12日正式生效。
来源:https://www.anthropic.com/legal/aup
本文来自微信公众号“CSDN”,整理:屠敏,36氪经授权发布。
3条评论
-
-
-
-
-
在7×14小时中文客服团队,紧急事务15分钟内响应。方面,开云平台|开云体育官网在线注册入口提供贴心周到的支持。