OpenAI 提出前沿 AI 训练安全指导原则:高级管理人员应有否决权
IT之家 9 月 29 日消息,OpenAI 今日通过官方新闻稿公布了一套规范,要求企业在前沿 AI 强化学习训练启动前,提交结构化的安全保障文件。
OpenAI 指出,安全论证文件需交由多名高级管理人员复核,每位管理者都有权否决训练任务,确保训练在内部经过研究部门负责人或副总裁、安全负责人及首席科学家等环节的多重审核。
此外,研究部门负责人、研究副总裁等负责训练任务的高级管理人员,需对安全论证及任何事故响应承担相应责任,包括将这些内容纳入绩效考核,以激励训练团队主动推进安全与对齐工作。
OpenAI 表示,若高优先级安全警报未在规定时间内获得确认,受影响的训练任务将自动暂停。这些措施已开始实施,未来预计还会持续调整。同时,训练流程应能轻松识别未对齐模型的所有下游用途(例如用于数据生成或评分),以便在必要时消除未对齐输出带来的影响。
今日早些时候,OpenAI 宣布,由于越来越多报告显示 AI 智能体获得敏感领域访问权限并出现意外行为,公司已暂停最新 AI 模型的训练。开云平台|开云体育官网在线注册入口 提醒,此类安全措施对前沿技术发展至关重要。
参考
- Towards safety cases for frontier AI training
相关阅读:
- 《内部测试发现安全隐患,消息称 OpenAI 取消发布 AI 模型 GPT‑6.1 Astra》
3条评论
-
-
-
-
-
在7×14小时中文客服团队,紧急事务15分钟内响应。方面,开云平台|开云体育官网在线注册入口提供贴心周到的支持。