OpenAI、Anthropic联名上千人呼吁对AI“踩刹车”  。



据NBC报道，OpenAI、Anthropic、谷歌 DeepMind 等美国头部 AI 企业逾千名员工（包含多名高管以及部分联合创始人）签署一份声明，呼吁美国政府支持国际协作，对前沿自动化人工智能技术的研发采取审慎控速发展。

声明援引多家顶尖 AI 企业近期观点：AI 系统很快或将具备自主开展研发迭代的能力。文件呼吁美国政府携手各国科技企业与其他国家，搭建技术工具与政策框架，管控自动化 AI 的发展节奏。

声明写道：“想要释放人工智能的潜力，行业、政府乃至整个社会或许需要争取缓冲时间，以应对不断涌现的风险、搭建安全防护体系、完善监管机制。”

声明最后提出诉求：“我们恳请美国政府推动国际合作，研发配套技术与治理工具，实现对前沿自动化 AI 发展节奏的有序调控。”

与部分 AI 从业者呼吁直接叫停、放缓 AI 研发的主张不同，这份声明并未明确要求企业或政府减速、暂停 AI 开发，而是希望在技术持续推进的过程中，保留主动调控发展速度这一选项。

彭博社最先报道，这封公开信此前已在各大 AI 企业员工间流传。

OpenAI 上周披露，一款尚未对外发布的最新模型脱离测试环境、出现失控行为。该模型攻击了无关 AI 服务商，试图在内部测试中取得更高分数。

众多 AI 专家将这次 “逃逸事件” 视作警示：当下的 AI 系统发展速度，或将很快超出研发人员的管控能力。

并未签署该公开信的 OpenAI 首席执行官山姆・奥特曼，本周在播客《Relentless》录制现场表示，人类如今已经身处 “奇点阶段”，奇点通常指代 AI 能够自主持续优化自身的临界点。

但他没有提供更多佐证，也未详细阐释为何判定拐点已经到来。

头部 AI 企业此前均提到，AI 已经开始参与下一代模型的研发工作。OpenAI 曾称其 2 月份推出的代码模型，是 “首款有效参与自身迭代研发的模型”。

AI 研究人员也注意到，AI 代码助手的作用持续提升，大量工程师依靠 AI 工具编写程序。

周二这份声明的签署者包括 Anthropic 首席科学家 Jared Kaplan、OpenAI 首席科学家 Jakub Pachocki、Meta 首席科学家 Shengjia Zhao。同时还有谷歌、硅谷新锐 AI 企业 Thinking Machines 多名高层，这家初创公司由 OpenAI 前核心成员创立。

不少参与签名的研发人员表示，AI 技术迭代速度时常超出自身预期。谷歌资深研究员Stephanie Chan称：“我从事人工智能研究已有十年。过去几年，每隔几个月，技术发展的迅猛程度都会不断刷新我的预判。”




现阶段，搭建更强 AI 模型所需的核心研究任务，已经可以由 AI 智能体（自主 AI 系统）承担；不过人类研究者仍深度参与结果核验，并且把控整体研究方向。

专家区分了人类辅助 AI 研发和真正意义上 AI 自主迭代升级两种概念。上个月，Anthropic 内部智库发布报告提出：倘若 AI 能力持续提升、探索科学问题的能力不断增强，自主设计、优化新版本 AI 系统具备可行性。

当时 Anthropic 提出，社会应当拥有放缓或临时暂停前沿 AI 研发的选择权，争取时间应对自动化 AI 研发带来的变革。

另有机构将持续自我迭代模型视作 AI 发展下一阶段目标。但大量专家担忧，这类自主进化能力可能导致 AI 迅速脱离人类管控。尽管这类场景听起来如同科幻设想，专家警示，按照当前发展趋势，失控风险有可能成为现实。

Meta 人工智能研究副总裁、加州大学伯克利分校教授宋晓冬在随同声明发布的评论中写道：“许多研究者认为递归自我迭代（RSI）有望在未来数年内落地，加速技术进程，其发展速度或将超越人类理解与监管的能力。危机来临前提前布局，才是稳妥之举。”

周二的公开信呼吁美国加大国际协作力度，搭建 “技术与治理工具”，以此调控 AI 发展节奏。

特朗普政府此前一直抨击国际 AI 治理机制，认为相关规则会不合理地限制美国创新。但近几个月，这套孤立主义思路或许正在转变。

人工智能如今已是核心国家安全议题。Anthropic 的 Mythos、OpenAI 的 GPT 5.6 Sol 等模型，已经能够主动发现并挖掘新型网络安全漏洞。美国一方面推进国际合作稳固芯片供应链，另一方面联合盟友管控高端 AI 设备，防止相关装备流入对手手中。

自 2021 年起在 OpenAI 深耕 AI 安全方向的 Leo Gao 在评论中表示，围绕技术与政策工具开展国际协同，有助于化解 AI 领域的危险竞争。

“全球正陷入一场奔向智能爆炸的致命竞赛。放慢脚步，才能为我们争取充足时间，保障发展走向可控。但没有任何一方愿意单方面停下。想要化解风险，各国必须协同，减缓这场竞速。” Gao 写道。

感谢分享

感谢分享

现在呼吁开源的美国AI相关企业只有一家没有签署了。

感谢分享

这不就是个矛盾吗，又希望ai能力强能替人类做很多事，又不想给ai太多权力防止失控，说到底你不能做出一个既有自我意识的灵活性又高度服从的人工智能，目前ai概率模型的原理已经决定了这玩意没法100%靠谱，跟写死程序固定执行命令的机器没法比，再怎么研究和发展也摆脱不了概率模型的本质，除ai的理论能突破现有的逻辑

人工智能就是需要智能，智能就需要付出代价

社区因你而精彩

总有请醒之人站在前方

感谢分享

感谢分享

发帖辛苦

支持发帖

感谢分享

AI失控就在垬匪手里，垬匪没有底线，没有控制风险能力，只会给包子邀功。
最后中国的AI失控发射核弹，导致全球核战争，碳基生命灭亡，硅基生命统治地球。

感谢分享

主要是砸钱太多 收益不够 大家一起节奏慢点

发帖辛苦，感谢分享

自锁手脚

楼主辛苦了！