Newsom 签署行政令组建 AI 安全专家组：可能要求企业为失控的 AI 装「紧急断电开关」，两年前他否决过同类法案

行政令写了什么

据《洛杉矶时报》报道，加州州长 Gavin Newsom 于9月18日（周五）下令组建一个专家组，为州内的人工智能企业制定安全监管方案，其中包括为「失控」的 AI 程序开发一个可能的「紧急断电开关」（kill switch）。

按州长办公室的声明，这份行政令将召集「一批世界顶尖专家」，为加州强化人工智能安全方面的法律提供一份「指南」。专家组可能考虑的方案包括：由独立第三方来撰写安全计划，或者要求企业自行开发紧急关闭机制。

值得注意的是立场上的变化：Newsom 两年前曾否决过一项强制要求设置断电开关的州法案。那项2024年的法案由州参议员 Scott Wiener（民主党，旧金山）提出，要求科技公司必须有能力在情况失控时关停其直接控制的 AI 模型。Newsom 当时在否决理由中提出了若干顾虑。报道同时提到，Newsom 正在考虑参加2028年的总统竞选。

推动这件事的近因

全美多地的民主党与共和党领导人近来都在赶着提出安全方案，直接原因是 AI 公司的员工接连发出警告，称这项技术可能酿成灾难，甚至包括终结人类。

报道提到，AI 公司 Anthropic 的一名研究员因担忧而离职，理由是包括 OpenAI 在内的 AI 公司在竞相提升可能超越人类智能的 AI 时，是在「拿我们的性命赌博」。这名研究员 Jacob Coxon 在社交媒体上写道：「造 AI 的人真心相信，它可能在这个十年结束前把我们全杀死。」

主管科技事务的州参议院委员会主席、州参议员 Christopher Cabaldon（民主党，西萨克拉门托）告诉《洛杉矶时报》，他将在今秋就人工智能举行听证会。这些会议在近期警告出现之前就已安排，但会参考过去几周发生的事。他认为加州现行的 AI 规则远远不够：「我们对理发师、对三明治店的监管，都比对一家告诉我们『他们可能正在终结人类』的公司要多。」

反方意见与加州的特殊位置

并非所有人都认为「断电开关」有用。2024年因机器学习研究获诺贝尔奖的 AI 专家 Geoffrey Hinton 本周在 CNN 上表示怀疑，理由是 AI 会「说服那个掌管开关的人不要去拉那个开关」。他认为真正的风险在于「AI 自身变得聪明得多，然后接管一切」。

对加州而言，这件事的分量比在别的州更重：许多顶尖 AI 公司的总部都在加州，因此任何新法规都可能对全球科技产业产生不成比例的影响。

对橙县的科技从业者与投资者来说，这轮监管的走向值得跟：规则如果落地，首先受影响的是本州企业的合规成本与产品发布节奏。眼下行政令只是启动了专家组，尚未形成任何具体规则，后续要看专家组的建议与秋季听证会的结果。

信息来源：Los Angeles Times