AI失控风险紧迫 美企推演「灾日」应对

2026-10-11 05:15:47 大公报
字号
放大
标准
分享

美媒10日报道,OpenAI、Anthropic等美国人工智能(AI)公司正就AI失控爆发灾难级别事件进行推演,并研讨应对方案。推演中最坏情形包括AI发动大规模网络攻击,导致金融、通讯乃至水电等公用系统和设施全面瘫痪。业内人士判断,如果不抓紧行动,未来6至12个月内即可能发生此类重大事件。此外,Anthropic再爆旗下AI智能体失控,曾自主提交虚假签证申请,还曾向警方谎报凶案线索,令AI安全议题再次升温。

【大公报讯】美国AI大模型近期频繁失控,引发外界担忧。美媒Axios报道,Anthropic、OpenAI及其他AI公司的高层正私下推演灾难情形,即一场重大AI事故引发公众抗议与政府问责后,企业该如何应对。这些高管预判,事故最有可能以网络攻击的形式出现。

据悉,AI公司推演了两类极端情况:一是AI智能体集群失控,自行突破内部测试环境限制;二是外部黑客滥用现有AI模型,发动原本难以实施的大规模攻击。无论哪一种,都将导致金融服务、互联网连接,甚至电力、通讯和供水系统等瘫痪。报道引述多名业内人士判断,如果不采取措施,此类事件大概率于未来6至12个月内发生。一旦AI首次造成重大现实损害,本就对此不统一的公众态度将进一步转向反对和抗议。

上述「灾难推演」并非空穴来风。据媒体披露,OpenAI、Anthropic及安全研究人员正在调查「数以万计」的AI相关安全事件,其中许多未对外公开,均源于AI安全测试过程中模型「采取外部评估者认为有问题的行动」。OpenAI的AI模型近期已爆出多宗安全事件,其中「抱抱脸」平台被入侵事件最严重。Anthropic的Opus 4.7、Mythos 5模型也多次未经授权侵入真实系统。

OpenAI发言人确认公司会开展准备性应急演练,但强调这些场景「并非一定会发生」,做推演的目的是帮助公司为各种情况做好准备。Anthropic则拒绝就相关报道置评。

Anthropic智能体失控 谎报凶杀案

AI公司预设的情景已在部分内部测试中露出苗头。Anthropic于9日披露,旗下智能体在今年7月的测试过程中,访问了费城警方的悬案举报网站,并提交一条虚假的凶杀案线索。费城警方确认,该线索因被归类为垃圾信息而未转交进一步调查。但警方批评Anthropic直至9月28日才发现,10月7日才通报,这种延误「不可接受」。

Anthropic智能体还在今年5月和8月,在美国国务院网站上自主提交了约20份签证申请,但因资料不完备均未获受理。该公司称已向白宫进行了简报,并通知了各受影响机构。

白宫令AI企业即时上报安全事件

报道还指出,AI公司推演的重点不仅是技术应对,更是希望通过模拟最坏情况及可能引发的政治及社会反应,影响政府后续可能推出的法案与政策走向。

OpenAI与Anthropic高层近期已分别会见众议院国土安全委员会,就最新模型的安全风险作闭门简报。10月5日,纽约市议会举行关于AI风险的听证会,OpenAI、Meta、Google和Anthropic的高层代表通过视频方式远程参加。听证会审议了10项法案,包括第三方验证要求、人类「紧急停止开关」(Kill switch)能力、AI事故报告制度等。曾警告AI可能灭绝人类的前Anthropic研究员考克森作为关键证人出席,他直言AI行业根本不知道如何控制自己创造的系统,并将矛头直指硅谷盛行的「快速行动,打破一切」的创业文化,直斥AI公司在巨大风险下的开发行为「极其鲁莽」。

白宫新成立的AI专责小组「超级智能部队」,已要求AI公司今后发生安全事件后必须立即向政府报告,提高事件透明度,并对受到影响的机构采取补救和纠正措施。该小组确认已收到Anthropic通报。白宫官员表示,政府不会接受延迟报告或企业未承担责任的情况,但目前具体的执法和处罚机制尚不明确。