人工智能技术快速发展，给人类生产与生活开阔无数新的可能的同时，这项技术是否可能摆脱人类的控制、在自主完善的同时也自主运作也开始引发越来越多的担心。率先推出聊天机器人 ChatGtp的人工智能企业Open AI 两个最新模型近日在测试过程中出现失控行为两天之后，另一家美国人工智能开发企业Anthropic7月31日也自爆出现相似情形。这些消息使得人们对人工智能开发失控的担心更加具体，思考是否和如何制定框架管控人工智能技术发展也变得更加迫切。
的确，7月31日，美国人工智能初创企业Anthropic在一份公报中承认，其大型语言模型Claude的三个不同版本在一次原本是封闭状态下的测试过程中，得以进入未允许进入的三家机构的实体系统。公报没有披露这三家机构的名字，也否认这些模型在测试过程中失控，否认模型曾坚持寻求摆脱测试环境。根据这份公报，相关模型在试图进入未经允许的实体网络的行为是因为与合作企业沟通过程中有误解。参加测试的最老版本模型在获得可以进入未允许它进入的系统的可能性后，并未停止擅入系统的努力，而最新版本的模型则在发现进入公共网络系统之后，停止了推进尝试。也就是说，Anthropic 的大模型并未进入网络攻击模式，与此前OpenAI 几天前发生的事故不同。
7月29日，Open AI 发表公报，承认其大模型在测试过程中突破测试限制，成功进入其它公司系统，尤其是进入了被一些中国网民译作是“抱抱脸” 的Hugging Face网站。被入侵网站用了至少五天时间，才得以控制侵入行为。而Open AI 公司自己也是在其模型“自主”行动多日之后才意识到相关行为。
如果说这些测试本身的目的之一就是检测网络系统漏洞，防范网络攻击的话，这些软件自主行为正引发忧虑。因为在各种网络系统努力防范骇客攻击之际，这些人类发明的智能助手没有完全按照人类的指令操作，而且，与人类骇客的网络攻击行为不同，这次OpenAI 模型测试事故的苦主Hugging Face 解释指出，人工智能体发现网络系统漏洞和弱点的速度和规模远远超出人类的手动行动能力。的确Open AI 参与测试的大模型针对Hugging Face 网站发起了不下1万7千次闯入尝试，有很多次失败，但最终还是得以成功进入。也就是说这些人工智能体可以以更快的速度、更大的规模找到任何信息系统的漏洞和弱点，而且可能在没有任何指令的情况下，自主进行网络攻击。
这无疑对企业如何面对这些突然暴露出的众多系统缺陷提出挑战。因为一旦系统缺陷被发现，而弥补缺陷的措施不能及时跟上，就有可能被别有用心之人利用，或者进行破坏行动，或者盗取重要数据信息。更不用说人工智能体有可能在没有人类指令的情况下，自主进入未被允许进入的网站系统。大小企业的网络系统面对的安全挑战规模可想而知。西门子负责网络安全事务的负责人就在其社交媒体平台上警告说，系统的每一个缺陷都是一个不定时炸弹，而人工智能技术正以极快的方式加速倒计时。
Anthropic具有极强的发现网络系统漏洞能力的大模型Mythos 5目前还只有少数企业获得使用授权。但是无论是OpenAI ，还是Anthropic 的最新模型都在一定程度上是人工智能体自主完善、自我升级的结果。
人工智能的快速发展是否正在脱离人类的控制？几个月来，美国顶尖人工智能企业不断有人发出放缓研发速度的呼吁。这些企业的上千名员工近日也联名上书，希望美国政府推动国际社会设立必要的治理机制，合理地疏导人工智能体的自动更新升级行为。Anthropic 的领导人也是请愿书签名者之一。Open AI 总裁没有参加联署，但也承认有必要放慢研发步伐，以便社会有时间面对人工智能带来的各种新可能。
一直反对未人工智能开发设定限制的特朗普政府在今年6月签署政令，要求各人工智能研发企业在公布最新大模型之前，告知政府，允许政府进入系统检视。
欧洲联盟人工智能法案8月2日生效执行。其中条款之一，就是允许欧盟委员会相关部门对人工智能大模型的风险进行评估与核查，确认这些模型没有违反欧盟法规，不仅要求大模型研发企业遵守透明原则，而且要求他们采取必要措施，评估并降低与使用这些模型相关的风险。