本周，来自英国、欧盟、美国和其他七个国家的当局齐聚旧金山，启动了“人工智能安全研究所国际网络”。
这次会议在 Presidio 金门俱乐部举行，讨论了管理人工智能生成内容的风险、测试基础模型以及对先进人工智能系统进行风险评估。来自澳大利亚、加拿大、法国、日本、肯尼亚、韩国和新加坡的人工智能安全机构也正式加入该网络。
此外签署使命宣言超过 1100 万美元的资金被分配用于研究人工智能生成的内容，并对网络首次联合安全测试的结果进行了审查。与会者包括监管官员、人工智能开发人员、学者和民间社会领袖，以帮助讨论新兴的人工智能挑战和潜在的保障措施。
此次会议的召开是在会议取得的进展的基础上召开的五月，在首尔举行。十个国家同意“面对人工智能前所未有的进步及其对我们经济和社会的影响，促进人工智能方面的国际合作与对话”。
“人工智能安全研究所国际网络将作为合作论坛，汇集技术专业知识来解决人工智能安全风险和最佳实践，”欧盟委员会。 “认识到文化和语言多样性的重要性，该网络将努力统一理解人工智能安全风险和缓解策略。”
人工智能安全机构成员必须在 2025 年 2 月举行的巴黎人工智能影响峰会上展示其在人工智能安全测试和评估方面取得的进展，以便推进围绕监管的讨论。
会议主要成果
签署使命宣言
使命宣言要求网络成员在四个领域进行合作：
- 研究：与人工智能安全研究社区合作并分享研究结果。
- 测试：开发和分享测试先进人工智能系统的最佳实践。
- 指导：促进解释人工智能安全测试结果的共享方法。
- 包含：共享信息和技术工具，扩大人工智能安全科学的参与。
超过 1100 万美元用于人工智能安全研究
网络成员和多家非营利组织总共宣布提供超过 1100 万美元的资金，用于研究降低人工智能生成内容的风险。儿童性虐待材料、未经同意的性图像以及使用人工智能进行欺诈和冒充被强调为值得关注的关键领域。
资金将优先分配给研究数字内容透明度技术和模型保障措施的研究人员，以防止有害内容的生成和传播。将考虑为开发技术缓解措施以及社会科学和人文评估的科学家提供赠款。
美国研究所还发布了一份一系列自愿方法解决人工智能生成内容的风险。
讨论联合测试演习的结果
该网络已经完成了 Meta 上的首次联合测试活动3.1 405B，研究其常识、多语言能力和封闭域幻觉，其中模型提供了来自其被指示参考的领域之外的信息。
此次演习提出了如何改进跨语言、文化和环境的人工智能安全测试的几个考虑因素。例如，微小的方法差异和模型优化技术可能对评估结果产生影响。更广泛的联合测试演习将在巴黎人工智能行动峰会之前进行。
商定风险评估的共同基础
网络已达成一致人工智能风险评估的共享科学基础，包括它们必须是可操作的、透明的、全面的、多利益相关者的、迭代的和可复制的。成员们讨论了如何实施。
美国成立“国家安全人工智能风险测试”工作组
最后，新的TRAINS工作组成立，由美国人工智能安全研究所牵头，成员包括美国商务部、国防部、能源部和国土安全部等其他机构的专家。所有成员都将测试人工智能模型，以管理放射和核安全、化学和生物安全、网络安全、关键基础设施和军事能力等领域的国家安全风险。
看：
这强化了人工智能与军事交叉在美国的首要地位。上个月，白宫发布了有史以来第一份报告人工智能国家安全备忘录，命令国防部和美国情报机构加速在国家安全任务中采用人工智能。
演讲者谈到如何平衡人工智能创新与安全
美国商务部长吉娜·雷蒙多周三发表主旨演讲。她告诉与会者，“推进人工智能是正确的事情，但仅仅因为我们可以而不考虑后果就尽快推进，这并不是明智之举。”时间。
近几个月来，人工智能的进步与安全之间的斗争一直是政府和科技公司之间争论的焦点。虽然目的是保护消费者的安全，但监管机构可能会限制他们使用最新技术，这可能会。谷歌和 Meta 都有，参考该地区的，表明它将消除其创新潜力。
据报道，雷蒙多表示，美国人工智能安全研究所“无意扼杀创新”美联社。 “但事情是这样的。安全有利于创新。安全孕育信任。信任加速采用。采用会带来更多创新。”
她还强调，各国有“义务”管理可能对社会产生负面影响的风险，例如导致失业和安全漏洞。 “我们不要让我们的野心蒙蔽了我们的双眼，让我们梦游到自己的毁灭，”她通过美联社说道。
Anthropic 首席执行官 Dario Amodei 也发表演讲，强调安全测试的必要性。他表示，虽然“今天，当聊天机器人说出一些难以预测的话时，人们会大笑”，但这表明在人工智能获得更多邪恶能力之前控制它是多么重要。财富。
去年全球人工智能安全机构如雨后春笋般涌现
这大约一年前，该事件发生在英国白金汉郡的布莱切利公园。英国人工智能安全研究所成立，其三个主要目标是：
- 评估现有的人工智能系统。
- 进行基础人工智能安全研究。
- 与其他国家和国际参与者共享信息。
美国拥有自己的人工智能安全研究所，由 NIST 于 2024 年 2 月正式成立，并被指定为该网络的主席。它的创建是为了致力于《行动纲领》中概述的优先行动于 2023 年 10 月发布。这些行动包括制定人工智能系统的安全标准。
看：
4 月份，开发先进人工智能模型的测试，主要是通过分享各自人工智能安全研究所的进展。在首尔达成的协议中，其他国家也成立了类似的机构来加入合作。
在旧金山会议上澄清美国对人工智能安全的立场尤为重要，因为目前全国范围内并未表现出压倒性的支持态度。当选总统唐纳德·特朗普誓言废除行政命令当他回到白宫时。加州州长加文·纽瑟姆 (Gavin Newsom) 也出席了会议9 月底发布 SB 1047。
