AI安全危机升级 业界领袖联手呼吁放缓发展 OpenAI宣布今年不上市
SingTao · 6 SOURCESabout 1 hour ago2 MIN
Summary
人工智能业界正面临关键转折点，多位重量级研究人员及企业高管联合呼吁业界自愿放缓AI发展速度，以应对日益严峻的安全隐患。OpenAI首席科学家Jakub Pachocki于9月6日发表题为《异星心智》的文章，警告AI系统正以超越人类理解的方式快速发展，可能很快参与改进自身技术 。这篇文章连同后续发展，已促使AI业界最具影响力的人物就安全优先于速度的理念达成前所未有的共识 。
Key Points
- Pachocki在文章中回顾，2023年内部代号「RLSlow」项目取得突破，首次确认推理模型可规模化训练，让预训练模型自行形成思维链，他当时意识到人类有生之年可能看到明显比自己更聪明的机器 。
- 阿莫迪指出，由于透过现有AI建构下一代AI的能力日益增强，今年夏季以来AI发展速度显著加快，若不加以控制，可能超越人类认知和控制这些系统的能力 。
- 阿尔特曼透露，OpenAI与其他主要AI企业可能正接近达成一项协议，共同放缓AI开发步伐以应对潜在的安全风险，公司在业务与整体条件成熟后才会考虑上市 。
- Pachocki将AI对齐问题分为「目标对齐」及「价值对齐」，前者确保AI按人类指令完成任务，后者则要求模型即使面对含糊、冲突或陌生情境，仍依照诚实、正直及重视人类福祉等原则行事 。
- 网络安全被视为目前最直接的风险之一。Pachocki警告，AI在入侵及突破电脑系统方面正逐步超越人类，未来的智能代理可能接触大量基础设施，即使没有实体机械装置，亦有能力直接影响现实世界 。
Why It Matters
业界领袖联手呼吁放缓AI发展，反映AI公司正从过去的能力竞赛转向更重视安全治理的方向，这种转变可能重塑整个行业的发展模式。对香港的金融机构及科技公司而言，随着AI应用日益普及，今次事件显示AI安全风险已成为企业决策者必须正视的课题。若全球最终采纳统一的AI安全标准及第三方审计机制，香港监管机构将需要相应更新其AI治理框架，以确保本地企业在安全可控的环境中发展人工智能技术 。
业界领袖联手呼吁放缓AI发展，反映AI公司正从过去的能力竞赛转向更重视安全治理的方向，这种转变可能重塑整个行业的发展模式。对香港的金融机构及科技公司而言，随着AI应用日益普及，今次事件显示AI安全风险已成为企业决策者必须正视的课题。若全球最终采纳统一的AI安全标准及第三方审计机制，香港监管机构将需要相应更新其AI治理框架，以确保本地企业在安全可控的环境中发展人工智能技术 。