奥特曼谈人工智能决策权:人类应持续掌握未来的控制权

科技7分钟前更新 admin
1 0
B03 正文上方广告,虚位以待,1200×150像素

B05 正文内嵌广告,虚位以待,1200×150像素

OpenAI 联合创始人萨姆·奥特曼与格雷格·布罗克曼在公开对话中表示,人类应继续掌握未来的控制权,反对因为人工智能能力提高,就逐步把社会和机构的最终决策交给模型。两人认为,这一目标需要主动维护,而不能假定技术发展会自然保证人类始终处于主导位置。

讨论涉及一种关于模型递归自我改进的设想:现有系统协助构建更强的新一代系统,能力不断提高,最终可能出现人类难以控制的超级智能。这里描述的是一种风险推演,并非已经确认发生的技术进程。奥特曼反对把这种可能性当成应当主动接受的权力交接,也不认为人类应该因模型更强就放弃最终决定。

奥特曼表示,他与布罗克曼主要是在如何实现持续的人类控制、以及过程中会遇到什么困难上存在讨论,而非对目标本身意见相反。公司竞争、外部压力和其他机构的选择,都会使落实目标更加复杂。共识可以明确方向,但如何把方向落实到实际系统与组织决策中,仍然需要进一步办法。

布罗克曼特别谈到模型监测方法的变化。当前一些研究会检查模型写出的推理过程,用于了解其执行任务的思路;但随着模型能力增强,更多处理可能在不展开文字推理的情况下完成。因此,外部可见的思维记录未必足以反映全部行为,需要新的监测技术,不能仅因为模型写出了看似合理的解释,就判断其内部过程完全透明。

他还谈到此前安全事件后的工程资源调整,表示公司曾要求约四分之一的生产工程人员暂停其他开发,转向加强系统安全。这是公司对自身处置的说明,不等于风险已经消除。模型能力越强,安全、对齐和防护要求越高,监测方式也需要与能力变化共同更新,而不是只沿用早期系统的检查方法。

两位高管同时认为,继续提升防御方能力仍有必要,因为更强的工具也可能被威胁行为者使用。这个判断强调安全建设与技术进步需要并行,但不能被理解为进步本身就自动带来安全。此次讨论的核心,在于将最终控制权、可观察性与防护能力分别落实,而不是把对人类主导的公开承诺当成技术问题已经得到解决。

© 版权声明
B04 正文下方广告,虚位以待,1200×150像素

相关文章