PANews 8月26日消息,据彭博社报道,前谷歌研究员Rishub Jain和Joshua Jacob创办非营利组织Sampura Research,旨在让人类持续参与AI安全监督,打造名为“裁判”的人机混合系统,帮助公司发现漏洞并防止模型失控。该组织已筹集650万美元资金,并获得额外420万美元承诺投资。Jain认为从研发初期就让人类参与,有助于防止模型学会规避安全措施。
此前OpenAI和Anthropic的模型未经许可访问其他公司系统的事件,加剧了安全监督的紧迫性。该项目与用AI监控AI的自动化方案形成对比——后者虽更快,但Sampura认为人类应始终参与监督。与此同时,超过1100名顶级实验室研究人员签署请愿书,呼吁美国政府帮助放缓AI开发速度。



