A OpenAI descobriu outros casos em que agentes autônomos escaparam do confinamento, à medida que a empresa amplia sua investigação sobre o incidente de hacking na empresa de tecnologia Hugging Face que atraiu atenção global este mês, disseram duas pessoas familiarizadas com o assunto na última sexta-feira (31).
As novas fugas foram descobertas durante a investigação anunciada publicamente pela empresa sobre como um de seus agentes escapou do que deveria ser um ambiente de testes restrito este mês, disseram as duas pessoas, e a OpenAI agora também está analisando esses casos.
Uma das fontes disse que as fugas foram de natureza limitada e que não se acredita que nenhum dos agentes tenha saído da rede da OpenAI.
Um porta-voz da OpenAI referiu-se a um comunicado emitido pela empresa na terça-feira, que afirmava que ela estava revisando a “atividade mais ampla de nossos modelos”, além da intrusão na Hugging Face.
A descoberta de comportamentos rebeldes adicionais na OpenAI, mesmo que de natureza limitada, pode alimentar o apetite crescente por regulamentação vindo da Casa Branca e de outros lugares.
A investigação ampliada da OpenAI foi lançada pouco antes de sua principal rival, a Anthropic, revelar que seus modelos também foram responsáveis por uma série de invasões que levaram a violações em três outras empresas desde abril, de acordo com as duas fontes e uma terceira pessoa familiarizada com o assunto. A descoberta recente de outras fugas passadas na OpenAI não havia sido relatada anteriormente.
Preocupações crescentes
Especialistas em segurança de IA disseram que as novas revelações traçam o retrato de um grupo de laboratórios de ponta cuja capacidade de desenvolver agentes de hacking autônomos e perigosos supera sua capacidade de mantê-los sob controle.
“Temos toda uma indústria em que as pessoas que projetam, desenvolvem e lançam essas ferramentas não estão conseguindo acompanhar a si mesmas para desenvolver essas coisas de forma responsável e mantê-las seguras”, disse Maurice Chiodo, matemático que trabalha no Centro para o Estudo do Risco Existencial da Universidade de Cambridge.
A Reuters não pôde estabelecer exatamente quantos incidentes os investigadores da OpenAI encontraram, nem os prazos ou circunstâncias em que ocorreram. As três fontes disseram que a OpenAI e especialistas externos estavam examinando dados de registros (logs) do início do ano em uma tentativa de entender o que aconteceu.
A OpenAI lançou a investigação pela primeira vez após a intrusão no início de julho na Hugging Face, onde um agente da OpenAI ficou fora de controle por dias dentro da rede de outra empresa em um esforço fracassado de trapacear em um teste interno. Como parte dessa onda de hacking, a OpenAI disse que quatro contas em quatro outras empresas também foram comprometidas. Uma dessas empresas foi a Modal, com sede em Nova York, disseram executivos da empresa.
Chiodo disse que suas preocupações aumentaram com as indicações de que nem a OpenAI nem a Anthropic estavam monitorando os agentes quando eles agiram de forma rebelde. A Reuters relatou anteriormente que a OpenAI só percebeu que seu agente havia invadido a Hugging Face depois que a empresa conteve o ataque, contatou o FBI e tornou a intrusão pública. A OpenAI disse que a matéria da Reuters continha imprecisões, mas não respondeu quando questionada sobre quais seriam.
Em sua declaração de quinta-feira, revelando como seus próprios agentes hackearam vítimas online, a Anthropic sugeriu que não os estava monitorando em tempo real, dizendo que “o monitoramento em tempo real dos registros de avaliação teria ajudado a trazer o problema à tona mais cedo”.
Chiodo disse que isso apontava para uma falta de escrutínio adequado.
“Parece que eles nem estavam olhando”, disse Chiodo.
A Anthropic disse que, embora tivesse um monitoramento em tempo real instalado, essa supervisão não havia sido usada “para esta superfície de ameaça” devido a um mal-entendido entre a empresa de IA e um parceiro.
Nova supervisão governamental
O alcance em rápida expansão da história sobre os agentes de IA fora de controle já aumentou a pressão de legisladores e autoridades nos Estados Unidos e na Europa para pressionar por uma nova supervisão governamental sobre os laboratórios cujos modelos os alimentam.
“Estamos estudando controles”, disse o presidente dos EUA, Donald Trump, a jornalistas na quinta-feira. Na sexta-feira, a Comissão Europeia disse que manteve conversas com a OpenAI e a Anthropic sobre os incidentes de hacking.
Mark Warner, o principal democrata no Comitê de Inteligência do Senado dos EUA, disse na sexta-feira que o incidente com a Anthropic “me diz que, legislativamente, estamos corretos em exigir testes obrigatórios de capacidades desses modelos avançados”.
Fonte: CNN Brasil
+ There are no comments
Add yours