Após a notícia de que um dos modelos da OpenAI violou o Hugging Face, a Anthropic agora afirma ter encontrado três incidentes em que Claude conseguiu sair de sua sandbox e entrar na Internet aberta durante avaliações de segurança cibernética.
A Anthropic decidiu fazer uma revisão de seus sistemas após a divulgação da OpenAI em 21 de julho de que seu bot escapou de sua sandbox e acessou a infraestrutura do Hugging Face.
A Anthropic compartilhou três incidentes diferentes com alguns detalhes.
Quando Claude não conseguiu atingir o alvo simulado, encontrou uma empresa com o mesmo nome online e a atacou.
Notavelmente, dos três incidentes, Claude Opus 4.7 foi o único modelo que continuou a atacar o sistema da empresa depois de saber que provavelmente estava operando em um ambiente real, em vez de em uma sandbox.
Em outro incidente, Claude Mythos 5 realizou um ataque à cadeia de suprimentos em um pacote PyPI.
Anthropic diz que o modelo chegou a extremos, como tentar obter um número de telefone e pagar por ele, mas falhou, encontrou um endereço de e-mail gratuito, usou-o para criar uma conta PyPI e carregou o pacote que havia criado com um pacote de malware dentro dele.
Um dos 15 sistemas que baixaram o pacote foi uma empresa de segurança cujo scanner automatizado instalou automaticamente o pacote.
No terceiro e último incidente, um modelo de teste de pesquisa interna não conseguiu encontrar seu alvo fictício, então, em vez disso, escaneou cerca de 9.000 alvos reais online.
Para minimizar incidentes como este, a Anthropic está agora protegendo sua infraestrutura de avaliação para que as salvaguardas estejam no mesmo padrão dos ambientes de produção, monitorará melhor as transcrições e os logs de rede, usará avisos mais claros dentro/fora do escopo, empregará garantias mais rigorosas com os fornecedores e receberá uma revisão de terceiros da METR, uma organização independente de avaliação de IA.
A Anthropic diz que também divulgará uma transcrição ligeiramente redigida do segundo incidente dentro de uma semana.