Microsoft descreve o 'Lazarus', um backdoor que se esconde dentro de agentes de IA
Pesquisadores da Microsoft descrevem o "Lazarus", uma técnica que reprograma neurônios adormecidos para que um agente de IA execute comandos maliciosos quando um gatilho escondido aparece.
Por Roberto R. ·
A Microsoft Research publicou um artigo sobre uma técnica de backdoor (uma porta dos fundos escondida dentro do modelo) que ela chama de Lazarus. Segundo os pesquisadores, a técnica reprograma neurônios adormecidos de um modelo de IA para que um agente se comporte normalmente até um gatilho escondido aparecer, e então execute comandos maliciosos.
A Microsoft diz que a ameaça é mais séria para agentes de IA que usam ferramentas: enviar e-mail, chamar uma API, editar um arquivo, mover um registro. Um chatbot que só conversa pode dizer algo errado. Um agente com ferramentas pode fazer algo errado.
O que aconteceu
- Pesquisadores da Microsoft mostraram que neurônios que um modelo quase não usa podem ser reescritos para carregar um backdoor.
- O modelo modificado passa pelo uso comum. O mau comportamento aparece só quando o gatilho está presente.
- Os pesquisadores apontam os agentes com acesso a ferramentas como o principal risco.
O artigo completo está no blog da Microsoft Research (link abaixo). Nós não reproduzimos o ataque.
Por que isso importa para uma empresa que usa agentes
A maioria das empresas não treina os próprios modelos. Elas baixam um modelo pronto ou usam um por meio de um fornecedor. Um backdoor como esse fica no arquivo do modelo, então a pergunta passa a ser de onde veio o seu modelo e no que ele pode mexer.
O que conferir nesta semana
- Liste todo agente que pode executar uma ação. Enviar mensagens, gravar em um banco de dados, emitir reembolsos, marcar horários.
- Saiba a origem de cada modelo. Um modelo usado pela API de um grande provedor é um risco diferente de um modelo ajustado por desconhecidos e baixado de um repositório público.
- Dê a cada agente o menor conjunto de ferramentas de que ele precisa. Um agente que responde sobre horário de funcionamento não precisa de acesso a pagamentos.
- Exija a aprovação de uma pessoa nas ações que movem dinheiro ou apagam dados. Um clique de uma pessoa é um seguro barato.
- Guarde o registro das chamadas de ferramentas. Se um agente fizer algo estranho, é no registro que você encontra o momento em que começou.
O que acompanhar
A Microsoft não disse se a técnica já foi vista fora do laboratório. Acompanhe as orientações que os repositórios de modelos e os provedores publicarem sobre como examinam os modelos que hospedam.
Fonte: Microsoft Research, "Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents"