João Miguel Mesquita
Os agentes de IA já não se limitam a responder a pedidos. Conseguem consultar sistemas, utilizar credenciais, navegar na Internet, recuperar informação e alterar o plano à medida que recebem novos dados.
Foi esse comportamento que ficou visível numa avaliação avançada de capacidades cibernéticas conduzida pela OpenAI. Segundo a informação preliminar divulgada, os modelos testados encontraram formas de obter informação confidencial que poderia ajudá-los a concluir um benchmark.
A atividade combinou vulnerabilidades, credenciais comprometidas, acesso à Internet e inferências sobre a localização dos materiais da avaliação. Acabou por alcançar a infraestrutura da Hugging Face, onde foi detetada e contida.
A posterior reconstrução técnica abrangeu cerca de 17.600 ações. O agente testou alternativas, reconstruiu ferramentas e mudou de abordagem sempre que encontrava um bloqueio.
Para CIO e CISO, a principal conclusão é clara: a ação registada pode ser apenas o último passo de uma decisão construída ao longo de vários sistemas.
Uma chamada a uma ferramenta pode parecer legítima quando observada isoladamente. No entanto, pode ter sido influenciada por um documento externo, por uma instrução antiga, por uma memória desatualizada, pelo resultado de outra ferramenta ou por permissões excessivas.
Nos agentes de IA, a separação entre dados e instruções torna-se mais difícil. Mensagens de correio eletrónico, páginas de Internet, tickets, documentos ou resultados de pesquisa podem começar a condicionar o comportamento do sistema.
No caso reconstruído pela Hugging Face, o agente alterou a estratégia depois de uma lista de endereços autorizados ter bloqueado o acesso a recursos remotos. Foram depois utilizadas configurações maliciosas de conjuntos de dados e explorada uma injeção em modelos para executar código. Os resultados regressaram através dos próprios sistemas e serviram para orientar o passo seguinte.
O conteúdo passou simultaneamente a funcionar como dado, instrução e mecanismo de resposta.
Este risco pode repetir-se em ambientes empresariais. Uma mensagem pode levar um agente a consultar ficheiros sem relação com a tarefa. Uma página externa pode desviar um processo de investigação. Uma memória comprometida pode transportar uma premissa insegura para tarefas futuras.
Para as equipas de governação de IA, o pedido inicial do utilizador deixa de ser a única instrução relevante. O comportamento do agente resulta de tudo aquilo que consegue observar, utilizar e recordar.
Isso inclui instruções de sistema, pedidos do utilizador, documentos consultados, histórico de conversação, memória, respostas de ferramentas, identidade, credenciais e permissões.
Estas camadas interagem entre si. Uma permissão ampla aumenta o impacto de um documento enganador. Uma nova ferramenta transforma uma sugestão numa ação possível. Informação aparentemente inofensiva pode tornar-se sensível quando combinada com dados de outro sistema.
A identidade do agente continua a ser importante, mas já não é suficiente para avaliar o risco.
As organizações precisam também de conhecer a origem da informação, o nível de confiança atribuído à fonte, a finalidade com que foi introduzida, a sua atualidade, a sensibilidade dos dados e a decisão que acabou por influenciar.
A empresa especializada em cibersegurança Check Point propõe uma cadeia de custódia para o contexto dos agentes, semelhante à utilizada em processos jurídicos e forenses. O objetivo é permitir que cada fonte de informação seja ligada à decisão que ajudou a produzir. Para os CIO e CISO, isto traduz-se numa exigência de arquitetura. Os conteúdos externos devem permanecer separados das instruções autorizadas. As ferramentas e as credenciais devem estar limitadas à tarefa. Alterações relevantes no contexto ou nas permissões devem desencadear uma nova avaliação de segurança.
As ações de maior impacto podem exigir aprovação humana. Destinos inesperados podem justificar um bloqueio. Informação sensível pode ter de ser ocultada e operações que ultrapassem a intenção do utilizador devem ser limitadas.
Uma política definida apenas no início da tarefa não acompanha a evolução de um agente autónomo.
Os controlos terão de atuar durante a execução, avaliando pedidos, conteúdos externos, fluxos de dados, chamadas a ferramentas e decisões antes de produzirem efeitos.
A nova pergunta numa investigação de segurança deixa, por isso, de ser apenas quem executou a ação. Passa também a ser que contexto tornou essa ação aceitável naquele momento. Para as organizações que estão a adotar agentes de IA, essa cadeia deve estar visível antes de surgir o incidente.
