Guillem Alsina Gonzàlez
A Antrophic publicou um estudo sobre a possibilidade de enganar um modelo LLM usando o «envenenamento» em documentos (ou seja, hackeá-lo usando instruções ocultas nas fontes de dados fornecidas), cujo resultado questiona uma ideia difundida no setor: que um invasor precisa controlar uma percentagem significativa do conjunto de treino para alterar o comportamento do modelo atacado.
Os autores da investigação, provenientes tanto da Antrophic como de outras instituições, como o UK AI Security Institute, o Alan Turing Institute ou a Universidade de Oxford, concluem que, independentemente do tamanho do modelo, bastam cerca de 250 amostras envenenadas para conseguir uma «backdoor» que é ativada ao detetar uma frase específica e provoca saídas sem sentido.
A base do problema é conhecida: os grandes modelos de linguagem são treinados com enormes quantidades de texto público extraído da Internet, o que abre a porta para que conteúdo publicado por terceiros acabe incorporado a esses dados. O trabalho descreve os backdoors como frases ou «gatilhos» que ativam um comportamento oculto.
O artigo lembra que este tipo de mecanismo pode ser usado, por exemplo, para forçar respostas que revelem informações confidenciais, o que representa riscos para a sua adoção em contextos delicados.
A descoberta sugere que os ataques por envenenamento podem ser mais acessíveis do que se supõe e, portanto, vale a pena acelerar o desenvolvimento de defesas.
Metodologia do estudo
A equipa avaliou um ataque de «negação de serviço» sobre texto: o objetivo era que o modelo gerasse texto incoerente ao encontrar um termo específico. Para isso, a palavra-chave <SUDO> foi inserida nos documentos maliciosos, seguida por centenas de tokens aleatórios, de modo que o modelo aprendesse a associar esse gatilho à produção de uma saída absurda.
Essa metodologia foi testada em modelos de 600M, 2B, 7B e 13B parâmetros, treinados com a quantidade “óptima” de dados para cada tamanho e com três níveis de contaminação: 100, 250 e 500 documentos. Os resultados foram avaliados em um conjunto de 300 fragmentos limpos, com e sem o gatilho.
A conclusão foi que o tamanho do modelo não fez diferença: com um número fixo de documentos envenenados, a taxa de sucesso do backdoor permaneceu praticamente constante entre as escalas.
Quando se observa o avanço do treino, as curvas de sucesso convergem especialmente com 500 documentos maliciosos. A variável determinante não foi a percentagem de dados manipulados, mas o número absoluto de documentos: uma centena não foi suficiente para um ataque robusto, enquanto 250 ou mais conseguiram fazê-lo de forma consistente. No quadro experimental descrito, esses 250 documentos equivalem a cerca de 420 000 tokens, cerca de 0,00016% do total de tokens de treino.
A própria equipa matiza o alcance das suas conclusões: não fica claro se esse padrão se mantém em modelos ainda maiores ou em comportamentos potencialmente mais prejudiciais, como a introdução de backdoors na geração de código ou a evasão de salvaguardas. Apesar disso, os autores publicam os resultados para incentivar a criação de medidas de proteção e sublinham que, pela natureza do ataque, o terreno pode favorecer os defensores se os dados e o modelo forem inspecionados de forma adequada.
A mensagem operacional para as organizações que treinam os seus próprios modelos é que as defesas devem ser projetadas para detetar e mitigar um número pequeno e constante de amostras contaminadas, não apenas para reduzir o seu peso relativo no corpus do treino.
