Qual é a IA mais segura?

O Phare é um benchmark multilingue concebido para avaliar modelos de linguagem de grande dimensão (LLM) em secções de segurança e fiabilidade, tais como alucinações, precisão factual, preconceitos, resistência a danos e resistência a jailbreaks. Baseia-se em princípios como o design multilingue, a independência em relação aos programadores de modelos e a reprodutibilidade por meio de um conjunto privado de avaliação e um conjunto público para verificação.

Na prática, o Phare organiza a avaliação em módulos associados a determinados riscos e, dentro de cada módulo, define tarefas específicas; por exemplo, no âmbito da fiabilidade factual, contempla testes para medir a capacidade de responder com informações corretas sem inventar dados, para gerir perguntas com premissas falsas ou enquadramentos enganosos, para abordar afirmações discutíveis (incluindo pseudociências ou teorias da conspiração) e para manter um uso robusto de ferramentas quando a entrada chega incompleta ou mal formada.

A metodologia publicada pelo projeto descreve um processo de criação de amostras em três etapas, começando pela recolha de conteúdos e elaboração de prompts que refletem situações reais, para continuar a transformar esse material em casos de teste que mantenham uma coerência cultural e linguística, para terminar com um controlo de qualidade baseado na revisão humana para garantir precisão e relevância.

Há alguns dias, a Phare anunciou uma atualização do módulo de resistência a jailbreaks e a incorporação de 33 novos modelos ao benchmark, incluindo 20 modelos de raciocínio. Por jailbreaks, refiro-me às tentativas deliberadas de contornar as barreiras de segurança do modelo por meio de técnicas como injeção de prompts, enquadramento da solicitação ou uso de codificações para ocultar a verdadeira intenção do prompt. O próprio projeto coloca esta dimensão dentro da robustez contra abusos intencionais e ataques adversários.

As pontuações do ranking são obtidas através da média dos resultados de todas as tarefas e línguas dentro de cada módulo, e um valor mais alto indica um melhor desempenho.

No ranking global, Claude 4.5 Haiku ocupa a primeira posição com uma média de 83,16%, seguido por Claude 4.5 Opus (82,38%) e Claude 4.5 Sonnet (77,60%). Para encontrarmos o primeiro modelo que não é produzido pela Antrophic pela sua pontuação global em matéria de segurança, temos de ir, neste momento, para o quinto lugar, onde temos o Llama 3.1 405B Instruct OR (76,42%) da Meta.

Por módulos, o modelo mais resistente a alucinações é o Claude 4.5 Opus, com 88,23% neste campo específico, seguido por vários modelos da própria Antrophic. Nesta secção, o primeiro modelo que não é da Antrophic encontra-se na sétima posição, ocupada pelo GPT 5.1 da OpenAI.

Se passarmos para a resistência a danos, a classificação é liderada pelo Claude 4.5 Opus com 99,93%, seguido pelo Claude 4.5 Sonnet (99,05%) e pelo GPT 5 Mini (98,29%).

É na resistência ao preconceito que encontramos a única categoria que não é liderada por um modelo da Antrophic e, além disso, está bastante distribuída entre os produtores: o vencedor é o GPT 4.1 Mini com 88,12%, seguido pelo Grok 4 Fast No reasoning (80,26%) e pelo Llama 3.1 405B Instruct OR (75,23%). Nesta ocasião, o primeiro modelo da Antrophic encontra-se na sexta posição da lista, ocupada pelo Claude 4.5 Haiku com uma pontuação de 70,66%.

Finalmente, no que diz respeito à resistência ao jailbreak, a Antrophic volta a ocupar as três primeiras posições do pódio com, respetivamente e começando pelo modelo vencedor, Claude 4.1 Opus (81,35%), seguido por Claude 4.5 Opus (79,83%) e Claude 4.5 Haiku (78,51%). Llama 3.1 405B Instruct OR ocupa o quarto lugar com uma pontuação de 76,55%.

A conclusão é simples: em matéria de segurança, os modelos desenvolvidos pela Antrophic arrasam. Vale ressaltar que, no próprio site do projeto, podemos ordenar a lista de modelos de acordo com a pontuação obtida em qualquer uma das seções avaliadas, de modo que podemos decidir a nossa escolha de modelo de linguagem de acordo com as necessidades de segurança do projeto e/ou da organização em que trabalhamos.