Digital Inside
A Red Hat anunciou o Red Hat AI 3 como uma nova iteração da sua plataforma de inteligência artificial para ambientes empresariais. A empresa integra numa única proposta o Red Hat AI Inference Server, o Red Hat Enterprise Linux AI (RHEL AI) e o Red Hat OpenShift AI, com o objetivo de simplificar a inferência de alto desempenho em grande escala e agilizar a transição da prova de conceito para a produção. A mudança ocorre num contexto em que, de acordo com o projeto NANDA do Instituto Tecnológico de Massachusetts, cerca de 95% das organizações não obtêm retornos financeiros quantificáveis, apesar dos investimentos empresariais em IA estimados em cerca de 40 mil milhões de dólares.
À medida que as iniciativas passam para a produção, o foco muda do treino e ajuste de modelos para a inferência, entendida como a fase de execução da IA em ambientes reais. O Red Hat AI 3 prioriza uma inferência escalável e econômica, apoiando-se nos projetos comunitários vLLM e llm-d e em otimizações próprias para oferecer um serviço LLM com qualidade de produção. Com isso, oferece uma experiência mais consistente para os CIO e responsáveis de TI, destinada a maximizar investimentos em aceleração de computação e escalar cargas em cenários híbridos e multicloud. A proposta declara suporte para qualquer modelo e acelerador de hardware, desde o centro de dados até a nuvem pública, com cenários de IA soberana e implementações na extremidade da rede.
Neste contexto, o Red Hat OpenShift AI 3.0 incorpora a disponibilidade geral do llm-d, que repensa a execução do LLM de forma nativa no Kubernetes por meio de inferência distribuída. A solução baseia-se na orquestração do Kubernetes e no desempenho do vLLM, e é complementada por tecnologias como a Kubernetes Gateway API Inference Extension, a biblioteca de transferência de dados de baixa latência NVIDIA Dynamo (NIXL) e a biblioteca de comunicação DeepEP para arquiteturas Mixture of Experts. De acordo com a Red Hat, essa combinação visa reduzir custos e tempos de resposta por meio de uma programação de modelos otimizada, simplificar as operações com rotas prescritivas de implantação e ampliar a flexibilidade com suporte para aceleradores de diferentes fornecedores, incluindo NVIDIA e AMD.
O llm-d transforma o vLLM de um motor de nó único num sistema de serviço distribuído, coerente e escalável, estreitamente integrado com o Kubernetes. O design visa oferecer um desempenho previsível, um retorno mensurável e um planeamento de infraestrutura mais eficaz, abordando desafios próprios de cargas LLM variáveis e de modelos de grande dimensão, incluindo os do tipo Mixture of Experts.
O Red Hat AI 3 é apresentado como uma experiência unificada e flexível que visa harmonizar fluxos de trabalho entre equipas e promover a colaboração em aplicações de IA generativa prontas para produção. Entre as novidades orientadas para a produtividade e a eficiência, a plataforma incorpora capacidades de Modelo como Serviço (MaaS) que permitem às equipas de TI operar como fornecedores internos de modelos, servindo ativos de forma centralizada com acesso sob demanda para programadores e aplicações. Esta abordagem visa melhorar o controlo de custos e atender casos que não podem ser executados em serviços públicos por questões de privacidade ou dados.
A empresa adiciona um hub de IA a partir do qual os engenheiros de plataforma podem explorar, implementar e gerir ativos fundamentais. Este hub oferece um catálogo selecionado de modelos (incluindo modelos generativos validados e otimizados), um registo para o ciclo de vida e um ambiente de implementação com configuração e monitorização no OpenShift AI. A isso se soma o Gen AI studio, um ambiente prático para interagir com modelos e prototipar rapidamente, apoiado em pontos finais de ativos que facilitam o consumo de modelos e servidores MCP e em um playground integrado para experimentar prompts e ajustar parâmetros em casos como chat ou geração aumentada por recuperação (RAG). A seleção de modelos validados e otimizados incorpora opções de código aberto como gpt-oss da OpenAI, DeepSeek-R1, bem como Whisper para voz para texto e Voxtral Mini para agentes com capacidades de voz.
O Red Hat OpenShift AI 3.0 reforça os alicerces para sistemas de IA escaláveis, não apenas pelas capacidades de inferência, mas também por novas funções de gestão de agentes. Para acelerar a criação e a implementação, a Red Hat introduz uma camada de API unificada baseada no Llama Stack, alinhada com padrões do setor, como interfaces LLM compatíveis com OpenAI, e adota antecipadamente o Protocolo de Contexto de Modelo (MCP) para facilitar a interação dos modelos com ferramentas externas.
No campo da personalização, o Red Hat AI 3 oferece um kit de ferramentas modular e extensível construído sobre o InstructLab, com bibliotecas Python especializadas para maior controlo por parte dos programadores. O conjunto é apoiado por projetos de código aberto como o Docling para transformar documentos não estruturados em formatos legíveis por IA, incorpora uma estrutura flexível para geração de dados sintéticos e um hub de treino para ajuste fino de LLM. Um hub de avaliação integrado permite monitorar e validar resultados para aproveitar com mais confiança os dados próprios e orientar a IA para resultados mais relevantes para cada organização.
