Guillem Alsina Gonzàlez
A IBM e a Groq formaram uma aliança para oferecer o GroqCloud no watsonx Orchestrate e acelerar a implantação de IA agêntica nas empresas. O acordo prevê uma abordagem conjunta de mercado e tecnologia que visa disponibilizar aos clientes recursos de inferência de alta velocidade diretamente na plataforma de orquestração da IBM, com o objetivo de reduzir custos e facilitar a transição da fase de testes de conceito para ambientes produtivos.
As empresas planeiam integrar e melhorar a tecnologia de código aberto vLLM da Red Hat com a arquitetura LPU da Groq, além de incorporar o suporte dos modelos Granite da IBM no GroqCloud para clientes da IBM. O vLLM é um servidor de inferência na forma de uma biblioteca de código aberto que visa agilizar os resultados das aplicações de inteligência artificial generativa através de um melhor uso da memória da GPU.
A proposta visa resolver as barreiras de velocidade, custo e fiabilidade que impedem a passagem da fase piloto para a produção, limitações que afetam especialmente setores com requisitos críticos (saúde, serviços financeiros, administrações públicas, comércio retalhista e manufatura), onde é necessário um comportamento previsível e tempos de resposta constantes à escala global. A combinação da inferência da Groq, centrada na rapidez e eficiência de custos com acesso a modelos abertos, e a orquestração de agentes da IBM pretende fornecer a infraestrutura necessária para poder escalar.
De acordo com as informações fornecidas, e impulsionado pela sua própria LPU, o GroqCloud oferece mais de cinco vezes mais velocidade e eficiência de custos do que os sistemas tradicionais baseados em GPU. A GroqCloud afirma ser capaz de superar em mais de cinco vezes a velocidade e a eficiência de custos dos sistemas com GPU, oferecendo baixa latência e desempenho consistente, mesmo com cargas globais. Este comportamento é especialmente relevante para a IA baseada em agentes em indústrias reguladas, onde a estabilidade do serviço é um requisito operacional.
No setor da saúde, a IBM afirma que os seus clientes recebem simultaneamente milhares de consultas complexas de pacientes. Com a tecnologia da Groq, os agentes de IA podem analisar informações em tempo real e responder imediatamente para melhorar a experiência do utilizador e apoiar decisões mais rápidas.
A colaboração também se aplica a setores não regulamentados, como empresas de retalho e grande consumo que estão a utilizar a Groq para agentes de RH orientados para automatizar processos e aumentar a produtividade dos funcionários.
A IBM sublinha que as organizações costumam ter várias opções de inferência durante a experimentação, mas que, ao passar para a produção, precisam de implementar fluxos de trabalho complexos com garantias para manter a qualidade da experiência, salientando que a abordagem conjunta com a Groq se enquadra na facilitação de tecnologias que permitem concretizar implementações de IA e gerar valor comercial.
Por sua vez, a Groq enfatiza que, com a sua velocidade e a experiência empresarial da IBM, o objetivo é levar a IA baseada em agentes para o uso corporativo, permitindo respostas em escala e favorecendo padrões nos quais a IA atua de forma imediata e melhora continuamente.
O acesso ao GroqCloud para clientes da IBM está disponível imediatamente, enquanto as demais integrações fazem parte de um roteiro sujeito a alterações. As equipas conjuntas darão prioridade ao fornecimento de capacidades de inferência de alta velocidade e alto desempenho para casos como atendimento ao cliente, suporte aos funcionários e melhoria da produtividade, implementação de IA com foco em segurança e privacidade para atender às exigências regulatórias e de proteção, e garantia da integração com o watsonx Orchestrate para que as organizações adotem padrões de agentes ajustados a cada uso.
O roteiro prevê integrar e melhorar o vLLM com o LPU da Groq, a fim de atender às principais necessidades dos programadores (orquestração de inferência, balanceamento de carga e aceleração por hardware) e agilizar o processo de inferência, permitindo que o watsonx aproveite esses recursos de maneira familiar e sem sair das ferramentas preferidas pelos clientes.
Em conjunto, a IBM e a Groq afirmam que esta colaboração amplia o acesso ao potencial da IA empresarial com foco na velocidade e na aplicação prática em ambientes reais.
