Guillem Alsina Gonzàlez
A empresa de Redmond acaba de dar um passo gigante na corrida para se tornar a plataforma favorita dos utilizadores para executar modelos de linguagem locais e híbridos (com IA parcialmente local e parcialmente na nuvem) com o lançamento comercial do Windows ML, um middleware cuja função é unificar os recursos de hardware do computador regido pelo Windows 11, para assim otimizar a execução de modelos de linguagem de IA.
Os computadores possuem diferentes elementos que podem realizar tarefas de cálculo e processamento de dados, como a CPU, a GPU e, os mais modernos, a NPU, que é um elemento direcionado especificamente para tarefas de inteligência artificial (a sigla significa Neural Processing Unit, unidade de processamento neural, que simula o funcionamento da mente humana), elementos que devem ser tratados separadamente com as tecnologias de programação e execução existentes atualmente.
O que o Windows ML faz é tratar os diferentes elementos do hardware como um todo único e, portanto, facilitar que os modelos de linguagem extraiam o máximo poder de cada computador, independentemente de a máquina ter NPU ou de o poder da CPU ou da GPU ser muito grande.
É, afinal, a soma dos fatores (do hardware) que favorece o produto (a execução do software). Além disso, outra vantagem é que suporta múltiplas arquiteturas sem obrigar o implementador dos modelos de linguagem a nada.
A principal vantagem de executar modelos de linguagem localmente em vez de em servidores externos (como no caso do ChatGPT, Gemini ou Claude, para citar apenas alguns) é a confidencialidade dos dados, uma vez que já ocorreram casos de fugas ao utilizar esses serviços na cloud. Se executarmos o modelo localmente para nos ajudar a processar dados sensíveis, garantimos que não haja fugas de dados que afetem a nossa organização ou terceiros.
Além disso, também nos permite trabalhar com IA quando não temos ligação à Internet, como, por exemplo, durante um voo.
Para os técnicos, o Windows ML é compatível com o ONNX Runtime, o que permite reutilizar as suas API e facilita a transição de cargas já implementadas. O sistema operativo assume a distribuição e a manutenção do ONNX Runtime e dos Execution Providers (EPs, que seriam outro middleware semelhante a uma espécie de «drivers» que facilitam a execução de modelos de linguagem no hardware específico), reduzindo as tarefas de empacotamento para as aplicações.
Os EPs atuam como uma ponte entre o runtime e os diferentes chips da AMD, Intel, NVIDIA e Qualcomm. Com o ONNX como formato de modelo, a integração com os fluxos atuais é direta, e é possível converter modelos do PyTorch usando o AI Toolkit para VS Code para depois os implementar em equipamentos com Windows 11.
A Microsoft indica que trabalhou com os fabricantes de chips acima mencionados para aproveitar CPUs, GPUs e NPUs de fabricação mais recente. Essas empresas parceiras desenvolvem e mantêm os seus EPs, que o Windows ML distribui e regista para executar inferências com o melhor desempenho possível em cada plataforma.
Neste contexto, a AMD integra o suporte do Windows ML na sua plataforma Ryzen AI, através de um EP próprio que cobre NPU, GPU e CPU. A Intel combina o seu software OpenVINO com o Windows ML para permitir a seleção de CPU, GPU ou NPU em equipamentos com processadores Intel Core Ultra. Por sua vez, a NVIDIA oferece o TensorRT for RTX como EP para executar modelos em GPUs GeForce RTX e RTX PRO, gerando motores de inferência otimizados para cada sistema.
A Qualcomm e a Microsoft trabalharam para otimizar modelos e aplicações do Windows ML na NPU da série Snapdragon X usando o EP Qualcomm Neural Network, além de GPU e CPU via integração com os EPs do ONNX Runtime.
Para preparar e implementar modelos para execução no Windows ML, o AI Toolkit para VS Code centraliza a conversão para ONNX a partir do PyTorch, quantização, otimização, compilação e avaliação. Além disso, a AI Dev Gallery oferece um espaço interativo para experimentar cenários locais usando modelos personalizados no Windows ML.
Este tipo de runtime também está incluído no Windows App SDK a partir da versão 1.8.1 e é compatível com dispositivos que executam o Windows 11 24H2 ou posterior. A Microsoft convida a atualizar os projetos para a versão mais recente do SDK e a utilizar as APIs do Windows ML para inicializar EPs, carregar modelos ONNX e começar a inferir, remetendo para documentação e exemplos práticos para aprofundar.
