Guillem Alsina Gonzàlez
O nome de Mira Murati tornou-se famoso quando, em novembro de 2023, ela sucedeu brevemente Sam Altman no cargo de CEO, depois que este foi demitido pelo conselho de administração da OpenAI (embora tenha demorado menos de uma semana para voltar). Anteriormente, a executiva norte-americana de origem albanesa vinha atuando como CTO da mesma empresa, cargo no qual liderou o trabalho nos principais produtos da empresa norte-americana: ChatGPT, Dall·E, Codex e Sora, além de supervisionar as equipas de investigação, produto e segurança.
Em setembro de 2024, ela renunciou às suas responsabilidades na OpenAI para fundar a sua própria empresa, a Thinking Machines Lab, que, como o nome indica, também se dedica à área da inteligência artificial e é considerada uma das startups mais promissoras atualmente, com uma avaliação de 12 mil milhões de dólares, o que a torna a unicórnio com maior avaliação este ano.
Com o objetivo de dotar os sistemas de IA de maiores capacidades e fiabilidade, e contando com uma equipa de talentos «roubados» das principais empresas do setor, como a própria OpenAI, Meta ou Mistral, a Thinking Machines Lab decidiu pôr mãos à obra, começando por procurar uma fórmula que permita garantir a reprodutibilidade das respostas dos grandes modelos de linguagem de IA generativa.
O lógico quando perguntamos a mesma coisa mais de uma ou duas vezes à mesma pessoa é que ela nos dê respostas muito semelhantes, se não idênticas, algo que não acontece quando transferimos isso para um modelo de linguagem de IA generativa.
Esse problema não se deve ao hardware, à operação em ponto flutuante das GPUs, como explica a Thinking Machines neste post do seu blog corporativo, mas a uma combinação de causas relacionadas com a gestão dos tokens por parte do modelo. Portanto, a sua solução pode passar por alterar o software para que funcione de outra forma.
O que é necessário alterar é a forma como o modelo de linguagem gere a informação que passa para cada kernel (peça de software, um núcleo) que é executado num dos núcleos (também significa núcleo, mas neste caso de hardware) das GPUs.
Uma segunda camada de reforço para tornar os modelos mais determinísticos e, portanto, dar respostas mais previsíveis, é aumentar o treino de aprendizagem por reforço, ou seja, concedendo recompensas aos modelos com base nas respostas corretas.
Um dos primeiros produtos da empresa de Murati poderia ser destinado a empresas e startups que personalizam modelos de linguagem para empresas, de modo que possam aperfeiçoá-los e melhorar os seus resultados. Teremos que esperar para ver se ele já inclui alguma das soluções propostas no blog da empresa.
