A Hugging Face anunciou a aquisição da ggml.ai, uma movimentação estratégica para garantir o progresso contínuo da inteligência artificial local. De acordo com informações do Simon Willison, essa aquisição visa integrar de forma mais eficaz as tecnologias desenvolvidas por Georgi Gerganov, que revolucionou o uso de modelos de linguagem em hardware de consumo com o lançamento do llama.cpp em março de 2023.
Qual o impacto da aquisição para a IA local?
O trabalho de Gerganov permitiu que modelos de linguagem fossem executados em uma gama mais ampla de hardwares, além dos tradicionais GPUs da NVIDIA. A Hugging Face, responsável pela biblioteca Transformers, pretende melhorar a compatibilidade entre os ecossistemas transformers e ggml, facilitando a integração de modelos.
“O objetivo principal é integrar de forma perfeita com a biblioteca transformers, estabelecendo-a como a ‘fonte de verdade’ para definições de modelos de IA”, destaca o anúncio.
Como a experiência do usuário será aprimorada?
Outro foco da parceria é melhorar a embalagem e a experiência do usuário de softwares baseados em ggml. Com a crescente importância da inferência local como alternativa competitiva à inferência em nuvem, a simplificação do uso de modelos locais é essencial. A Hugging Face planeja tornar o llama.cpp amplamente disponível, colaborando com projetos que já utilizam essas tecnologias.
Quais são as expectativas para o futuro dos modelos locais?
A integração mais próxima com a biblioteca Transformers pode resultar em lançamentos de modelos compatíveis com o ecossistema GGML desde o início, fortalecendo o ecossistema de modelos locais. A expectativa é que investimentos em ferramentas como o LlamaBarn, um aplicativo para macOS, resultem em mais soluções de código aberto de alta qualidade para a execução de modelos locais.
Fonte original: Simon Willison
