Pesquisadores apresentaram um novo método de aprendizado para melhorar a precisão de modelos de linguagem compactos, como o Qwen2.5-3B-Base. De acordo com informações do arXiv, o método envolve um aprendizado curricular em três estágios que aborda a diferença de capacidade entre modelos grandes e compactos.
Como funciona o novo método de aprendizado?
O método começa com a compreensão estrutural através da reconstrução embaralhada mascarada. Em seguida, aplica-se a Otimização de Política Relativa de Grupo (GRPO) em tarefas de conclusão mascaradas, permitindo que o modelo encontre seu próprio equilíbrio entre precisão e brevidade. Por fim, identifica casos persistentes de falha e guia o modelo compacto a internalizar o conhecimento do modelo maior por meio de reescrita direcionada, novamente otimizada com GRPO.
Quais foram os resultados dos experimentos?
Os experimentos realizados no conjunto de dados GSM8K demonstraram que o método proposto permitiu que o modelo Qwen2.5-3B-Base alcançasse uma melhoria de 11,29% na precisão, ao mesmo tempo em que reduziu o comprimento da saída em 27,4%. Isso supera tanto as variantes ajustadas por instrução quanto os métodos de destilação anteriores.
“Nosso método permite que modelos compactos alcancem níveis de precisão antes restritos a modelos maiores, mantendo a brevidade necessária para aplicações práticas”, afirmam os pesquisadores.
— Publicidade —Google AdSense • Slot in-article
Essa abordagem inovadora pode representar um avanço significativo na eficiência e aplicabilidade de modelos de linguagem em dispositivos com recursos limitados.
Fonte original: arXiv
