Recentes avanços na pesquisa indicam que modelos de linguagem de maior porte apresentam melhor capacidade preditiva para dados de movimento ocular e tempo de leitura. De acordo com informações do arXiv, mesmo os melhores modelos ainda não alocam adequadamente a massa de probabilidade para respostas humanas, mas os modelos maiores fornecem estimativas de maior qualidade para os próximos tokens e sua probabilidade de produção em dados de cloze.
Como os modelos maiores se destacam?
Os modelos de maior porte são menos sensíveis às estatísticas de coocorrência lexical, mas estão melhor alinhados semanticamente às respostas humanas em testes de cloze. Isso apoia a afirmação de que a maior capacidade de memorização desses modelos os ajuda a prever palavras mais apropriadas semanticamente, embora os torne menos sensíveis a informações de baixo nível relevantes para o reconhecimento de palavras.
Qual é o impacto da capacidade de memorização?
A capacidade de memorização ampliada dos modelos maiores permite que eles façam suposições mais precisas sobre palavras que são semanticamente adequadas, o que pode ser benéfico para tarefas que exigem compreensão contextual. No entanto, essa mesma característica pode reduzir sua sensibilidade a detalhes menores que são cruciais para o reconhecimento preciso de palavras individuais.
O que é o arXivLabs?
O arXivLabs é uma estrutura que permite a colaboradores desenvolver e compartilhar novas funcionalidades diretamente no site do arXiv. Tanto indivíduos quanto organizações que trabalham com o arXivLabs adotam valores de abertura, comunidade, excelência e privacidade de dados dos usuários. O arXiv está comprometido com esses valores e só colabora com parceiros que os respeitam.
Fonte original: arXiv
