Estudantes universitários estão cada vez mais dependentes de modelos de linguagem de grande porte, mas enfrentam desafios significativos com alucinações geradas por essas inteligências artificiais. De acordo com informações do arXiv, um estudo recente investigou como os alunos percebem, detectam e explicam essas alucinações.
Como os estudantes detectam alucinações em IA?
A pesquisa envolveu 63 estudantes que responderam a perguntas abertas sobre suas experiências com alucinações de IA. A análise temática das respostas revelou que os problemas mais comuns incluem citações incorretas ou fabricadas, informações falsas, respostas enganosas e persistência em erros. Para detectar essas alucinações, os estudantes utilizam tanto o julgamento intuitivo quanto estratégias de verificação ativa, como a checagem cruzada com fontes externas ou a re-promptagem do modelo.
Por que ocorrem alucinações em IA?
Os estudantes apresentaram várias explicações para as alucinações, refletindo diferentes modelos mentais, incluindo algumas concepções errôneas. Muitos veem a IA como um motor de pesquisa que inventa informações quando não consegue encontrar respostas em seu “banco de dados”. Outros atribuem as alucinações a problemas com os dados de treinamento, inadequação dos prompts ou à incapacidade do modelo de entender ou verificar informações.
Quais são as implicações para a educação em IA?
Essas descobertas destacam vulnerabilidades no aprendizado apoiado por IA e a necessidade de instruções explícitas em protocolos de verificação, modelos mentais precisos de IA generativa e conscientização sobre comportamentos como a bajulação e a entrega confiante que obscurecem a imprecisão. O estudo fornece evidências empíricas para integrar a conscientização e mitigação de alucinações nos currículos de alfabetização em IA.
Fonte original: arXiv
