O framework HELIX surge como uma solução inovadora para um dilema enfrentado por modelos de linguagem quantizados: a escolha entre temperaturas baixas, que geram saídas repetitivas, e temperaturas altas, que causam divergência de trajetória e incoerência semântica. De acordo com informações do arXiv, o HELIX utiliza uma abordagem geométrica que separa a entropia de saída da alucinação ao conectar trajetórias de estado oculto a um ‘manifold’ de veracidade pré-computado.
Como o HELIX funciona?
O HELIX calcula um Unified Truth Score (UTS), que combina a entropia semântica em nível de token com a distância de Mahalanobis do ‘manifold’. Quando o UTS indica divergência de trajetória, vetores de direcionamento graduados redirecionam as ativações para regiões estruturalmente coerentes, afetando apenas 0,2-2,5% dos tokens. Em testes com o modelo quantizado Granite 4.0 H Small, a precisão do GSM8K foi mantida em 88,84% a uma temperatura de 3,0, com uma degradação de 2,81 pontos percentuais em relação a T = 0,5.
Quais são os benefícios do HELIX?
O framework demonstra que a alucinação em altas temperaturas é primariamente uma questão de divergência de trajetória, em vez de colapso semântico. Notavelmente, direcionar as camadas de atenção esparsas do Transformer (~10% das camadas) é suficiente para corrigir desvios na formulação do espaço de estado Mamba-2. O tethering geométrico revela um reservatório criativo de alta entropia, permitindo a exploração da diversidade semântica sem comprometer a lógica necessária para saídas válidas.
O HELIX é aplicável a diferentes arquiteturas?
A validação cruzada de arquitetura com o modelo Qwen3-30B-A3B MOE confirma que o fenômeno é independente da arquitetura, com uma geração de conceitos únicos 46,7% maior. O HELIX permite a síntese em múltiplas temperaturas, gerando 200% mais conceitos únicos do que a inferência em temperatura única.
Fonte original: arXiv
