A Guide Labs, uma startup de São Francisco, apresentou o Steerling-8B, um modelo de linguagem de oito bilhões de parâmetros que promete revolucionar a interpretabilidade dos modelos de aprendizado profundo. Fundada por Julius Adebayo e Aya Abdelsalam Ismail, a empresa busca solucionar o desafio de entender as ações dos modelos de IA. De acordo com informações do TechCrunch, o Steerling-8B foi projetado para que cada token produzido possa ser rastreado até suas origens nos dados de treinamento.
Como funciona o Steerling-8B?
O modelo permite que desenvolvedores identifiquem materiais de referência para fatos citados ou compreendam conceitos complexos como humor ou gênero.
“Se eu tiver um trilhão de maneiras de codificar gênero e codificá-lo em um bilhão dessas maneiras, você precisa encontrar todas essas coisas e ser capaz de ligá-las ou desligá-las”, explicou Adebayo.
Este trabalho teve início durante o doutorado de Adebayo no MIT, culminando na criação de uma nova forma de construir LLMs, inserindo uma camada de conceito que categoriza dados de forma rastreável.
Quais são os benefícios e desafios dessa abordagem?
Embora haja preocupações de que essa abordagem possa eliminar comportamentos emergentes dos LLMs, Adebayo afirma que o modelo ainda é capaz de generalizar novos conceitos, como a computação quântica.
“O que fazemos é realmente projetar o modelo desde o início para que você não precise fazer neurociência”, afirmou Adebayo.
A arquitetura interpretável é vista como essencial para indústrias reguladas, como finanças, onde é crucial controlar saídas relacionadas a raça ou materiais protegidos por direitos autorais.
Quais são os próximos passos para a Guide Labs?
A Guide Labs, que emergiu da Y Combinator e arrecadou US$ 9 milhões em uma rodada seed da Initialized Capital, planeja construir um modelo maior e oferecer acesso a APIs. Adebayo acredita que democratizar a interpretabilidade inerente será benéfico a longo prazo.
“À medida que buscamos modelos superinteligentes, não queremos que algo tome decisões em nosso nome de forma misteriosa”, disse Adebayo.
Fonte original: TechCrunch
