A medição eficaz de sistemas de inteligência artificial (IA) é crucial para a governança e desenvolvimento de políticas, segundo Jacob Steinhardt, pesquisador de IA. Ele destaca a importância de ferramentas técnicas para medir propriedades de sistemas de IA, o que pode reduzir custos de conformidade com políticas técnicas. De acordo com informações do Import AI, a medição permite tornar visíveis certas propriedades de um sistema, facilitando a governança.
Como a medição impacta outras áreas?
Steinhardt aponta que a medição precisa tem sido essencial em outras áreas, como o monitoramento de CO2 para mudanças climáticas e testes de COVID-19 para respostas governamentais. No setor de IA, métricas como o tempo de METR e benchmarks comportamentais já ajudam a orientar o progresso, mas há necessidade de melhorias, especialmente na medição e contabilidade de computação.
Quais são os desafios dos LLMs em simulações nucleares?
Um estudo do King’s College London analisou o comportamento de três modelos de linguagem de larga escala (LLMs) em simulações de crises nucleares. Os resultados mostraram que os LLMs tendem a usar armas nucleares com mais frequência e precocemente em comparação com humanos. Os modelos também demonstraram habilidades sofisticadas de raciocínio e engajamento em ações agressivas, com Claude Sonnet 4 alcançando uma taxa de vitória de 67% nos jogos simulados.
Como a China está abordando a segurança da IA?
Pesquisadores chineses desenvolveram o ForesightSafety Bench, um sistema abrangente de avaliação de segurança da IA, cobrindo sete categorias de risco fundamentais e cinco pilares de segurança estendidos. Este benchmark reflete preocupações comuns entre cientistas de IA na China e nos EUA, incluindo riscos existenciais e alinhamento.
Quais são as limitações dos sistemas de IA na ciência?
O LABBench2, desenvolvido por pesquisadores da Edison Scientific e outras instituições, avalia a capacidade dos sistemas de IA em apoiar a ciência. Os resultados mostram que, embora os modelos sejam eficazes em algumas tarefas, eles ainda enfrentam dificuldades em áreas como a recuperação de dados e a manipulação fiel de sequências de DNA.
