FENCE é um novo dataset multimodal bilíngue projetado para aprimorar a detecção de jailbreak em Modelos de Linguagem de Grande Escala (LLMs) e Modelos de Linguagem de Visão (VLMs), especialmente no setor financeiro. De acordo com informações do arXiv, os VLMs são particularmente vulneráveis devido à sua capacidade de processar texto e imagens, o que amplia as superfícies de ataque.
Por que os VLMs são mais vulneráveis?
Os VLMs enfrentam riscos significativos porque integram dados textuais e visuais, criando mais pontos de entrada para ataques. O FENCE foi desenvolvido para abordar essa vulnerabilidade, fornecendo um recurso específico para o treinamento e avaliação de detectores de jailbreak em aplicações financeiras. O dataset enfatiza o realismo do domínio através de consultas relevantes para finanças, combinadas com ameaças baseadas em imagens.
Como o FENCE melhora a detecção de jailbreak?
Experimentos realizados com modelos comerciais e de código aberto revelaram vulnerabilidades consistentes, com o GPT-4o exibindo taxas de sucesso de ataque mensuráveis. Modelos de código aberto mostraram-se ainda mais expostos. Um detector base treinado no FENCE alcançou 99% de precisão em dados de distribuição interna e manteve um desempenho robusto em benchmarks externos, destacando a robustez do dataset para o treinamento de modelos de detecção confiáveis.
Qual é o impacto do FENCE no setor financeiro?
O FENCE oferece um recurso focado para o avanço da detecção de jailbreak multimodal em finanças, apoiando sistemas de IA mais seguros e confiáveis em domínios sensíveis. Este desenvolvimento é crucial, pois a segurança em aplicações financeiras é uma prioridade crescente à medida que a IA se integra mais profundamente nesses sistemas.
Fonte original: arXiv.
