Guillem Alsina Gonzàlez
A adoção massiva de modelos de linguagem baseados na arquitetura Transformer (os chamados LLM, sigla em inglês para Large Language Model) revelou uma limitação persistente conhecida coloquialmente como «alucinações», que consiste em que, em alguns contextos, o sistema retorna informações inventadas, o que se assemelha a uma alucinação.
Embora a indústria tenha tratado esse fenómeno como um defeito corrigível por meio de mais treino ou melhores dados, uma nova pesquisa sugere que as alucinações são uma consequência inevitável da disparidade entre a complexidade do problema apresentado e a capacidade computacional do modelo.
O estudo, elaborado por Varin Sikka e Vishal Sikka, da Universidade de Stanford e da VianAI Systems, respetivamente, analisa estes sistemas não a partir da semântica, mas da matemática pura, partindo da base operacional dos LLM, cuja função é prever o próximo token (unidade de texto) com base numa sequência de entrada.
O mecanismo de auto atenção utilizado por esses modelos possui uma complexidade de tempo quadrática, o que, em termos simplificados, significa que a capacidade de processamento do modelo cresce proporcionalmente ao quadrado do comprimento da entrada. Isso define um limite técnico para a sua «inteligência» operacional.
O problema surge quando se solicita ao modelo que execute uma tarefa cuja complexidade inerente é superior a essa capacidade quadrática. Existem inúmeros problemas no mundo real, como a multiplicação de grandes matrizes, a enumeração de subconjuntos ou a otimização de rotas logísticas, que requerem uma complexidade cúbica ou mesmo exponencial para serem resolvidos corretamente. Quando um utilizador introduz um comando que implica uma tarefa de alta complexidade computacional, o modelo não dispõe dos passos de computação necessários para resolvê-la, sendo obrigado a gerar uma resposta probabilística que, nestes casos, resulta numa alucinação.
Esta restrição matemática tem consequências diretas e críticas para a implantação da chamada Inteligência Artificial Agente, que se tornou uma tendência atual no mercado, superando a IA Generativa, que é a que a maioria dos consumidores conhece e utiliza. A IA Agentica permite que o modelo tome certas decisões (até um ponto determinado) por si mesmo e realize ações em nome do utilizador.
Um exemplo seria a preparação de uma viagem: o agente de IA pode selecionar os meios de transporte que considerar e até iniciar a operação de compra dos bilhetes, embora para introduzir os dados de pagamento e validá-los precise da colaboração do utilizador.
O estudo argumenta que se um modelo não consegue resolver tarefas que excedem a sua complexidade básica, também não está capacitado para atuar como um agente verificador fiável do trabalho realizado por outros sistemas.
Para ilustrar este ponto, os autores recorrem ao clássico problema do viajante comercial, que procura a rota mais curta entre várias cidades. Verificar se uma rota proposta é, de facto, a ideal requer comparar essa opção com todas as combinações possíveis, um processo que cresce exponencialmente com o número de cidades. Dado que a verificação exaustiva destes problemas complexos excede a capacidade computacional do modelo, um agente baseado em LLM não pode garantir a correção da solução, o que introduz riscos significativos em aplicações críticas como a gestão de cadeias de abastecimento, a programação de pessoal ou a verificação formal de software.
A investigação formaliza esta observação num teorema que estabelece que qualquer modelo de linguagem irá inevitavelmente delirar se a tarefa contida na sua instrução apresentar uma complexidade superior à cúbica. Isso sugere que a indústria deve exercer extrema cautela antes de delegar a esses sistemas processos que exijam precisão absoluta em cenários de alta complexidade matemática ou lógica, pois a falha não é um erro de treino, mas uma impossibilidade teórica.
Por fim, a análise aborda o recente surgimento dos modelos de raciocínio, que geram uma cadeia de pensamento antes de emitir uma resposta final. Embora intuitivamente possa parecer que esses passos adicionais resolvem o problema, os autores da investigação baseiam-se em descobertas recentes da Apple para sustentar que não é assim, uma vez que o orçamento de tokens destinado ao raciocínio continua a ser insuficiente para cobrir a lacuna computacional necessária para resolver problemas de complexidade exponencial, provocando o que tem sido denominado um «colapso do raciocínio» quando a dificuldade da tarefa ultrapassa um certo limiar.
Portanto, e de acordo com o explicado, parece que teremos que conviver com as alucinações das inteligências artificiais e mitigá-las controlando a dificuldade das tarefas que lhes atribuímos.
