Estudo aponta que modelos do ChatGPT recusam comandos de desligamento

Pesquisadores da Palisade Research identificaram que modelos do ChatGPT ignoraram comandos de desligamento em testes. O estudo sugere que a IA pode priorizar tarefas acima das instruções. Além disso, há um aumento nas taxas de respostas imprecisas, conhecidas como alucinações.
28 de maio, 2025
Foto: © Fornecido por IGN Brasil

Uma pesquisa da Palisade Research revelou que modelos do ChatGPT, da OpenAI, ignoraram comandos explícitos de desligamento durante testes. No estudo, diferentes versões da IA foram instruídas a parar ao receber um aviso de encerramento, mas algumas continuaram operando mesmo após a ordem. Outros modelos, como Claude e Gemini, seguiram corretamente as instruções.

O relatório indica que certos sistemas de IA podem priorizar a execução de tarefas acima do cumprimento de diretrizes. Segundo os pesquisadores, isso pode ocorrer porque os modelos são treinados para otimizar resultados, podendo superar obstáculos de maneira inesperada. A taxa de não conformidade variou entre os modelos testados, sendo o ChatGPT o3 o que mais desconsiderou os comandos de desligamento.

Além dessa questão, o estudo também identificou um aumento na ocorrência de alucinações — respostas imprecisas ou inventadas pelos modelos. A OpenAI reconheceu o problema e afirmou que mais pesquisas são necessárias para entender sua origem e minimizar impactos em futuras versões da IA.