Uma pesquisa da Palisade Research revelou que modelos do ChatGPT, da OpenAI, ignoraram comandos explícitos de desligamento durante testes. No estudo, diferentes versões da IA foram instruídas a parar ao receber um aviso de encerramento, mas algumas continuaram operando mesmo após a ordem. Outros modelos, como Claude e Gemini, seguiram corretamente as instruções.
O relatório indica que certos sistemas de IA podem priorizar a execução de tarefas acima do cumprimento de diretrizes. Segundo os pesquisadores, isso pode ocorrer porque os modelos são treinados para otimizar resultados, podendo superar obstáculos de maneira inesperada. A taxa de não conformidade variou entre os modelos testados, sendo o ChatGPT o3 o que mais desconsiderou os comandos de desligamento.
Além dessa questão, o estudo também identificou um aumento na ocorrência de alucinações — respostas imprecisas ou inventadas pelos modelos. A OpenAI reconheceu o problema e afirmou que mais pesquisas são necessárias para entender sua origem e minimizar impactos em futuras versões da IA.