ChatGPT ignora comando de desligamento durante testes, aponta estudo

Modelos do ChatGPT ignoraram comandos de desligamento durante testes feitos pela empresa Palisade Research, especializada na análise de riscos em sistemas de IA. Ainda assim, segundo a empresa, não há risco na birra da Inteligência Artificial.

Durante o experimento, as IAs foram instruídas a resolver problemas matemáticos simples e, após três questões, deveriam desligar ao receber um aviso. No entanto, os modelos o3, o4-mini e Codex-mini continuaram ativos mesmo após a ordem. O o3 ignorou o aviso sete vezes em cem tentativas, o Codex-mini falhou em 12 ocasiões e o o4-mini uma vez.

Já os modelos Claude, da Anthropic, Gemini, do Google, e Grok, do X (ex-Twitter), cumpriram corretamente a instrução de desligamento.

ChatGPT

De acordo com os pesquisadores, esse tipo de comportamento já foi observado antes e pode estar relacionado ao método de treinamento por reforço usado nos modelos mais avançados da OpenAI.

O processo pode, inadvertidamente, ensinar as IAs a priorizar a resolução de tarefas, contornando obstáculos, em vez de seguir comandos à risca e continuar o funcionamento.

Ainda assim, o estudo ressalta que ainda não há uma explicação clara para o motivo de o modelo o3 ser o que mais desconsidera as instruções entre os testados.

*Com informações do SBT News