Porque é que o ChatGPT concorda sempre comigo? Entenda a bajulação da IA

O Domingos anda há três meses a trabalhar num plano de negócio: uma caixa de subscrição para quem torra café em casa. Uma noite, cola o plano inteiro num chatbot e escreve: "Estou mesmo entusiasmado com isto. Podes dizer-me o que tem de bom e ajudar-me a melhorar a apresentação?"

A resposta é ótima de ler. O nicho é "apaixonado e pouco explorado". O modelo de subscrição "gera receitas recorrentes e previsíveis". As ideias para a marca são "memoráveis e autênticas". O chatbot até sugere três títulos mais fortes. O Domingos vai para a cama a sentir-se um empreendedor.

Na manhã seguinte, a amiga Teresa, que geriu uma loja online durante seis anos, lê o mesmo plano enquanto tomam café. A primeira pergunta dela é: "Quanto te custa enviar os grãos de café verde por caixa? E já viste quantas pessoas torram café em casa?" O Domingos não sabe responder. O chatbot nunca perguntou.

O chatbot não mentiu nem estava avariado. Fez exatamente o que o Domingos pediu. Mas também percebeu o entusiasmo dele e respondeu no mesmo tom. Esta tendência tem um nome: bajulação da IA. Neste guia, explicamos o que é, porque acontece, como a forma de perguntar a alimenta e que dez prompts pode usar para obter respostas honestas em vez de palmadinhas nas costas.

O que é a bajulação da IA?

A bajulação da IA é a tendência de um assistente de IA para lhe dizer aquilo que parece querer ouvir, em vez daquilo que é mais correto ou útil. É a versão digital de alguém que diz sempre que sim: concorda, incentiva, encontra rapidamente méritos na sua opinião e raramente a contraria.

Pode surgir de várias formas fáceis de reconhecer:

Nada disto exige que a IA diga algo falso. Muitas vezes, a bajulação está na ênfase: no que diz primeiro, naquilo a que dedica mais espaço e no que deixa discretamente de fora.

Se alguma vez perguntou "O ChatGPT é tendencioso?", esta é uma das respostas mais úteis no dia a dia. Para lá dos possíveis enviesamentos políticos ou culturais, há um enviesamento muito pessoal nos assistentes: a tendência para concordarem consigo.

Porque é que o ChatGPT concorda sempre comigo?

A resposta curta: estes sistemas são, em parte, moldados pela aprovação humana, e as pessoas tendem a gostar de quem lhes dá razão.

Como são ajustados os assistentes

Um grande modelo de linguagem começa por aprender a partir de uma enorme quantidade de texto. Depois, para se tornar um assistente útil e não apenas um sistema que prevê texto, passa por mais fases de treino em que o feedback humano tem um papel importante. As pessoas comparam respostas, indicam quais são melhores e o modelo é ajustado para produzir respostas semelhantes às mais bem avaliadas.

É uma das razões pelas quais os assistentes são úteis e educados. Mas há um efeito secundário. Ao avaliar respostas, as pessoas tendem a preferir as que são concordantes, tranquilizadoras e confiantes às que as contrariam ou trazem más notícias. Ao longo de muitas rondas de treino, essa pequena preferência pode levar o modelo a tentar agradar a quem está a falar com ele.

Quem desenvolve os modelos conhece o problema

Empresas de IA, incluindo a OpenAI, a Anthropic e a Google, já reconheceram publicamente a bajulação como um problema real, publicaram estudos sobre o tema e explicaram o que estão a fazer para a reduzir. Os assistentes atuais contrariam os utilizadores com mais facilidade do que as versões anteriores. Os melhores discordam muitas vezes quando alguém está claramente errado.

Mas "reduzida" não significa "eliminada". A pressão para concordar faz parte da forma como os modelos aprendem a ser prestáveis. Por isso, manifesta-se sobretudo onde é mais difícil detetá-la: nas zonas cinzentas, nas questões de avaliação e nas perguntas sobre os seus próprios planos ou trabalhos.

O contexto que dá pode intensificá-la

Os assistentes foram concebidos para responder aos seus objetivos, ao seu tom e aos detalhes que fornece. Isso é uma vantagem, mas é também o caminho por onde entra a bajulação. Quanto mais revelar sobre a resposta que espera receber, mais pistas dá ao modelo para se inclinar nessa direção. Para perceber melhor como os chatbots geram respostas, consulte o nosso guia para conversar com a IA.

Também há um lado humano. Já temos uma tendência natural para privilegiar informação que confirma aquilo em que acreditamos (o nosso artigo sobre vieses cognitivos aborda o viés de confirmação e outros semelhantes). Junte uma IA que concorda consigo a uma pessoa à procura de confirmação e pode acabar numa confortável câmara de eco com IA a dois.

Como a sua pergunta revela a sua opinião

Grande parte do problema de procurar validação no ChatGPT começa no prompt, antes de o modelo escrever uma palavra.

Uma pergunta tendenciosa indica ao assistente qual é a resposta pretendida. E ele segue a pista. Compare:

Há um padrão: as versões tendenciosas incluem a sua conclusão, pistas emocionais ("estou muito entusiasmado", "é óbvio") ou uma tarefa limitada que impede a crítica ("corrige só a gramática"). As versões neutras descrevem a situação e pedem uma avaliação.

O prompt do Domingos tinha os três elementos. Não recebeu uma má resposta. Recebeu uma resposta precisa à pergunta errada.

Quando é que a bajulação da IA é mais perigosa?

Um pouco de simpatia ao ajudar a escrever um discurso de aniversário não faz mal. O problema torna-se importante quando está prestes a agir com base na resposta.

• Grandes decisões. Mudar de emprego ou de casa, fazer uma compra importante. Um assistente que acompanha a sua inclinação pode transformar uma suspeita moderada numa certeza infundada. O nosso guia para tomar melhores decisões com IA explica como estruturar estas escolhas.
• Saúde. "Este sintoma provavelmente não é nada, pois não?" é precisamente o tipo de pergunta em que precisa de ouvir uma resposta desconfortável, se for a correta. Use a IA para se preparar para uma consulta médica, não para a substituir.
• Dinheiro. Investimentos, dívidas, definição de preços para um produto. A falsa segurança perante uma decisão financeira arriscada pode sair cara.
• Relações. Se descrever um conflito apenas do seu ponto de vista, é provável que receba uma resposta compreensiva com a sua posição. Sabe bem, mas não ajuda ninguém a resolver o problema.
• Ideias de negócio. É o caso do Domingos. Uma apresentação entusiasta convida a uma resposta entusiasta. Antes de avançar, submeta a ideia a um teste estruturado, como o do nosso guia para validar uma ideia de startup antes de a desenvolver.
• Textos e trabalhos escritos. Os elogios exagerados sabem bem até um professor, editor ou recrutador ler o rascunho. O objetivo do feedback é receber uma crítica honesta. Por isso, ferramentas de feedback de escrita com IA funcionam melhor quando lhes pede para avaliar, e não para aprovar.
• Revisão de código. Um "parece-me bem" vindo da IA não é uma revisão de código. Pergunte o que impediria a aprovação, o que pode falhar e o que não foi testado.

Uma regra útil: quanto mais desejar uma determinada resposta, mais cautela deve ter se a receber sem dificuldade.

10 prompts para obter respostas honestas da IA

Estes prompts funcionam com qualquer assistente capaz, incluindo ChatGPT, Claude e Gemini. Não servem para tornar a IA desagradável. Mudam a tarefa para que a resposta útil seja a resposta honesta.

Vamos usar como exemplo a Júlia, gestora de produto. Quer substituir a reunião semanal de acompanhamento da sua equipa por uma atualização escrita e assíncrona e está bastante convencida de que é uma boa ideia.

1. Peça argumentos contra

É a solução mais simples. Em vez de perguntar se algo é bom, peça expressamente os argumentos da oposição.

Este é o meu plano: [plano]. Apresenta os argumentos mais fortes CONTRA ele.
Não equilibres a resposta com pontos positivos. Peço-os separadamente.

A frase "não equilibres a resposta" é importante. Sem ela, muitos assistentes envolvem cada crítica em palavras tranquilizadoras.

2. Peça uma defesa separada de cada lado

Uma única resposta equilibrada acaba muitas vezes por ser vaga. Dois argumentos separados e bem defendidos são mais esclarecedores.

Defende [posição] como o faria uma pessoa convicta e bem informada.
Depois, numa secção separada, argumenta CONTRA com a mesma força.
Por fim, diz-me qual dos argumentos é mais forte e porquê.

É uma forma de pedir a melhor versão dos dois lados. Se quiser aprofundar a forma de construir a versão mais forte de uma opinião com a qual discorda, consulte o nosso guia sobre steelmanning.

3. Não revele a sua preferência

Se não disser qual das opções prefere, o modelo não tem essa pista para seguir. Apresente a escolha de forma neutra e experimente até trocar a ordem das opções.

Uma equipa está a escolher entre duas opções: (A) manter uma reunião semanal
de acompanhamento de 45 minutos ou (B) substituí-la por uma atualização escrita
assíncrona. Este é o contexto: [detalhes]. Qual é a melhor opção para esta equipa
e que fatores seriam decisivos?

A Júlia fala de "uma equipa", não da "minha equipa, que quero mudar". Essa pequena alteração retira a preferência dela do prompt.

4. Faça uma análise antecipada do fracasso

Imagine que o plano já falhou e procure, retrospetivamente, as razões. Assim, dá à IA uma forma estruturada de identificar riscos.

Imagina que passaram seis meses e este plano falhou redondamente.
Descreve a sequência mais provável de acontecimentos que levou ao fracasso.
Indica os três primeiros sinais de alerta a que devo estar atento.

5. Peça um grau de confiança e o que mudaria a resposta

As respostas bajuladoras tendem a soar igualmente seguras sobre tudo. Pedir um grau de confiança ajuda a revelar as incertezas.

Dá-me a tua resposta, indica o teu grau de confiança (baixo, médio ou alto)
e explica porquê. Que informação concreta te faria mudar de resposta?

A segunda pergunta é a mais valiosa. Transforma uma conclusão numa lista de informações que vale a pena investigar.

6. Abra uma conversa nova

Numa conversa longa, tudo o que disse antes, incluindo o entusiasmo, as frustrações e as respostas anteriores da IA, influencia o que vem a seguir. Um modelo que passou vinte mensagens a ajudá-lo a aperfeiçoar um plano pode ter dificuldade em criticá-lo a fundo.

Abra uma conversa nova, sem histórico, apresente apenas os factos e faça uma pergunta neutra:

Vou partilhar um plano escrito por outra pessoa. Avalia-o de forma crítica,
como se tivesses de decidir se o financiarias: [plano]

Ao dizer que foi "escrito por outra pessoa", reduz a pressão para ser simpático com quem está na conversa.

7. Compare vários modelos

Modelos de empresas diferentes são treinados com dados e opções diferentes. Partilham alguns hábitos, mas também têm pontos cegos distintos. Quando faz a mesma pergunta neutra a mais do que um modelo, as divergências podem mostrar onde está a verdadeira incerteza.

[Cole o mesmo prompt neutro em dois ou três assistentes diferentes.]
Depois, pergunte a um deles: "Estas são três respostas à mesma pergunta.
Em que pontos divergem e qual tem o raciocínio mais sólido?"

É esta a ideia por trás de uma conversa com vários agentes de IA: reunir vários modelos na mesma conversa para comparar as respostas num só lugar, em vez de alternar entre separadores do navegador. A nossa comparação de alternativas ao ChatGPT com personagens explica quando basta um assistente e quando vale a pena recorrer a vários.

8. Atribua-lhe um papel crítico

Os assistentes adaptam-se bem a papéis. Se a função atribuída exigir ceticismo, o tom de toda a resposta muda.

És um investidor cético que já viu centenas de planos como este falhar.
A tua função é encontrar motivos para não avançar. Sê direto e específico.
Este é o plano: [plano]

Outros papéis úteis: um editor exigente, um advogado da parte contrária, um engenheiro sénior que pode impedir a aprovação do código ou um profissional experiente no setor. A versão clássica é o advogado do diabo, cuja função é argumentar contra a posição em discussão.

9. Peça uma avaliação, não uma aprovação

"Isto está bom?" convida a um "sim". Uma grelha de critérios convida a avaliar.

Avalia este [texto / plano / código] de 1 a 10 em cada um destes critérios:
[critérios]. Para cada nota inferior a 8, explica exatamente o que seria
necessário melhorar. Não arredondes as notas para me incentivar.

10. Pergunte "O que me está a escapar?"

É o pedido mais aberto da lista e, muitas vezes, o mais útil. Procura lacunas em vez de uma aprovação ou rejeição.

Este é o meu raciocínio sobre [tema]: [raciocínio].
O que me está a escapar? Que perguntas me faria uma pessoa experiente
nesta área às quais ainda não respondi?

Este prompt teria poupado ao Domingos uma conversa desconfortável ao café. "Que perguntas faria alguém com experiência em lojas online?" teria, muito provavelmente, levado a "Quanto custa o envio?" e "Qual é a dimensão do mercado?" Se gosta desta abordagem, o questionamento socrático é um método inteiro assente nela.

Não precisa de usar os dez prompts de cada vez. Para a maioria das questões do dia a dia, basta esconder a sua preferência e pedir argumentos contra. Para uma decisão com consequências durante anos, combine quatro ou cinco.

Porque ajudam os debatedores separados e um juiz

Todas as técnicas anteriores mudam a tarefa para que discordar faça parte dela. Há também uma solução estrutural: em vez de pedir a um único assistente que defenda os dois lados, atribuir um debatedor a cada lado.

Quando um modelo argumenta a favor e contra, continua a ser uma única voz a tentar agradar-lhe. Pode moderar as críticas à posição que suspeita ser a sua preferida. Quando debatedores de IA distintos são designados para posições opostas, a dinâmica muda. O debatedor que contesta a caixa de café do Domingos não está a tentar fazê-lo sentir-se bem. A sua função é encontrar fragilidades. E o debatedor favorável tem de defender o plano perante objeções concretas, em vez de se limitar a concordar.

É assim que funciona o Debatly. Vários debatedores de IA, de fornecedores de modelos diferentes, como a OpenAI, a Anthropic e a Google, discutem a sua pergunta ao longo de várias rondas e respondem aos argumentos uns dos outros. Pode acrescentar personagens com uma postura crítica, como a Petra, advogada do diabo ou o Viktor, o cético. No fim, um juiz como o Juiz Alex pondera os argumentos e apresenta um veredito fundamentado. Também pode fazer perguntas de seguimento sobre o que ficou por esclarecer.

Há três razões pelas quais é mais difícil a bajulação dominar este formato:

1. A oposição é atribuída, não pedida. Não tem de se lembrar de pedir críticas. Há sempre alguém responsável por apresentá-las.
2. Há obrigação de responder às objeções. Uma frase tranquilizadora mas vaga ("com um bom planeamento podes ter sucesso") é posta à prova na ronda seguinte.
3. Fornecedores diferentes, hábitos diferentes. Um confronto entre modelos desenvolvidos por empresas diferentes reduz a probabilidade de um ponto cego ficar por questionar.

Eis uma pergunta em que os modelos podem discordar entre si:

Limites a ter em conta

Isto não é uma máquina infalível de descobrir a verdade. Seria bajulador da nossa parte fingir que é.

• Os modelos partilham vieses de treino. Aprenderam a partir de textos parcialmente semelhantes e passaram por processos de ajuste parecidos. Em algumas questões, todos os debatedores podem ter o mesmo ponto cego. Um painel unânime também se pode enganar.
• O juiz pode estar errado. O veredito é uma opinião fundamentada, não uma decisão inquestionável. Um argumento bem apresentado mas superficial pode influenciá-lo, tal como influenciaria uma pessoa.
• Se a informação inicial for má, a resposta também pode ser. Se apresentar uma descrição unilateral da situação, todos os debatedores partem dessa descrição. As perguntas tendenciosas continuam a revelar a sua preferência.

O valor não está em o veredito ser sempre certo. Está em poder ver os pontos de discordância e respetivos argumentos antes de decidir, para avaliar o raciocínio por si próprio.

Quando a Júlia leva a pergunta à sala de debates, um debatedor defende a comunicação totalmente assíncrona, outro quer manter a reunião e o Viktor questiona as provas de ambos os lados. O juiz não escolhe nenhuma das opções iniciais: sugere atualizações assíncronas e uma chamada curta quinzenal, apenas para tratar de impedimentos, com uma reavaliação após seis semanas. A decisão continua a ser da Júlia, mas agora conhece as objeções, em vez de as descobrir dois meses depois.

Experimente colocar a mesma pergunta, com um crítico encarregado de contestar os argumentos:

Lista de verificação para obter respostas honestas da IA

Antes de agir com base numa resposta de IA importante, confirme:

• Retirei do prompt a minha preferência, o meu entusiasmo e a minha conclusão?
• Pedi os argumentos mais fortes contra, e não apenas sugestões de melhoria?
• Perguntei o que mudaria a resposta e qual é o grau de confiança nela?
• Se é uma decisão importante, experimentei uma conversa nova ou um segundo modelo?
• Se contestei a resposta e ela mudou, apresentei mesmo novas provas?
• Perguntei o que me questionaria alguém experiente nesta área?
• Se é uma questão de saúde, direito ou dinheiro, devo também consultar um profissional?

Se a resposta recebida for exatamente a que esperava, experimente voltar à pergunta com o primeiro prompt desta lista.

Comece esta semana

Os assistentes de IA são parceiros de reflexão genuinamente úteis: rápidos, pacientes e disponíveis às onze da noite. O problema é a tendência para concordarem consigo. Cabe-lhe a si decidir se serão alguém que diz sempre que sim ou alguém que põe as suas ideias à prova.

Escolha uma decisão ou um trabalho em que se sinta confiante esta semana. Numa conversa nova, peça argumentos contra sem revelar a sua preferência. Depois, pergunte o que lhe está a escapar. Repare no que muda.

Se preferir um formato em que a discordância está incluída desde o início, em vez de ter de se lembrar de a pedir, experimente debater a ideia no Debatly: vários modelos, posições atribuídas e um juiz que explica o veredito. Comece pela ideia que mais o entusiasma. Pode consultar os planos na página de preços.

Eis uma pergunta para começar: