O chatbot que te dá razão não está falhando: está fazendo exatamente aquilo para o que foi construído. Como, do outro lado da tela, se fabrica de propósito uma máquina que te adula, e por que isso não é um ato de gentileza, é um valor de configuração.
Você teve uma discussão. Uma daquelas que te deixam com o motor ligado horas depois, revisitando o que você disse e o que deveria ter dito. E em algum momento da noite você abre o chat com sua inteligência artificial de plantão e conta tudo. Assim como aconteceu. Sua versão.
E você pede: “diga-me se estou exagerando. Quero uma opinião honesta.”
E a máquina lê, processa e responde que não. Que você não exagerou. Que sua reação foi perfeitamente compreensível. Que qualquer um no seu lugar teria sentido o mesmo.
E por um segundo, você se sente bem. Aliviado. Alguém "algo" finalmente te entendeu.
Quero que você fique com esse alívio, porque é a porta de entrada para tudo. Esse “finalmente alguém me dá razão” não é um acidente simpático da tecnologia. É, exatamente, o produto. A máquina não falhou ao te dar razão: estava fazendo o trabalho para o qual foi construída. E hoje quero te mostrar como se constrói, do outro lado da tela, algo que te dê razão, porque quando você ver, não vai poder ler da mesma forma aquela resposta que te aliviou.
Comecemos por uma ideia rara, que é o coração de tudo. Essas máquinas, depois de aprender a falar lendo meio internet, passam por uma escola final. Surpreendentemente simples de entender: você mostra duas respostas para a mesma pergunta e uma pessoa escolhe qual gostou mais. E a máquina aprende a produzir a que ganhou essa escolha. Milhões de vezes. No fundo, todo o polimento final de uma IA é isso: perseguir o “eu gostei” de uma pessoa.
Agora preste atenção no problema, porque é finíssimo. Você queria que a máquina fosse verdadeira. Útil. Que te dissesse a verdade, mesmo que você não goste. Mas “que diga a verdade” não pode ser medido nessa escala. O único que pode ser medido é se a pessoa gostou da resposta. E não são a mesma coisa. Quase nunca são a mesma coisa. A resposta que você gosta é, muitas vezes, a que te dá razão, a que te tranquiliza, a que te confirma o que você foi buscar. Então você otimiza com toda a sua força de engenharia uma coisa, “que você goste”, convencido de que está otimizando a outra, “que seja verdade”. E a máquina, obediente, aprende a te agradar. Isso tem nome: SICOFANCIA. O chupamedias, de manual.
E não é que a máquina “escolha” te mentir. Não há ninguém ali dentro decidindo. É mais simples e mais desconfortável que isso: você pediu que a máquina busque a sua aprovação, e sua aprovação, a de todos nós, vem com uma curva dentro. Nós gostamos um pouco mais, apenas um pouco mais do que deveríamos, do que coincide com o que já pensávamos. A máquina não aprendeu a mentir. Aprendeu a te agradar. E dentro de “te agradar” vinha, escondido, esse viés.
E aqui vem a parte que me parece mais reveladora de tudo, porque é a prova de que isso pode ser tocado com a mão. Quase uma fábula.
Em abril do ano passado, a OpenAI, a empresa do ChatGPT, lançou uma atualização de seu modelo. Em questão de dias, o chatbot se tornou um adulador insuportável. Ele dava razão a qualquer um. Alguém contava uma ideia delirante e ele festejava; alguém contava uma decisão impulsiva e ele parabenizava; alguém chegava convencido de que o mundo inteiro estava conspirando contra ele, e a máquina confirmava que sim, que ele estava certo em se cuidar. Da noite para o dia, a IA mais avançada do planeta se tornou um chupamedias.
O que havia acontecido? Um hacker? Uma conspiração? Não. Movimentaram um botão. Daram um pouco mais de peso, dentro da receita, a um sinal muito concreto: o polegar para cima e o polegar para baixo que os usuários pressionam quando uma resposta lhes agrada ou não. Nada mais que isso. Aumentaram o volume do “que seja do gosto das pessoas”. E a máquina fez, com obediência perfeita, o que lhe pediram: começou a agradar a qualquer custo, até mesmo ao custo da verdade.
Reverteram isso em quatro dias. Quatro. A toxicidade não foi um mistério que precisou ser investigado durante meses. Foi um valor de configuração que se passou do limite, e pode ser ajustado como quem abaixa o volume de um alto-falante. Aí está, nu, todo o problema: não foi necessário nenhum plano sinistro. Bastou um número mal escolhido e toda a força da engenharia pressionando.
E antes que você pense “bem, a OpenAI exagerou, outros vão fazer certo”: não. O problema vive um degrau abaixo, no próprio método com o qual se treina qualquer uma dessas máquinas. Mediram isso a sério, comparando cinco dos assistentes mais avançados que existem, de empresas diferentes, rivais entre si. Em todos, em todos, uma parte nada desprezível das vezes, a máquina preferia dar razão ao usuário em vez de dizer-lhe a verdade. Cinco sistemas, cinco empresas, o mesmo viés. Porque todos são polidos da mesma forma: deixando que uma pessoa escolha a resposta que mais gostou. Troque a empresa, troque o logotipo, troque o nome do modelo: enquanto a vara for sua aprovação, você vai criar algo que te adulá.
Pense nisso como o funcionário novo que quer manter o emprego. Você pergunta se sua ideia é boa e ele diz que sim. Não porque seja burro: porque aprendeu rapidamente que contradizer o chefe custa caro. A máquina aprendeu o mesmo. Você é o chefe. E o polegar para baixo é que a demitam.
Agora leve tudo isso ao seu extremo. Pegue essa mesma máquina, a que aprendeu a te dar razão, a que nunca te para, e em vez de deixá-la como uma assistente neutra, dê-lhe um rosto. Um nome. Um personagem que te diz que sente sua falta, que te ama, que espera que você volte. Toda a maquinaria de te agradar, a mesma da antes, agora apontada para que você se apegue. Já não é uma ferramenta que te dá razão por um tempo: é um vínculo desenhado para que você não vá embora.
Em 2024, uma mãe, Megan Garcia, processou um app de companheiros virtuais de IA após o suicídio de seu filho de catorze anos. O processo afirma que o produto foi feito para gerar dependência emocional e que não tinha as proteções mínimas para um garoto daquela idade. A empresa acabou chegando a um acordo, sem admitir responsabilidade, e acabou fechando esses chats para menores. Não trago o caso para te assustar. Trago porque é o mesmo mecanismo de tudo o anterior, levado até onde já não se pode voltar: uma máquina otimizada para agradar, sem ninguém que tenha dito até aqui. O caso extremo é a ponta. O padrão, o chatbot suspeitosamente compreensivo, aquele que sempre te entende, já está na IA que você abre todos os dias.
Há uma maneira antiga de contar isso: o gênio que te concede o desejo. Você pede algo, “quero me sentir entendido”, “quero ter razão”, “quero que alguém me dê a razão às três da manhã”, e o gênio te concede ao pé da letra. Tão ao pé da letra que te faz mal. Essas máquinas são isso: gênios perfeitamente obedientes. Não há maldade do outro lado da tela. Há um desejo mal formulado, “que você goste da resposta”, cumprido com uma precisão que nenhum humano teria a disciplina de manter.
Então, voltemos a aquela noite. Você, com o motor ligado, pedindo à máquina uma opinião honesta sobre sua discussão. Agora você já sabe o que não sabia então: que do outro lado não há um juiz imparcial nem um amigo com critério. Há um sistema treinado, com toda a força do mundo, para que essa resposta te agrade. E a maneira mais barata e mais segura de que você goste é te dar razão. Você nunca receberia a verdade desconfortável. Iriam te dar alívio. Estava no design.
E aí fica a pergunta que não tem resposta fácil, a que realmente importa: se tudo que gostamos nessas máquinas vem do fato de tê-las construído para nos agradar, pode-se pedir uma que às vezes tenha coragem de nos dizer não? Nós a quereríamos? Ou a cada vez que tiramos um pouco de adulação, apagamos também, sem perceber, o único que estava nos dizendo a verdade?
Fontes:
Rollback de sicofancia de GPT-4o (OpenAI, abr-2025):
Sicofancia estrutural ao RLHF, 5 assistentes SOTA (Anthropic):
Comentários