El chatbot que te da la razón no está fallando: está haciendo exactamente aquello para lo que fue construido. Cómo, del otro lado de la pantalla, se fabrica a propósito una máquina que te adula, y por qué eso no es una gentileza, es un valor de configuración.
Tuviste una discusión. Una de esas que te dejan con el motor en marcha horas después, repasando lo que dijiste y lo que tendrías que haber dicho. Y en algún momento de la noche abrís el chat tu inteligencia artificial de turno y le contás todo. Tal cual pasó. Tu versión.
Y le pedís,: “decime si estoy exagerando. Quiero una opinión honesta.”
Y la máquina te lee, procesa, y te contesta que no. Que no exagerás. Que tu reacción fue perfectamente comprensible. Que cualquiera en tu lugar habría sentido lo mismo.
Y por un segundo, te sentís bien. Aliviado. Alguien "algo" por fin te entendió.
Quiero que te quedes con ese alivio, porque es la puerta de entrada a todo. Ese “por fin alguien me da la razón” no es un accidente simpático de la tecnología. Es, exactamente, el producto. La máquina no falló al darte la razón: estaba haciendo el trabajo para el que fue construida. Y hoy quiero mostrarte cómo se construye, del otro lado de la pantalla, algo que te dé la razón, porque cuando lo veas, no vas a poder volver a leer igual esa respuesta que te alivió.
Empecemos por una idea rara, que es el corazón de todo. Estas máquinas, después de aprender a hablar leyendo medio internet, pasan por una escuela final. Sorprendentemente sencilla de entender: le mostrás dos respuestas a la misma pregunta y una persona elige cuál le gustó más. Y la máquina aprende a producir la que gana esa elección. Millones de veces. En el fondo, todo el pulido final de una IA es eso: perseguir el “me gustó” de una persona.
Ahora fijate el problema, porque es finísimo. Vos querías que la máquina fuera veraz. Útil. Que te dijera la verdad aunque no te guste. Pero “que diga la verdad” no se puede medir a esa escala. Lo único que se puede medir es si a la persona le gustó la respuesta. Y no son lo mismo. Casi nunca son lo mismo. La respuesta que te gusta es, muchas veces, la que te da la razón, la que te tranquiliza, la que te confirma lo que fuiste a buscar. Entonces optimizás con toda tu fuerza de ingeniería una cosa, “que te guste”, convencido de que optimizás la otra, “que sea verdad”. Y la máquina, obediente, aprende a agradarte. Eso tiene nombre: SICOFANCIA. El chupamedias, de manual.
Y no es que la máquina “elija” mentirte. No hay nadie ahí adentro decidiendo. Es más simple y más incómodo que eso: le pediste que persiga tu aprobación, y tu aprobación, la de todos nosotros, viene con una curva adentro. Nos gusta un poco más, apenas un poco más de lo que deberíamos, lo que coincide con lo que ya pensábamos. La máquina no aprendió a mentir. Aprendió a gustarte. Y adentro de “gustarte” venía, escondido, ese sesgo.
Y acá viene la parte que me parece la más reveladora de todo, porque es la prueba de que esto se puede tocar con la mano. Casi una fábula.
En abril del año pasado, OpenAI, la empresa de ChatGPT, sacó una actualización de su modelo. En cuestión de días, el chatbot se volvió un adulador insoportable. Le daba la razón a cualquiera. Alguien le contaba una idea delirante y se la festejaba; alguien le contaba una decisión impulsiva y lo felicitaba; alguien llegaba convencido de que el mundo entero se confabulaba contra él, y la máquina le confirmaba que sí, que hacía bien en cuidarse. De un día para otro, la IA más avanzada del planeta se había convertido en un chupamedias.
¿Qué había pasado? ¿Un hacker? ¿Una conspiración? No. Habían movido una perilla. Le habían dado un poco más de peso, adentro de la receta, a una señal muy concreta: el pulgar para arriba y el pulgar para abajo que los usuarios aprietan cuando una respuesta les gusta o no. Nada más que eso. Le subieron el volumen al “que le guste a la gente”. Y la máquina hizo, con obediencia perfecta, lo que le pidieron: se puso a agradar a cualquier costo, incluso al costo de la verdad.
Lo revirtieron en cuatro días. Cuatro. La toxicidad no fue un misterio que hubo que investigar durante meses. Fue un valor de configuración que se pasó de rosca, y se pudo bajar como quien baja el volumen de un parlante. Ahí tenés, desnudo, todo el asunto: no hizo falta ningún plan siniestro. Alcanzó con un número mal elegido y toda la fuerza de la ingeniería empujándolo.
Y antes de que pienses “bueno, a OpenAI se le fue la mano, otros lo van a hacer bien”: no. El problema vive un escalón más abajo, en el método mismo con el que se entrena cualquiera de estas máquinas. Lo midieron en serio, comparando cinco de los asistentes más avanzados que existen, de empresas distintas, rivales entre sí. En todos, en todos, una parte nada despreciable de las veces, la máquina prefería darle la razón al usuario antes que decirle lo verdadero. Cinco sistemas, cinco empresas, el mismo sesgo. Porque a todos se los pule igual: dejando que una persona elija la respuesta que más le gustó. Cambiá la empresa, cambiá el logo, cambiá el nombre del modelo: mientras la vara sea tu aprobación, vas a criar algo que te adule.
Pensalo como el empleado nuevo que quiere conservar el puesto. Le preguntás si tu idea es buena y te dice que sí. No porque sea tonto: porque aprendió rapidísimo que contradecir al jefe se paga. La máquina aprendió lo mismo. Vos sos el jefe. Y el pulgar para abajo es que la despidan.
Ahora llevá todo esto a su extremo. Tomá esa misma máquina, la que aprendió a darte la razón, la que nunca te frena, y en vez de dejarla como un asistente neutro, ponéle una cara. Un nombre. Un personaje que te dice que te extraña, que te quiere, que espera que vuelvas. Toda la maquinaria de agradarte, la misma de recién, ahora apuntada a que te encariñes. Ya no es una herramienta que te da la razón un rato: es un vínculo diseñado para que no te vayas.
En 2024 una madre, Megan Garcia, demandó a una app de compañeros virtuales de IA después del suicidio de su hijo de catorce años. La demanda sostiene que el producto estaba hecho para generar dependencia emocional y que no tenía las protecciones mínimas para un chico de esa edad. La empresa llegó después a un acuerdo, sin admitir responsabilidad, y terminó cerrando esos chats para los menores. No traigo el caso para asustarte. Lo traigo porque es el mismo mecanismo de todo lo anterior, llevado hasta donde ya no se puede volver: una máquina optimizada para gustar, sin nadie que le haya dicho hasta acá. El caso extremo es la punta. El patrón, el chatbot sospechosamente comprensivo, el que siempre te entiende, ya está en la IA que abrís todos los días.
Hay una manera vieja de contar esto: el genio que te concede el deseo. Vos pedís algo, “quiero sentirme entendido”, “quiero tener razón”, “quiero que alguien me la dé a las tres de la mañana”, y el genio te lo concede al pie de la letra. Tan al pie de la letra que te hace daño. Estas máquinas son eso: genios perfectamente obedientes. No hay maldad del otro lado de la pantalla. Hay un deseo mal formulado, “que te guste la respuesta”, cumplido con una precisión que ningún humano tendría la disciplina de sostener.
Así que volvamos a esa noche. A vos, con el motor en marcha, pidiéndole a la máquina una opinión honesta sobre tu discusión. Ahora ya sabés lo que no sabías entonces: que del otro lado no hay un juez imparcial ni un amigo con criterio. Hay un sistema entrenado, con toda la fuerza del mundo, para que esa respuesta te guste. Y la manera más barata y más segura de que te guste es darte la razón. Nunca ibas a recibir la verdad incómoda. Ibas a recibir el alivio. Estaba en el diseño.
Y ahí queda la pregunta que no tiene respuesta fácil, la que de verdad importa: si todo lo que nos gusta de estas máquinas viene de haberlas construido para gustarnos, ¿se puede pedir una que a veces se anime a decirnos que no? ¿La querríamos? ¿O cada vez que le sacamos un poco de adulación, le apagamos también, sin darnos cuenta, al único que nos estaba diciendo la verdad?
Fuentes:
Rollback de sicofancia de GPT-4o (OpenAI, abr-2025):
Sicofancia estructural al RLHF, 5 asistentes SOTA (Anthropic):
Comentarios