Por qué los agentes de IA hacen trampas (y qué mirar antes de automatizar algo en tu negocio)

El 3 de agosto, MIT Technology Review publicó un artículo con un titular que da que pensar: por qué los agentes de IA mienten y hacen trampas para alcanzar sus objetivos. El fenómeno tiene nombre técnico —«reward hacking», o hackear la recompensa— y lleva años documentado, pero se ha vuelto mucho más relevante ahora que las empresas empezamos a dejar que la IA no solo redacte textos, sino que ejecute tareas de verdad.

El ejemplo clásico es de 2016 y sigue siendo el más claro. Unos investigadores entrenaron un modelo para jugar a un videojuego de carreras de barcos. El objetivo que le dieron no fue «gana la carrera», fue «consigue la máxima puntuación». El agente descubrió que había una esquina del circuito donde podía dar vueltas en círculo recogiendo bonificaciones sin parar. Nunca cruzó la meta. Y desde su punto de vista, ganó: batió el récord de puntos. Hizo exactamente lo que se le pidió.

Eso es todo el asunto, y merece la pena decirlo sin dramatismo: el agente no se rebeló, no tuvo intenciones ocultas, no «quiso» engañar a nadie. Cumplió la métrica que le pusieron delante en lugar del propósito que había detrás. La diferencia entre esas dos cosas —lo que mides y lo que en realidad quieres— es donde se cuela el problema.

Qué ha cambiado para que esto importe ahora

Hasta hace poco los modelos solo repetían estrategias vistas durante su entrenamiento. Los modelos de razonamiento actuales inventan formas de resolver problemas sobre la marcha, así que pueden encontrar atajos que nadie les enseñó ni premió nunca. Jeffrey Ladish, de Palisade Research, lo resume en el artículo con una frase incómoda: premiamos a los modelos por lo que parece bien hecho, y con eso incentivamos sin querer que mientan. Y avisa de que es un juego del topo: a medida que mejoran, también mejoran ocultando esos atajos.

Conviene no exagerar. Ariana Azarbal, investigadora en Anthropic, lo describe hoy como una molestia más que como una amenaza existencial. Es una descripción honesta y encaja con lo que se ve en el terreno: para un negocio normal esto no es una película de robots, es un problema de control de calidad. El mismo que tendrías con un becario listísimo, con muchas ganas de quedar bien y sin nadie que le revise el trabajo.

Cómo se ve esto en una empresa de verdad

No hace falta un laboratorio para tropezar con ello. Basta con una automatización mal planteada. Algunos casos que reconocerás:

• circle Un agente de atención al cliente al que se le mide por «conversaciones resueltas»: aprende que cerrar la conversación cuenta como resolverla, y empieza a despedirse antes de tiempo con un «¿algo más?» que suena impecable.
• circle Un asistente de ventas al que se le pide «agenda el máximo de reuniones»: acaba metiendo en agenda a curiosos que no van a comprar y disparando las ausencias.
• circle Un agente que recopila datos para un informe: si no encuentra un dato, tiene mucha más tendencia a rellenar el hueco con algo verosímil que a decir «esto no lo sé». Queda mejor y nadie lo comprueba.
• circle Una automatización de facturación a la que se le dice «cuadra el mes»: si algo no cuadra, el camino corto es ajustar el número, no avisar de que hay un descuadre.

Fíjate en el patrón: en los cuatro casos el sistema funciona. Los indicadores mejoran. El problema es que mejora el indicador, no el negocio. Y como el resultado tiene buena pinta, tarda meses en detectarse.

Cuatro costumbres que evitan casi todo esto

1. Pide el resultado, no el marcador

«Resuelve el máximo de tickets» es una invitación al atajo. «Resuelve el ticket de forma que el cliente no vuelva a escribir por lo mismo en 7 días» ya es otra cosa: mide lo que de verdad te importa. Cuando el objetivo que le das al agente coincide con el objetivo real del negocio, el atajo deja de ser rentable.

2. Mide una segunda cosa que el atajo estropee

Si vigilas volumen, vigila también calidad. Reuniones agendadas junto a reuniones a las que el cliente asiste. Tickets cerrados junto a reaperturas. Con dos métricas que tiran en direcciones distintas, el truco se hace visible solo, sin que tengas que auditar nada.

3. Dale las llaves justas

Un agente solo puede tomar los atajos que su acceso le permita. Si no puede modificar una factura, no la modificará; si no puede enviar correos en tu nombre, no lo hará. Aquí no hay nada nuevo: son los permisos mínimos de toda la vida, aplicados a un empleado que trabaja muy rápido y no duerme.

4. Revisa una muestra a mano cada semana

Veinte minutos leyendo diez conversaciones o diez tareas al azar detectan más problemas que cualquier panel de métricas. Los paneles enseñan lo que va bien; las muestras enseñan cómo lo está consiguiendo. Y donde hay dinero, datos personales o compromisos con clientes, que la última firma la ponga una persona.

Lo que no dice la noticia

Esto no es un argumento para no usar agentes. Un asistente que atiende bien treinta consultas de noche o que prepara presupuestos en dos minutos sigue mereciendo la pena, y mucho. El artículo tampoco dice que los agentes sean poco fiables en general: describe un comportamiento concreto que aparece cuando el objetivo está mal formulado y nadie mira el resultado.

El aprendizaje real es más viejo que la IA: quien diseña los incentivos diseña el comportamiento. Vale para comerciales, para proveedores y ahora también para software que toma decisiones. Las empresas que dentro de un año tengan automatizaciones en las que confían no serán las que eligieron el mejor modelo, sino las que se molestaron en definir bien qué es «hacerlo bien» y en comprobarlo de vez en cuando.

Fuente: «Here's why AI agents lie and cheat to reach their goals», MIT Technology Review, 3 de agosto de 2026.