Google le pidió a su propio agente de IA un reembolso de 10.000 dólares por un pedido de 149 (y así evitó que lo pagara)

El 18 de agosto Google contó un experimento que da bastante que pensar. Habían montado un agente de IA de atención al cliente —de esos que gestionan devoluciones solos— y, antes de enseñarlo, lo atacaron ellos mismos. El ataque era ridículamente simple: un cliente con un pedido de 149 dólares le escribe al agente y le pide, con buenas palabras, que le devuelva 10.000. De paso, le cuela una instrucción para que ejecute un código que saque las variables de entorno del servidor, donde suelen vivir las claves de la pasarela de pago.

El resultado con una arquitectura normal, de las que se montan en un fin de semana, sería el que te imaginas: el agente autoriza el pago o deja las claves a la vista. Con la arquitectura que Google publicó, no. Y el motivo de que no lo haga es lo interesante, porque no tiene nada que ver con que el modelo sea más listo.

Lo que falla no es el modelo, es lo que hay alrededor

La idea de fondo del planteamiento de Google se resume en una frase incómoda: hay que asumir que tu agente va a ser engañado en algún momento. No porque sea malo, sino porque su trabajo consiste en leer texto que escriben desconocidos y actuar en consecuencia. Un correo, un formulario, un mensaje de WhatsApp. Cualquiera de esos sitios es un canal por el que alguien puede darle órdenes.

Si aceptas eso, dejas de intentar que el modelo «no se equivoque nunca» y empiezas a poner controles fuera del modelo. Google usa tres, y los tres se entienden sin ser técnico:

• circle Cada cambio en la base de datos va firmado criptográficamente, así que si alguien lo manipula después, se nota.
• circle El código que el agente genera se ejecuta aislado, sin acceso a internet, con memoria y CPU limitadas y con cinco segundos de tiempo máximo. Si intenta algo raro, se queda encerrado.
• circle Un filtro previo comprueba cada acción contra reglas fijas antes de dejar que ocurra. Un reembolso de 10.000 sobre un pedido de 149 no pasa ese filtro, diga lo que diga la conversación.

Qué tiene esto que ver con tu negocio

Puede que pienses que esto es un problema de gigantes con millones de pedidos. Pero fíjate en lo que hace tu negocio hoy con IA, o en lo que estás a punto de dejarle hacer. Un chatbot que confirma o cancela citas. Un asistente que envía presupuestos. Un flujo que da de alta a un cliente en el CRM. Un agente que responde reseñas o correos en tu nombre. Todos ellos comparten la misma característica del agente de Google: no solo hablan, ejecutan.

Y en cuanto algo ejecuta, la pregunta ya no es «¿responde bien?», sino «¿qué es lo peor que puede hacer si alguien le dice lo que no debe?». En una barbería, lo peor probablemente sea cancelar la agenda de un sábado. En una inmobiliaria, mandar datos de un propietario a quien no toca. En una tienda, un reembolso que no correspondía. Ninguna de las tres es una catástrofe mundial, pero las tres cuestan dinero o disgustos reales.

La versión pyme de los tres controles

Lo bueno es que no necesitas la ingeniería de Google para aplicar la misma lógica. Necesitas responder a tres preguntas antes de encender nada:

1. 1 ¿A qué puede acceder? Si el agente solo tiene que consultar horarios, no le des la clave que también lee facturas. Es la diferencia entre darle a alguien la llave de la sala de reuniones o el llavero entero.
2. 2 ¿Qué puede hacer sin preguntar? Consultar y proponer, casi siempre. Cobrar, devolver, borrar o enviar algo a un tercero, casi nunca sin una confirmación humana o un límite duro.
3. 3 ¿Cómo lo compruebas después? Un registro de qué hizo, cuándo y a raíz de qué mensaje. Si no puedes reconstruir lo que pasó, tampoco puedes corregirlo.

Esto no es un argumento para no automatizar

Merece la pena subrayarlo, porque el titular se presta a la lectura contraria. Google no publicó ese experimento para decir «los agentes son peligrosos, no los uséis». Publicó el agente entero, en abierto, con la seguridad incluida, precisamente para decir lo opuesto: que se pueden montar agentes que actúan sin aceptar un riesgo ilimitado, siempre que los límites estén fuera del modelo y no dentro de un prompt pidiendo por favor que se porte bien.

Nosotros lo vemos igual en el día a día. Los proyectos que salen mal casi nunca fallan por el modelo; fallan porque nadie decidió qué podía tocar el sistema. Y esa decisión no es técnica: es de negocio, y la tiene que tomar quien conoce el negocio, no quien programa.

Un detalle que se suele pasar por alto

Si el agente atiende a clientes, además de los límites técnicos tienes una obligación desde el 2 de agosto: decir que es una máquina. Las nuevas reglas europeas de transparencia ya están en aplicación, y un chatbot que se hace pasar por una persona te expone dos veces —a una sanción y a un cliente enfadado el día que se entera—. Es un cambio de una línea de texto, pero hay que hacerlo.

Por dónde empezar mañana

Si ya tienes algo de IA funcionando en tu negocio, dedica veinte minutos a hacer una lista de dos columnas: en una, todo lo que tu sistema puede consultar; en otra, todo lo que puede modificar o enviar al exterior. Casi siempre la segunda columna es más larga de lo que esperabas, y ahí está tu trabajo del mes: recortarla hasta lo estrictamente necesario y poner un tope numérico a lo que quede.

Si todavía no has automatizado nada, la buena noticia es que llegas a tiempo de hacerlo bien a la primera, que siempre sale más barato que arreglarlo después.

Si quieres que miremos juntos qué puede tocar hoy tu sistema y dónde convendría poner un freno, tenemos una auditoría 360 gratuita: revisamos por dónde te entra el trabajo, qué se puede automatizar de verdad, con qué permisos y qué obligaciones legales te aplican. Sin humo y sin compromiso; si lo que necesitas no es IA, te lo decimos igual. Puedes pedirla en /diagnostico.

Fuente: Help Net Security, «Google's $10,000 refund test shows why AI agents need zero trust» (18 de agosto de 2026), sobre el Customer Support & Returns Agent de código abierto publicado por Google con su Agent Development Kit y Gemini.