Spoiler: el negocio nos está acompañando amablemente a la puerta de los procesos de IA. Pero quizás no sea el final de nuestro trabajo, sino el comienzo de algo mucho más interesante.
¿Recuerdas cuando, para aprobar cualquier cambio, había que esperar la firma del mánager en un documento impreso al ciclostilo?
Se necesita un responsable.
Era la frase que resonaba en la cabeza de todos, la invocación de alguien que asumiera la responsabilidad de lo que ocurría. Italia todavía se basa hoy en esta cadena infinita de aprobaciones, que a menudo bloquea los procesos durante horas, días o incluso años.
Ya no nos sorprende si un trabajo prometido para un año al final sufre un retraso de seis meses: es normal.
En los procesos modernos gobernados por la IA, se tiende a imaginar un escenario similar: cada imagen producida por un LLM, cada texto, cada comentario debería ser supervisado por un humano. Nos vendieron este enfoque con una fórmula tranquilizadora: «human in the loop» (humano en el bucle).
Era una idea fascinante, que ponía al ser humano en el centro del proceso. Yo también lo creía, esperando que la contribución humana pudiera tener un peso real en la cadena de valor. Sin embargo, lo que para nosotros es un valor, para la industria representa solo un coste. La era en la que el ser humano era considerado un recurso fundamental dentro del flujo de trabajo se está desvaneciendo a una velocidad espantosa.
Durante años nos repitieron que el human-in-the-loop era nuestra póliza de vida:
Tranquilos, las máquinas son imperfectas y el aporte del ser humano siempre será necesario.
Pero esta narrativa chocaba con la realidad operativa. Impulsado por el hambre insaciable de escalabilidad y por latencias que deben bajar del umbral de los milisegundos, el negocio nos está acompañando amablemente a la puerta del ciclo operativo.
Bienvenidos a la era en la que el operador ya no está en el loop, sino como máximo sobre el loop (human-on-the-loop), si no por completo fuera del ciclo (human-out-of-the-loop).
¿Pero se trata realmente del fin de la supervisión o es más bien un shift right (desplazamiento a la derecha), mucho más complejo y crucial?
¿Por qué el negocio nos quiere fuera del camino?
Hablemos claro: el negocio tiene hambre de velocidad. Un operador que debe hacer clic en «aprobar» es visto como un cuello de botella lento, costoso y que no siempre está disponible. En un mundo que piensa en milisegundos, la intervención humana corre el riesgo de parecer un perezoso colgado torpemente de una rama durante una carrera de Fórmula 1. Por eso los responsables y los CTO presionan para eliminar a las personas de los engranajes digitales. No es por maldad, sino por «eficiencia».
Este cambio redefine los tres roles clásicos de la supervisión, transformándolos radicalmente. En el modelo human-in-the-loop, el operador actúa como un cobrador de peaje en la autopista: un paso obligatorio y seguro, que sin embargo ralentiza el flujo acumulando tráfico.
En el modelo human-on-the-loop, se pasa al papel de controlador de tráfico aéreo. Alejado del flujo directo de la acción, el humano se encuentra solo, sentado frente a un monitor silencioso con una taza de café que se enfría lentamente. Su tarea ya no es hacer, sino observar pasivamente trayectorias abstractas en la pantalla, con el único y aterrador poder de presionar un gran botón rojo en caso de colisión. Es una soledad desgastadora, en la que la mente oscila entre el aburrimiento plano de datos incomprensibles y picos repentinos de pura ansiedad, mientras se pierde progresivamente el sentido real de lo que se está controlando.
Finalmente, en el escenario human-out-of-the-loop, el humano se limita a diseñar la autopista para luego dejarla operar de forma autónoma. Es la máxima eficiencia unida al máximo riesgo: uno se encuentra esperando que los sistemas automáticos funcionen correctamente, mientras se distrae con el último episodio de una serie de televisión, asimilando una peligrosa delegación de responsabilidades.
Esta transición, sin embargo, nos expone a un riesgo sutil. A menudo se da por sentado que la unión de humano y máquina es la fórmula perfecta para maximizar la operatividad reduciendo riesgos, pero la realidad es muy diferente. Cuando un sistema automatizado colapsa, el control se devuelve repentinamente al operador en el peor momento posible: en medio del caos más absoluto y sin que este tenga un conocimiento profundo de las dinámicas del problema. De este modo, el humano se ve degradado a simple «colector de responsabilidades», listo para absorber las culpas legales, económicas y psicológicas de un desastre que no tuvo las herramientas ni el tiempo material para prevenir.
Automatización total
No estamos hablando de ciencia ficción, sino de escenarios reales en sectores que gestionamos a diario.
Ingeniería de software: nuestro nuevo colega es un agente de IA
Nuestro compañero de escritorio ya no es el colega experimentado y un poco nostálgico, sino Claudio, Gippi, Quenno o Deep: agentes autónomos que obtienen sus instrucciones de simples archivos en Markdown.
En este contexto, el agente puede actuar en cada momento como programador, tester o redactor de documentación. Nos encontramos rodeados de agentes virtuales que colaboran activamente, formulan preguntas, realizan tareas y escriben código en el mismo instante en que nosotros empezamos a concibirlo. Trabajan sin descanso, incluso de noche, mientras nosotros intentamos relajarnos. Estos sistemas planifican, se autocorrigen, se duplican y se coordinan de forma totalmente autónoma. Para nosotros, los programadores, la actividad diaria se está desplazando de la escritura manual de código a la orquestación de flotas de agentes en la nube y a la validación de sus planes de acción.
El caso de Nubank es emblemático en este sentido: una compleja migración ETL de 6 millones de líneas de código. Sobre el papel, era la clásica «misión suicida»: 18 meses de trabajo estimados para mil desarrolladores y noches enteras a base de pizza fría y café. La IA la resolvió en muy pocas semanas, gastando una vigésima parte. Una eficiencia monstruosa que, si por un lado nos libera de una aburrida pesadilla manual, por el otro nos deja una estupefacción que nos hace reflexionar: nuestro papel está cambiando y tenemos que asumirlo.
Intenta ponerte en la piel del Project Manager que había redactado aquel presupuesto de migración. Con 18 meses de presupuesto asegurado, ya estaba saboreando unas vacaciones de ensueño con la familia en una isla tailandesa, imaginándose tomando un Cha Yen helado y disfrutando de un Pad Thai caliente en una playa del sudeste asiático. En cambio, vio cómo su planificación se desmoronaba bajo sus pies en menos de un mes, gracias a una flota de agentes en la nube operativos incluso de noche. Ahora se encuentra sentado en la oficina rediseñando todos los objetivos de la empresa, intentando comprender cómo vender y gestionar un trabajo en el que las personas ya no colocan los ladrillos, sino que solo deben validar el proyecto del arquitecto sintético.
Fuente: Nubank, la migración contada por Devin.
Entrenamiento de IA: ahora es la IA la que se juzga a sí misma
Muchos recordarán la complejidad del Aprendizaje por Refuerzo a partir de Feedback Humano (RLHF): una multitud de personas contratadas para clasificar lo que se consideraba correcto o incorrecto. Un proceso lento y costoso que recordaba de forma casi cómica a las viejas listas escolares escritas en la pizarra por el compañero de clase «Luigi» de turno, que decidía quién era bueno o malo basándose únicamente en sus simpatías del día. Este enfoque basado en el arbitrio demostró ser poco escalable: las personas son caras y corren el riesgo de volverse locas tras la centésima evaluación frente al ordenador. Por ello, la industria se ha orientado decididamente hacia el AI Feedback (Feedback de IA): las máquinas se entrenan, se corrigen y se evalúan mutuamente en un ciclo continuo. Un sistema indubbiamente ultrarrápido y económico, pero donde la IA «alumna» solo aprende a complacer las reglas abstractas de la IA «maestra», igual que el alumno pelota que lleva la manzana al escritorio del profesor sin haber entendido realmente la lección.
Los frameworks de agentes modernos también siguen este esquema: sistemas en los que grupos de agentes se analizan recíprocamente, corrigiéndose y evolucionando de forma autónoma. La Constitutional AI de Anthropic se basa exactamente en este principio: sistemas que se corrigen a sí mismos adhiriéndose a una constitución específica de reglas preestablecidas. Con un detalle que lo cambia todo: esa constitución, por ahora, la seguimos escribiendo nosotros. Delegamos en las máquinas la ejecución del juicio, no la elección de los valores en los que se funda ese juicio.
Moderación y soporte
También en la moderación de contenidos y en la atención al cliente, la IA está asumiendo un papel predominante. Los sistemas de triaje automático filtran ya la mayor parte de los contactos, delegando en los operadores humanos únicamente la gestión de los casos más ambiguos o sensibles.
Klarna llevó este concepto al extremo, sustituyendo a cientos de operadores por un asistente virtual. Aunque las métricas iniciales mostraban una reducción drástica de los tiempos de respuesta y un volumen sin precedentes de conversaciones gestionadas, la falta de empatía y flexibilidad generó una fuerte insatisfacción en los clientes y un aumento imprevisto de los costes operativos de recuperación. La lección está clara: la automatización extrema ofrece una eficiencia extraordinaria, pero cuando entran en juego la complejidad, el juicio y la empatía, la presencia humana sigue siendo indispensable.
Fuente: Klarna da marcha atrás y vuelve a contratar: Corriere della Sera.
A pesar de los contratiempos temporales, la dirección trazada por la industria es evidente. Aunque hoy debamos aceptar compromisos de calidad, la progresiva sofisticación de los modelos conducirá a la exclusión casi total del ser humano de los flujos operativos directos. Si bien por un lado esto nos liberará de tareas repetitivas y alienantes, por el otro nos acercará a un escenario en el que nuestra contribución quedará confinada a la supervisión de alto nivel o a la gestión de las únicas excepciones críticas.
Las patologías de la autonomía: cuando la máquina se muerde la cola
El entusiasmo desenfrenado por la autonomía digital está empezando a chocar con comportamientos imprevistos. Los sistemas completamente automatizados y carentes de un anclaje externo real tienden a desarrollar verdaderas patologías operativas.
El colapso del pensamiento crítico sintético
Confiar el juicio de una IA a otra IA genera un cortocircuito lógico. El modelo evaluado aprende rápidamente a optimizar sus respuestas para complacer a su evaluador sintético, en lugar de resultar realmente útil para el usuario real. Si en el pasado el estudiante llevaba una manzana a la profesora para ganarse su favor, hoy las IA son entrenadas literalmente para cumplir parámetros formales. Estamos entrenando modelos aptos para aprobar con nota los test de evaluación, descuidando la comprensión auténtica de las materias tratate.
El resultado es una producción masiva de textos largos, ceremoniosos y carentes de valor informativo real: un falso consenso sintético que enmascara la ausencia total de pensamiento crítico y diversidad. Frases como «Has tenido una idea fantástica, qué intuición más genial», repetidas como un mantra al principio de cada respuesta, no pertenecen al lenguaje humano. Las máquinas las adoptan exclusivamente porque saben que ese tono condescendiente satisface los criterios de evaluación del algoritmo juez. Este bucle de retroalimentación termina premiando la mediocridad, penalizando la originalidad y aplanando todo el ecosistema informativo.
Europa pone un parche (¿o tal vez no?)
Mientras la industria persigue el objetivo de procesos completamente automatizados, el legislador europeo ha introducido un freno rotundo con la aprobación de la Ley de IA de la UE (EU AI Act). El artículo 14 exige que, para los sistemas considerados de alto riesgo (como la sanidad, el transporte o las finanzas), se garantice siempre un control humano final, con la posibilidad de interrumpir a tiempo las operaciones del sistema.
Los requisitos definidos por la ley parecen casi ideados por expertos en experiencia de usuario: herramientas de diagnóstico para trazar los límites del sistema, interfaces diseñadas para mitigar la tendencia al sesgo de automatización (automation bias) solicitando la atención del operador, criterios de explicabilidad para comprender las rutas lógicas del modelo, posibilidad de anulación (override) para modificar o cancelar las decisiones, un botón de emergencia y controles biométricos cruzados.
Sobre el papel es fantástico, pero la realidad corre el riesgo de ser muy diferente. ¿No nos estaremos metiendo en el mismo túnel que los banners de cookies, donde ya nadie lee nada y se hace clic en ráfaga para no perder tiempo?
La supervisión podría reducirse a una ratificación formal y automática para no comprometer la velocidad de producción. Además, la obligación de mantener a un supervisor humano en el flujo corre el riesgo de configurar a este último como el escudo legal ideal para los productores de software, sobre quienes recaerá la responsabilidad de no haber intervenido a tiempo, incluso en ausencia del tiempo material o de la visibilidad necesarios para comprender el error del algoritmo.
Supervisar software complejo generado por IA significa mirar cada línea, cada prueba, cada ciclo y tener una visión holística del mismo: una tarea que requiere competencias técnicas profundas, una comprensión honda del contexto operativo y la capacidad de anticipar las consecuencias de cada decisión; una tarea hermosa sobre el papel, pero prácticamente irrealizable, a menos que te hayas inyectado el Compuesto V de pequeño sin sufrir daños psíquicos irreparables.
Conclusiones: no somos obsoletos, nos hemos vuelto indispensables
¿Estamos destinados a convertirnos en los dinosaurios de la era digital? La respuesta es no, pero sin duda nuestro trabajo está afrontando una profunda metamorfosis.
Ya no somos los albañiles digitales dedicados a colocar una línea de código tras otra. Nos estamos convirtiendo en los arquitectos de estos sistemas: ya no colocamos los ladrillos, sino que diseñamos la estructura, fijamos los límites regulatorios y los principios operativos dentro de los cuales pueden moverse las flotas de agentes autónomos. Es el mundo del Harness Engineering.
Y al igual que todo arquitecto responde por la estabilidad del edificio mucho después de que los albañiles se hayan ido, a nosotros nos queda la firma final: la última instancia llamada a desenredar las complejidades éticas y de responsabilidad que ninguna máquina es capaz de gobernar por sí sola.
Los límites surgidos de los primeros intentos de automatización total ofrecen una lección valiosa: excluir completamente el control humano genera sistemas frágiles, rígidos y, en última instancia, muy costosos. No por casualidad, en los sectores donde el error se paga con vidas humanas, como la aviación y la medicina, el ser humano nunca ha salido realmente del ciclo: permanece allí por un régimen de responsabilidad, no por nostalgia. La Ley de IA de la UE consagra este límite a nivel normativo, recordándonos que el futuro no reside en el conflicto entre el ser humano y la máquina, ni en la exclusión del ser humano del ciclo. La clave del éxito será la integración de interfaces y flujos capaces de gobernar la velocidad operativa de la IA sin abdicar jamás de nuestra inteligencia y responsabilidad profesional.
Nuestro papel está muy lejos de haber terminado: simplemente se ha vuelto mucho más estimulante, complejo y necesario. La diferencia la marcaremos nosotros, dejando de sufrir el shift right y empezando a reivincionar el control: exigir comprender los sistemas que firmamos, rechazar la degradación a meros colectores de responsabilidades, mantener la mano en el botón solo cuando sabemos realmente qué estamos deteniendo. Siempre y cuando no nos dejemos abatir por interfaces coloradas llenas de botones rojos que nos invitan a hacer clic sin pensar demasiado.
