{"id":36709,"date":"2026-10-01T13:58:51","date_gmt":"2026-10-01T11:58:51","guid":{"rendered":"https:\/\/www.codemotion.com\/magazine\/?p=36709"},"modified":"2026-10-01T13:58:53","modified_gmt":"2026-10-01T11:58:53","slug":"automejora-recursiva-en-ia-que-significa-realmente-ese-10-de-riesgo-de-extincion","status":"publish","type":"post","link":"https:\/\/www.codemotion.com\/magazine\/es\/inteligencia-artificial\/automejora-recursiva-en-ia-que-significa-realmente-ese-10-de-riesgo-de-extincion\/","title":{"rendered":"Automejora recursiva en IA: \u00bfqu\u00e9 significa realmente ese 10 % de riesgo de extinci\u00f3n?"},"content":{"rendered":"\n

\u00bfTe imaginas renunciar al trabajo de tus sue\u00f1os porque est\u00e1s convencido de que el producto en el que trabajas podr\u00eda acabar con la humanidad? Suena a un guion de pel\u00edcula de terror o ciencia ficci\u00f3n, pero acaba de ocurrir en la vida real. Y lo m\u00e1s preocupante no es solo la renuncia, sino qui\u00e9n sali\u00f3 a darle la raz\u00f3n. En el centro de esta discusi\u00f3n aparece una idea clave: la automejora recursiva en IA<\/strong>, la posibilidad de que un sistema pueda generar, evaluar y conservar mejoras sobre sus propias estrategias. Aqu\u00ed tienes el desglose, sin filtros, de lo que est\u00e1 pasando en la \u00e9lite de la inteligencia artificial.<\/p>\n\n\n\n

El detonante, cr\u00f3nica de una renuncia anunciada<\/strong><\/h2>\n\n\n\n

Una renuncia en Anthropic abri\u00f3 una conversaci\u00f3n inc\u00f3moda, quienes est\u00e1n construyendo la IA m\u00e1s avanzada tambi\u00e9n est\u00e1n preocupados por no saber todav\u00eda c\u00f3mo controlarla.<\/p>\n\n\n\n

A principios de septiembre de 2026, Jacob Coxon<\/strong>, un brillante investigador que pas\u00f3 los \u00faltimos tres a\u00f1os entrenando modelos avanzados en OpenAI<\/strong> y Anthropic<\/strong>, anunci\u00f3 p\u00fablicamente su renuncia y su argumento fue bastante m\u00e1s inc\u00f3modo que un simple \u201cno estoy de acuerdo con la empresa\u201d<\/em>.<\/p>\n\n\n\n

\u00bfEl motivo? denunci\u00f3 p\u00fablicamente que la carrera por construir una superinteligencia se est\u00e1 llevando a cabo de forma irresponsable y su c\u00e1lculo estima que hay m\u00e1s de un 10% de probabilidad de que la IA provoque nuestra extinci\u00f3n<\/strong> antes de que termine la d\u00e9cada.<\/p>\n\n\n\n

Para ponerlo en perspectiva, el analista tecnol\u00f3gico Santiago Bilinkis usa una met\u00e1fora perfecta, jugar a la ruleta rusa con un rev\u00f3lver de seis tiros te da un 16% de probabilidad de morir y, un 10% no es un riesgo menor cuando hablamos del destino global<\/a>.<\/p>\n\n\n\n

En este caso, Coxon sostuvo que las compa\u00f1\u00edas est\u00e1n avanzando hacia sistemas capaces de mejorarse a s\u00ed mismos<\/strong> a una velocidad que considera irresponsable. Seg\u00fan explic\u00f3, ambas empresas est\u00e1n compitiendo por llegar primero a una inteligencia cada vez m\u00e1s poderosa mientras todav\u00eda existen enormes interrogantes sobre c\u00f3mo mantenerla alineada con los objetivos humanos.<\/p>\n\n\n\n

Su publicaci\u00f3n se volvi\u00f3 viral y super\u00f3 los 140 millones de visualizaciones<\/strong> seg\u00fan los reportes recogidos por medios internacionales y, hasta aqu\u00ed podr\u00edamos pensar que se trata de otro caso de un empleado que abandona una compa\u00f1\u00eda tecnol\u00f3gica y decide hacer p\u00fablica su preocupaci\u00f3n. Pero entonces ocurri\u00f3 algo bastante m\u00e1s extra\u00f1o.<\/p>\n\n\n\n

Su propio jefe le dio la raz\u00f3n<\/strong><\/h3>\n\n\n\n

Si esperabas que Anthropic lanzara un comunicado corporativo desmintiendo el esc\u00e1ndalo y calmando a los inversores, te equivocas. Lo que realmente rompi\u00f3 el ecosistema tech<\/em> fue la reacci\u00f3n de Evan Hubinger<\/strong>, el mism\u00edsimo director del equipo de seguridad y alineamiento de la compa\u00f1\u00eda, y lo que dijo no fue precisamente para desmentirlo.<\/p>\n\n\n\n

Hubinger, desde adentro de la empresa y manteniendo su cargo, declar\u00f3 p\u00fablicamente: \u201cJacob tiene raz\u00f3n. De verdad creemos que la IA podr\u00eda matar a todos los humanos. Personalmente, <\/em>calculo que la probabilidad es de m\u00e1s del 10% en la pr\u00f3xima d\u00e9cada<\/em><\/a>\u201d.<\/em><\/p>\n\n\n\n

Lo m\u00e1s grave de su declaraci\u00f3n fue la admisi\u00f3n de una falla estructural en la industria: Anthropic todav\u00eda no tiene un plan claro para resolver la alineaci\u00f3n de una superinteligencia; <\/strong>es decir, asegurarse de que sus objetivos coincidan con la supervivencia humana, y tampoco est\u00e1n seguros de poder lograrlo a tiempo y, para tenerlo m\u00e1s claro Evan Hubinger no es cualquier persona, es el responsable de ciencia de alineamiento en Anthropic y antiguo jefe de Coxon, no es cualquier persona.<\/p>\n\n\n\n

Y aqu\u00ed es donde la historia deja de ser solamente un titular viral, porque estamos hablando de alguien cuyo trabajo consiste precisamente en estudiar c\u00f3mo hacer que sistemas de IA avanzados se comporten de acuerdo con las intenciones humanas. Analizando la crisis tenemos que: <\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Automejora recursiva en IA: \u00bfqu\u00e9 significa realmente ese 10 %?<\/strong><\/h3>\n\n\n\n

Aqu\u00ed necesitamos bajar un poco el volumen del apocalipsis, porque ese 10% no es una estad\u00edstica cient\u00edfica demostrada<\/strong>, ni significa que exista un c\u00e1lculo matem\u00e1tico que indique que tenemos una posibilidad exacta de 1 entre 10 de desaparecer.<\/p>\n\n\n\n

Es una estimaci\u00f3n personal de riesgo <\/strong>y en el mundo de la seguridad de IA suele hablarse de p(doom)<\/em> para referirse a estimaciones sobre la probabilidad de que una IA avanzada produzca una cat\u00e1strofe existencial o una p\u00e9rdida irreversible del control humano.<\/p>\n\n\n\n

El problema es que tenemos muy pocos datos emp\u00edricos sobre escenarios de este tipo. Un an\u00e1lisis del Center for Security and Emerging Technology de Georgetown<\/a> se\u00f1ala precisamente que existe poca evidencia para cuantificar estos riesgos y que, por eso, muchas de estas cifras son esencialmente juicios expertos bajo una enorme incertidumbre.<\/p>\n\n\n\n

Dicho de otra manera, 10 % no significa \u201cla ciencia descubri\u00f3 que nos queda una d\u00e9cada\u201d, <\/strong>m\u00e1s bien significa: un investigador especializado considera que el riesgo es suficientemente serio como para ponerle una cifra superior al 10 %. <\/em>Y eso es muy distinto.<\/p>\n\n\n

\n
\"\"<\/a><\/figure>\n<\/div>\n\n\n

\u00bfPor qu\u00e9 importa la automejora recursiva en IA?<\/strong><\/strong><\/h3>\n\n\n\n

Porque la discusi\u00f3n no gira realmente alrededor de un robot que ma\u00f1ana decidir\u00e1 exterminar a la humanidad. El problema que preocupa a investigadores como Coxon y Hubinger es otro: \u00bfqu\u00e9 sucede cuando una IA puede mejorar sus propias capacidades?<\/em><\/strong><\/p>\n\n\n\n

Hoy construimos modelos, los entrenamos, los evaluamos y ponemos l\u00edmites, pero imaginemos sistemas capaces de investigar, programar, dise\u00f1ar experimentos, modificar partes de s\u00ed mismos y generar nuevas versiones de sus propias capacidades. Ah\u00ed aparece el concepto de automejora recursiva, <\/strong>y el desaf\u00edo ya no ser\u00eda solamente \u201c\u00bfla IA est\u00e1 haciendo lo que le pedimos?\u201d<\/em><\/strong> <\/em>sino la pregunta ser\u00eda \u201c\u00bfseguimos entendiendo qu\u00e9 est\u00e1 haciendo despu\u00e9s de cada nueva iteraci\u00f3n?\u201d<\/em><\/strong><\/p>\n\n\n\n

Ese problema pertenece al coraz\u00f3n del alignment<\/em>, o alineamiento, que no es otra cosa que, conseguir que un sistema extremadamente capaz siga comport\u00e1ndose de acuerdo con los objetivos, l\u00edmites y valores que sus creadores pretenden establecer. Y todav\u00eda no tenemos una soluci\u00f3n definitiva para ese problema. Eso no lo digo yo: es precisamente una de las preocupaciones que Hubinger hizo p\u00fablicas.<\/p>\n\n\n\n

Ahora bien, m\u00e1s all\u00e1 del morbo apocal\u00edptico, este evento expone fallas sist\u00e9micas en el desarrollo de productos que todo creador y profesional tech<\/em> debe entender:<\/p>\n\n\n\n