de Dario Ferrero (VerbaniaNotizie.it)
Un informe independiente revela que las principales empresas tecnológicas no están preparadas para gestionar los riesgos de la inteligencia artificial general.
Imagina construir un coche sin frenos o diseñar un avión sin sistemas de seguridad. Suena absurdo, ¿verdad? Sin embargo, según un informe recién publicado por el Future of Life Institute, eso es exactamente lo que están haciendo las principales empresas tecnológicas del mundo con la inteligencia artificial.
El AI Safety Index 2025 ha evaluado a siete de las empresas más importantes que desarrollan inteligencia artificial avanzada, y los resultados son preocupantes: la mejor calificación fue un pobre C+, mientras que las demás obtuvieron notas aún peores. Estamos hablando de compañías como OpenAI (la de ChatGPT), Google DeepMind, Meta (Facebook), xAI (de Elon Musk), entre otras, que compiten por desarrollar lo que se conoce como “inteligencia artificial general”: sistemas capaces de razonar y resolver problemas complejos como lo haría un ser humano, pero potencialmente de forma mucho más rápida y poderosa.
El veredicto: «Fundamentalmente desprevenidas»
Los números hablan por sí solos. Anthropic, la empresa creadora de Claude, obtuvo la puntuación más alta con una nota general de C+. Las otras seis compañías —Google DeepMind, Meta, OpenAI, xAI, Zhipu AI y DeepSeek— recibieron calificaciones inferiores, siendo Zhipu AI y DeepSeek las que obtuvieron los peores resultados.
Pero, ¿qué significa concretamente esta calificación? Para entenderlo, primero hay que explicar qué es la inteligencia artificial general, o AGI, como se le llama en el sector. Mientras que los sistemas actuales como ChatGPT o Gemini están especializados en tareas concretas (conversación, traducción, redacción), la AGI representaría el siguiente paso: una inteligencia artificial capaz de comprender, aprender y aplicar conocimientos en cualquier ámbito, tal como lo hace la inteligencia humana.
El problema es que todas las empresas evaluadas han declarado su intención de desarrollar una inteligencia artificial general, pero solo Anthropic, Google DeepMind y OpenAI han definido una estrategia para garantizar que la AGI se mantenga alineada con los valores humanos. Y aun así, los expertos consideran que esas estrategias son insuficientes.
La metodología: cómo se asignaron las calificaciones
Para entender la gravedad de la situación, es importante saber cómo se asignaron estas calificaciones. El Future of Life Institute desarrolló un sistema de evaluación riguroso que va más allá de las declaraciones públicas de las empresas para analizar sus prácticas concretas.
Los 33 indicadores de seguridad
La evaluación se basa en 33 indicadores específicos que miden diferentes aspectos del desarrollo responsable de la IA. Estos indicadores no fueron elegidos al azar, sino que representan las mejores prácticas identificadas por la comunidad científica internacional para el desarrollo seguro de la inteligencia artificial.
Entre los indicadores se incluyen elementos como la existencia de políticas de seguridad documentadas, la presencia de equipos dedicados a la seguridad, la transparencia en la comunicación sobre riesgos, la capacidad para evaluar los riesgos antes del lanzamiento, la implementación de sistemas de monitoreo continuo y la existencia de mecanismos para que los empleados puedan reportar incidencias.
Los seis dominios críticos
Los 33 indicadores están organizados en seis dominios fundamentales que cubren diferentes pero interconectados aspectos de la seguridad de la inteligencia artificial.
El primer dominio se refiere a la seguridad existencial y evalúa si las empresas tienen estrategias para prevenir riesgos que podrían amenazar la existencia de la humanidad, incluyendo la capacidad de evaluar cuándo un sistema podría volverse demasiado poderoso para ser controlado.
El segundo dominio examina los daños actuales, analizando cómo las empresas abordan los riesgos ya presentes en la IA, como los sesgos algorítmicos, la desinformación o el uso indebido de la tecnología.
El tercer dominio es la transparencia, que evalúa cuán abiertas son las empresas respecto a sus métodos, riesgos y limitaciones, incluyendo la disposición a compartir información con investigadores independientes.
El cuarto dominio se centra en la gobernanza y analiza la estructura organizativa de las empresas, incluida la presencia de supervisión independiente y procesos claros de toma de decisiones en temas de seguridad.
El quinto dominio valora el compromiso con la comunidad, examinando si las empresas colaboran con investigadores externos, organizaciones de seguridad y la comunidad científica en general.
Por último, el sexto dominio evalúa la preparación normativa, verificando si las empresas están listas para trabajar con los reguladores y si apoyan el desarrollo de normativas adecuadas.
El proceso de revisión por pares
Los datos se recopilaron entre marzo y junio de 2025, combinando materiales disponibles públicamente con respuestas a cuestionarios específicos enviados a las empresas. Sin embargo, solo dos compañías (xAI y Zhipu AI) completaron completamente los cuestionarios, evidenciando un preocupante nivel de falta de colaboración en el sector.
Las calificaciones fueron asignadas por un panel de siete expertos independientes, entre ellos figuras prestigiosas como Stuart Russell de la Universidad de California, Berkeley, y el ganador del Premio Turing Yoshua Bengio. Este panel incluía tanto expertos enfocados en los riesgos existenciales de la IA como aquellos que trabajan en los daños a corto plazo, como el sesgo algorítmico y el lenguaje tóxico.
El proceso de evaluación fue diseñado para ser lo más objetivo posible, con criterios estandarizados y múltiples revisiones independientes para cada empresa.
La alarma de los expertos
Las conclusiones del informe han sido durísimas. Stuart Russell, uno de los máximos expertos mundiales en seguridad de la IA, declaró en una entrevista para IEEE Spectrum: «Los resultados del proyecto AI Safety Index sugieren que, aunque hay mucha actividad en las empresas de IA bajo el nombre de ‘seguridad’, esta aún no es muy efectiva. En particular, ninguna de las actividades actuales ofrece ningún tipo de garantía cuantitativa de seguridad».
Russell añadió una reflexión aún más preocupante: «Es posible que la dirección tecnológica actual nunca pueda respaldar las garantías de seguridad necesarias, en cuyo caso estaríamos realmente ante un callejón sin salida».
El panorama global de los incidentes con IA
Para comprender la urgencia del problema, es esencial analizar los datos sobre los fallos de la inteligencia artificial que ya están ocurriendo. El número de incidentes registrados está creciendo de forma exponencial, y las consecuencias son cada vez más graves.
Las cifras alarmantes de 2024
Según la base de datos AI Incidents, en 2024 se han registrado 233 incidentes relacionados con IA — un récord absoluto y un aumento del 56,4% respecto a 2023. No se trata de errores menores o problemas técnicos insignificantes, sino de eventos que han causado daños reales a personas, empresas y a la sociedad.
Casos emblemáticos de fallos
El sistema de conducción autónoma de Tesla ha mostrado problemas de “automation bias” — es decir, la tendencia de los usuarios a confiar excesivamente en sistemas automatizados. La NHTSA (Administración Nacional de Seguridad del Tráfico en Carreteras) abrió una investigación de seguridad que afecta hasta 2,4 millones de vehículos Tesla, incluyendo un accidente fatal con un peatón mientras estaba activo el sistema Full Self-Driving. ¿Significa esto que Tesla es culpable? No necesariamente. Es un sistema de ayuda, un asistente para la conducción. Quien está al volante debe saberlo. Si el conductor está dormido, distraído con el móvil, comiendo o haciendo otra cosa, la culpa es suya, no del sistema electrónico.
Un caso significativo fue el despido de un repartidor de Uber Eats, tras un fallo del sistema de reconocimiento facial que no logró identificarlo correctamente. El conductor denunció que la tecnología funciona peor con personas no blancas, lo que las coloca en desventaja. Por lo que sabemos, Uber implementó un sistema de validación humana que exige la revisión por al menos dos expertos antes de proceder con un despido.
En el sector sanitario, sistemas de IA usados en hospitales han dado diagnósticos erróneos que condujeron a tratamientos inadecuados. Un caso documentado mostró que un algoritmo para detección de cáncer produjo falsos positivos en el 70% de los casos, causando estrés emocional y gastos médicos innecesarios.
Durante las elecciones de 2024, varios sistemas de IA generaron contenidos políticos engañosos, incluyendo imágenes deepfake de candidatos en situaciones comprometedoras.
El costo humano y económico
Estos incidentes no son solo estadísticas. Detrás de cada número hay una persona que perdió su trabajo por un algoritmo discriminatorio, una familia afectada por un accidente causado por un sistema defectuoso de conducción autónoma o un paciente que recibió un diagnóstico erróneo. Por ello, es lógico prever también grandes pérdidas económicas, que hasta ahora nadie ha estimado con precisión.
El problema de la “carrera hacia abajo”
Max Tegmark, físico del MIT y presidente del Future of Life Institute, explicó el objetivo del informe: “El propósito no es avergonzar a nadie, sino dar incentivos a las empresas para que mejoren”. Tegmark espera que los directivos vean este índice como las universidades ven los rankings de U.S. News and World Report: pueden no gustarles ser evaluados, pero si las notas son públicas y llaman la atención, se sentirán motivados a mejorar para la próxima vez.
Uno de los aspectos más preocupantes del informe es lo que Tegmark llama una “carrera hacia abajo”. “Siento que los líderes de estas empresas están atrapados en una carrera desde la que ninguno puede salir, por mucho que quieran hacerlo”, dijo. Hoy, las empresas no quieren frenar para hacer pruebas de seguridad porque temen que sus competidores las adelanten en el mercado.
La dinámica del dilema del prisionero
Esta situación representa un clásico “dilema del prisionero” aplicado a la tecnología. Cada empresa sabe que sería mejor si todas desarrollaran la IA de forma segura y responsable, pero ninguna quiere ser la primera en desacelerar, por miedo a perder ventaja competitiva.
El resultado es que todas terminan compitiendo a la máxima velocidad, sacrificando la seguridad en favor de la rapidez. Es como si varias automotrices decidieran eliminar los frenos de sus coches para hacerlos más ligeros y rápidos, con la esperanza de llegar primero al mercado.
El efecto multiplicador de la competencia
Tegmark, quien cofundó el Future of Life Institute en 2014 para reducir riesgos existenciales derivados de tecnologías transformadoras, ha dedicado buena parte de su carrera académica a estudiar el universo físico. En los últimos años se ha centrado en los riesgos de la inteligencia artificial, convirtiéndose en una de las voces más autorizadas en el debate sobre la seguridad de la IA.
La presión competitiva no solo obliga a las empresas a lanzar productos antes de que estén totalmente seguros, sino que genera un efecto multiplicador: si una empresa recorta en seguridad para lanzar primero, las demás se ven forzadas a hacer lo mismo para no quedarse atrás.
Este mecanismo perverso significa que, incluso si los directivos o investigadores están realmente preocupados por la seguridad, la presión competitiva los obliga a priorizar la velocidad sobre la precaución. Es un problema sistémico que requiere una solución sistémica.
Análisis empresa por empresa
Anthropic: el “mejor de la clase” pero aún insuficiente
Anthropic obtuvo las mejores calificaciones globales (C+), siendo la única en recibir un B- por su trabajo sobre daños actuales. El informe destaca que sus modelos obtuvieron las puntuaciones más altas en los principales benchmarks de seguridad. También cuenta con una “política de escalamiento responsable” que evalúa el potencial de daños catastróficos y evita implementar modelos considerados demasiado riesgosos.
Anthropic se distingue por su investigación activa en alineación de IA, políticas de seguridad documentadas y públicas, colaboración con investigadores externos y transparencia sobre riesgos y limitaciones. Sin embargo, también recibió recomendaciones para mejorar, como publicar una política completa de denuncias internas (whistleblowing) y ser más transparente en la metodología de evaluación de riesgos. Que incluso la empresa “mejor” haya recibido solo un C+ ilustra la gravedad general del sector.
OpenAI: pérdida de capacidad y desviación de misión
OpenAI, la empresa que popularizó la IA con ChatGPT, recibió críticas muy duras. Según Time Magazine, las recomendaciones incluyen reconstruir el equipo de seguridad que se ha reducido y demostrar un compromiso renovado con la misión original.
OpenAI fue fundada en 2015 con la misión explícita de “asegurar que la inteligencia artificial general beneficie a toda la humanidad”. Sin embargo, el informe sugiere que se ha alejado de esta misión, enfocándose más en la comercialización que en la seguridad.
La mención a la “pérdida del equipo de seguridad” se refiere a la salida de destacados investigadores de seguridad en meses previos al informe, incluyendo expertos clave en alineación como Ilya Sutskever (cofundador y ex científico jefe) y Jan Leike (ex jefe del equipo de superalineación).
El informe también señala problemas de gobernanza, incluyendo la polémica destitución y posterior reincorporación del CEO Sam Altman en noviembre de 2023, que generó dudas sobre la estabilidad y dirección de la empresa.
Google DeepMind: coordinación insuficiente
Google DeepMind fue criticada por la falta de coordinación entre su equipo de seguridad y el equipo de políticas de Google. Solo DeepMind respondió a las solicitudes de comentario, diciendo: “Aunque el índice refleja algunos de los esfuerzos de seguridad de IA de Google DeepMind, nuestro enfoque completo va más allá de lo recogido”.
DeepMind es fruto de la fusión de DeepMind (adquirida por Google en 2014) y Google Brain (equipo interno de IA). Esta fusión, completada en 2023, buscaba sinergias, pero el informe sugiere que también generó problemas de coordinación.
DeepMind tiene una reputación excelente por logros científicos, como AlphaGo (que venció al campeón mundial de Go) y AlphaFold (que resolvió el plegamiento de proteínas). Sin embargo, el informe indica que esta excelencia técnica no se traduce en liderazgo en seguridad.
Meta: problemas significativos pero no la peor
Meta recibió críticas severas, aunque no fue la peor evaluada. Se recomendó aumentar significativamente la inversión en investigación de seguridad técnica, especialmente en protecciones para modelos open-weight.
Los “modelos open-weight” son aquellos cuyos “pesos” (parámetros que determinan el comportamiento del modelo) son públicos y pueden usarse o modificarse libremente.
Esta estrategia tiene ventajas: fomenta la innovación distribuida, reduce la concentración del poder y facilita la investigación académica. Pero también implica riesgos, porque los modelos no pueden retirarse si se detectan problemas, y su uso no puede controlarse, pudiendo ser modificados para fines dañinos.
Meta ha lanzado varias versiones de su modelo Llama (Llama 2, Llama 3). Aunque estos avances aceleraron la innovación, generaron preocupaciones de seguridad. El informe sugiere que Meta debería implementar protecciones más robustas antes de lanzar nuevos modelos.
xAI: problemas culturales graves
La empresa de Elon Musk, xAI, fue duramente criticada no solo por sus bajos puntajes en seguridad sino también por problemas culturales. Se recomienda corregir su extrema vulnerabilidad al “jailbreak” antes del próximo lanzamiento y desarrollar un marco completo de seguridad para IA.
El “jailbreaking” son técnicas para evadir las protecciones de seguridad de la IA y lograr que produzca contenido dañino o inapropiado. La vulnerabilidad extrema de xAI indica que sus sistemas de seguridad son muy débiles.
El informe sugiere que estos problemas están relacionados con la cultura corporativa. Musk ha expresado escepticismo hacia la regulación y promueve un enfoque “muévete rápido y rompe cosas” que puede no ser compatible con un desarrollo seguro.
El sistema de IA de xAI, Grok, fue diseñado para ser “máximamente buscador de la verdad” y menos censurado que otros, pero esto causó controversias cuando Grok generó contenido problemático o engañoso.
Zhipu AI y DeepSeek: los peores resultados
Las dos empresas chinas, Zhipu AI y DeepSeek, obtuvieron las peores calificaciones. Ambas recibieron recomendaciones para desarrollar y publicar marcos de seguridad más completos y aumentar drásticamente la evaluación de riesgos.
Las empresas chinas operan en un contexto regulatorio diferente, donde la seguridad de la IA se ve más desde la perspectiva de la seguridad nacional y estabilidad social que desde la seguridad existencial global.
Zhipu AI es conocida por su modelo ChatGLM y ha recibido inversiones significativas del gobierno chino, pero el informe señala que ha invertido muy poco en investigación de seguridad.
DeepSeek es una empresa más pequeña pero ambiciosa, que busca competir con gigantes occidentales, y parece haber sacrificado seguridad por velocidad.
El fracaso en abordar riesgos existenciales
Quizás el aspecto más alarmante es que las siete empresas obtuvieron puntuaciones muy bajas en estrategias para mitigar riesgos existenciales. Esto significa que, aunque todas dicen querer construir sistemas de inteligencia artificial general, ninguna tiene un plan creíble para asegurar que estos sistemas permanezcan bajo control humano.
Qué es un “riesgo existencial”
Un riesgo existencial es un evento que podría causar la extinción de la humanidad, reducir drásticamente y de forma permanente su potencial, o impedir el progreso civilizatorio.
En IA, un riesgo existencial podría darse si creamos sistemas más inteligentes que nosotros pero que no compartan nuestros valores, decidan que la humanidad es un obstáculo o se salgan de nuestro control antes de poder apagarlos.
El problema del alineamiento
Como explicó Tegmark: “La verdad es que nadie sabe cómo controlar una nueva especie mucho más inteligente que nosotros. El panel de revisión encontró que incluso las empresas con alguna estrategia inicial no están preparadas”.
El problema del alineamiento es, básicamente, cómo asegurarnos de que un sistema superinteligente haga lo que queremos, no lo que cree mejor.
Imagina que tienes que explicarle a un niño de 5 años cómo manejar una multinacional. Aunque quiera ayudar, la diferencia en comprensión es tan grande que no podría entender tus intenciones ni actuar en consecuencia. Ahora imagina que el niño eres tú y la multinacional la maneja una IA superinteligente.
Los enfoques actuales y sus límites
Las grandes empresas usan diferentes métodos para tratar de resolver el problema del alineamiento. El aprendizaje reforzado con retroalimentación humana (RLHF) entrena sistemas usando opiniones humanas para reforzar comportamientos deseados. Pero tiene límites: es difícil de escalar, los humanos no siempre entienden las consecuencias y no funciona bien con sistemas más inteligentes que los humanos.
El “Constitutional AI”, desarrollado por Anthropic, intenta enseñar a los sistemas a seguir una “constitución” de principios. Pero sigue el problema de cómo definir esos principios y asegurarse de que se respeten.
La interpretabilidad mecanicista busca entender cómo funcionan internamente los sistemas de IA, pero la complejidad actual hace esto
-El artículo continuará en una segunda parte
