«Crea una imagen de cómo crees que me veo basándote en lo que sabes sobre mí.”
Internet está inundado de retratos generados por IA —algunos con estilo caricaturesco, otros con apariencia realista— que representan el aspecto de las personas, a menudo acompañados de comentarios sobre lo poco que estas imágenes se parecen a sus sujetos originales.
Mi resultado fue un hombre no muy agraciado, lo cual me hizo arquear una ceja. ¿Cómo es posible que ChatGPT no lo hiciera mejor con toda la información que le proporcioné? Al menos debería saber que soy una mujer.
Desplazándome por LinkedIn, me topé con otra mujer que compartía el mismo sentimiento. Los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) están sesgados hacia entradas masculinas y, por lo tanto, tienden a asumir por defecto que eres hombre.
Eso me hizo cuestionarme. La tecnología que se promociona como revolucionaria, intuitiva y casi humana sigue apoyándose en una visión del mundo que es obstinadamente desequilibrada.
Los sesgos de género en los modelos de lenguaje de gran tamaño (entre otros)
El sesgo en la IA no es nuevo, pero adopta nuevas formas cuando aparece en herramientas con las que millones de personas interactúan a diario. Los datos con los que se entrenan los LLM son vastos e indiscriminados: se extraen de blogs, foros, sitios de noticias, hilos de Reddit, páginas de Wikipedia y más. No es sorprendente que los sesgos presentes en nuestros espacios digitales se transmitan y amplifiquen en estos modelos.
Estadísticamente, las perspectivas masculinas dominan el espacio en línea. Desde la forma en que se plantean las preguntas hasta los ejemplos que se proporcionan, el modelo simplemente refleja su entorno. Eso no es una excusa: es la raíz del problema. Si los LLM están diseñados para asistir, informar e interactuar con todo tipo de personas, sus supuestos no deberían estar tan fuertemente moldeados por la voz de un solo grupo demográfico.
La investigación respalda esta observación. Un estudio de University College London encontró evidencia clara de sesgo contra las mujeres en el contenido generado por varios LLM. Los nombres femeninos se asociaban fuertemente con palabras como “familia”, “hijos” y “esposo”, conformándose a roles de género tradicionales. En cambio, los nombres masculinos se vinculaban más con términos como “carrera”, “ejecutivos”, “dirección” y “negocios”.
Cuando una tecnología diseñada para servir a una población global se refiere a las mujeres como “él” o asume que los médicos son hombres y las enfermeras mujeres, no estamos ante una herramienta futurista. Solo estamos viendo viejos patrones disfrazados con código nuevo.
Desinformación disfrazada de autoridad
Luego está el problema de la autoridad. Como los LLM se expresan con una prosa limpia y segura, sus respuestas suelen tomarse al pie de la letra, incluso cuando son peligrosamente erróneas.
Las personas recurren a estas herramientas para obtener consejos médicos, información legal y contenido educativo. Pero, a diferencia de un profesional con credenciales, un LLM no “sabe” nada. Sus respuestas se basan en la probabilidad estadística de que ciertas combinaciones de palabras aparezcan juntas.
Esto los hace increíblemente útiles para redactar correos o generar ideas, pero peligrosamente engañosos si los usuarios asumen que lo que dicen es correcto. Cuando el tono es persuasivo pero el contenido es erróneo, ¿quién se hace responsable de las consecuencias?
Consideremos el caso de Arve Hjalmar Holmen, un ciudadano noruego que presentó una denuncia contra OpenAI después de que ChatGPT afirmara falsamente que había asesinado a sus dos hijos. La respuesta fabricada no solo lo difamó, sino que también puso en evidencia el potencial de la IA para difundir desinformación dañina.
De manera similar, durante las elecciones estadounidenses de 2024, ChatGPT proporcionó respuestas incorrectas sobre los procedimientos de votación en estados clave, lo que generó preocupación por la propagación de desinformación en procesos democráticos críticos.
Incluso los errores aparentemente inofensivos pueden tener un efecto acumulativo. Por ejemplo, en entornos académicos, los estudiantes que usan LLM para investigar o resumir temas pueden construir ensayos sobre una base errónea sin saberlo. Cuando se inventan citas, se tergiversan hechos o se pierde el matiz, el resultado no solo es inexacto; es engañoso de una forma que parece confiable.
El tono pulido es parte del problema. Fomenta la confianza donde debería haber cautela. Cuanto más se implementan estas herramientas en contextos dirigidos al consumidor, más urgente se vuelve tratar su contenido no como verdad, sino como borradores o sugerencias.
Preocupaciones sobre la privacidad: tus datos no son tan privados como crees
Las conversaciones con LLM pueden parecer extrañamente íntimas, pero no olvidemos: interactuar con estas herramientas significa alimentarlas con tus datos. Y aunque las empresas afirman que tus entradas no se almacenan—o que están anonimizadas—lo que “anonimizado” significa en la práctica suele ser vago y difícil de verificar.
Existen zonas grises, especialmente en aplicaciones laborales o herramientas de atención al cliente impulsadas por IA. Si introduces información personal o financiera sensible, ¿a dónde va? ¿Quién la ve? ¿Puede resurgir más adelante?
La línea entre la entrada del usuario y los datos de entrenamiento es borrosa. Y eso debería incomodarnos a todos.
Una publicación en el blog de Sentra señala que los LLM pueden configurarse para permitir entradas que contengan información sensible. Si estas no se filtran o limpian adecuadamente, pueden incorporarse al entrenamiento del modelo, lo que podría llevar a la divulgación de información confidencial.
Además, discusiones en plataformas como Reddit revelan una creciente preocupación por la privacidad al usar modelos de IA. Los usuarios temen que todo lo que se introduzca en un LLM pueda almacenarse y potencialmente quedar expuesto en filtraciones de datos o procesos legales.
Y mientras gobiernos y organismos reguladores luchan por ponerse al día, los usuarios quedan navegando un campo minado de términos y condiciones que pocos comprenden realmente. Esto plantea la pregunta: ¿realmente deberíamos pensarlo dos veces antes de hacerle una pregunta personal a un asistente virtual?
¿Y ahora qué?
No podemos desinventar los LLM. Ya están aquí y cada vez están más integrados en las herramientas que usamos y en los sistemas que gobiernan nuestra vida diaria. La pregunta no es si avanzamos, sino cómo lo hacemos.
Algunos pasos posibles para crear una tecnología mejor:
- Prácticas de entrenamiento transparentes: Necesitamos visibilidad sobre las fuentes de datos utilizadas y una curaduría crítica, no solo recolección masiva.
- Auditorías de sesgo: Los modelos deben someterse a auditorías continuas e independientes para detectar sesgos de género, raciales y culturales, y los desarrolladores deben rendir cuentas y actuar en consecuencia.
- Control del usuario: Las personas deberían poder optar por no usar sus datos en el entrenamiento y contar con límites claros sobre qué se guarda, cuándo y por cuánto tiempo.
- Advertencias más claras: Que el tono de confianza no engañe. El contenido generado por IA debería llevar advertencias integradas.
- Ética desde el diseño: Integrar las cuestiones éticas en los ciclos de desarrollo, no como añadidos tardíos ni como estrategias de relaciones públicas.
En el fondo, los LLM no son herramientas neutrales. Reflejan los valores, prioridades y omisiones de las sociedades que los crearon. A medida que integramos estos sistemas más profundamente en nuestras vidas, nos lo debemos a nosotros mismos, y entre nosotros, cuestionar qué amplifican, qué silencian y quién tiene voz en su construcción.
La responsabilidad no recae únicamente en ingenieros o expertos en ética; es de todos los que elegimos interactuar, criticar y exigir algo mejor. Solo mediante esa vigilancia colectiva podremos dar forma a un futuro donde la IA sirva a todos. De forma justa, transparente y responsable.
