En el primer artículo de esta serie quedamos en una idea que conviene recordar: la inteligencia artificial es un amplificador. Hace más rápido y a más escala lo que la organización ya hacía, para bien y para mal.
- Hoy vamos al «para mal» más importante de todos, el que más afecta
a las personas y el que más se invoca cuando se habla de IA en cualquier comité de diversidad: los sesgos. No como concepto abstracto, sino con casos reales, con un porqué comprensible para una persona no técnica, y con un procedimiento concreto para auditarlos en una empresa mediana sin necesidad de tener un equipo de científicos de datos.
Dos historias para empezar
Amazon construye internamente un sistema de IA para preseleccionar candidaturas técnicas. La idea era razonable: el equipo de reclutamiento estaba saturado y el volumen de currículos era enorme. El sistema aprendía a partir de los currículos que Amazon había recibido en los diez años anteriores y de cuáles de esas personas habían terminado siendo contratadas. Sobre el papel, una decisión puramente meritocrática: la máquina aprendería qué perfiles funcionan y propondría los parecidos.
El problema apareció cuando el equipo de auditoría interno se dio cuenta de que el sistema penalizaba sistemáticamente las candidaturas femeninas. Restaba puntos a quien hubiese estudiado en universidades femeninas. Restaba puntos a quien incluyese la palabra women en su currículum (por ejemplo, en *»capitana del equipo de ajedrez de mujeres»*). Restaba puntos por patrones de lenguaje más frecuentes en mujeres a la hora de redactar.
Ningún ingeniero programó eso.
Amazon no introdujo deliberadamente una norma contraria a las mujeres. Lo que ocurrió fue más incómodo: el sistema aprendió que en los diez años anteriores, en el sector tecnológico, las contrataciones de mujeres habían sido proporcionalmente menores. Concluyó, con lógica matemática impecable y consecuencias éticamente desastrosas, que ser hombre era una característica predictiva de éxito. Amazon descartó el sistema antes de pasarlo a producción. La historia se conoció porque la propia compañía la filtró. Una decisión honesta y, sobre todo, una decisión posible porque alguien estaba auditando.
- Lo interesante es lo que ha pasado después. En 2025, Amazon ha
vuelto al hiring con IA lanzando una nueva herramienta llamada Connect Talent, esta vez diseñada con registros de auditoría, anonimización de nombres y capacidad de revisión humana obligatoria. Es decir, han vuelto, pero con las cicatrices del incidente incorporadas al producto.
- En paralelo, la ciudad de Nueva York puso en vigor en julio de 2023
la Local Law 144, que obliga a cualquier empresa que use herramientas automáticas en contratación a auditarlas anualmente y notificarlo a los candidatos. Y en 2024 se admitió a trámite una demanda colectiva contra Workday por discriminación algorítmica por edad, raza y discapacidad en sus sistemas de cribado, todavía pendiente de resolución. La conclusión práctica es que el sesgo en hiring por IA dejó de ser un tema técnico para ser un tema judicial.
España, 2018-2025. El caso BOSCO.
BOSCO es el algoritmo que utiliza el Gobierno español para decidir quién tiene derecho al bono social eléctrico, una ayuda para hogares en situación de vulnerabilidad energética. La fundación Civio detectó hace años que el sistema estaba denegando ayudas a familias que cumplían los requisitos legales (viudas, familias numerosas) y emprendió un litigio para acceder al código fuente y poder auditar el algoritmo. La administración respondió durante años que el código era propiedad intelectual de un proveedor privado y que no estaba obligada a publicarlo. Tres tribunales previos (Consejo de Transparencia, juzgado contencioso y Audiencia Nacional) le dieron la razón al Gobierno entre 2019 y 2024.
- El 11 de septiembre de 2025, sentencia histórica. El *Tribunal
Supremo* (STS 1119/2025) revocó la decisión de la Audiencia Nacional y condenó al Gobierno a entregar el código fuente de BOSCO a Civio.
- Es la primera vez en la historia del derecho administrativo español
que un tribunal ordena la apertura del código fuente de un sistema algorítmico de decisión pública. El Supremo rechaza expresamente que la propiedad intelectual del proveedor sea un escudo absoluto frente al derecho de acceso a información pública, y cita el régimen de transparencia que impone el Reglamento Europeo de IA como argumento adicional. La doctrina aplica a cualquier algoritmo público que decida sobre prestaciones, ayudas o derechos de ciudadanos.
- Es, sin exagerar, un punto de inflexión en la rendición de cuentas
algorítmica en España, y conviene tenerlo presente porque marca un antes y un después en lo que los proveedores tecnológicos pueden y no pueden esconder al sector público.
Estas dos historias no son curiosidades.
COMPAS
![ilustración de una balanza trazada con luz azul y sostenida por una
Son la regla, no la excepción, cuando se introduce IA en procesos que afectan a personas sin un protocolo previo de auditoría. Y se podrían añadir muchas más, todas con desenlaces recientes: el algoritmo de reincidencia delictiva COMPAS sigue usándose en varios estados de Estados Unidos pese a los estudios de 2024-2025 que confirman que el sesgo racial se agrava en seguimientos largos;
- la Apple Card y Goldman Sachs, investigada por discriminación de
género en 2019 y exonerada formalmente en 2021, fue multada con 89,8 millones de dólares por la CFPB en octubre de 2024 (no por sesgo, sino por fallos graves en la gestión de reclamaciones),
- y Goldman acabó saliendo del negocio para que JPMorgan Chase recoja
el programa en 2026;
- Joy Buolamwini, que documentó el sesgo racial y de género en
reconocimiento facial en el MIT, publicó en 2023 el libro *Unmasking AI*, recibió el galardón de la NAACP en 2024 y desde entonces Microsoft (mayo 2024) ha extendido a nivel mundial la prohibición de usar sus servicios para reconocimiento facial policial en tiempo real, IBM mantiene su salida del negocio y Amazon su moratoria.
Por qué ocurre, explicado sin matemáticas
![Escalas Modernas de Justicia: Icono Digital para Conceptos Jurídicos.
Mucha gente, dentro y fuera del sector, asume que el sesgo aparece porque algún ingeniero «programa mal». Casi nunca es así. El sesgo en IA tiene tres orígenes, y todos son perfectamente humanos.
I. Primero, los datos. La IA aprende del pasado. Si el pasado de tu organización (o el del mundo, si usas un modelo general) contiene decisiones sesgadas, el modelo las absorbe como verdad estadística. No está haciendo nada raro: está haciendo exactamente lo que le pediste, encontrar patrones. Que esos patrones reflejen décadas de exclusión no es problema del modelo, es problema de los datos. El sistema de Amazon aprendió que las mujeres eran menos contratadas porque, efectivamente, lo eran.
II. Segundo, lo que medimos. Los modelos optimizan una métrica concreta que alguien, humano, ha decidido. Si optimizas por «candidatos parecidos a los que ya contratamos», estás optimizando por «perpetuar el equipo actual». Si optimizas por «minimizar morosidad» sin restricciones de equidad, el sistema descubrirá rápidamente que cierto código postal, cierto barrio o cierta edad correlacionan con riesgo, y dejará fuera a todo el mundo de ese código postal. Aunque ese código postal, casualidades de la historia urbana española, sea precisamente un barrio con población migrante.
III. Tercero, lo que dejamos fuera. Si tu modelo de salud se entrenó principalmente con datos de pacientes hombres de mediana edad, va a funcionar peor diagnosticando a mujeres mayores, a personas embarazadas o a niños. No por mala fe: porque no aprendió sobre ellos. Es el fenómeno conocido como underrepresentation. Lo invisible para el modelo no existe, y lo invisible suele coincidir con los colectivos a los que la sociedad ya prestaba menos atención antes de que hubiese inteligencia artificial.
Las tres causas se combinan. Las tres son corregibles,
pero solo si alguien las está mirando.
El mito más peligroso: «la máquina es objetiva»
Existe una intuición muy extendida, especialmente en comités directivos, que suena así: *»Si la decisión la toma un algoritmo, al menos no tendrá sesgo personal».* Es comprensible. Estamos hartos de las decisiones tomadas por humanos cansados, con prisa, con favoritismos, con día malo. La promesa de que una máquina decida igual para todo el mundo, fríamente, es seductora.
- El problema es que la máquina no decide fríamente. La máquina decide
según lo que aprendió. Y lo que aprendió, lo aprendió de nosotros. La diferencia práctica entre un humano sesgado y una máquina sesgada no es que la máquina sea más justa.
- Es que la máquina es más rápida, más escalable y mucho más difícil
de cuestionar.
«`{=html} <!– –>
- Cuando un seleccionador descarta un currículum, la persona afectada
puede preguntar por qué.
- Cuando un algoritmo descarta diez mil currículos en un minuto, no
hay nadie a quien preguntar. Y cuando se reclama, suele aparecer la respuesta menos útil de todas: «así lo decidió el sistema».
Esto, para una audiencia que trabaja en diversidad e inclusión, debe sonar muy familiar. Es el equivalente moderno de *»siempre se ha hecho así»*. Suena neutro y no lo es. Es una decisión humana, tomada por algún comité técnico, formalizada en código, multiplicada por mil y escondida detrás de la palabra «algoritmo». La IA no quita responsabilidad: la diluye. Y diluir responsabilidad sobre decisiones que afectan a personas vulnerables es exactamente lo opuesto a lo que cualquier política seria de D&I debería permitir.
Cómo auditar la IA de tu organización sin tener equipo de datos
![LegalTech Mano robótica que sostiene una escala de justicia, simbolizando la integración de la IA con la ley moderna, que ayuda a pensar, juzgar y proteger los derechos humanos, un símbolo de la
Llegados a este punto, la pregunta legítima de cualquier directivo o directiva es: *»vale, lo entiendo, pero yo no tengo un departamento de inteligencia artificial. ¿Qué hago yo el martes con esto?»*. Aquí va un procedimiento aplicable a una empresa mediana española sin necesidad de contratar a nadie nuevo.
Paso 1: identificar dónde hay IA decidiendo sobre personas en tu organización.
Pide a tus proveedores (de RRHH, de banca, de seguros, de marketing, de atención al cliente) que te indiquen, por escrito, en qué procesos de su servicio interviene IA en decisiones que afectan a personas. No «dónde usan IA»: *dónde la IA decide o filtra sobre personas concretas*. Es una distinción importante. Pueden usar IA para clasificar incidencias y eso es asunto suyo. Si la usan para filtrar candidaturas que llegan a tu mesa o para decidir si un cliente accede a un producto, eso te afecta directamente.
Paso 2: exigir transparencia mínima.
Para cada caso identificado en el paso 1, pide a tu proveedor cuatro cosas concretas y por escrito: (a) con qué datos se entrenó el modelo, (b) qué criterios optimiza, (c) qué métricas de equidad ha pasado y cuándo se auditaron por última vez, (d) cómo pueden las personas afectadas pedir revisión humana de una decisión. Si el proveedor no responde a alguna de las cuatro, ya tienes un problema, y lo tienes contigo, no con el proveedor. Estás usando un servicio del que no puedes responder ante tu equipo, ante tus clientes ni, llegado el caso, ante un juez.
Paso 3: prueba de impacto diferencial.
Para los casos más sensibles (selección de personal, atención a clientes, scoring), pide ejemplos concretos. Manda diez perfiles inventados que sean idénticos en todo salvo en una variable (sexo, edad, código postal, apellido reconocible como migrante) y pide al proveedor o a tu equipo de datos que te demuestre que el sistema los trata igual. No es una prueba científica: es una prueba mínima de sentido común. Si el resultado es distinto, hay un problema y no es tuyo, es del modelo. Si te dicen que esa prueba no es posible, hay un problema todavía mayor.
Paso 4: revisión humana garantizada.
Asegúrate de que cualquier decisión automática que afecte significativamente a una persona puede ser revisada por una persona de tu organización en un plazo razonable. Esto, además de buena práctica, es obligatorio en muchos casos bajo el Reglamento General de Protección de Datos europeo (artículo 22) y bajo el *Reglamento Europeo de Inteligencia Artificial* (AI Act), en vigor desde agosto de 2024.
- Las prohibiciones de prácticas inaceptables ya aplican desde febrero
de 2025 y las obligaciones para modelos de propósito general desde agosto de 2025.
- Las obligaciones plenas para sistemas de alto riesgo (entre los que
están la selección de personal, la concesión de crédito y el acceso a servicios esenciales) iban a aplicarse desde agosto de 2026, pero el llamado AI Omnibus, aprobado políticamente por Consejo y Parlamento Europeo en mayo de 2026, pospone esa fecha hasta diciembre de 2027 a la espera de que estén disponibles las normas técnicas armonizadas.
- La obligación de fondo, sin embargo, no cambia: no es opcional, no
es voluntad, es ley. La prórroga es solo aire para llegar a tiempo.
Estos cuatro pasos no requieren saber programar. Requieren saber preguntar y tener la disciplina de hacerlo. La buena noticia es que la mayoría de los proveedores serios ya están preparados para responder. La mala es que muchos clientes, no están preparados para pregunta
La oportunidad escondida
![Escalas Modernas de Justicia: Icono Digital para Conceptos Jurídicos.
Cerramos donde abrimos. La IA amplifica. Una organización que ya tenía procesos sólidos de revisión, escucha, auditoría interna y cultura de diversidad parte con ventaja para adoptar IA de forma seria. No tiene que aprender a auditarse: ya se audita. La IA, en sus manos, se vuelve una herramienta para encontrar sesgos históricos que llevaban años disimulados en decisiones humanas dispersas. La IA hace visible lo que el cansancio, la prisa y la costumbre hacían invisible.
Eso es una buena noticia. Significa que la inversión seria en diversidad e inclusión no es una concesión social, es una infraestructura competitiva para la era de la IA. Significa que el siguiente paso, una vez tenemos vocabulario (artículo 1) y entendemos los riesgos (este), es entrar en la cara amable: cómo la IA, cuando se gobierna con criterio, puede convertirse en una de las palancas más potentes de inclusión que hemos tenido nunca. De eso irá el artículo 3.
────────────────────────────────────────
Para profundizar
- Armas de destrucción matemática (Weapons of Math Destruction),
Cathy O’Neil. Capitán Swing, 2018. Sigue siendo el mejor libro divulgativo sobre sesgo algorítmico, una década después de su publicación.
«`{=html} <!– –>
- Unmasking AI, Joy Buolamwini. Random House, octubre 2023. La
> autora del estudio fundacional Gender Shades en el MIT cuenta el
> detrás de cámaras del activismo que llevó a las moratorias de
> reconocimiento facial policial en IBM, Microsoft y Amazon.
- Sentencia del Tribunal Supremo de España 1119/2025, de 11 de
> septiembre, sobre el algoritmo BOSCO. Documentación y cobertura
> completa en la web de la fundación Civio (civio.es). Lectura
> imprescindible para entender qué pueden y qué no pueden esconder
> los proveedores tecnológicos al sector público en España.
- Artículo 22 del Reglamento General de Protección de Datos europeo, y
> Reglamento Europeo de Inteligencia Artificial (AI Act), en
> particular sus artículos 6, 9 a 15 y 26 sobre sistemas de alto
> riesgo. Para el calendario actualizado de aplicación, conviene
> seguir el portal oficial de la AI Office en
> digital-strategy.ec.europa.eu.
Comentarios recientes