Ética y sesgos en la IA: por qué importa quién entrena el modelo

Hay una idea reconfortante y falsa que circula sobre la IA: que al ser una máquina, es objetiva — libre de los prejuicios humanos que distorsionan el juicio de las personas. Es exactamente al revés. Un modelo de IA aprende patrones de los datos con los que fue entrenado, y si esos datos reflejan desigualdades o sesgos históricos, el modelo los reproduce con la misma confianza con la que reproduce cualquier otro patrón.

Un caso real que lo ilustra bien

En 2018, se conoció que un sistema de IA usado internamente por una gran empresa tecnológica para filtrar currículums penalizaba sistemáticamente a candidatas mujeres para puestos técnicos. La causa no fue que alguien programara esa discriminación a propósito: el sistema se entrenó con diez años de currículums contratados por la empresa, un periodo en el que la mayoría de las contrataciones técnicas habían sido hombres. El modelo aprendió ese patrón histórico y lo proyectó hacia el futuro como si fuera un criterio válido de selección. La empresa descontinuó el sistema al detectarlo.

Este tipo de caso no es una rareza aislada — es la consecuencia lógica y esperable de cómo funciona el aprendizaje automático: el modelo no sabe que un patrón histórico era injusto, solo sabe que es un patrón.

Dónde entran las decisiones humanas (y por qué no son neutrales)

"Los datos tienen sesgo" suena como un fenómeno natural, casi climático. Pero detrás de cada conjunto de datos de entrenamiento hay decisiones humanas concretas: qué fuentes de texto incluir y cuáles excluir, qué contenido se filtra por considerarse de baja calidad, cómo se etiquetan ejemplos ambiguos, qué comportamiento del modelo se refuerza como "bueno" durante el ajuste con retroalimentación humana. Cada una de esas decisiones la toma un equipo, con su propio contexto cultural, sus propios supuestos sobre qué es "una buena respuesta", y sus propios puntos ciegos.

Esto explica, por ejemplo, por qué distintos modelos de IA pueden dar respuestas notablemente distintas ante preguntas con carga política o cultural: no es que uno esté "programado" con una agenda y otro no — es que los datos y las decisiones de ajuste detrás de cada uno fueron distintas, hechas por equipos distintos, con criterios distintos sobre qué respuesta es apropiada.

Lo que esto significa si usás IA en decisiones que afectan personas

Si estás considerando usar un modelo de IA para filtrar candidatos, aprobar créditos, evaluar solicitudes o cualquier decisión que afecte directamente a personas, la pregunta correcta no es "¿el modelo es neutral?" (ningún modelo lo es), sino: ¿con qué datos fue entrenado, y qué patrones históricos podría estar reproduciendo sin que nadie se dé cuenta?

Esto implica, en la práctica: auditar los resultados del sistema buscando específicamente disparidades entre grupos (¿rechaza más a un género, una edad, una región?), mantener supervisión humana en decisiones de alto impacto en vez de automatizarlas por completo, y ser escéptico ante cualquier proveedor que venda su herramienta como "libre de sesgos" — es una afirmación técnicamente imposible de garantizar por completo.

No es una razón para no usar IA — es una razón para usarla con los ojos abiertos

Nada de esto significa que la IA sea inutilizable para decisiones importantes. Significa que, igual que delegarías una decisión sensible a una persona con supervisión y criterios claros, delegarla a un sistema de IA requiere el mismo nivel de supervisión — no menos, solo porque "lo decidió la máquina". La responsabilidad de la decisión final sigue siendo humana, incluso cuando la recomendación vino de un algoritmo.

En el próximo artículo cambiamos de tema hacia algo más técnico y menos discutido fuera de círculos especializados: los agentes de IA, la siguiente ola después del chat conversacional simple.