Esta semana aprendimos a usarla

• Clasificación y regresión, clustering, análisis de texto
• LLMs para anotación, extracción y generación de datos, con ellmer y quallmer
• Y a validar todo contra un estándar conocido

Recién, en la sesión 5.1

• Modelos de pesos abiertos, cuantizados para entrar en una laptop
• Ollama y el Modelfile: un codificador congelado y reproducible
• La motivación era ética: datos sensibles que no pueden salir de la máquina

Sesgo: qué es y de dónde viene

• Una historia para empezar
• Cinco usos de la palabra “sesgo”
• Una taxonomía del sesgo algorítmico
• Bucles de retroalimentación
• Casos en América Latina

Medir la equidad

• Las métricas, con un ejemplo concreto
• El teorema de imposibilidad
• Cuatro tensiones sin solución limpia
• Detección, mitigación y el caso COMPAS

Privacidad

• Escala, inferencia y persistencia
• El caso Clearview AI
• Del GDPR a la Ley 18.331

Regulación y cierre

• El EU AI Act, EE.UU. y América Latina
• Qué pueden hacer los investigadores

• Robert Julian-Borchak Williams fue arrestado frente a su familia en Detroit
• Acusado de robar relojes, detenido 30 horas
• Luego liberado: persona equivocada

¿Qué pasó?

• Un sistema de reconocimiento facial comparó su foto del carnet con imágenes borrosas de vigilancia
• El algoritmo se equivocó
• Robert es afroamericano. El reconocimiento facial tiene tasas de error más altas con rostros de piel oscura
• No fue un error de software. Así fue construido el sistema

En IA, sesgo suele significar:

Un sistema que produce resultados sistemáticamente injustos para ciertos grupos de personas.

• La IA aprende de datos generados por humanos
• Si los humanos decidieron de forma sesgada, la IA aprende ese patrón
• Y puede amplificarlo a escala

Ejemplo: word embeddings (Bolukbasi et al., 2016)

• “Hombre” es a “Doctor” como “Mujer” es a… “Enfermera”
• La IA recogió nuestro propio sexismo de millones de textos
• Si el sesgo viene de nosotros, ¿eso hace a la IA menos responsable, o más?

Brasil: reconocimiento facial policial

• El Carnaval de Salvador (2019) inauguró los arrestos por reconocimiento facial en Brasil
• La Rede de Observatórios da Segurança relevó los casos de 2019: el 90,5% de los detenidos por estos sistemas eran personas negras
• El mismo sesgo de representación que vimos con Robert Williams, a escala regional

Argentina: predecir embarazos adolescentes

• Salta (2018): un sistema de Microsoft y el gobierno provincial decía predecir qué adolescentes quedarían embarazadas a partir de datos socioeconómicos
• Aplicado sobre poblaciones pobres, sin transparencia ni evaluación; el Laboratorio de IA Aplicada de la UBA mostró errores metodológicos graves (Wired, 2022)

Chile: Sistema Alerta Niñez

• Modelo que predice riesgo de vulneración de derechos de niños usando datos familiares y socioeconómicos
• Críticas de Derechos Digitales por estigmatización: los falsos positivos se concentran en familias pobres, las más presentes en los registros estatales

Colombia: reconocimiento facial en el transporte

• Detección de evasores en TransMilenio (Bogotá)
• Fundación Karisma documentó preocupaciones por vigilancia masiva y falta de consentimiento

• Un modelo predice la probabilidad de que cada persona pague el préstamo
• Aprobamos si la probabilidad supera un umbral
• El Grupo B tiene una tasa de repago histórica más baja (por desventaja económica, no por capacidad)
• Con el mismo umbral para todos, el Grupo B se aprueba mucho menos
• Para igualar la aprobación, habría que bajar su umbral. Pero eso aprueba más préstamos que no se pagarán: sube su tasa de falsos positivos

No se puede igualar todo a la vez. El umbral es una elección de valores.

¿Qué es COMPAS?

• Sistema de scoring de riesgo de reincidencia usado en EE.UU. para fianza, sentencia y libertad condicional

El análisis de ProPublica (2016):

• Tasas de falsos positivos desiguales:
  • Negros: 44,9% señalados como alto riesgo pero no reincidieron
  • Blancos: 23,5% en la misma situación
• Conclusión: el sistema es racialmente sesgado

La respuesta de Northpointe:

• COMPAS está calibrado: una puntuación de 7 significa lo mismo para ambos grupos
• Si las tasas base difieren, no se pueden igualar FPR y calibración a la vez
• El teorema de imposibilidad en acción

Tres cosas que antes no pasaban:

• Escala: recolectar y procesar datos de millones de personas cuesta casi nada
• Inferencia: el modelo deduce lo que nunca contaron. Los “me gusta” predicen orientación política; las compras, un embarazo; el celular, síntomas de depresión
• Persistencia: lo que entró a un dataset o a un modelo entrenado es muy difícil de borrar. Los LLMs pueden memorizar y filtrar texto de entrenamiento, incluyendo nombres y contactos (Carlini et al., 2021)

• Una empresa raspó más de 30 mil millones de fotos de Facebook, Instagram y LinkedIn, sin consentimiento de nadie
• Vendió la búsqueda por rostro a más de 2.400 agencias policiales de EE.UU.
• Revelado por el New York Times (2020); la ACLU lo describió como poner a todo el mundo en una rueda de reconocimiento perpetua
• Multas: 20 millones de euros en Francia, 20 en Italia, 30,5 en Países Bajos; Reino Unido, Australia y Canadá ordenaron borrar los datos

El modelo europeo (GDPR, 2018)

• Principios: minimización (recolectar solo lo necesario), limitación de propósito, plazos de conservación
• Derechos: acceso, rectificación, olvido, portabilidad, y a no ser objeto de decisiones puramente automatizadas con efectos importantes (artículo 22)

Uruguay llegó antes que la región

• La Ley 18.331 (2008) y la URCDP
• Uruguay es de los pocos países con adecuación reconocida por la UE: su protección se considera equivalente

Donde la IA tensiona la ley

Estados Unidos: fragmentado

• Sin ley federal integral, enfoque sectorial (FDA, FTC, EEOC)
• Estados: Nueva York exige auditoría de IA en contratación (2023); California, Colorado avanzan
• La orden ejecutiva de Biden (2023) fue revocada en 2025

América Latina: en construcción

• Uruguay: Ley 18.331 de datos, Estrategia Nacional de IA (2019), bien posicionado pero sin ley específica
• Brasil: LGPD (2018) y PL 2338/2023, inspirado en el EU AI Act
• Chile: política nacional de IA (2021) y ley pionera de neuroderechos
• Desafío común: brecha entre legislación y aplicación

Sesgo

• La IA hereda sesgos humanos de los datos
• Seis tipos, en cualquier etapa del ciclo
• Los bucles de retroalimentación lo amplifican
• América Latina replica los problemas con menos protecciones

Medición

• Paridad, oportunidades, calibración: cada una protege a alguien distinto
• El teorema de imposibilidad: no se pueden tener todas a la vez
• Y aun eligiendo, quedan cuatro tensiones de diseño

Privacidad

• Escala, inferencia y persistencia cambian el problema
• Clearview AI: “público” no es “consentido”
• GDPR y Ley 18.331; el modelo local como defensa práctica

Regulación

• EU AI Act: clasificación por riesgo; EE.UU. fragmentado; América Latina en construcción
• La autorregulación no alcanza

Para llevarse

• La equidad es una elección de valores
• Los investigadores tienen responsabilidad sobre lo que construyen

La discriminación pasada se incorpora a los datos, aunque reflejen con precisión el mundo de ese momento.

El caso de Amazon (2018) (Reuters):

• IA para filtrar CVs, entrenada con 10 años de contrataciones pasadas
• Esas contrataciones eran mayoritariamente masculinas
• La IA aprendió a penalizar CVs que mencionaran “mujeres”
  • “Capitana del club de ajedrez femenino” → penalizada
• Amazon desechó la herramienta

Datos precisos ≠ datos justos.

Cuando ciertos grupos están subrepresentados, el modelo funciona mal para ellos.

Reconocimiento facial (Buolamwini y Gebru, 2018):

• Hombres de piel clara: 0,8% de error
• Mujeres de piel oscura: 34,7% de error
• Un rendimiento 43 veces peor para un grupo

Asistentes de voz: entrenados con acentos angloamericanos, fallan más con hablantes no nativos y voces de mujeres.

Si no están en los datos, el modelo no tiene nada que aprender sobre ustedes.

Usar un proxy medible para algo que importa, pero que no funciona igual para todos.

Código postal como proxy crediticio

• Los bancos no pueden usar raza para decidir préstamos
• Pero pueden usar código postal, que correlaciona con raza por segregación residencial
• Resultado: una variable “neutral” que codifica raza

Se puede quitar la raza de los datos y aun así terminar con un modelo racialmente sesgado (Obermeyer et al., 2019).

Agregación: tratar a grupos diversos como homogéneos.

• Modelos de riesgo de diabetes entrenados con poblaciones europeas usan la HbA1c, que funciona distinto en otras poblaciones → subdiagnóstico
• Un modelo de satisfacción democrática europeo puede fallar en América Latina: las escalas de encuesta significan cosas distintas entre culturas

Evaluación y despliegue: probar o usar el modelo en el contexto equivocado.

El rendimiento no viaja bien entre contextos.

Paridad demográfica

\[P(\hat{Y} = 1 \mid A = a) = P(\hat{Y} = 1 \mid A = b)\]

Misma tasa de resultados positivos entre grupos. Garantiza representación, pero ignora las tasas base.

Igualdad de oportunidades

\[P(\hat{Y} = 1 \mid Y = 1, A = a) = P(\hat{Y} = 1 \mid Y = 1, A = b)\]

Entre quienes merecen el resultado, mismo TPR. Requiere conocer el resultado real.

Calibración

\[P(Y = 1 \mid \hat{Y} = p, A = a) = p\]

Una predicción de p% significa lo mismo para todos los grupos. Hace las predicciones interpretables, pero no garantiza igualdad de errores.

Los optimistas

• Es un problema técnico con soluciones técnicas: mejores datos, algoritmos y auditorías
• La IA puede ser menos sesgada que los humanos: es consistente y se puede auditar

“Un algoritmo sesgado se puede reentrenar. Un gerente de contratación sesgado es más difícil de arreglar.”

Los escépticos

• El sesgo refleja problemas sociales que no se arreglan con código
• Hablar de “IA justa” distrae de las causas raíz
• ¿Quién define la equidad? Generalmente quienes ya tienen poder

“No se arregla un mercado inmobiliario discriminatorio ajustando un modelo de scoring crediticio.”

Estándares técnicos

• ISO/IEC 42001: gestión de IA
• NIST AI RMF: gestión de riesgos
• IEEE P7000: diseño ético

Principios de la industria

• Google AI Principles, Microsoft Responsible AI, Anthropic responsible scaling policy
• Iniciativas académicas: Montreal (2018), OECD (2019)

Críticas

• Sin poder de aplicación
• Conflicto de intereses: quien desarrolla, audita
• Principios vagos y no vinculantes (“ética-washing”)
• Las empresas abandonan compromisos cuando son inconvenientes