• Los LLMs predicen el siguiente token; esa tarea simple genera capacidades complejas
• Embeddings y atención permiten entender contexto y significado
• El prompt engineering es clave: PTCF, temperatura, few-shot, CoT
• Las alucinaciones son un riesgo real; RAG ayuda a mitigarlas
• ellmer permite usar LLMs desde R para anotación, clasificación y generación de datos

Sesión 5.1: Tipos de sesgo (~1 h)

• Una historia para empezar
• Taxonomía del sesgo algorítmico
• Casos en América Latina
• El ciclo de vida del sesgo
• Bucles de retroalimentación

Sesión 5.2: Detección y regulación (~1 h)

• Métricas de equidad
• Detección y mitigación
• El teorema de imposibilidad
• Regulación (EU AI Act, región)

Sesión 5.3: Laboratorio (~2 h)

• Taller de auditoría de sesgo
• Cálculo de métricas de equidad
• Análisis de casos reales
• Discusión grupal

Sesión 5.4: Cierre (~2 h)

• Mini-propuestas de investigación
• Presentaciones breves (5 min)
• Recursos y próximos pasos
• Cierre del curso

• Robert Julian-Borchak Williams fue arrestado frente a su familia en Detroit
• Acusado de robar relojes en una tienda
• Detenido durante 30 horas
• Luego liberado: persona equivocada

¿Qué pasó?

• Un sistema de reconocimiento facial comparó su foto del carnet de conducir con imágenes borrosas de vigilancia
• El algoritmo se equivocó
• Robert es afroamericano. Las investigaciones muestran que el reconocimiento facial tiene tasas de error más altas con rostros de piel oscura
• No fue un error de software. Así fue construido el sistema

“Sesgo” significa cosas diferentes:

En IA, sesgo típicamente significa:

Un sistema que produce resultados sistemáticamente injustos para ciertos grupos de personas.

Pero, ¿quién define “injusto”? Esa es la parte difícil.

¿La IA es sesgada, o simplemente nos muestra lo que ya somos?

• La IA aprende de datos generados por humanos
• Los datos históricos contienen discriminación histórica
• Si los humanos tomaron decisiones sesgadas, la IA aprende esos patrones
• Y la IA puede amplificar los sesgos existentes a escala

Ejemplo: word embeddings

• “Hombre” es a “Doctor” como “Mujer” es a… “Enfermera” (Bolukbasi et al., 2016)
• La IA aprendió esto de millones de textos humanos
• Recogió nuestro propio sexismo del texto
• Si el sesgo viene de nosotros, ¿eso hace a la IA menos responsable, o más?

Ocurre cuando la discriminación pasada se incorpora a los datos de entrenamiento, aunque los datos reflejen con precisión el mundo real de ese momento.

El caso de Amazon (2018) (Dastin, Reuters):

• Amazon construyó una IA para filtrar CVs
• Entrenada con 10 años de contrataciones pasadas
• Las contrataciones pasadas eran mayoritariamente masculinas
• La IA aprendió: penalizar CVs que mencionaran “mujeres”
  • “Capitana del club de ajedrez femenino” → penalizada
  • Universidad exclusivamente femenina → penalizada
• Amazon desechó la herramienta

Los datos eran “precisos”: reflejaban las contrataciones reales de Amazon. Pero esas contrataciones eran sesgadas.

Cuando ciertos grupos están subrepresentados en los datos de entrenamiento, el modelo funciona mal para ellos.

Ejemplo: reconocimiento facial (Buolamwini y Gebru, 2018)

• Sistemas comerciales de reconocimiento facial (peor de los tres sistemas evaluados):
  • Hombres de piel clara: 0,8% de error
  • Mujeres de piel oscura: 34,7% de error
  • Un rendimiento 43 veces peor para un grupo

Ejemplo: asistentes de voz

• Entrenados principalmente con acentos estadounidenses y británicos
• Resultado: mayor tasa de error para hablantes no nativos, acentos regionales, voces de mujeres

Si no estás en los datos de entrenamiento, el modelo no tiene nada que aprender sobre ti.

Usar un proxy medible para algo que realmente nos importa, pero el proxy no funciona igual para todos.

Ejemplo: código postal como proxy crediticio

• Los bancos no pueden usar raza para decidir préstamos
• Pero pueden usar códigos postales
• Los códigos postales correlacionan fuertemente con raza debido a la segregación residencial
• Resultado: una variable “neutral” que codifica raza

Otros proxies problemáticos:

Se puede eliminar la raza de los datos y terminar con un modelo racialmente sesgado (ver Obermeyer et al., 2019, sobre sesgo racial en algoritmos de salud en EE.UU.).

Ocurre cuando un modelo trata a grupos diversos como si fueran homogéneos, ignorando diferencias que afectan los resultados.

Ejemplo: diabetes y etnicidad (Obermeyer et al., 2019)

• Modelos de riesgo de diabetes entrenados principalmente con datos de poblaciones europeas
• La hemoglobina glicosilada (HbA1c) se usa como indicador
• Pero la HbA1c funciona diferente en poblaciones afrodescendientes e indígenas
• Resultado: subdiagnóstico en grupos no europeos

En ciencias sociales:

• Un modelo de satisfacción democrática entrenado con datos de Europa puede fallar en América Latina
• Los patrones de participación política difieren por contexto cultural
• Las escalas de encuesta tienen significados diferentes entre culturas

Sesgo de evaluación

Cuando los benchmarks de prueba no son representativos de la población real.

Ejemplo:

• Un modelo de detección de discurso de odio en español
• Evaluado con datos de España
• Desplegado en Argentina: no entiende “boludo”, “negro” (coloquial), o el voseo
• Las métricas de evaluación no predijeron el mal desempeño

Problema: los datasets de prueba suelen venir de los mismos lugares que los de entrenamiento

Sesgo de despliegue

Cuando un modelo se usa en un contexto diferente al que fue diseñado.

Ejemplos:

Brasil: reconocimiento facial en Carnaval

• Policía de Bahía usó reconocimiento facial en el Carnaval de Salvador (2019)
• 42 arrestos basados en coincidencias del sistema
• Varios casos de personas inocentes detenidas
• El sistema tenía mayor tasa de error con rostros afrobrasileños
• Fuente: Coding Rights

Argentina: scoring social en ANSES

• Sistema de perfilado para detectar fraude en beneficios sociales
• Usaba variables como barrio de residencia y patrones de consumo
• Críticas por falta de transparencia y posible discriminación
• Sin auditoría pública del algoritmo

Chile: algoritmo de riesgo delictivo

• Sistema de evaluación de riesgo en el sistema penal juvenil
• Basado en historial familiar y contexto socioeconómico
• Riesgo de perpetuar desigualdad: jóvenes de barrios pobres reciben peores evaluaciones
• Debate sobre uso de variables no modificables

Colombia: VeriTran en Bogotá

• Sistema de reconocimiento facial en TransMilenio
• Objetivo: detectar evasores de pasaje
• Preocupaciones sobre vigilancia masiva y sesgo racial
• Falta de consentimiento informado

Desafíos técnicos

• El sesgo puede estar oculto en variables aparentemente neutrales
• Los modelos de caja negra no revelan su lógica interna
• El rendimiento agregado puede ocultar disparidades por grupo
• Los datos de prueba pueden tener los mismos sesgos que los de entrenamiento
• El sesgo emerge en la interacción de variables, no en variables individuales

Desafíos institucionales

• Falta de acceso a los algoritmos (propiedad intelectual)
• Sin métricas estándar de equidad
• Pocos incentivos para auditar
• Quien diseña raramente es quien sufre el sesgo

Desafíos conceptuales

• ¿Qué grupos deberían protegerse?
• ¿Qué variables nunca deberían usarse?
• ¿Cuánta disparidad es aceptable?
• ¿Quién decide las respuestas a estas preguntas?

Tipos de sesgo:

• Histórico: discriminación pasada codificada
• Representación: grupos subrepresentados
• Medición: proxies problemáticos
• Agregación: un modelo para todos
• Evaluación: benchmarks no representativos
• Despliegue: contexto equivocado

Ideas clave:

• La IA hereda sesgos humanos de los datos
• El sesgo puede entrar en cualquier etapa
• Los bucles de retroalimentación amplifican el sesgo
• América Latina replica problemas del norte global
• Detectar sesgo es difícil técnica e institucionalmente