• La IA busca crear sistemas capaces de realizar tareas que requieren inteligencia humana
• Tres tipos de aprendizaje: supervisado, no supervisado y por refuerzo
• El flujo de trabajo de ML: recoger, preprocesar, dividir, entrenar, evaluar
• Sobreajuste (overfitting): memorizar en lugar de aprender
• La accuracy no es suficiente: necesitamos precisión, recall y otras métricas
• Ayer hicimos nuestros primeros modelos con tidymodels, una interfaz unificada para ML en R

Primera parte

• Regresión logística (profundización)
• Árboles de decisión
• Random Forests
• Interpretación de importancia de variables

Segunda parte

• Ajuste de hiperparámetros (tuning)
• Comparación sistemática de modelos
• Aplicaciones

• Ayer usamos logistic_reg() en nuestro primer modelo. Hoy vamos a entenderla mejor
• Regresión logística: predice la probabilidad de pertenecer a una clase
• Usa la función sigmoide para transformar una combinación lineal en una probabilidad entre 0 y 1:

\[P(y = 1 | x) = \frac{1}{1 + e^{-(w_0 + w_1 x_1 + \ldots + w_n x_n)}}\]

• Los coeficientes (\(w\)) nos dicen la dirección y fuerza de la relación:
  • Positivo: aumenta la probabilidad
  • Negativo: disminuye la probabilidad
• Interpretable: podemos decir “por cada año adicional de educación, la probabilidad de votar aumenta un X%”

Ventajas

• Simple e interpretable: los coeficientes tienen significado claro
• Rápida de entrenar, funciona bien con pocos datos
• Produce probabilidades, no solo clases
• Buena línea base (baseline) antes de probar modelos más complejos
• Familiar para investigadores de ciencias sociales

Limitaciones

• Asume relaciones lineales entre predictores y log-odds
• No captura interacciones complejas entre variables automáticamente
• Puede ser insuficiente cuando los datos tienen patrones no lineales

• En ciencias sociales, la regresión logística se usa mucho para:
  • Comportamiento electoral: ¿qué predice si alguien vota por un candidato?
  • Conflicto: ¿qué factores predicen la ocurrencia de un conflicto armado? (Muchlinski et al., 2016)
  • Pobreza: ¿qué variables predicen si un hogar está por debajo de la línea de pobreza?
  • Migración: ¿qué factores predicen la intención de emigrar?
• La interpretabilidad es clave para informar políticas públicas
• Pero a veces sacrificamos capacidad predictiva por interpretabilidad
• ¿Podemos hacer las dos cosas? Veamos los árboles de decisión

Pregunta de investigación:

¿Qué factores predicen si un uruguayo apoya la democracia como forma de gobierno?

Datos: Latinobarómetro Uruguay (simulados)

Variables predictoras:

• Edad, educación, ingreso
• Confianza en instituciones (gobierno, congreso, justicia)
• Percepción económica
• Zona (urbano/rural), género

Variable objetivo: apoya_democracia (sí/no)

La regresión logística nos dice qué factores aumentan o disminuyen la probabilidad de apoyo.

• Los coeficientes de regresión logística están en escala log-odds
• Para interpretarlos, usamos el odds ratio = \(e^{\beta}\)

Interpretación del odds ratio:

• OR = 1: sin efecto
• OR > 1: aumenta la probabilidad
• OR < 1: disminuye la probabilidad

Ejemplo: OR = 1.28 para confianza en el gobierno

• Por cada punto adicional de confianza (escala 1-10), las chances de apoyar la democracia se multiplican por 1.28
• Es decir, aumentan un 28%

• Un árbol de decisión aprende una jerarquía de preguntas de sí/no
• Cada nodo divide los datos según una variable
• Cada hoja contiene una predicción
• Ejemplo: “Si la educación > 12 años Y la edad > 30, entonces predecir: votó”
• Puede capturar relaciones no lineales
• Muy fácil de interpretar: se puede visualizar como un diagrama de flujo
• Cualquiera puede entender la lógica del modelo, incluyendo personas sin formación técnica

• El árbol busca la división que minimice la impureza de los nodos resultantes
• La medida más común es el índice de Gini:

\[\text{Gini}(t) = 1 - \sum_{k=1}^{K} p_k^2\]

donde \(p_k\) es la proporción de la clase \(k\) en el nodo \(t\)

• Nodo puro (una sola clase): \(\text{Gini} = 0\)
• Nodo 50/50 (máxima mezcla): \(\text{Gini} = 0.5\)
• El algoritmo evalúa cada variable y cada punto de corte posible, y elige la división con menor Gini ponderado:

\[\text{Gini}_{\text{split}} = \frac{n_L}{n} \text{Gini}(t_L) + \frac{n_R}{n} \text{Gini}(t_R)\]

Ventajas

• Muy interpretables: se pueden visualizar y explicar
• Capturan interacciones entre variables automáticamente
• No requieren escalado de variables (funcionan con valores originales)
• Manejan variables numéricas y categóricas sin transformación
• Pueden capturar relaciones no lineales

Problemas

• Sobreajuste severo: los árboles profundos memorizan los datos
• Alta varianza: un pequeño cambio en los datos puede producir un árbol completamente diferente
• Inestabilidad: muy sensibles a la muestra de entrenamiento
• Solución: en lugar de un solo árbol, usar muchos árboles
• Eso nos lleva a los Random Forests

• Una de las grandes ventajas de los árboles es que se pueden visualizar
• Con el paquete rpart.plot:

# install.packages("rpart.plot")
library(rpart.plot)

# Extraer el modelo rpart del ajuste
arbol_rpart <- extract_fit_engine(ajuste_arbol)

# Visualizar
# type=4: muestra reglas en todos los nodos
# extra=104: clase predicha + % de observaciones
# roundint=FALSE: evita warning con predictores 
# no enteros
rpart.plot(arbol_rpart,
           type = 4,
           extra = 104,
           roundint = FALSE)

• Un árbol sin restricciones crece hasta memorizar los datos
• Poda (pruning): técnica para reducir la complejidad del árbol
• Dos estrategias:
  • Pre-poda: detener el crecimiento antes (limitar profundidad, mínimo de observaciones)
  • Post-poda: dejar crecer el árbol completo y luego recortar ramas que no mejoran
• En tidymodels, usamos hiperparámetros para pre-poda:
  • tree_depth: profundidad máxima
  • min_n: mínimo de observaciones por nodo
  • cost_complexity: penalización por complejidad

• Reduce la varianza sin aumentar mucho el sesgo
• Cada árbol individual sobreajusta, pero al promediar, el sobreajuste se diluye
• Analogía: si les piden a 500 personas que estimen el peso de un buey, el promedio será sorprendentemente cercano al valor real
• Funciona bien sin mucha afinación de hiperparámetros
• Resistente frente a outliers y ruido
• Es uno de los modelos más usados en la práctica por su combinación de rendimiento y simplicidad

Hiperparámetros principales

• Los Random Forests no son tan interpretables como un solo árbol o una regresión logística
• Pero podemos medir la importancia de cada variable
• ¿Cómo? Medir cuánto empeora la predicción si permutamos (mezclamos) los valores de una variable
  • Si mezclar edad hace que el modelo sea mucho peor, entonces edad es importante
  • Si mezclar zona no cambia nada, entonces zona no aporta mucho
• Esto nos da un ranking de variables por su contribución al modelo
• Útil para entender qué factores importan, aunque no nos diga la dirección del efecto

Importancia por permutación

• Mezclar los valores de una variable y ver cuánto empeora el modelo
• Independiente del modelo: se puede usar con cualquier algoritmo
• Más confiable pero más lenta
• Es la que usamos con importance = "permutation"

Importancia por impureza (Gini)

• Suma de las reducciones de impureza en todos los nodos donde se usa la variable
• Rápida pero puede ser sesgada hacia variables con muchas categorías
• Es la opción por defecto en muchas implementaciones

SHAP values (más avanzado)

• SHapley Additive exPlanations
• Basado en teoría de juegos cooperativos
• Mide la contribución de cada variable para cada predicción individual
• Permite ver no solo qué variables importan, sino cómo afectan cada caso
• Disponible en R con los paquetes shapr o fastshap

Para este curso usaremos importancia por permutación, que es la más robusta.

• La importancia nos dice qué variables importan
• Los Partial Dependence Plots (PDP) nos dicen cómo afectan
• Muestran el efecto marginal de una variable sobre la predicción
• Útiles para entender relaciones no lineales

library(pdp)

ajuste_rf |>
  partial(pred.var = "edad") |>
  autoplot()

• Los hiperparámetros son decisiones que tomamos antes de entrenar
• Ejemplos:
  • Árbol: tree_depth, min_n
  • Random Forest: trees, mtry, min_n
• Los valores por defecto suelen funcionar, pero no siempre son óptimos
• El tuning busca la mejor combinación de hiperparámetros
• Nunca usar datos de test para tuning: usamos validación cruzada (vfold_cv())
• tune() es la función de tidymodels para marcar qué parámetros queremos ajustar
• grid_regular() o grid_random() nos ayudan a crear combinaciones de valores para probar
• tune_grid() hace el proceso de ajuste y evaluación automáticamente

• Random Forest es un ensemble (muchos modelos juntos)
• Otra familia de ensembles: Gradient Boosting
• En lugar de entrenar árboles en paralelo, los entrena secuencialmente
• Cada árbol nuevo intenta corregir los errores del anterior
• Implementaciones populares:
  • XGBoost: muy usado en competencias de Kaggle
  • LightGBM: rápido para datasets grandes
  • CatBoost: bueno con variables categóricas

Suele tener mejor rendimiento que RF, pero es más difícil de ajustar.

Muchlinski et al. (2016): Predicción de guerras civiles

• Compararon regresión logística con Random Forest
• RF tuvo mejor rendimiento predictivo
• Wang (2019) replicó y encontró errores, pero la lección se mantiene
• RF captura interacciones complejas que la regresión no capta

Jean et al. (2016): Pobreza desde el espacio

• Predijeron pobreza en África usando imágenes satelitales
• Random Forest + redes neuronales
• Aplicable a contextos donde los censos son poco frecuentes o poco confiables

Otros ejemplos en ciencias sociales:

• Predicción de deserción escolar: identificar estudiantes en riesgo antes de que abandonen
• Scoring crediticio alternativo: fintech como Nubank usan ML para evaluar clientes sin historial bancario
• Detección de fraude electoral: análisis de patrones anómalos en resultados
• Predicción de violencia: modelos para anticipar zonas de riesgo
• Análisis de opinión pública: clasificación de textos sobre políticas públicas

En todos estos casos, RF es un punto de partida común.

Modelos de clasificación:

• Regresión logística: interpretable, produce probabilidades, ideal para entender relaciones
• Árboles de decisión: intuitivos, visualizables, pero sobreajustan
• Random Forests: combinan muchos árboles, excelente rendimiento, menos interpretables
• Gradient Boosting: aún mejor rendimiento, más difícil de ajustar

Herramientas aprendidas:

• Importancia de variables: permutación, Gini, SHAP
• Gráficos de dependencia parcial: entender el efecto de cada variable
• Tuning de hiperparámetros: grid search con validación cruzada
• Comparación de modelos: misma interfaz para todos en tidymodels