Primera parte

• Predicción vs. explicación: las “dos culturas”
• Regresión lineal y sus limitaciones
• El problema del sobreajuste
• Regularización: LASSO, Ridge, Elastic Net

Segunda parte

• Ajuste de hiperparámetros (tuning)
• Ingeniería de variables para datos sociales
• Aplicaciones en ciencias sociales
• Comparación con otros métodos

• Breiman (2001), “Statistical Modeling: The Two Cultures”:
  • Modelo de datos: se asume un modelo generador, se estiman parámetros (\(\hat{\beta}\)). Foco en identificación causal
  • Modelo algorítmico: caja negra, se optimiza la predicción (\(\hat{y}\)). Foco en generalización a datos nuevos
• En ciencias sociales solemos explicar, pero predecir deserción escolar o focalizar intervenciones también requiere buenos modelos

• La regresión lineal (OLS) minimiza el error en los datos de entrenamiento
• Problema: si tenemos muchas variables relativas al número de observaciones, OLS se ajusta demasiado al ruido
• Ejemplo: con 50 variables y 100 observaciones, OLS encuentra coeficientes que parecen funcionar pero no generalizan
• OLS no tiene un mecanismo para descartar variables irrelevantes ni para reducir coeficientes inflados
• Solución: regularización, que agrega una penalización por la magnitud de los coeficientes

• Regularización = agregar una penalización por la complejidad del modelo
• En la regresión OLS, minimizamos el error:

\[\min \sum_{i=1}^{n} (y_i - \hat{y}_i)^2\]

• Con regularización, agregamos un término de penalización:

\[\min \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 + \lambda \cdot \text{penalización}(\beta)\]

• \(\lambda\) controla la fuerza de la penalización:
  • \(\lambda = 0\): sin penalización (OLS clásico)
  • \(\lambda\) grande: penalización fuerte (coeficientes se reducen hacia 0)
• El truco está en elegir el \(\lambda\) óptimo (por validación cruzada)

La intuición: un presupuesto para coeficientes

• OLS puede asignar coeficientes tan grandes como quiera. Con muchas variables, esto genera sobreajuste.

• Regularización impone un presupuesto: la suma total de los coeficientes no puede ser ilimitada. El modelo debe repartir un presupuesto finito entre todas las variables.

• Presupuesto generoso (\(\lambda\) bajo): el modelo usa muchas variables, similar a OLS

• Presupuesto ajustado (\(\lambda\) alto): el modelo solo gasta en las variables que más ayudan

• LASSO = Least Absolute Shrinkage and Selection Operator (Tibshirani, 1996)
• Penalización L1: suma de los valores absolutos de los coeficientes

\[\min \sum (y_i - \hat{y}_i)^2 + \lambda \sum |\beta_j|\]

• Propiedad clave: reduce algunos coeficientes exactamente a cero
• Esto significa que LASSO selecciona variables automáticamente
• Las variables irrelevantes son eliminadas del modelo
• Útil cuando sospechamos que solo algunas variables son realmente importantes
• En ciencias sociales: ¿cuáles de 50 posibles predictores importan para predecir la satisfacción con la democracia?

• Ridge = penalización L2: suma de los cuadrados de los coeficientes

\[\min \sum (y_i - \hat{y}_i)^2 + \lambda \sum \beta_j^2\]

• A diferencia de LASSO, Ridge no elimina variables: las reduce, pero nunca a cero exacto
• Todos los predictores permanecen en el modelo, pero con coeficientes más pequeños
• Útil cuando creemos que muchas variables contribuyen un poco
• Funciona mejor que LASSO cuando hay variables correlacionadas (multicolinealidad)
• En ciencias sociales: cuando tenemos indicadores muy correlacionados (confianza en distintas instituciones, por ejemplo)

• Elastic Net (Zou y Hastie, 2005) combina LASSO (L1) y Ridge (L2):

\[\min \sum (y_i - \hat{y}_i)^2 + \lambda \left[ \alpha \sum |\beta_j| + (1-\alpha) \sum \beta_j^2 \right]\]

• Dos hiperparámetros:
  • \(\lambda\): fuerza general de la penalización
  • \(\alpha\): mezcla entre LASSO y Ridge
  • \(\alpha = 1\): LASSO puro
  • \(\alpha = 0\): Ridge puro
  • \(0 < \alpha < 1\): Elastic Net
• Selecciona variables (como LASSO) pero maneja mejor las correlaciones (como Ridge)
• En la práctica, Elastic Net suele funcionar mejor que LASSO o Ridge por separado

• En tidymodels, recipe y model se combinan en un workflow()
• El workflow conecta el preprocesamiento con el modelo en un solo objeto
• Ventaja: se aplica automáticamente a datos nuevos, sin repetir pasos manualmente

# Combinar receta + modelo
flujo <- workflow() |>
  add_recipe(receta) |>
  add_model(modelo_lasso)

# Ajustar todo junto
ajuste <- fit(flujo, data = datos_train)

# Predecir con datos nuevos
predicciones <- predict(ajuste,
                        new_data = datos_test)

λ mínimo (lambda.min)

• El valor que minimiza el error de CV
• Mejor rendimiento predictivo
• Modelo más complejo (más variables)

select_best(resultados, metric = "rmse")

λ 1SE (lambda.1se)

• El valor más grande dentro de 1 error estándar del mínimo
• Modelo más parsimonioso
• Sacrifica un poco de rendimiento por simplicidad

select_by_one_std_err(
  resultados,
  metric = "rmse",
  desc(penalty)  # preferir λ más grande
)

El problema:

• Los censos de pobreza son costosos y poco frecuentes
• Las encuestas de hogares tienen más detalle pero menos cobertura
• ¿Podemos predecir la pobreza en áreas sin datos usando características observables?

Enfoque con LASSO:

• Variable objetivo: ingreso per cápita (o indicador de pobreza)
• Predictores: características del hogar, vivienda, acceso a servicios
• LASSO selecciona las variables más predictivas
• El modelo se aplica a censos o registros administrativos

¿Cuándo es especialmente útil la regularización?

• Muchas variables, pocas observaciones (p >> n)
• Variables altamente correlacionadas
• Sospecha de que solo algunas variables importan
• Queremos evitar sobreajuste sin hacer selección manual

Ejemplos en ciencias sociales:

• Análisis de texto (miles de palabras como variables)
• Datos genómicos (pocos individuos, muchos genes)
• Encuestas con muchas preguntas
• Datos administrativos con muchos campos

• Tras ajustar un modelo LASSO, obtenemos un conjunto de coeficientes
• Algunos son exactamente cero: esas variables fueron eliminadas por el modelo
• Los que sobreviven son los predictores que LASSO consideró más relevantes

¿Cómo leerlos?

• Un coeficiente positivo indica que aumentar esa variable se asocia con un aumento en la respuesta
• Un coeficiente negativo indica lo contrario
• La magnitud depende de la escala de las variables. Si normalizamos antes (step_normalize()), los coeficientes son directamente comparables

Atención: LASSO elige una variable entre un grupo correlacionado y descarta las demás. No significa que las eliminadas no importen, sino que son redundantes con la que quedó.

• LASSO, Ridge y Elastic Net no son solo para regresión
• Funcionan igual con regresión logística: se penalizan los coeficientes para evitar sobreajuste y seleccionar variables
• En tidymodels, basta con cambiar linear_reg() por logistic_reg():

# Regresión logística con LASSO
modelo_clasif <- logistic_reg(
  penalty = tune(),
  mixture = 1          # LASSO
) |>
  set_engine("glmnet") |>
  set_mode("classification")

# El resto del flujo es idéntico:
# workflow, recipe, tune_grid, etc.

Si priorizas interpretabilidad:

• OLS para pocos predictores claros
• LASSO cuando quieres que el modelo elija
• Ridge si todos los predictores importan

Si priorizas rendimiento:

• Random Forest para relaciones complejas
• Elastic Net como buen punto de partida
• Siempre compara varios modelos con CV

Conceptos clave:

• Predicción vs. explicación: objetivos diferentes, herramientas complementarias
• Regularización: LASSO selecciona, Ridge reduce, Elastic Net combina
• Ajuste de λ: siempre con validación cruzada, nunca con datos de test
• λ mínimo vs. λ 1SE: rendimiento vs. parsimonia

Cuándo usar cada método:

• OLS: pocos predictores, relaciones lineales, foco en explicación
• LASSO: muchos predictores, queremos selección automática
• Ridge: predictores correlacionados, no queremos eliminar ninguno
• Elastic Net: no estamos seguros, queremos lo mejor de ambos
• Random Forest: mejor predicción posible, relaciones complejas