Primera parte

• Predicción vs. explicación: las “dos culturas”
• Regresión lineal y sus limitaciones
• El problema del sobreajuste revisitado
• Regularización: LASSO, Ridge, Elastic Net

Segunda parte

• Ajuste de hiperparámetros (tuning)
• Ingeniería de variables para datos sociales
• Aplicaciones en ciencias sociales
• Comparación con otros métodos

• Breiman (2001), “Statistical Modeling: The Two Cultures”:
  • Modelo de datos: se asume un modelo generador, se estiman parámetros (\(\hat{\beta}\)). Foco en identificación causal
  • Modelo algorítmico: caja negra, se optimiza la predicción (\(\hat{y}\)). Foco en generalización a datos nuevos
• En ciencias sociales solemos explicar, pero predecir deserción escolar o focalizar intervenciones también requiere buenos modelos

• La regresión lineal (OLS) minimiza el error en los datos de entrenamiento
• Pero si tenemos muchas variables relativas al número de observaciones, OLS se ajusta demasiado al ruido
• Ejemplo: con 50 variables y 100 observaciones, OLS encuentra coeficientes que parecen funcionar pero no generalizan
• OLS no tiene un mecanismo para descartar variables irrelevantes ni para reducir coeficientes inflados
• Solución: regularización, que agrega una penalización por la magnitud de los coeficientes

• Regularización = agregar una penalización por la complejidad del modelo
• En la regresión OLS, minimizamos el error:

\[\min \sum_{i=1}^{n} (y_i - \hat{y}_i)^2\]

• Con regularización, agregamos un término de penalización:

\[\min \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 + \lambda \cdot \text{penalización}(\beta)\]

• \(\lambda\) controla la fuerza de la penalización:
  • \(\lambda = 0\): sin penalización (OLS clásico)
  • \(\lambda\) grande: penalización fuerte (coeficientes se reducen hacia 0)
• El truco está en elegir el \(\lambda\) óptimo (por validación cruzada)

Elegir λ es moverse por el equilibrio sesgo-varianza

• λ chico → bajo sesgo, alta varianza (sobreajuste)
• λ grande → alto sesgo, baja varianza (subajuste)
• El mejor λ está en el punto intermedio

LASSO (L1, Tibshirani, 1996): suma de valores absolutos

\[\min \sum (y_i - \hat{y}_i)^2 + \lambda \sum |\beta_j|\]

• Reduce algunos coeficientes exactamente a cero → selecciona variables automáticamente
• Útil cuando solo algunas variables son relevantes

Ridge (L2): suma de cuadrados

\[\min \sum (y_i - \hat{y}_i)^2 + \lambda \sum \beta_j^2\]

• No elimina variables: las reduce pero nunca a cero exacto
• Útil con variables correlacionadas (multicolinealidad)

• La penalización es una función: todos los coeficientes → un número
• Ese número mide qué tan grandes son los coeficientes juntos
• Se suma al error: el modelo minimiza error + λ · penalización
• Se recalcula en cada combinación que el optimizador prueba
• Un coeficiente grande baja el error, pero sube la penalización
• Con λ grande no compensa, gana la simplicidad

• Elastic Net (Zou y Hastie, 2005) combina LASSO (L1) y Ridge (L2):

• Dos hiperparámetros:
  • \(\lambda\): fuerza general de la penalización
  • \(\alpha\): mezcla entre LASSO y Ridge
  • \(\alpha = 1\): LASSO puro
  • \(\alpha = 0\): Ridge puro
  • \(0 < \alpha < 1\): Elastic Net
• Selecciona variables (como LASSO) pero maneja mejor las correlaciones (como Ridge)
• En la práctica, Elastic Net suele funcionar mejor que LASSO o Ridge por separado

• OLS es insesgado: bajo los supuestos clásicos (Gauss-Markov), en promedio sus coeficientes aciertan el efecto verdadero
• Ridge, LASSO y Elastic Net son sesgados a propósito: la penalización empuja todos los coeficientes hacia cero (shrinkage)
• Ese sesgo es el precio que pagamos por reducir la varianza y predecir mejor en datos nuevos
• Un coeficiente penalizado ya no es una estimación insesgada del efecto: está encogido hacia cero

• recipe() no transforma nada todavía: guarda la lista de pasos para ejecutarla después
• prep() calcula con los datos de entrenamiento los valores que cada paso necesita: medianas para imputar, medias y desvíos para normalizar
• juice() devuelve el conjunto de entrenamiento ya transformado
• bake() aplica esa misma receta a datos nuevos, con los valores aprendidos del entrenamiento
• Separar el plan de su ejecución es lo que evita el data leakage: el test set nunca influye en las medianas ni en los desvíos

# Inspeccionar el resultado de la receta
receta |>
  prep() |>
  juice() |>
  glimpse()

# Aplicar la receta a datos nuevos
bake(prep(receta), new_data = datos_test)

Dentro de un workflow() esto pasa automáticamente. Usamos prep() y juice() solo para revisar que la receta haya hecho lo que esperábamos

• En tidymodels, recipe y model se combinan en un workflow()
• El workflow conecta el preprocesamiento con el modelo en un solo objeto
• Ventaja: se aplica automáticamente a datos nuevos, sin repetir pasos manualmente

# Combinar receta + modelo en un workflow
# (en los labs lo verán como wf_<modelo>: 
# wf_lasso, wf_rf, etc.)
wf_lasso <- workflow() |>
  add_recipe(receta) |>
  add_model(modelo_lasso)

# Ajustar todo junto
ajuste <- fit(wf_lasso, data = datos_train)

# Predecir con datos nuevos
predicciones <- predict(ajuste,
                        new_data = datos_test)

• Un workflow() empaqueta la receta y el modelo en un solo objeto
• Antes teníamos pasos sueltos: preparar la receta, aplicarla al train, ajustar el modelo, aplicar la receta al test, predecir. Es fácil equivocarse en el orden
• El workflow los une: cuando llamamos a fit() o predict(), aplica la receta y después el modelo en el orden correcto, por sí solo
• Garantiza que el test pase por exactamente la misma transformación que el train, con las medianas y desvíos aprendidos solo del train: así se evita el data leakage
• Un solo objeto viaja por todo el flujo: ajustar, predecir, tunear y evaluar

• Paso 5, tune_grid(): prueba los 30 valores de λ de la grilla
• Para cada λ ajusta el modelo en los folds de validación cruzada y mide el error (RMSE, R²). Devuelve una tabla con el rendimiento de cada λ
• Paso 6, select_best(): mira esa tabla y elige el λ con el menor RMSE promedio entre folds
• Paso 7, finalize_workflow() + last_fit(): hasta acá el workflow tenía un hueco (penalty = tune()) y no se podía ajustar
• finalize_workflow() escribe el λ ganador en ese hueco; recién ahí last_fit() puede reajustar con todo el train y evaluar una sola vez en el test
• Más información en https://www.tidymodels.org/start/tuning/

λ mínimo (select_best)

• El valor que minimiza el error de CV
• Mejor rendimiento predictivo
• Modelo más complejo (más variables)

select_best(resultados, metric = "rmse")

λ 1SE (select_by_one_std_err)

• El λ más grande dentro de 1 error estándar del mínimo
• Modelo más parsimonioso
• Sacrifica un poco de rendimiento por simplicidad

select_by_one_std_err(
  resultados,
  metric = "rmse",
  desc(penalty)
)

• Con \(p > n\) hay infinitas soluciones que pasan por todos los puntos
• OLS no puede elegir entre ellas: deja coeficientes sin estimar y da un ajuste perfecto aunque los datos sean puro ruido
• La regularización rompe el empate: se queda con la de coeficientes más chicos (Ridge) o con la que usa menos variables (LASSO)
• Pasa con encuestas de cientos de ítems, registros administrativos y, sobre todo, análisis de texto: cada palabra es una variable. Lo ven mañana con TF-IDF
• LASSO/Ridge/Elastic Net dan una respuesta con \(p > n\); OLS ni siquiera se puede calcular

• LASSO, Ridge y Elastic Net no son solo para regresión
• Funcionan igual con regresión logística: se penalizan los coeficientes para evitar sobreajuste y seleccionar variables
• En tidymodels, basta con cambiar linear_reg() por logistic_reg():

# Regresión logística con LASSO
modelo_clasif <- logistic_reg(
  penalty = tune(),
  mixture = 1          # LASSO
) |>
  set_engine("glmnet") |>
  set_mode("classification")

# El resto del flujo es idéntico:
# workflow, recipe, tune_grid, etc.

El problema:

• Los censos de pobreza son costosos y poco frecuentes
• Las encuestas de hogares tienen más detalle pero menos cobertura
• ¿Podemos predecir la pobreza en áreas sin datos usando características observables?

Enfoque con LASSO:

• Variable objetivo: ingreso per cápita (o indicador de pobreza)
• Predictores: características del hogar, vivienda, acceso a servicios
• LASSO selecciona las variables más predictivas
• El modelo se aplica a censos o registros administrativos

• Tras ajustar un modelo LASSO, obtenemos un conjunto de coeficientes
• Algunos son exactamente cero: esas variables fueron eliminadas por el modelo
• Los que sobreviven son los predictores que LASSO consideró más relevantes

¿Cómo leerlos?

• Un coeficiente positivo indica que aumentar esa variable se asocia con un aumento en la respuesta
• Un coeficiente negativo indica lo contrario
• La magnitud depende de la escala de las variables. Si normalizamos antes (step_normalize()), los coeficientes son directamente comparables

Atención: LASSO elige una variable entre un grupo correlacionado y descarta las demás. No significa que las eliminadas no importen, sino que son redundantes con la que quedó

Conceptos clave:

• Predicción vs. explicación: objetivos diferentes, herramientas complementarias
• Regularización: LASSO selecciona, Ridge reduce, Elastic Net combina
• Ajuste de λ: siempre con validación cruzada, nunca con datos de test
• λ mínimo vs. λ 1SE: rendimiento vs. parsimonia

Cuándo usar cada método:

• OLS: pocos predictores, relaciones lineales, foco en explicación
• LASSO: muchos predictores, queremos selección automática
• Ridge: predictores correlacionados, no queremos eliminar ninguno
• Elastic Net: no estamos seguros, queremos lo mejor de ambos
• Random Forest/Gradient Boosting: mejor predicción posible, relaciones complejas