Primera parte

• El flujo de trabajo de ML
• Calidad de datos y preprocesamiento
• Feature engineering
• División train/test y validación cruzada

Segunda parte

• Sobreajuste y sesgo-varianza
• Regularización
• Métricas de evaluación
• Selección de modelos
• Reproducibilidad en ML

• Paso 1: Recoger datos: obtener observaciones relevantes al problema
• Paso 2: Preprocesar: limpiar valores faltantes, transformar variables, codificar categorías
• Paso 3: Dividir: separar en entrenamiento y prueba

• Paso 4: Entrenar: ajustar un modelo a los datos de entrenamiento
• Paso 5: Evaluar: medir el rendimiento en datos que el modelo nunca vio
• En la práctica, este proceso es iterativo: volvemos a pasos anteriores cuando algo falla

Recolección de datos

• Encuestas, registros administrativos, sensores, APIs, web scraping
• La calidad de los datos determina la calidad del modelo
• “Basura entra, basura sale” (garbage in, garbage out)

Preprocesamiento

• Valores faltantes: imputar, eliminar o marcar
• Variables categóricas: convertir a numéricas (one-hot encoding, label encoding)
• Escalado: normalizar o estandarizar variables numéricas
• Outliers: detectar y decidir qué hacer con ellos
• Feature engineering: crear nuevas variables a partir de las existentes

Problemas comunes en datos reales:

• Valores faltantes: ¿aleatorios o sistemáticos?
  • MCAR: faltantes completamente al azar
  • MAR: faltantes que dependen de otras variables observadas
  • MNAR: faltantes que dependen de la variable misma (más difícil)
• Errores de medición: datos mal cargados, unidades inconsistentes
• Duplicados: registros repetidos que sesgan el modelo
• Desbalance de clases: mucho más de una categoría que de otra
• Data leakage: información del futuro que “se filtra” al entrenamiento

• Feature engineering: crear nuevas variables a partir de las existentes
• Puede mejorar mucho el rendimiento de un modelo simple
• Ejemplos comunes:
  • Transformaciones: log(ingreso), raíz cuadrada, bins
  • Interacciones: edad × educación
  • Agregaciones: promedio de compras últimos 3 meses
  • Variables temporales: día de la semana, mes, año
  • Variables de texto: largo del texto, cantidad de palabras
• El conocimiento del dominio es clave: ¿qué variables tienen sentido para el problema?

• Queremos saber si el modelo funciona con datos nuevos, no solo con los datos que ya vio
• Si evaluamos el modelo con los mismos datos que usamos para entrenarlo, no sabemos si realmente aprendió
• Por eso dividimos:
  • Entrenamiento (~70-80%): el modelo aprende de estos datos
  • Prueba (~20-30%): evaluamos el rendimiento con datos que el modelo nunca vio
• Regla de oro: nunca mirar los datos de prueba hasta el final

• La forma más simple de evaluar un modelo
• Dividimos los datos aleatoriamente en dos conjuntos
• El modelo solo ve los datos de entrenamiento durante el ajuste
• Evaluamos con los datos de prueba al final
• Problemas potenciales:
  • Con pocos datos, una sola división puede no ser representativa
  • El resultado depende de qué observaciones cayeron en cada conjunto
• Para datasets pequeños, necesitamos algo más: validación cruzada

• Dividimos los datos en K partes (folds) de tamaño similar
• Entrenamos K veces, cada vez usando K-1 folds para entrenamiento y 1 fold para validación
• Repetimos K veces, rotando el fold de validación
• Promediamos los resultados de las K iteraciones
• Cada observación es usada para validación exactamente una vez
• Más confiable que una sola división, especialmente con pocos datos
• K = 5 o K = 10 son los valores más comunes

Estratificación

• Asegura que cada fold tenga la misma proporción de clases que el dataset completo
• Necesaria cuando las clases están desbalanceadas
• En tidymodels: initial_split(datos, strata = variable_respuesta)

Validación temporal (time series split)

• Para datos con estructura temporal (series de tiempo)
• Nunca entrenar con datos del futuro para predecir el pasado
• Se entrena con datos anteriores, se valida con datos posteriores

Leave-One-Out (LOO)

• K = N (cada observación es un fold)
• Útil con muy pocos datos, pero costoso computacionalmente

• Pregunta frecuente sin respuesta universal
• Depende de:
  • Complejidad del problema: ¿cuántas variables? ¿relaciones lineales o no lineales?
  • Ruido en los datos: datos limpios necesitan menos observaciones
  • Complejidad del modelo: modelos complejos necesitan más datos
  • Número de clases: más clases = más datos por clase
• Reglas prácticas (muy aproximadas):
  • Clasificación: al menos 50-100 por clase minoritaria
  • Deep learning: miles a millones de ejemplos

• Sobreajuste (overfitting): el modelo funciona muy bien con los datos de entrenamiento pero mal con datos nuevos
• El modelo ha memorizado el conjunto de entrenamiento, incluyendo su ruido y particularidades
• No ha aprendido los patrones subyacentes
• Señales de sobreajuste:
  • Rendimiento excelente en entrenamiento
  • Rendimiento pobre en test
  • La brecha crece con la complejidad del modelo
• Piénsenlo así: memorizar las respuestas del examen vs. entender la materia
• El estudiante que memoriza fracasa cuando las preguntas se reformulan

Subajuste

• Modelo demasiado simple
• Alto sesgo, baja varianza
• Malo en entrenamiento Y en test
• No captó el patrón
• Solución: modelo más complejo

Buen ajuste

• Complejidad adecuada
• Sesgo y varianza equilibrados
• Bueno en ambos conjuntos
• Captura el patrón verdadero
• Esto es lo que buscamos

Sobreajuste

• Modelo demasiado complejo
• Bajo sesgo, alta varianza
• Excelente en entrenamiento, malo en test
• Memorizó el ruido
• Solución: regularización

• Sesgo (bias): error por suposiciones simplificadoras del modelo. Un modelo con alto sesgo “no presta atención” a los datos
• Varianza: error por sensibilidad excesiva a los datos de entrenamiento. Un modelo con alta varianza cambia mucho con cada muestra
• No se pueden minimizar ambos al mismo tiempo: al reducir uno, el otro tiende a aumentar
• El objetivo es encontrar el punto medio donde el error total es mínimo
• En la práctica:
  • Modelos simples (regresión lineal): alto sesgo, baja varianza
  • Modelos complejos (redes neuronales profundas): bajo sesgo, alta varianza
  • Regularización ayuda a controlar la varianza sin aumentar demasiado el sesgo

• Regularización: técnica para penalizar la complejidad del modelo
• Agrega un término de penalización a la función de pérdida
• Obliga al modelo a mantener coeficientes pequeños
• Reduce la varianza a costa de un pequeño aumento en el sesgo

Tipos principales:

• L1 (LASSO): puede llevar coeficientes a exactamente cero (selección de variables)
• L2 (Ridge): reduce coeficientes pero no los elimina
• Elastic Net: combinación de L1 y L2

Lo veremos en detalle en el Día 2 cuando trabajemos con regresión.

• Una tabla que muestra todos los resultados posibles de las predicciones
• Cuatro cantidades clave:
  • Verdaderos Positivos (VP): correctamente predicho como positivo
  • Verdaderos Negativos (VN): correctamente predicho como negativo
  • Falsos Positivos (FP): predicho como positivo, pero era negativo (Error Tipo I)
  • Falsos Negativos (FN): predicho como negativo, pero era positivo (Error Tipo II)
• Todas las métricas de clasificación se derivan de estos cuatro números

Precision = VP / (VP + FP)

• Cuando el modelo dice “sí”, ¿con qué frecuencia acierta?
• Alta precisión = pocas falsas alarmas
• Importante cuando los falsos positivos son costosos (spam, fraude)

Recall = VP / (VP + FN)

• De todos los positivos reales, ¿cuántos encontramos?
• Alto recall = no nos perdemos muchos positivos
• Importante cuando los falsos negativos son costosos (enfermedades, seguridad)

La mayoría de los clasificadores generan una puntuación de probabilidad. Mover el umbral cambia el equilibrio entre precisión y recall. No se pueden maximizar ambos

AUC-ROC

• Curva ROC: grafica tasa de verdaderos positivos vs. falsos positivos
• AUC: área bajo la curva ROC (0.5 = azar, 1.0 = perfecto)
• Mide qué tan bien el modelo separa las clases en general
• Independiente del umbral: evalúa todas las probabilidades
• Muy usado para comparar clasificadores

• No existe una métrica “mejor” en general: depende del contexto
• Preguntas para orientarse:
  • ¿Cuál es el costo de un falso positivo? (decir “sí” cuando es “no”)
  • ¿Cuál es el costo de un falso negativo? (decir “no” cuando es “sí”)
  • ¿Las clases están balanceadas o desbalanceadas?
  • ¿Qué acción se tomará con base en la predicción?

¿Qué modelo usar?

• No existe un modelo “mejor” para todos los problemas
• Depende de:
  • Cantidad de datos disponibles
  • Interpretabilidad requerida
  • Tiempo de entrenamiento aceptable
  • Tipo de relaciones en los datos

Principio de parsimonia:

• Empezar con modelos simples (regresión, árboles)
• Aumentar complejidad solo si es necesario
• Un modelo simple que funciona bien es mejor que uno complejo que funciona igual

En R:

• renv: gestión de dependencias (versiones de paquetes)
• targets: pipelines reproducibles
• Quarto/RMarkdown: código + documentación juntos
• Git: control de versiones

En general:

• Docker: contenedores con ambiente completo
• MLflow: tracking de experimentos
• DVC: versionado de datos

• tidymodels es un conjunto de paquetes de R para modelado de datos
• Sigue la filosofía del tidyverse: código legible, consistente y modular
• Paquetes principales:
  • rsample: división de datos (train/test, validación cruzada)
  • parsnip: especificación de modelos (interfaz unificada)
  • yardstick: métricas de evaluación
  • workflows: combinar preprocesamiento + modelo
  • recipes: preprocesamiento de datos
• Ventaja: misma sintaxis para todos los modelos, ya sea regresión logística, random forest o redes neuronales

Conceptos fundamentales:

• El flujo de trabajo de ML tiene 5 pasos: recoger, preprocesar, dividir, entrenar, evaluar
• La calidad de los datos determina la calidad del modelo
• El feature engineering puede mejorar mucho un modelo simple
• Dividimos los datos en entrenamiento y prueba para evaluar generalización
• La validación cruzada es más confiable que una sola división

Problemas y soluciones:

• El sobreajuste ocurre cuando el modelo memoriza en lugar de aprender
• La regularización controla la complejidad del modelo
• La accuracy no es suficiente: necesitamos precisión, recall, AUC-ROC
• Los hiperparámetros se ajustan con validación, no con test
• La reproducibilidad es necesaria para verificar y colaborar