Primera parte

• El texto como datos
• Tokenización y preprocesamiento
• Bag-of-words
• TF-IDF
• Análisis de sentimiento

Segunda parte

• Topic Modeling (LDA)
• Introducción a embeddings
• Word2Vec y representaciones densas
• Aplicaciones en América Latina
• Limitaciones y próximos pasos

• Las ciencias sociales producen y estudian enormes cantidades de texto:
  • Discursos parlamentarios
  • Artículos periodísticos
  • Respuestas a encuestas abiertas
  • Publicaciones en redes sociales
  • Documentos legales y de política pública
• Un investigador puede leer cientos de textos. Una computadora puede analizar millones
• El análisis computacional de texto permite:
  • Medir temas y opiniones a gran escala
  • Descubrir patrones invisibles a la lectura manual
  • Comparar textos entre países, períodos o actores

• Paso 1: Recoger el corpus (conjunto de textos)
• Paso 2: Limpiar: quitar puntuación, convertir a minúsculas, eliminar palabras vacías (stopwords)
• Paso 3: Representar el texto como números (bag-of-words, TF-IDF, embeddings)

• Paso 4: Aplicar un modelo (sentimiento, tópicos, clasificación)
• Paso 5: Interpretar los resultados en contexto
• Hoy nos enfocaremos en los pasos 2 a 4 con métodos clásicos (no deep learning)
• Mañana veremos cómo los LLMs cambian este panorama

• Tokenización: dividir el texto en unidades más pequeñas (tokens)
• Los tokens pueden ser:
  • Palabras: “la democracia es importante” → [“la”, “democracia”, “es”, “importante”]
  • N-gramas: secuencias de N palabras
    • Bigramas: [“la democracia”, “democracia es”, “es importante”]
  • Subpalabras: para modelos de lenguaje (lo veremos mañana)
• La tokenización es el primer paso de casi todo análisis de texto
• En R, usamos el paquete tidytext con la función unnest_tokens()
• tidytext sigue la filosofía de tidyverse: una fila por token

• Stopwords (palabras vacías): palabras muy frecuentes que aportan poco significado
  • En español: “el”, “la”, “de”, “en”, “que”, “y”, “a”, “los”…
• Las eliminamos para centrarnos en las palabras con contenido
• Otros pasos de limpieza:
  • Quitar números y puntuación
  • Convertir a minúsculas
  • Opcionalmente, stemming: reducir palabras a su raíz
    • “democracia”, “democrático”, “democracias” → “democra-”
  • O lematización: reducir al lema (forma base)
    • “gobierna”, “gobernó”, “gobernar” → “gobernar”

• Bag-of-words (bolsa de palabras): representar un texto como un vector de frecuencias
• Contar cuántas veces aparece cada palabra
• Ignora el orden de las palabras (por eso se llama “bolsa”)
• “El gato come pescado” y “El pescado come gato” tienen la misma representación
• Simple pero sorprendentemente efectivo para muchos problemas
• Limitaciones:
  • No captura el orden
  • No captura el significado
  • Las palabras muy frecuentes dominan

• TF-IDF: Term Frequency - Inverse Document Frequency (el concepto de IDF viene de Sparck Jones, 1972)
• Problema con bag-of-words: las palabras más frecuentes no siempre son las más informativas
• TF-IDF pondera la frecuencia de una palabra por su rareza en el corpus:

\[\text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{\text{DF}(t)}\right)\]

• TF (Term Frequency): frecuencia del término en el documento
• IDF (Inverse Document Frequency): \(\log(N / \text{documentos que contienen el término})\)
• Una palabra que aparece mucho en un documento pero poco en el corpus tiene TF-IDF alto
• Resultado: identifica las palabras distintivas de cada documento

• Análisis de sentimiento: determinar si un texto expresa una opinión positiva, negativa o neutra
• Método más simple: diccionarios de sentimiento
  • Listas de palabras clasificadas como positivas o negativas
  • “crecimiento”, “mejora”, “éxito” → positivo
  • “crisis”, “pobreza”, “fracaso” → negativo
• Contar palabras positivas y negativas; comparar
• Limitaciones importantes:
  • No captura negaciones: “no es bueno” → cuenta “bueno” como positivo
  • No captura ironía ni sarcasmo
  • Los diccionarios son dependientes del dominio
• Aún así, funciona razonablemente bien a gran escala

• LDA (Latent Dirichlet Allocation, Blei, Ng y Jordan, 2003): el método más usado para descubrir temas en un corpus
• Idea: cada documento es una mezcla de temas, y cada tema es una mezcla de palabras
• LDA descubre ambas mezclas simultáneamente
• Ejemplo:
  • Tema 1 (economía): “crecimiento”, “inflación”, “PIB”, “empleo”
  • Tema 2 (salud): “hospital”, “vacunación”, “pandemia”, “médicos”
  • Documento X: 70% tema 1 + 30% tema 2
• El usuario elige el número de temas (K)
• LDA es un modelo generativo: asume que los documentos fueron “generados” por este proceso de mezcla

Lo que LDA nos da

• Las K palabras más probables de cada tema
• La proporción de cada tema en cada documento
• Podemos etiquetar los temas según las palabras más frecuentes

Ejemplo de resultado

→ Etiquetamos: tema 1 = “economía”, tema 2 = “educación”, tema 3 = “seguridad”

Limitaciones de LDA

• Elegir K es difícil: no hay un método definitivo
• Los temas pueden ser incoherentes (mezclar conceptos)
• No captura relaciones entre palabras (como lo hacen los embeddings)
• Los temas no tienen nombre: los nombres los pone el investigador
• Es un modelo probabilístico: resultados pueden variar entre ejecuciones
• Para textos cortos (tweets, respuestas breves), LDA funciona mal porque cada documento tiene muy pocas palabras para estimar distribuciones de tópicos
• Los LLMs modernos pueden hacer este trabajo mucho mejor (Día 4)

• Bag-of-words y TF-IDF son representaciones dispersas (sparse)
  • Cada palabra es una dimensión independiente
  • No capturan significado ni relaciones semánticas
  • “perro” y “can” son tan diferentes como “perro” y “democracia”
• Problemas:
  • Sinónimos: palabras diferentes, significado igual
  • Polisemia: misma palabra, significados diferentes
  • Orden: “el gato come pescado” = “el pescado come gato”
• Solución: representaciones densas que capturan significado

• Un embedding es un vector denso que representa una palabra (o texto)
• Las palabras con significados similares tienen vectores cercanos
• La idea central: “una palabra se conoce por la compañía que frecuenta” (Firth, 1957)
• Si dos palabras aparecen en contextos similares, tienen significados similares
  • “El ___ ladra fuerte” → perro, can, cachorro
  • Estos deberían tener embeddings cercanos
• Métodos clásicos: Word2Vec (Google, 2013), GloVe (Stanford, 2014)
• Métodos modernos: BERT, GPT (veremos mañana)

• Word2Vec (Mikolov et al., 2013): entrenar una red neuronal para predecir palabras a partir de su contexto
• Dos arquitecturas:
  • CBOW (Continuous Bag of Words): predecir la palabra central dado el contexto
  • Skip-gram: predecir el contexto dada la palabra central
• El “subproducto” del entrenamiento son los embeddings
• Propiedades emergentes:
  • Aritmética de vectores: rey - hombre + mujer ≈ reina
  • Analogías: París:Francia :: Madrid:España

• Entrenar embeddings requiere muchísimos datos (miles de millones de palabras)
• En la práctica, usamos embeddings preentrenados:
  • Word2Vec en Google News (inglés)
  • fastText (Facebook): disponible para español
  • GloVe (Stanford)
• Para español:
  • Spanish Billion Words Corpus
  • fastText embeddings para español
• Cómo usarlos: cargar los embeddings y buscar el vector de cada palabra

• Los embeddings de palabras representan palabras individuales
• Pero muchas veces queremos representar documentos completos
• Enfoques simples:
  • Promedio de los embeddings de las palabras del documento
  • Promedio ponderado por TF-IDF
• Enfoques más sofisticados:
  • Doc2Vec: extensión de Word2Vec para documentos
  • Sentence-BERT: embeddings de oraciones con transformers
• Los embeddings de documentos permiten medir similaridad entre textos

Ejemplos de investigación:

• Análisis de discursos presidenciales
  • ¿Cómo cambia el tono según el contexto económico?
  • ¿Qué temas dominan en cada país?
• Comparación de programas partidarios
  • Posicionamiento ideológico automático
  • Evolución de agendas a lo largo del tiempo
• Debates parlamentarios
  • Polarización del lenguaje
  • Redes de co-aparición de temas

Aplicaciones:

• Detección de desinformación
  • Identificar narrativas falsas
  • Mapear redes de difusión
• Sentimiento hacia políticas públicas
  • Reacciones a anuncios gubernamentales
  • Evolución de la opinión pública
• Movilización social
  • Identificar hashtags emergentes
  • Predecir protestas

Aplicaciones:

• Agenda setting: ¿qué temas cubren los medios?
• Framing: ¿cómo se presenta cada tema?
• Sesgo mediático: diferencias entre medios
• Cobertura electoral: equidad y tono

Métodos:

• TF-IDF para identificar temas distintivos
• LDA para descubrir frames
• Sentimiento para medir tono
• Embeddings para similaridad temática

Bag-of-words / TF-IDF:

• No capturan orden de palabras
• No capturan significado
• Dependen de stopwords predefinidas
• Sensibles a errores ortográficos

LDA:

• Elegir K es arbitrario
• Temas pueden ser incoherentes
• Malo para textos cortos
• No captura relaciones entre temas

Métodos clásicos:

• Tokenización: dividir texto en palabras
• Stopwords: eliminar palabras vacías
• Bag-of-words: contar frecuencias
• TF-IDF: ponderar por rareza
• LDA: descubrir temas latentes

Representaciones:

• Dispersas: un vector enorme con casi todos ceros
• Densas (embeddings): vectores compactos que capturan significado
• Word2Vec: embeddings de palabras
• Doc2Vec: embeddings de documentos