• LLM = Large Language Model (modelo de lenguaje extenso)
• Un modelo de IA entrenado con cantidades masivas de texto para predecir el próximo token
• El “large” se refiere a tres dimensiones:
  • Parámetros: GPT-3 tiene 175 mil millones; GPT-4 se estima en más de 1 billón
  • Datos: terabytes de texto (Wikipedia, libros, código, web)
  • Cómputo: meses de entrenamiento con miles de GPUs
• La idea es conceptualmente simple. La magia viene de la escala
• A esa escala emergen capacidades que no fueron programadas: traducir, resumir, responder preguntas, escribir código

• Dada una secuencia, el modelo calcula una distribución de probabilidad sobre todos los tokens posibles del vocabulario
• Ejemplo: “El gato se sentó en la ___”

• El modelo muestrea un token (típicamente uno de los más probables, con algo de aleatoriedad)
• Luego repite el proceso con el nuevo contexto

• Los LLMs no leen letras ni palabras: leen tokens, que son subpalabras
• Algoritmo más común: BPE (Byte Pair Encoding; Sennrich, Haddow y Birch, 2016)
• Vocabulario finito (típicamente 50.000 a 200.000 tokens) que puede representar casi cualquier texto
• Palabras comunes son un solo token; palabras raras o largas se descomponen

Ejemplos (tokenizador de OpenAI)

• “hola” → 1 token
• “ChatGPT” → 3 tokens (Chat, G, PT)
• “investigación” → 3 tokens
• “Latinoamérica” → 5 tokens
• “paralelepípedo” → 6 tokens

• Los modelos comerciales fueron entrenados mayoritariamente con texto en inglés
• Implicaciones prácticas para investigación en América Latina:
  • Los prompts en español cuestan más por la misma cantidad de información
  • Las respuestas también consumen más tokens
• Estrategias:
  • Para tareas simples: usar inglés en el system prompt y español en los datos
  • Para investigación: medir el costo por documento antes de escalar
  • Para corpus grandes: considerar modelos entrenados con más español (Mistral, Qwen)
• Modelos chinos y europeos (Qwen, Mistral) tienen tokenizadores más eficientes para lenguas no anglófonas

• La ventana de contexto es el número máximo de tokens que el modelo puede procesar en una sola llamada
• Incluye entrada y salida: prompt + respuesta
• La ventana ha crecido enormemente en pocos años:

• Cada token se convierte en un vector de números
• Estos vectores capturan significado semántico:
  • Palabras similares → vectores cercanos
  • “rey” − “hombre” + “mujer” ≈ “reina” (Mikolov et al., 2013)
• Es la misma idea que vimos con Word2Vec ayer, pero ahora con dimensiones mucho mayores:
  • Word2Vec: ~300 dimensiones por palabra
  • GPT-2: 768 dimensiones por token
  • GPT-4: miles de dimensiones
• Los embeddings se aprenden durante el entrenamiento: nadie los programa explícitamente
• Aplicaciones: búsqueda semántica, clasificación, recomendaciones, RAG

Word2Vec (estático)

• Una palabra → un único vector
• “banco” tiene siempre el mismo embedding, sin importar el contexto
• Limitación: no distingue homónimos ni ambigüedad
• Promedio entre todos los usos

Ejemplo:

“banco financiero” y “banco del parque” usan el mismo vector para “banco”.

LLM (contextual)

• Una palabra → un vector distinto en cada contexto
• “banco” en una frase de finanzas ≠ “banco” en una frase de paseo
• El embedding se calcula mirando todo el contexto
• Permite resolver ambigüedad de forma natural

Ejemplo:

“banco financiero” produce un vector cercano a “economía”, “dinero”. “banco del parque” produce un vector cercano a “asiento”, “madera”.

• Para cada token, el modelo computa una puntuación de relevancia con todos los tokens previos
• Luego usa esas puntuaciones para ponderar la información que llega a ese token
• Ejemplo de resolución de ambigüedad:

• El modelo “resuelve” que lo caliente era la alfombra y no la gata, porque la atención lo pondera así

• Una sola cabeza de atención solo captura un tipo de relación a la vez
• Los transformers usan atención multi-cabeza: varios mecanismos de atención en paralelo dentro de la misma capa
• Cada cabeza aprende un patrón distinto:
  • Una cabeza puede aprender sintaxis (sujeto-verbo)
  • Otra puede aprender co-referencia (pronombres → antecedentes)
  • Otra puede aprender relaciones semánticas (causa-consecuencia)
• GPT-4 tiene docenas de cabezas por capa, y docenas de capas
• En total: miles de patrones aprendidos en paralelo

• A escalas pequeñas, los modelos solo predicen tokens sensatamente
• A escalas suficientemente grandes, aparecen capacidades nuevas:
  • Traducción entre idiomas sin entrenamiento específico
  • Resumen de textos largos
  • Razonamiento paso a paso
  • Aritmética básica
  • Programación en muchos lenguajes
  • Conversación coherente y útil
• No hay un punto fijo: cada capacidad emerge a una escala distinta
• Esto se llama emergencia y es debatido: ¿es real o artefacto de medición? (Schaeffer et al., 2023)

El experimento

Dar al modelo unos pocos ejemplos en el prompt:

Traduce al inglés:
- gato → cat
- perro → dog
- casa → house
- libro →

Sin entrenamiento, sin actualizar pesos. Solo le pasamos los ejemplos en el contexto. El modelo continúa el patrón:

- libro → book

Por qué importa

• Permite adaptar el modelo a tareas nuevas sin reentrenar
• Funciona para clasificación, anotación, extracción, traducción
• Es la base del prompt engineering
• Es una capacidad emergente: modelos pequeños no la tienen

Comparación

• Recuerden lo que el modelo optimiza:

\[P(\text{próximo token} \mid \text{contexto previo})\]

• NO optimiza:

\[P(\text{afirmación verdadera})\]

• El modelo no tiene acceso a hechos, solo a patrones estadísticos del texto de entrenamiento
• Si una secuencia de palabras suena plausible (un nombre, una fecha, una cita), el modelo la genera, aunque sea falsa
• Las alucinaciones son comunes en:
  • Citas académicas, estadísticas, hechos históricos, etc

• 2023: un abogado en Nueva York usa ChatGPT para preparar un escrito legal

• Le pide al modelo precedentes para apoyar su caso (Mata vs. Avianca)

• ChatGPT genera seis casos con citas completas: nombres, números de expediente, argumentos

• El abogado los incluye en su escrito

• Ninguno de los seis casos existe

• El juez lo descubre. Multa: USD 5.000. Vergüenza pública. Caso de estudio internacional

• Otros casos: Air Canada - engaño (The Guardian, 2024), Google Bard - errores (Reuters, 2023), ChatGPT - difamación (Reuters, 2023), EY - citas falsas (FT, 2026)

• Modelos con pesos disponibles: cualquiera puede descargarlos y correrlos
• Pueden ejecutarse localmente en una computadora con suficiente RAM
• Buena herramienta: Ollama (ollama pull granite4.1:3b y listo)

Principales modelos abiertos

Ventajas

• Cero costo, privacidad, reproducibilidad

• Una imagen es una grilla de píxeles: cada uno, tres números (rojo, verde, azul)
• Una foto típica son millones de números sin significado por sí solos
• Un Vision Transformer la corta en parches (por ejemplo, de 16×16 píxeles)
• Cada parche se trata como un token y se convierte en un embedding, igual que una palabra
• Desde ahí, el transformer usa atención exactamente como con el texto
• Por eso un modelo puede ver: afiches, memes, documentos escaneados, PDFs
• Lo hacen GPT-5.5, Claude Opus 4.8 y Gemini 2.5

• El sonido es una onda que cambia en el tiempo. No se ve
• El truco: convertirla en un espectrograma, una imagen de sus frecuencias
• Y una imagen ya sabemos volverla tokens: parches → embeddings
• El espectrograma pasa por el mismo transformer: atención y tokens, igual que el texto
• Así funciona Whisper (OpenAI): transcribe habla en 99 idiomas
• Por eso un modelo puede oír: transcribir entrevistas, discursos o audios de campo
• Y el video no es nada nuevo: son imágenes + sonido, así que también entra