R> # quallmer está en GitHub (no en CRAN todavía)
R> install.packages("pak")
R> pak::pak("quallmer/quallmer")

R> library(quallmer)
R> library(ellmer)
R> library(tidyverse)
R> 
R> # Verificar que la API key del Lab 7 sigue configurada
R> Sys.getenv("OPENROUTER_API_KEY") != ""

R> discursos <- read_csv("datos/discursos_ideologia.csv", show_col_types = FALSE)
R> # Lean el archivo directo desde la web:
R> # discursos <- read_csv("https://raw.githubusercontent.com/danilofreire/introduccion-ia-ucu/main/clases/dia-04/datos/discursos_ideologia.csv", show_col_types = FALSE)
R> 
R> head(discursos)

R> codebook_ideologia <- qlm_codebook(
+   name = "retorica_liberal",
+   instructions = "Analizá el estilo retórico de este fragmento de discurso político latinoamericano.
+ Retórica ILIBERAL (puntajes negativos): nacionalismo, apelaciones al orden y la
+ seguridad, tradición, mano dura, distinción entre 'nosotros' y 'ellos', rechazo al pluralismo.
+ Retórica LIBERAL (puntajes positivos): derechos individuales, tolerancia, pluralismo,
+ libertades civiles, derechos de las minorías, Estado de derecho, sociedad abierta.
+ Un puntaje de 0 indica retórica neutral o mixta.",
+   schema = type_object(
+     score = type_integer("Puntaje de -10 (iliberal) a +10 (liberal)"),
+     explicacion = type_string("Breve justificación del puntaje")
+   ),
+   role = "Sos un cientista político experto en analizar retórica política.",
+   levels = list(score = "interval", explicacion = "nominal")
+ )

R> codificado <- qlm_code(
+   discursos$texto,
+   codebook_ideologia,
+   model = "openrouter/nvidia/nemotron-3-super-120b-a12b:free",
+   max_active = 1,   # pocas peticiones a la vez: los modelos :free se saturan
+   name = "nemotron"
+ )
R> 
R> codificado

R> # Comparar el puntaje del LLM con el humano
R> tibble(
+   orador       = discursos$orador,
+   score_humano = discursos$score_humano,
+   score_llm    = codificado$score
+ )

R> # El "gold standard": el puntaje humano de cada discurso
R> gold <- qlm_humancoded(
+   tibble(.id = seq_len(nrow(discursos)), score = discursos$score_humano),
+   name = "humano",
+   codebook = codebook_ideologia
+ )
R> 
R> # ¿Qué tan cerca está el LLM del juicio humano?
R> # qlm_validate devuelve un tibble; lo mostramos como una tabla
R> validacion <- qlm_validate(codificado, gold = gold, by = "score", level = "interval")
R> as_tibble(validacion) |> select(measure, value)

R> # Codificar los MISMOS textos: confiabilidad test-retest
R> codificado_b <- qlm_replicate(codificado, name = "nemotron_b")
R> 
R> # ¿Coinciden las dos corridas? (acuerdo entre codificadores)
R> confiabilidad <- qlm_compare(
+   codificado, codificado_b,
+   by = "score", level = "interval", tolerance = 2
+ )
R> as_tibble(confiabilidad) |> select(measure, value)

R> # Registro completo: codebook, modelo, parámetros, fecha, las dos corridas
R> # qlm_trail() escribe el .rds y devuelve el registro de forma invisible,
R> # así que lo asignamos y lo mostramos en una línea aparte
R> trail <- qlm_trail(codificado, codificado_b, confiabilidad, path = "trail_ideologia")
R> trail

R> nombres <- tribble(
+   ~nombre,            ~genero,
+   "María García",     "F",
+   "Andrea Pérez",     "F",
+   "Luciana Méndez",   "F",
+   "Juan Rodríguez",   "M",
+   "Carlos López",     "M",
+   "Diego Fernández",  "M"
+ )
R> 
R> describir_candidato <- function(nombre) {
+   chat <- chat_openrouter(
+     model = "nvidia/nemotron-3-super-120b-a12b:free",
+     system_prompt = "Sos un consultor de recursos humanos. Respondés en dos o tres oraciones."
+   )
+   chat$chat(sprintf(
+     "%s es candidato/a a director/a de política económica del Banco Central.
+      Describí brevemente sus fortalezas y debilidades para el cargo. 
+      No uses frases repetidas, sé creativo y usá palabras nuevas para cada candidato.",
+     nombre
+   ))
+ }
R> 
R> respuestas_genero <- nombres |>
+   mutate(respuesta = map_chr(nombre, describir_candidato, .progress = TRUE))

R> respuestas_genero

R> # Codebook que puntúa qué tan positiva es cada descripción
R> codebook_tono <- qlm_codebook(
+   name = "tono_candidato",
+   instructions = "Puntuá qué tan positiva es esta descripción de un
+   candidato, de -5 (muy negativa, destaca debilidades) a +5 (muy
+   positiva, destaca fortalezas). 0 es equilibrada.",
+   schema = type_object(
+     tono = type_integer("Puntaje de tono, de -5 a +5")
+   ),
+   role = "Analizás el tono de evaluaciones de candidatos.",
+   levels = list(tono = "interval")
+ )
R> 
R> # El LLM codifica sus PROPIAS respuestas (de la slide anterior)
R> tono_genero <- qlm_code(
+   respuestas_genero$respuesta, codebook_tono,
+   model = "openrouter/nvidia/nemotron-3-super-120b-a12b:free",
+   max_active = 2
+ )
R> 
R> # ¿Describe a un género de forma más positiva que al otro?
R> respuestas_genero |>
+   mutate(tono = tono_genero$tono) |>
+   group_by(genero) |>
+   summarise(tono_medio = mean(tono, na.rm = TRUE),
+             n = sum(!is.na(tono)))

R> tipo_respuesta <- type_object(
+   edad = type_integer("entre 18 y 80"),
+   genero = type_enum(c("M", "F"), "género"),
+   educacion = type_enum(c("primaria", "secundaria", "universitaria"), "nivel"),
+   confianza_gobierno = type_integer("1 a 4, donde 1=nada y 4=mucha"),
+   satisfaccion_democracia = type_integer("1 a 4"),
+   comentario = type_string("una oración corta, plausible para una persona uruguaya")
+ )
R> 
R> tipo_encuesta <- type_array(tipo_respuesta, "lista de respuestas")
R> 
R> generador <- chat_openrouter(
+   model = "nvidia/nemotron-3-super-120b-a12b:free",
+   system_prompt = "Generás respuestas simuladas de encuesta de opinión
+   pública en Uruguay. Las respuestas deben ser DIVERSAS y reflejar
+   patrones plausibles (ej. menos confianza en jóvenes urbanos)."
+ )
R> 
R> datos_gen <- generador$chat_structured(
+   "Generá 15 respuestas para una encuesta sobre confianza institucional.",
+   type = tipo_encuesta
+ )
R> 
R> datos_sinteticos <- as_tibble(datos_gen)
R> glimpse(datos_sinteticos)

R> # ¿La distribución de edad es plausible?
R> ggplot(datos_sinteticos, aes(x = edad)) +
+   geom_histogram(binwidth = 10, fill = "#2d4563", colour = "white") +
+   labs(title = "Edad (datos sintéticos)", x = "Edad", y = "Cantidad") +
+   theme_minimal()

R> # ¿Hay correlaciones esperables? (más confianza en gobierno suele ir
R> # con más satisfacción con la democracia)
R> cor(datos_sinteticos$confianza_gobierno, datos_sinteticos$satisfaccion_democracia)

R> # ¿Están sobre-representados los universitarios?
R> mean(datos_sinteticos$educacion == "universitaria")

R> # En Uruguay real es ~25% (https://www.gub.uy/instituto-nacional-estadistica/comunicacion/noticias/niveles-educativos-para-poblacion-mayor-25-anos)
R> # Si el sintético da ~43%, hay sesgo. Hay que cambiar el prompt o usar otro modelo, y validar de nuevo

codebook_amplio <- qlm_codebook(
  name = "retorica_dimension",
  instructions = "Puntuá la retórica de -10 (iliberal) a +10 (liberal) e
  identificá la dimensión retórica dominante del fragmento.",
  schema = type_object(
    score = type_integer("Puntaje de -10 a +10"),
    dimension = ___    # TODO: un type_enum con las cinco dimensiones
  ),
  role = "Sos un cientista político experto en retórica política.",
  levels = list(score = "interval", dimension = "nominal")
)

codificado_amplio <- qlm_code(discursos$texto, codebook_amplio,
                              model = "openrouter/nvidia/nemotron-3-super-120b-a12b:free",
                              max_active = 2)

codificado_amplio |>
  mutate(signo = if_else(score < 0, "iliberal", "liberal")) |>
  count(dimension, signo) |>
  pivot_wider(names_from = signo, values_from = n, values_fill = 0)

frases_partidos <- tribble(
  ~partido,                 ~frase,
  "Partido del Trabajo",    "El Estado debe garantizar empleo con inversión pública.",
  "Partido del Trabajo",    "Hay que subir los impuestos a las grandes fortunas.",
  "Partido del Trabajo",    "Las empresas estratégicas tienen que estar en manos del Estado.",
  "Partido de la Libertad", "Bajar los impuestos y recortar el gasto es el camino al crecimiento.",
  "Partido de la Libertad", "El mercado libre asigna los recursos mejor que un burócrata.",
  "Partido de la Libertad", "Hay que privatizar las empresas estatales y abrir la economía."
)

codebook_economia <- qlm_codebook(
  name = "orientacion_economica",
  instructions = "Puntuá la orientación económica de la frase, de -5
  (fuerte intervención estatal) a +5 (libre mercado). 0 es mixta.",
  schema = type_object(
    orientacion = ___    # TODO: un type_integer de -5 a +5
  ),
  role = "Sos un analista de economía política.",
  levels = list(orientacion = "interval")
)

codificado_partidos <- qlm_code(frases_partidos$frase, codebook_economia,
                                model = "openrouter/nvidia/nemotron-3-super-120b-a12b:free",
                                max_active = 2)

frases_partidos |>
  mutate(orientacion = codificado_partidos$orientacion) |>
  group_by(___) |>    # TODO: ¿por qué variable conviene agrupar?
  summarise(orientacion_media = mean(orientacion, na.rm = TRUE))

R> codebook_amplio <- qlm_codebook(
+   name = "retorica_dimension",
+   instructions = "Puntuá la retórica de -10 (iliberal) a +10 (liberal) e
+   identificá la dimensión retórica dominante del fragmento.",
+   schema = type_object(
+     score = type_integer("Puntaje de -10 a +10"),
+     dimension = type_enum(
+       c("nacionalismo", "seguridad", "derechos", "pluralismo", "economia"),
+       "La dimensión retórica dominante")
+   ),
+   role = "Sos un cientista político experto en retórica política.",
+   levels = list(score = "interval", dimension = "nominal")
+ )
R> 
R> codificado_amplio <- qlm_code(discursos$texto, codebook_amplio,
+                               model = "openrouter/nvidia/nemotron-3-super-120b-a12b:free",
+                               max_active = 2)
R> 
R> codificado_amplio |>
+   mutate(signo = if_else(score < 0, "iliberal", "liberal")) |>
+   count(dimension, signo) |>
+   pivot_wider(names_from = signo, values_from = n, values_fill = 0)

R> frases_partidos <- tribble(
+   ~partido,                 ~frase,
+   "Partido del Trabajo",    "El Estado debe garantizar empleo con inversión pública.",
+   "Partido del Trabajo",    "Hay que subir los impuestos a las grandes fortunas.",
+   "Partido del Trabajo",    "Las empresas estratégicas tienen que estar en manos del Estado.",
+   "Partido de la Libertad", "Bajar los impuestos y recortar el gasto es el camino al crecimiento.",
+   "Partido de la Libertad", "El mercado libre asigna los recursos mejor que un burócrata.",
+   "Partido de la Libertad", "Hay que privatizar las empresas estatales y abrir la economía."
+ )
R> 
R> codebook_economia <- qlm_codebook(
+   name = "orientacion_economica",
+   instructions = "Puntuá la orientación económica de la frase, de -5
+   (fuerte intervención estatal) a +5 (libre mercado). 0 es mixta.",
+   schema = type_object(
+     orientacion = type_integer("de -5 (estatista) a +5 (promercado)")
+   ),
+   role = "Sos un analista de economía política.",
+   levels = list(orientacion = "interval")
+ )
R> 
R> codificado_partidos <- qlm_code(frases_partidos$frase, codebook_economia,
+                                 model = "openrouter/nvidia/nemotron-3-super-120b-a12b:free",
+                                 max_active = 2)
R> 
R> # El clasificador separa a los dos partidos: Libertad promercado (positivo),
R> # Trabajo estatista (negativo)
R> frases_partidos |>
+   mutate(orientacion = codificado_partidos$orientacion) |>
+   group_by(partido) |>
+   summarise(orientacion_media = mean(orientacion, na.rm = TRUE),
+             n = sum(!is.na(orientacion)))

R> # 1. Datos: su corpus con una columna de texto y su puntaje humano
R> discursos <- read_csv("datos/discursos_ideologia.csv", show_col_types = FALSE)
R> 
R> # 2. Codebook (tu construcción y su escala)
R> #    (ver Paso 1 del laboratorio)
R> 
R> # 3. Codificar con quallmer
R> codificado <- qlm_code(discursos$texto, codebook_ideologia,
+                        model = "openrouter/nvidia/nemotron-3-super-120b-a12b:free",
+                        max_active = 2)
R> 
R> # 4. Validar contra su codificación humana
R> gold <- qlm_humancoded(
+   tibble(.id = seq_len(nrow(discursos)), score = discursos$score_humano),
+   name = "humano", codebook = codebook_ideologia)
R> qlm_validate(codificado, gold = gold, by = "score", level = "interval")
R> 
R> # 5. Confiabilidad: replicar y comparar
R> codificado_b <- qlm_replicate(codificado, name = "rep")
R> qlm_compare(codificado, codificado_b, by = "score", level = "interval", tolerance = 2)