BDB Bertsolaritzaren datu-basea

En los últimos años, el campo de la Inteligencia Artificial ha experimentado un crecimiento sin precedentes, impulsado en gran medida por la aparición de los modelos de lenguaje de gran tamaño (LLMs). Estos sistemas han demostrado ser capaces de abordar con éxito tareas muy diversas, que incluyen desde la traducción automática, el resumen de textos y la respuesta a preguntas, hasta la generación de código, el razonamiento matemático y la creación de contenido creativo.

Dentro de las aplicaciones creativas, la generación automática de poesía métrica resulta especialmente compleja. A diferencia de la prosa, la poesía exige no solo coherencia y calidad estética, sino también el cumplimiento de restricciones formales como la métrica y la rima. La naturaleza secuencial con la que los LLMs generan el texto dificulta la imposición de estas reglas a lo largo de todo un poema. Además, la escasez de corpus poéticos adecuadamente etiquetados complica el entrenamiento de estos modelos, especialmente en el caso de lenguas con recursos digitales limitados, como el euskera.

Este trabajo explora la adaptación de modelos de lenguaje de última generación para la
generación automática de poesía métrica en euskera. El enfoque principal (inspirado en la
metodología de PoeLM) consiste en ajustar un modelo base de gran capacidad (Llama 3.1
8B) sobre un corpus en prosa anotado con códigos de control poéticos, para que aprenda a cumplir con las restricciones de rima y métrica. Adicionalmente, se implementa un módulo de reranking que utiliza un modelo instruido en euskera (Latxa 3.1 8B Instruct) para evaluar y seleccionar el mejor poema entre múltiples candidatos. El objetivo es que, al partir de un modelo preentrenado potente, no solo se aprendan las reglas formales, sino que también se aproveche su conocimiento lingüístico previo para generar poemas de mayor calidad y coherencia que los de enfoques previos. Los resultados muestran que este sistema mejora la calidad poética y que el módulo de reranking es eficaz para eleccionar los mejores candidatos, siendo preferido mayoritariamente frente a una selección aleatoria.

Como alternativa, se ha desarrollado un sistema de generación iterativa que guía a un modelo instruido para generar poesía formalmente correcta sin necesidad de un entrenamiento específico. El sistema construye los poemas verso a verso: genera varios candidatos siguiendo las instrucciones de un prompt detallado, valida automáticamente su corrección formal y, en caso de error, proporciona una corrección específica para que el modelo lo intente de nuevo. Este enfoque alcanza una tasa de éxito media del 97.69 % en el cumplimiento de las restricciones formales de la poesía, muy superior a la del primer sistema. Sin embargo, lo consigue a costa de una menor eficiencia computacional y una calidad poética inferior, ya que las correcciones proporcionadas a veces llevan a la generación de palabras inexistentes o construcciones forzadas.

Índice de contenidos vii
Índice de figuras ix
Índice de tablas x
1 Introducción 1
1.1. Contexto y Motivación ...1
1.2. Planteamiento del Problema ...2
1.3. Objetivos del trabajo ...2
1.4. Estructura del Documento ...3
2 Trabajos relacionados ...5
2.1. Técnicas para la generación automática de poesía ...5
2.1.1. Métodos basados en reglas ...6
2.1.2. Métodos basados en heurísticos ...9
2.1.3. Métodos estadísticos ...10
2.1.4. Aprendizaje profundo (Deep Learning) ...11
2.2. PoeLM ...13
2.2.1. Metodología y diseño ...13
2.2.2. Evaluación y resultados ...15
3 Diseño y Metodología ...17
3.1. Enfoque 1: Ajuste de un modelo preentrenado sobre un corpus con descriptores
poéticos ...17
3.1.1. Modelos de lenguaje utilizados ...18
3.1.2. Corpus de entrenamiento ...19
3.1.3. Entrenamiento ...21
3.1.4. Generación ...22
3.1.5. Reranking ...24
3.2. Enfoque 2: Generación poética mediante prompting iterativo con feedback . 26
3.2.1. Arquitectura del sistema ...26
3.2.2. Proceso de generación iterativa ...27
4 Evaluación y Resultados 314.1. Enfoque 1: Ajuste de un modelo preentrenado sobre un corpus con descriptores poéticos ...31
4.1.1. Evaluación Automática ...31
4.1.2. Evaluación Humana ...37
4.1.3. Comparación cualitativa con PoeLM ...41
4.1.4. Ejemplos de poemas ...44
4.2. Enfoque 2: Generación poética mediante prompting iterativo con feedback ...48
4.2.1. Evaluación ...48
4.2.2. Resultados ...50
4.2.3. Ejemplos de poemas ...61
5 Conclusiones ...65
5.1. Enfoque 1: Ajuste de un modelo preentrenado sobre un corpus con descriptores
poéticos ...65
5.2. Enfoque 2: Generación poética mediante prompting iterativo con feedback ...66
5.3. Conclusiones generales ...67
Bibliografía ...69