Generación de texto estructurado en español para batallas de freestyle utilizando modelos de Deep Learning

Tesina (Licenciatura en Informática) - Universidad Nacional de La Plata. Facultad de Informática, 2021.

1. Introducción -- 1.1. Resumen -- 1.2. Motivación -- 1.3. Objetivos -- 1.4. Organización del documento -- 2. Deep Learning -- 2.1. Modelos lineales -- 2.1.1. Clasificación binaria -- 2.1.2. Clasificación multiclase -- 2.2. Función de error -- 2.2.1. Entropía Cruzada Categórica -- 2.3. Descenso de Gradiente -- 2.3.1. Sobreajuste -- 2.4. Redes neuronales -- 2.4.1. Funciones de activación -- 2.4.2. Entrenamiento de redes neuronales - Back-propagation -- 2.4.3. Dropout -- 2.4.4. Transfer Learning -- 2.5. Redes neuronales recurrentes -- 2.5.1. RNNs bidireccionales -- 2.5.2. Arquitecturas con compuertas -- 3. Procesamiento de Lenguaje Natural -- 3.1. Preprocesamiento -- 3.1.1. Tokenización -- 3.1.2. Byte Pair Encoding -- 3.2. Representación de documentos -- 3.2.1. Representación con Características Estáticas -- 3.2.2. Representación con Características Dinámicas -- 3.2.3. Representación con Características Aprendidas: Word Embeddings -- 3.2.4. Obtención de vectores de Embeddings -- 3.3. Modelos de Lenguaje - Generación de Lenguaje Natural -- 3.3.1. Modelos de Lenguaje de n-gramas -- 3.3.2. Modelos de Lenguaje Neuronal con ventana fija -- 3.3.3. Modelos de Lenguaje con Redes Neuronales Recurrentes -- 3.4. Generación de texto estructurado -- 3.4.1. Batallas de freestyle -- 3.4.2. Métricas de evaluación -- 3.4.3. Trabajos relacionados -- 4. Desarrollo Realizado -- 4.1. Generación de Base de Datos -- 4.2. Preprocesamiento y análisis de los datos -- 4.2.1. Análisis de vocabulario -- 4.2.2. Tokenización -- 4.3. Modelo de generación de texto -- 4.4. Entrenamiento del modelo de lenguaje -- 4.5. Generación de texto estructurado -- 4.5.1. Organización del texto en estrofas -- 4.5.2. Generación de texto bajo estructura de rima -- 4.5.3. Algoritmo de generación -- 5. Conclusiones y trabajos futuros -- 5.1. Conclusiones generales -- 5.2. Líneas de trabajo futuras -- Bibliografía