Fine-Tuning de Modelos de Lenguaje para Generación de Código en CODE-2

Abstract

Este Trabajo Fin de Grado tiene como objetivo el estudio, aplicación y evaluación del modelo T5-Small para tareas de generación automática de código ensamblador en el entorno académico CODE-2[16]. Dicho entorno, ampliamente utilizado en docencia para la enseñanza de arquitectura de computadores[16], presenta una gramática y sintaxis bien definida que lo convierte en un candidato adecuado para la aplicación de modelos de lenguaje generativos. El trabajo se ha estructurado en torno a dos ejes principales: por un lado, el finetuning del modelo utilizando técnicas avanzadas como Prompt-Tuning, Adapters, Low-Rank Adaptation (LoRA) y Full Fine-Tuning (cap´ıtulo 3); y por otro lado, la aplicación de técnicas de cuantización, concretamente Post-Training Quantization (PTQ), con el fin de reducir el tamaño del modelo y su coste de inferencia (capítulo 4). Para la evaluación se ha diseñado un conjunto de pruebas que abarca métricas estándar en la generación de código: Exact Match, BLEU y ROUGE-L, analizando además el consumo de recursos computacionales, tiempos de entrenamiento y desempeño bajo diferentes configuraciones de entrenamiento y hardware. Los resultados obtenidos confirman que el enfoque de Full Fine-Tuning ofrece la mejor calidad y consistencia en la generación de código, alcanzando un Exact Match del 83% tras optimización de parámetros de decodificación (80% en el modelo entrenado base con dataset de 36k ejemplos). Aunque técnicas diversas fueron evaluadas (Prompt-Tuning, Adapters, LoRA, Full Fine-Tuning), solo Full Fine-Tuning demostró rendimiento suficiente para aplicaciones educativas donde la corrección semántica es crítica. Para contextos con recursos muy limitados, LoRA constituye una alternativa viable aunque con menor precisión. Además, se documentaron limitaciones fundamentales de técnicas alternativas como QAT (incompatible con Transformers en Windows) y poda agresiva (causa colapso del modelo).