"Attention is all you need". Arquitectura Transformers: descripción y aplicaciones

Abstract

El procesado del lenguaje natural, más conocido por sus siglas en ingles NPL (Natural lenguage processing), ha ido evolucionando constantemente a lo largo de los años, llegando a estar presente en herramientas que el usuario común usa a diario, como es el traductor de Google. Esta rama del famoso Machine Learning ha tenido una aceptación muy grande entre la comunidad científica y entre las empresas, lo que está permitiendo un desarrollo vertiginoso. Algunas de las aplicaciones más comunes de estos algoritmos de NPL, están en la clasificación de textos, traductores de idioma o la generación de texto. Debido a su gran versatilidad ya se están utilizando para la resolución de problemas del mundo real. En esta búsqueda de las soluciones más eficientes a los problemas de un mundo cada más digitalizado, se han realizado avances en las investigaciones de nuevos algoritmos para la comprensión y generación de texto, como son los Transformers, la red neuronal con mayor acogida en este ámbito hasta el momento, debido a su gran potencial demostrado en modelos de lenguaje grandes como GPT- 4 o LaMDA. El objetivo de este proyecto es llevar a cabo un estudio profundo de la red neural conocida como Transformer, empezando por sus inicios, las redes neuronales que le preceden, su estructura y funcionamiento, su aplicación práctica en modelos actuales y finalmente resolveremos un problema mediante la elaboración de la red neuronal, entrenamiento y pruebas, pudiendo así realizar un análisis completo de los resultados obtenidos.