Análisis comparativo de estrategias para la reducción del sobreajuste en aplicaciones basadas en Deep Learning

Abstract

Este proyecto pretende ser un análisis comparativo de las diferentes técnicas y estratégias más utilizadas para evitar el “overfitting” o sobreajuste en aplicaciones fundamentadas en “deep learning” o aprendizaje profundo. Por lo tanto, a lo largo del documento se tratarán temas tales como el aprendizaje profundo, las redes neuronales convolucionales, el sobreajuste, los conjuntos de datos o las diferentes técnicas para evitar el sobreajuste. El sobreajuste se define como un fenómeno donde la red neuronal convolucional se ajusta excesivamente a los datos de entrenamiento, aprendiendo también del ruido y otras variaciones de forma que no se puede generalizar correctamente a nuevos datos. Quizás el párrafo anterior no resulte completamente claro, así que quisiera explicar lo más importante mediante un ejemplo. Imaginemos que la red neuronal es como un estudiante que aprende a partir de ejemplos. Le damos ejemplos de datos para que los estudie y aprenda cómo funcionan. Sin embargo, cuando hay pocos ejemplos o la red es muy complicada, la situación se complica. En lugar de entender realmente los ejemplos, la red parece memorizarlos. Esto se convierte en un problema cuando enfrenta nuevos ejemplos que no ha visto antes. La red no sabe cómo lidiar con ellos y comete errores. Esto ocurre porque la red convolucional memoriza los ejemplos de entrenamiento y no es capaz de “entender” o generalizar lo aprendido. Este desafío, el sobreajuste, es recurrente en las aplicaciones de inteligencia artificial que emplean el aprendizaje profundo. Por esta razón, se han desarrollado a lo largo del tiempo multitud de técnicas para abordar este problema. En este proyecto, se han seleccionado seis de las técnicas más comunes y recomendadas, las cuales se han aplicado en dos redes neuronales convolucionales representativas. La primera red, de pequeña dimensión, se utiliza con el conjunto de datos MNIST. La segunda, de tamaño moderado, se emplea con el conjunto de datos “dogs-vs-cats”. Además, se suele aplicar más de una técnica a la vez, por ello también se analizará y comparará las principales uniones de técnicas.