Neural networks from scratch

Abstract

Este trabajo es realizado sobre las redes neuronales que son un sub campo de Machine Learning. Las redes neuronales utilizan supervised learning para aprender, las redes neuronales tienen su inspiración en las neuronas biológicas. En este trabajo se demuestra la estructura sobre la cual se asientan las redes neuronales. En el paso de forward propagation vemos como las redes neuronales pasan la información de una capa a otra. Utilizando el producto matricial agilizamos este proceso de pasar la información hacía adelante para predecir. Una vez hecho la predicción necesitamos alguna manera para medir el error que se comete por lo tanto se explica lo que es loss function y cómo mide el error. Los weights (pesos) que son los parámetros de nuestra red neuronal, son optimizados haciendo uso del cálculo y su regla de cadena. Podemos optimizar, entrenar los pesos para que el modelo cometa menos error. El paso para entrenar los pesos es conocido como Backpropagation, en este paso vemos como se calcula el gradiente y los trucos que se utilizan para calcular el gradiente para capas iniciales. En todos los modelos de Machine learning puede haber problemas de sobreajuste (Overfitting), en las redes neuronales vemos algunas de las técnicas utilizadas para prevenir este sobre ajuste y que los modelos puedan generalizarse mejor. Una vez aprendida la estructura básica observamos como una imagen es tratada por un modelo convolutional y los distintos frameworks que existen para facilitar la programación de las redes neuronales. Para demostrar todos los conceptos teóricos se aplican las redes neuronales a distintos tipos de problemas como: regresión, clasificación, clasificación de dígitos y observamos la precisión que alcanzan estas en dichas tareas.