Estudio comparativo de herramientas de procesamiento de datos en streaming

Abstract

Este proyecto tiene como objetivo el estudio y comparación de Apache Flink, Apache Kafka Streams y Apache Spark Streaming, tres herramientas destinadas al procesamiento de datos en streaming. Este tipo de procesamiento consiste en procesar los datos de forma continua a medida que estos son generados sin necesidad de almacenarlos previamente para su posterior análisis. A diferencia del procesamiento por lotes, en el que los datos se acumulan durante un período de tiempo y se procesan de manera conjunta, el procesamiento en streaming permite obtener resultados de forma inmediata, lo que resulta útil en escenarios donde la latencia es un factor crítico. Para realizar esta comparación se desarrollará un sistema con múltiples servicios para generar datos personalizados, recoger, almacenar y visualizar métricas. Dicho sistema se desplegará sobre Kubernetes en Google Cloud Platform. Cada motor procesará los mismos datos bajo los mismos escenarios de prueba. Los resultados se evaluarán en base a la latencia y uso de recursos, con la intención de identificar fortalezas y limitaciones de cada herramienta y determinar cuál resulta más adecuada según el caso de uso.