Fusión estática de imágenes del espectro visible y térmico para una mejor detección de personas mediante Redes Neuronales Convolucionales: un análisis del rendimiento

Abstract

Este artículo presenta diferentes métodos de fusión estática para imágenes compuestas de dos espectros, imagen del espectro visible RGB e imagen térmica (infrarrojo lejano) para ser empleadas en tareas de detección mediante redes neuronales convolucionales. Aunque las tareas de detecci´on mediante imagen est´an muy desarrolladas, siguen estando fuertemente limitadas por las condiciones de iluminación, tanto del dataset como de las condiciones de trabajo. Esta limitación hace que estas técnicas no consigan un grado de fiabilidad suficiente para ser aplicadas a gran escala. Las imágenes térmicas añaden información que, de por sí. es invariante a las condiciones de iluminaci´on, complementando las imágenes del espectro visible all´ı donde son menos robustas. En este trabajo se analiza el rendimiento de diferentes t´ecnicas que, al margen del dataset empleado, permiten fusionar los cuatro canales de información (RGBT) para aprovechar la potencia de detección de algoritmos empleados en imágenes RGB. Enfocados en operaciones de búsqueda y salvamento, seguridad o vigilancia, se pretenden detectar personas de manera robusta. Se aprovechará la potencia de YOLOv8 haciendo uso de un dataset de imágenes multiespectro: Kaist.

This paper presents a review of di↵erent image fusion methods for the combination of visible spectrum images with thermal spectrum (far-infrared) images, aimed to enhance people detection by means of Convolutional Neural Networks (CNNs). While image detection with RGB images is a well-developed area, it still heavily relies on and is greatly limited by lighting conditions. This limitation poses a significant challenge for image detection to play a larger role in everyday technology, where illumination cannot always be controlled. Far-infrared images (which are invariant to light conditions), can serve as a valuable complement to RGB images in environments where illumination cannot be controlled and a robust detection of objects is needed. In this work, various fusion techniques are presented so that the information fused can be used in more advanced detection algorithms. Focussing on the field of search and rescue operations, security of vigilance the work focuses on pedestrian detection, taking advantage of the power of YOLOv8 algorithm. All the fusion techniques are tested making use of a multispectral dataset, Kaist, with the aim of addressing these limitations and improving detection performance.