Event-based Detector of ArUco Markers

Abstract

Esta proyecto presenta un nuevo enfoque para detectar marcadores ArUco utilizando cá-maras de eventos. Las cámaras de eventos son sensores bioinspirados que capturan cambios de brillo a nivel de píxel de forma asíncrona, ofreciendo ventajas como alta resolución temporal, baja latencia y alto rango dinámico. Los marcadores fiduciales como ArUco son marcas de referencia visuales que se utilizan en tareas como localización mediante cámaras y realidad aumentada. Sin embargo, la detección de estos marcadores se basa en algoritmos tradicionales de visión por computador diseñados para cámaras estándar. El detector de ArUco basado en eventos propuesto consiste en un proceso para detectar e identificar marcadores procesando los eventos de entrada. En primer lugar, se generan imágenes de bordes compensadas a partir del movimiento de los eventos mediante un método de maximización del contraste. A continuación, se extraen candidatos de mar-cadores mediante la detección de cuadriláteros en las imágenes compensadas. Por último, se presentan dos técnicas para la identificación de ArUco en los candidatos: un enfoque de codificación de cuadrículas de bordes adaptado a los eventos (eAruco-Grid) y una clasificación con una red neuronal convolucional (eAruco-CNN). El método se evalúa con distintos diccionarios de ArUco. Los resultados demuestran una detección satisfactoria y una gran exactitud de identificación en diversas condiciones, como con desenfoque de movimiento y cambios de iluminación, en las que falla la detección de ArUco tradicional.

This work presents a novel approach for detecting ArUco markers using event cameras. Event cameras are bio-inspired sensors that capture pixel-level brightness changes asyn-chronously, used in advantages like high speed, low latency, and high dynamic range. Fiducial markers like ArUco are visual landmarks enabling tasks such as camera local-ization and augmented reality. However, marker detection relies on traditional computer vision algorithms devised for standard cameras. The proposed Event-based ArUco detector consists of a pipeline to detect and identify markers by processing input events. First, motion compensated edge images are generated from events using a contrast maximization method. Next, marker candidates are extracted by detecting quadrilaterals in the edge images. Finally, two techniques are presented for ArUco identification on the candidates - a novel grid encoding approach tailored to events (eAruco-Grid) and a convolutional neural network classifier (eAruco-CNN). The method is evaluated on different ArUco dictionaries. Results demonstrate successful detection and high identification accuracy under various conditions like motion blur and lighting changes where traditional ArUco detection fails.