ASAP: Adaptive Scheme for Asynchronous Processing of event-based vision algorithms

Abstract

Event cameras are neuromorphic sensors that capture changes in lighting intensity at pixel-level. They provide a number of advantages over conventional cameras which have led to a revolution from a research and a commercial point of view. The processing of events generated by the relative movement between the camera and the scene entails a paradigm shift in computer vision. Many algorithms in the literature group events to form fixed-frame images. However, these approaches do not fully exploit the advantages of the sensors. In order to cope with this issue, the development of asynchronous processing algorithms is required. One of the main problems of asynchronous processing is the management of the event stream. Some works feed the perception algorithms event-by-event, which provides low latency at a very high computational cost. Other approaches group the events in packets to reduce the computational cost, decreasing the responsiveness of the event-based algorithms. This project presents ASAP, a solution based on a trade-off between event-by-event and event packet approaches. It is a framework whose aim is to feed event-based algorithms as soon as possible while avoiding the overflow caused by an excess of events in a short period of time. The focus of this document is to describe the design, development and implementation of a novel method to achieve efficient processing while adapting to the environment and the requirements of the perception algorithms through variable-sized event packets. Moreover, experimental results are presented to validate the correct operation of ASAP on-board a multirotor aerial vehicle.

Las cámaras de eventos son sensores neuromórficos que capturan cambios en la intensidad luminosa a nivel de píxel. Proporcionan una serie de ventajas frente a las cámaras convencionales y otros sensores de percepción –alta resolución temporal, baja latencia, alto rango dinámico, bajo consumo de energía...– que han supuesto una revolución desde el punto de vista comercial y de investigación. Las potenciales aplicaciones de las cámaras de eventos han motivado un creciente interés en el ámbito de la robótica. El procesamiento de los eventos generados por el movimiento relativo entre la cámara y la escena implica un cambio de paradigma en la visión artificial. Muchos algoritmos presentes en la literatura agrupan eventos para formar imágenes a una frecuencia constante, sin embargo, dichos enfoques no explotan al máximo las ventajas de estos sensores. Para afrontar este problema, se requiere el desarrollo de algoritmos de procesamiento asíncrono. Este es un esfuerzo de investigación que implica una revisión de todas las técnicas de percepción existentes. Uno de los principales problemas del procesamiento asíncrono es la gestión del flujo de eventos. Algunos trabajos alimentan los algoritmos de percepción evento a evento, lo que proporciona una baja latencia con un coste computacional muy elevado. Otros enfoques agrupan los eventos en paquetes para reducir el coste computacional, disminuyendo la capacidad de respuesta de los algoritmos basados en eventos. Este proyecto presenta ASAP (Adaptive Scheme for Asynchronous Processing), una solución basada en un compromiso entre ambos enfoques. Se trata de un marco de trabajo cuyo objetivo es alimentar a los algoritmos basados en eventos tan pronto como sea posible, evitando al mismo tiempo el desbordamiento causado por un exceso de eventos en un corto período de tiempo. El objetivo de este documento es describir el diseño, desarrollo e implementación de un método novedoso para lograr un procesamiento eficiente a la vez que se produce una adaptación al entorno –es decir, a la generación de eventos– y a los requisitos de los algoritmos de percepción, utilizando para ello paquetes de eventos de tamaño variable. Además, se presentan resultados experimentales para validar el correcto funcionamiento de ASAP en un vehículo aéreo multirotor.