Uso de descriptores holísticos para la localización y creación de mapas: una aproximación al graph-SLAM mediante apariencia visual

Abstract

Throughout the last few years, the quantity of applications that use mobile robots have increased and they are present in very diverse fields. A robot must have an internal representation of the environment through which it is going to move. This representation will allow it to estimate its position and orientation, as well as the trajectory to follow during the operation. In this way it can carry out tasks, autonomously, within that environment. This information is essential to generate the necessary signals to feed the equipped actuators. These actuators generate the desired movement in the robot. This environment representation is done by collecting information from the surroundings through different sensors. There are many types of sensors such as lasers, encoders, GPS, sonars, visual sensors, etc... All of them provide information to the robot. The robot uses these information to generate a representation of the environment. Among all of them, it is possible to highlight the visual sensors, due to different advantages such as its reduced weight, its limited energy consumption and, above all, its multiple possibilities of configuration, which makes it a suitable sensor for an infinity types of applications. These sensors provide images that have rich information that can be exploited in different ways. Among all the possible configurations of visual sensors there is one that provides information in all directions around the robot. This configuration consists of a catadioptric system formed by a conventional camera pointing to the base of a convex mirror, which can be spherical, conical, elliptical, hyperbolic or parabolic. The entire environment is reflected in the mirror, and the camera captures this reflection, generating an omnidirectional image, which contains information about the environment with a 360 visual field around the axis of the catadioptric system. For the development of this Doctoral Thesis, the hyperbolic mirror has been chosen as a mirror of the system. This kind of mirror has different advantages that will be detailed throughout the document. The visual information obtained is very rich and this can be a problem when working with it. For this reason, the use of thechniques to extract the most relevant information is essential to do possible its management. There are different methods to perform this task in order to generate maps of the environment based on descriptors that store the relevant information. The first one is based on the extraction and description of characteristic points of the scenes, which has reached a certain maturity because it has been used in many of the known mapping and localization algorithms. However, these systems have several disadvantages due to the high computational cost to manage it and their low robustness against changes in the environment. The second method consists of working with the general information of the scenes, generating a single descriptor that collects the information of each image as a whole, without the extraction of local characteristics. It permits to extract a single holistic descriptor per image that collects its global information. This approach is more recent than the previous one and, normally, leads to simpler localization algorithms, conceptually speaking. Due to the immaturity of these methods, it is necessary to carry out exhaustive studies to prove their validity in tasks of mapping and location. In this Doctoral Thesis, localization and mapping techniques are developed using this image description approach. With this approach in mind, various algorithms, collected in each of the chapters of the Doctoral Thesis, have been proposed. First, a program to generate omnidirectional images in virtual environments is proposed to solve the problem of acquiring omnidirectional images with a real catadioptric system. This program permits to confgurate the catadioptric system by testing it using virtual images. This saves on costs and time because the acquisition of different actual databased using different system configurations is not necesary. Secondly, two 2D localization algorithms are proposed. they use a descriptor based on the Radon transform, starting from different initial hypotheses. These algorithms are compared with methods based on the extraction of characteristics and with methods based on other known global appearance descriptors. Third, a relative height estimation algorithm has been developed using the global appearance of the scenes and compared with an alternative method based on the description of the local characteristics of the scenes. Finally, a method of graph-SLAM (Creation of topological maps and localization simultaneously) is proposed. All the developed algorithms have been validated through experiments that use diverse databases formed by omnidirectional images.-

A lo largo de los últimos años, las aplicaciones de los robots móviles han aumentado de una forma considerable y cada vez están más presentes en muy diversos ámbitos. Para que estos robots sean capaces de realizar tareas de forma autónoma dentro de diferentes entornos, es necesario que posean una representación interna del mismo con el objetivo de poder estimar su posición y orientación dentro de él, así como la trayectoria seguida durante su funcionamiento. Esta información es imprescindible para poder generar las señales necesarias para alimentar a los actuadores equipados y que generen el movimiento deseado en el robot. Esta representación de entorno se realiza recogiendo información de los alrededores a través de diferentes sensores. Existen multitud de tipos de sensores como pueden ser láseres, encoders, GPS, sonars, sensores visuales, etc... Todos ellos proporcionan información de diferente tipo al robot para que sea capaz de generar una representación del entorno. De entre todos ellos se puede destacar los sensores visuales, debido a diversas características como su reducido peso, su consumo energético limitado y sobre todo a su infinidad de posibilidades de configuración, lo cual los convierte en unos sensores aptos para infinidad de aplicaciones. Estos sensores proporcionan imágenes que poseen información de gran riqueza que puede ser aprovechada de diferentes formas. De entre todas las posibles configuraciones de sensores visuales existe una que proporciona información en todas las direcciones alrededor del robot: los sistemas visuales catadióptricos. Estos sistemas están formados por una cámara convencional apuntando a la base de un espejo convexo, el cual puede ser esférico, cónico, elíptico, hiperbólico o parabólico. El entorno completo se refleja en el espejo, y la cámara captura este reflejo, dando lugar a una imagen omnidireccional, que contiene información del entorno con un campo visual de 360ž alrededor del eje del sistema catadióptrico. Para el desarrollo de esta Tesis Doctoral se ha elegido el espejo hiperbólico como espejo del sistema debido a diferentes ventajas que se detallarán a lo largo del documento. La información visual obtenida es muy rica y esto puede suponer un problema a la hora de trabajar con ella. Por este motivo se hace indispensable el uso de técnicas de extracción de la información más relevante para que su manejo sea posible. Existen diferentes métodos que permiten realizar esta tarea con el fin de generar mapas del entorno basados en descriptores que almacenan la información relevante. El primero de ellos está basado en la extracción y descripción de puntos característicos de las escenas, el cual ha alcanzado cierta madurez debido a que ha sido utilizado en muchos de los algoritmos de creación de mapas y localización conocidos hoy en día. Sin embargo, estos sistemas presentan diversos inconvenientes debido al elevado coste computacional que requiere su manejo al trabajar con mapas extensos y su baja robustez frente a cambios en el entorno. El segundo método consiste en trabajar con la información general de las escenas, generando un único descriptor que recoja la información de cada imagen de manera conjunta, sin la extracción de características locales. Con esto lo que se consigue es extraer un único descriptor holístico por imagen que recoge su información global. Este enfoque es más reciente que el anterior y, normalmente, conduce a algoritmos de localización mas sencillos, conceptualmente hablando. El desarrollo de estos enfoques no ha sido tan amplio, por lo que se requiere realizar exhaustivos estudios para probar su validez en tareas de creación de mapas y localización. En la presente Tesis Doctoral se desarrollan técnicas de localización y creación de mapas utilizando este enfoque de descripción de imágenes. Con este enfoque en mente, se han propuesto diversos algoritmos recogidos en cada uno de los capítulos de la Tesis Doctoral. En primer lugar, debido a la problemática de adquirir imágenes omnidireccionales con un sistema catadióptrico, se propone un programa de generación de imágenes omnidireccionales en entornos virtuales. Esto ayuda a la hora de configurar el sistema catadióptrico utilizado, ya que se podrá testar su funcionamiento a partir de las imágenes virtuales. Con ello se ahorra en costes y en tiempo ya que si se tuviera que capturar diferentes bases de datos reales con diferentes sistemas catadióptricos configurados de maneras diversas se necesitaría más tiempo y más dinero para la adquisición de los diferentes sistemas. En segundo lugar, se proponen dos algoritmos de localización en el plano del suelo que utilizan un descriptor basado en la transformada de Radon, partiendo de diferentes hipótesis iniciales y se comparan con métodos basados en la extracción de características y en descriptores de apariencia global más conocidos. En tercer lugar, se ha desarrollado un algoritmo de cálculo de altura relativa utilizando la apariencia global de las escenas y se compara con un método alternativo basado en la descripción de características locales de las escenas. Finalmente, se propone un método de graph-SLAM (Creación de mapas topológicos y localización de manera simultánea). Todos los algoritmos desarrollados han sido validados a través de experimentos que usan diversas bases de datos de imágenes omnidireccionales tanto virtuales como capturadas en entornos de trabajo reales.