Técnicas avanzadas de interacción multimodal para entornos de robótica de rehabilitación

Abstract

La presente tesis presenta la creaci on de nuevos m etodos multimodales de interacci on y control de terapias virtuales dentro del campo de la rob otica aplicada a la neuro-rehabilitaci on motora para recuperar la funcionalidad del miembro superior en pacientes con Da~no Cerebral Adquirido. Los resultados obtenidos del trabajo realizado durante el desarrollo de esta Tesis Doctoral se recopilan en tres publicaciones en revistas incluidas en el Journal Citation Reports(JCR). En la primera parte de la tesis, se presenta un sistema de generaci on de terapias virtuales con cualquier tipo de entorno basado en actividades de la vida diaria o juegos terap euticos utilizando la Realidad Virtual. Este sistema permite crear una gran variedad de terapias virtuales de manera r apida, econ omica y sencilla. Adem as el sistema propuesto en el marco de esta tesis, permite mejorar la motivaci on y la adherencia al tratamiento por parte del usuario, as como evitar el sentimiento de frustraci on al adaptar el nivel de di cultad en funci on de su estado emocional. Una de las caracter sticas principales del sistema es la capacidad de interacci on de las tareas generadas con m ultiples dispositivos rob oticos basados en una con guraci on de efector nal para controlar el avatar dentro de los entornos virtuales. En la segunda parte de la tesis, se desarrolla una interfaz multimodal de neuro-rehabilitaci on asistida por robots que integra la estimaci on del estado psico- siol ogico del paciente dentro del lazo de control del sistema. Mediante dicho sistema se analizan se~nales siol ogicas del usuario como son el ritmo card aco, la frecuencia respiratoria, la temperatura y la respuesta galv anica de la piel para adaptar autom aticamente la realimentaci on proporcionada por el entorno de Realidad Virtual modi cando el nivel de di cultad de los ejercicios generados por el motor de tareas. La clasi caci on de las se~nales se ha llevado a cabo con un nuevo algoritmo matem atico basado en redes neuronales y la teor a de conjuntos difusos. Para nalizar se realiza un estudio acerca de c omo in uye la visualizaci on de entornos virtuales en dos dimensiones o en tres dimensiones en el rendimiento sensorimotor del miembro superior en pacientes con Da~no Cerebral Adquirido durante el desarrollo de terapias de neuro-rehabilitaci on asistidas por un dispositivo rob otico, a partir del an alisis estad stico de los movimientos cin ematicos registrados por dicho dispositivo. Este estudio se fundamenta en la presentaci on de dos tareas virtuales con la misma nalidad pero con diferente visualizaci on de gr a cos en pantalla, mientras los pacientes dirigen el efector nal del dispositivo rob otico para cumplir los objetivos de la terapia.

This thesis presents the creation of new multimodal methods of interaction and control of virtual therapies in the eld of robotic applied to neuro-rehabilitation for recovery the funcionality of the upperlimb of patients with Acquired Brain Injury. The outcomes achieved during the development of this Thesis are collected in three publications included in the Journal Citation Reports(JCR). A system of virtual therapies generation, with any type of environments based in daily life activities or therapeutic games, is presented in the rst part of the thesis. The aim of this system is to create a large variety virtual therapies in a quickly, economic and simple way. In addition, the proposed system improves the patient's motivation and adherence to the treatment. Thus, the frustation feeling is avoided through the adaptation of the di - culty level depending on patient's emotional state. One of the main features of this system is the interaction capacity of the generated tasks with various robotic devices based on an end-e ector con guration to control the avatar inside the virtual environments. In the second part of the thesis, a multimodal interface for neuro-rehabilitation therapies assisted by robotic devices is developed. This interface integrates the estimation of patient's psychophysiological state in the control loop. Through this system, user's physiological signals such as pulse, respiration rate, skin temperature and galvanic skin response are analysed to adapt automatically the feedback provided by the virtual environments. Then, the di culty level of the tasks generated by the motor task can be modi ed. The classi cation of physiological states are carried out by a new mathematical algorithm based in neural networks and the set fuzzy theory. Finally, a study about how the sensorimotor performance of the upper limb in patients with Acquired Brain Injury is in uenced by the virtual environments visualization in two or three dimensions. This study is perfor-med during neuro-rehabilitation therapies assisted by robotic devices. This robotic device is in charge of recording the kinematic movements to complete a statistical analysis. The presentation of two virtual tasks with the same nality, but with di erent graphic visualization on a screen while the patient manages the end-e ector of the robotic device to achieve the therapy targets, is the methodology of this study.