Analysis of neural substrates and physiological responses involved in the processing of primary emotions

Abstract

Emotions are a key process in the evolution of species and in particular in the development of human beings. They influence most of the neuronal processes that take place in our day to day, from decision-making, communication and social relations, selective attention, learning and memory. Understand their physiology and neurobiology is a great challenge, still unanswered, which has been raised since Greco-Roman times. The large number of applications from the clinical, for the diagnosis and treatment of mood disorders, to the improvement of brain-computer interactions applicable in both patients and healthy individuals, is unimaginable; so that getting a system capable of recognizing emotions in real time is the holy grail of affective neuroscience today. However, the lack of a theoretical model that defines the term itself, as well as its primary components and mechanisms of action, causes a great variability between the results and computational models that try to solve the equation. In order to be able to establish a real-time emotion classification model, it is necessary to establish a series of previous parameters, such as the emotional model to follow, the optimal window time to extract the features that encode emotional information, the feature extraction method, how many and which are the features that represent the processing of emotional information and the appropriate algorithm to classify this type of information and signal. Based on the dimensional model of emotions, specifically the dimension of valence that characterizes the positive or negative degree of a stimulus generating responses of approach or withdrawal, respectively; we have tried to specify the parameters necessary to develop a computational model that allows us to recognize emotions on the scale of emotional valence focused on real-time applications. For this purpose, we have analyzed the electroencephalographic, electrocardiographic and skin temperature signals of 24 volunteers during emotional stimulation. This stimulation was carried out through an own-design audiovisual database that contained the same number of videos with content classified as positive and negative. The analysis of the data was developed taking into account two experimental approaches, one subject-dependent (SD) and another subject-independent (SI). The results obtained by SD approximation allowed us to elaborate a computational model based on the electroencephalographic (EEG) signal, achieving a precision of 0.989 (±0.013) according to f1-score. The model is based on a 12-second trial window, the non-linear method called wavelet packets for feature extraction, 20 pairs of frequency-location features distributed along much of the cerebral cortex and in the range of 8 to 45 Hz in the EEG spectrum, and the quadratic discriminant analysis and k-nearest neighbors classifiers. On the other hand, in the signal coming from the peripheral nervous system, specific response patterns were found for each emotional category, suggesting that the dimension of valence influences the response of the emotional somatic component. However, taking body response into account did not improve the accuracy of our computational model of recognition of positive and negative emotions; furthermore, the results found do not allow us, for the time being, to make inferences about the physiology of emotions. At the neurobiological level, patterns of inter-hemispheric asymmetry as well as rostro-caudal asymmetry suggest the existence of a neuronal circuit of emotional valence processing. However, in order to define this circuit precisely and to provide more evidence to the mechanism of action of the dimension of emotional valence, it would be necessary to continue with the studies of the relationships between the different highlighted areas and frequencies. The results obtained by the computational model based on the EEG signal proposed in this doctoral thesis, motivate the continuity of the study of emotions based on the dimensional model, with the objective of demonstrating the validity and reproducibility of the model proposed in real time, and in order to elaborate a theory that gathers the pathway and mechanisms of action of the dimension of emotional valence on both cerebral and corporal components.

Las emociones son un proceso clave en la evolución de las especies y en concreto en el desarrollo del ser humano. Influyen en la gran parte de los procesos neuronales que tienen lugar en nuestro día a día, desde la toma de decisiones, la comunicación y relaciones sociales, la atención selectiva, el aprendizaje y la memoria. Lograr entender su fisiología y neurobiología es un gran reto, aún sin respuesta, que lleva planteándose desde la época grecorromana. La gran cantidad de aplicaciones desde la clínica, para el diagnóstico y tratamiento de los trastornos del estado de ánimo, hasta la mejora de las interacciones cerebro-computadora aplicable tanto en pacientes como en individuos sanos, es inimaginable; de modo que conseguir dar con un sistema capaz de reconocer emociones en tiempo real es el santo grial de la neurociencia afectiva hoy en día. Sin embrago, la falta de un modelo teórico que defina el propio término, así como sus componentes primarios y mecanismos de acción, hace que exista una gran variabilidad entre los resultados y modelos computacionales que tratan de resolver la ecuación. De cara a poder establecer un modelo de clasificación de emociones en tiempo-real es necesario fijar una serie de parámetros previos, como el modelo emocional a seguir, el tiempo de ventana óptimo para extraer las características que codifican la información emocional, el método de extracción de dichas características, cuántas y cuáles son las características que representan el procesamiento de la información emocional y el algoritmo adecuado para clasificar este tipo de información y señal. Basándonos en el modelo dimensional de las emociones, en concreto en la dimensión de la valencia que caracteriza el grado positivo o negativo de un estímulo generando respuestas de acercamiento o rechazo, respectivamente; hemos tratado de especificar los parámetros necesarios para desarrollar un modelo computacional que nos permita reconocer emociones en la escala de la valencia emocional enfocado a aplicaciones en tiempo real. Para ello hemos analizado la señal electroencefalografica, electrocardiográfica y la temperatura de la piel, de 24 voluntarios durante la estimulación emocional. Dicha estimulación se llevó a cabo a través de una base de datos audiovisual de diseño propio que contenía el mismo número de vídeos de contenido catalogado como positivo y negativo. El análisis de los datos se desarrolló teniendo en cuenta dos aproximaciones experimentales, una sujeto-dependiente (SD) y otra sujeto-independiente (SI). Los resultados obtenidos mediante la aproximación SD nos permitieron elaborar un modelo computacional basado en la señal de electroencefalografía, logrando una precisión de 0.989 (±0.013) según el f1-score. El modelo se basa en una ventana de trial de 12 segundos de duración, el método no-lineal denominado wavelet packets para la extracción de características, 20 pares de características de localización-frecuencia distribuidas a lo largo de gran parte de la corteza cerebral y en el rango de 8 a 45 Hz en el espectro de la señal de EEG, y en los clasificadores quadratic discriminant analysis y k-nearest neighbors. Por otro lado, en la señal procedente del sistema nervioso periférico, se encontraron patrones de respuesta específicos para cada categoría emocional, sugiriendo que la dimensión de la valencia influye en la respuesta del componente somático emocional. Sin embargo, tener en cuenta la respuesta corporal no mejoraba la precisión de nuestro modelo computacional de reconocimiento de emociones positivas y negativas; además, los resultados hallados no nos permiten, por el momento, hacer inferencias acerca de la fisiología de las emociones. A nivel de la neurobiología de las emociones, patrones de asimetría inter-hemisférica, así como asimetría rostro-caudal sugieren la existencia de un circuito neuronal de procesamiento de la valencia emocional. Sin embargo, para poder definir dicho circuito con precisión sería necesario continuar con los estudios de las relaciones de las distintas áreas y frecuencias resaltadas, para poder aportar más evidencias al mecanismo de acción de la dimensión de la valencia emocional. Los resultados obtenidos por el modelo computacional basado en la señal de EEG propuesto en la presente tesis doctoral, motivan la continuidad del estudio de las emociones basado en el modelo dimensional, con el objetivo de demostrar la validez y reproducibilidad del modelo propuesto en tiempo-real y para poder elaborar una teoría que recoja la vía y mecanismos de acción tanto cerebrales como corporales de la dimensión de la valencia emocional.