Nueva metodología, avances computacionales y aplicaciones a través de Support Vector Machines

Abstract

Las Máquinas de Soporte Vectorial son en la actualidad una de las técnicas más estudiadas y utilizadas por los investigadores desde su invención en 1995 por Vladimir Vapnik. A su vez, la teoría sobre estimación de fronteras de producción y evaluación de la eficiencia técnica es un tema de interés para responsables políticos, así como gestores empresariales. Del mismo modo, la selección de características es un problema del aprendizaje automático que ha sido muy tenido en cuenta por los analistas de datos a la hora de reducir la complejidad de los problemas, reducir los costes y evitar el sobreajuste. En esta tesis se introduce por primera vez una metodología, llamada Support Vector Frontiers (SVF), que une los mundos de Máquinas de Soporte Vectorial (SVM) y estimación de fronteras. Para ello, se ha adaptado el algoritmo para que cumpla con los principios de la teoría de estimación de fronteras. Este nuevo método permite competir con otras técnicas de la literatura tradicional como: Data Envelopment Analysis (DEA) y Free Disposal Hull (FDH) que tienden a sobreajustar los datos al cumplir con el principio de mínima extrapolación. Además, se ha desarrollado un nuevo concepto de eficiencia técnica, llamado eficiencia técnica -insensible, apoyado en el concepto de margen de las Máquinas de Soporte Vectorial de Regresión (SVR). Los resultados empíricos demostraron que el nuevo método SVF mejoraba tanto en escenarios mono-output como multi-output a los métodos DEA y FDH. Asimismo, se ha utilizado la nueva metodología SVF para el desarrollo de técnicas de ranking de variables predictoras. Para ello, se ha hecho una revisión bibliográfica de la literatura de SVM y ranking de variables, seleccionando cuatro métodos para adaptarlos al contexto de ranking de variables con técnicas de estimación de fronteras. Este trabajo ha dado lugar a cuatro técnicas conocidas, en inglés, como: SVF-Permutation Feature Importance, SVF Bootstrap Resampling, SVF Recursive Feature Elimination Pseudosamples y SVF Recursive Feature Elimination Dual Objetive Variation. Por otro lado, los avances de esta tesis no sólo se han producido en el ámbito de la estimación de fronteras y las SVR, sino que se ha ampliado el objeto de estudio y se ha abarcado también el problema de las SVM de clasificación. En este sentido se ha abordado el problema de las Máquinas de Soporte Vectorial de margen suave con selección de características. En los problemas de Máquinas de Soporte Vectorial los dos objetivos principales son maximizar la distancia de los hiperplanos separadores y a su vez minimizar la suma de las desviaciones de las observaciones mal clasificadas a su respectivo hiperplano. Si estos dos objetivos se combinan con la selección de características, el problema resultante da lugar a un modelo no convexo difícil de resolver que genera una frontera Pareto. Esa frontera puede ser utilizada por los decisores para determinar cuál es la mejor opción dentro de un grupo de clasificadores. En esta tesis se ha desarrollado un nuevo modelo de SVM y selección de características que tiene en cuenta dos objetivos distintos a los planteados por Vapnik originalmente. Ya que las soluciones de la frontera Pareto pueden ser evaluadas a través de métricas basadas en la matriz de confusión, se ha propuesto un nuevo modelo en el que los dos principales objetivos a minimizar sean la suma de falsos positivos y la suma de falsos negativos. El resultado ha sido un nuevo modelo de programación lineal entera que requiere un gran esfuerzo computacional, por lo que las técnicas exactas no son capaces de resolver instancias de tamaño medio. Para resolver este modelo, se ha adaptado la metaheurística existente haciendo que el modelo mejore el rendimiento de los clasificadores en comparación con los métodos de la literatura existente. Por último, a la hora de realizar un análisis, la selección de características con mínimo coste puede ser una tarea compleja para los decisores. Por ejemplo, si existe una prueba médica muy costosa con una alta precisión de diagnóstico, esta técnica podría ser sustituida por varias técnicas más baratas que otorguen una precisión similar. En base a esto, se ha desarrollado un nuevo modelo y metaheurística basados en la literatura existente que abordan el problema de SVM y selección de características desde una perspectiva tri-objetivo de reducción de costes. Los dos primeros objetivos del nuevo modelo son los tradicionales de las SVM (maximizar distancia de los hiperplanos separadores de las clases y minimizar la suma de las distancias de las observaciones mal clasificadas a su hiperplano separador) mientras que se ha añadido un nuevo objetivo que consiste en minimizar el coste total, dado por la suma de los costes de las características seleccionadas. De este modo, se ha desarrollado un modelo que permite obtener soluciones parecidas o mejores a las obtenidas por el método bi-objetivo, pero reduciendo el coste al mínimo.