Máquinas asociativas alfa-beta con soporte vectorial

Abstract

Las Máquinas de Soporte Vectorial son una clase muy específica de algoritmos, que se caracterizan por la utilización de kernels, la ausencia de los mínimos locales, la poca densidad de la solución y el control de la capacidad obtenido por actuar en el margen, o en otra “dimensión independiente”, cantidades tales como el número de vectores de soporte. Fueron inventados por Boser, Guyon y Vladimir Vapnik, y se introdujo por primera vez en una ponencia; COLT 1992. Todas estas características, sin embargo, ya estaban presentes y se ha utilizado en la máquina de aprendizaje desde el década de 1960: hyperplanes de máximo margen en el espacio de entrada fueron discutidos por, Duda y Hart, Cover, Vapnik y colaboradores, y varios artículos de la mecánica estadística (por ejemplo Anlauf y Biehl); la utilización de kernels fue propuesta por Aronszajn, Wahba, Poggio, y otros, pero es el artículo de Aizermann y colaboradores, publicado en 1964 que introdujo la interpretación geométrica de los kernels como productos internos en un espacio de características. Técnicas de optimización similares fueron utilizadas en reconocimiento de patrones por Mangasarian, y la poca densidad también había sido ya discutida. El uso de variables de holgura para superar el problema de ruido y la no de separabilidad fue introducida también en la década de 1960 por Smith y mejorado por Bennett y Mangasarian. Sin embargo, no fue hasta 1992 que todas esas características fueron puestas juntas para formar el clasificador de máximo margen, la máquina básica de soporte vectorial, y no fue hasta 1995 que la versión del margen suave fue introducido: presentado por Cortés y Vapnik es sorprendente cómo, naturalmente, y elegantemente todas las piezas encajan y se complementan entre sí. Los artículos de Shawe-Taylor y colaboradores Bartlett dio el primer límite estadístico riguroso sobre la generalización de la margen duro de las SVMs, mientras que el artículo de Shawe-Taylor y Cristianini ofrece límites similares para los algoritmos de margen suave y para el caso de regresión. Después de su introducción, un número creciente de investigadores que han trabajado en ambos algorítmos y el análisis teórico de esos sistemas, creando en pocos años lo que es efectivamente una nueva dirección de investigación por derecho propio, emergiendo conceptos de disciplinas tan distantes como: estadísticas, análisis funcional, optimización, así como la máquina de aprendizaje. El clasificador de margen suave fue introducido unos años más tarde por Vapnik y Cortés, y en 1995 el algoritmo fue extendido al caso de regresión. Los dos últimos libros escritos por Vapnik proveen una muy amplia base teórica de la materia y desarrolla los conceptos de una Máquina de Soporte Vectorial. El algoritmo - vector soporte para la clasificación y regresión fue introducido y desarrollado por Smola, Schoelkopf, Williamson y Bartlett. Otras adaptaciones de los planteamientos básicos se han utilizado para la estimación de la densidad, la transducción, la estimación de puntos de Bayes, la regresión ordinal. Recientemente, una serie de aplicaciones prácticas de SVMs han sido reportadas en campos tan diversos como la bioinformática, la lingüística computacional y la visión por computadoras. Muchos de estos avances recientes son presentados en las colecciones Schoelkopf, Smola y colaboradores, por Burgues, Smola, Schoelkopf y por Evgeniou, Pontil y Poggio. Por último, la tesis de doctorado de Cortés, Osuna, Schölkopf y Smola proporcionar una valiosa fuente de primera mano de temas como el trabajo de investigación sobre la viabilidad en esta brecha.

En este trabajo de tesis se presenta un nuevo modelo de reconocimiento automático de patrones, las Máquinas Asociativas Alfa-Beta con Soporte Vectorial, mismo que se ubica dentro del Enfoque Asociativo de Reconocimiento de Patrones. Este modelo nace al fusionar algunos elementos teóricos de las memorias asociativas Alfa-Beta con algunos elementos tomados de las Support Vector Machines, originando a su vez varias transformadas matemáticas novedosas.

Además, se presenta un estudio experimental del desempeño del algoritmo propuesto, comparando su rendimiento de clasificación con el exhibido por otros reconocedores de patrones, al trabajar con diversas bases de datos de acceso público.

En dichos experimentos se muestra que el modelo propuesto exhibe resultados competitivos con respecto a algunos de los algoritmos más ampliamente conocidos, presentes en la literatura científica contemporánea, al aplicarse al reconocimiento de dígitos escritos a mano; en particular de la base de datos MNIST.

Con este trabajo de tesis se engrosan las filas del Enfoque Asociativo de Clasificación de Patrones, con un modelo de alto desempeño que ofrece una eficacia competitiva, además de ser robusto ante patrones modificados con alteraciones mezcladas.