Hybrid neural networks with morphological neurons and perceptrons

Abstract

RESUMEN: En el área de Aprendizaje de Máquina (Machine Learning (ML)) existen diversas arquitecturas de redes neuronales. Arquitecturas que por décadas han utilizado las mismas unidades de cómputo para la clasificación de patrones. Dentro de estas unidades encontramos al perceptron y las neuronas morfológicas. Debido a su sustento teórico y resultados prácticos, el perceptron es el elemento más utilizado en arquitecturas de redes neuronales, como lo son las redes neuronales multicapa, profundas, convolucionales, entre otras. Sin embargo, se ha demostrado que el entrenamiento de redes neuronales que incluyen perceptrones poseen varias desventajas, como lo son, un alto número de parámetros de entrenamiento, algoritmos de entrenamiento muy lentos Wilson and Martinez [56], y que los hiperplanos generados por estas unidades de cómputo no son los ideales Glorot and Bengio [14], Bouzerdoum [8]. En este trabajo nos enfocamos en investigar nuevas y diferentes unidades de cómputo las cuales nos permitan reducir la complejidad de los modelos de redes neuronales, reducir los tiempos de entrenamiento y mejorar los hiperplanos generados por dichos modelos. Con lo anterior, se proponen dos nuevas arquitecturas de redes neuronales híbridas, las cuales combinan perceptrones y neuronas morfológicas. La primer arquitectura es la Red Neuronal Lineal-Morfológica, y la segunda Red Neuronal Morfológica-Lineal (LMNN y MLNN por sus siglas en ingles). Ambas arquitecturas se entrenan mediante Descenso de Gradiente Estocástico (SGD) por sus siglas en ingles. Como primer resultado de nuestra investigación se demuestra que una sola capa de neuronas morfológicas posee una mayor capacidad de segmentar el espacio 2D en distintas regiones que una capa de perceptrones. El segundo resultado muestra que es posible utilizar neuronas morfológicas como extractores de rasgos y que, en promedio, esta arquitectura, requiere un menor número de parámetros de entrenamiento que sus contrapartes, y a la vez obtiene mejores porcentajes de clasificación.

ABSTRACT: In (Machine Learning (ML)), there are several architectures of neural networks. Architectures that for decades have been using the same computing units for pattern classification. Within these units, we find the perceptron and the morphological neurons. Due to their theoretical sustenance and practical results, the perceptron is the most popular element in neural network architectures, such as Multilayer Perceptron (MLP), Deep Neural Network (DNN), Convolutional Neural Network (CNN), among others. However, it has been proved that neural network training whom includes perceptron have several disadvantages, such as a high number of training parameters, slow training algorithms Wilson and Martinez [56], and the generated hyper-planes are not the best Glorot and Bengio [14], Bouzerdoum [8]. In this work, we focus on researching new and different computation units which allow us to reduce the complexity of neural network models, reduce training time and improve the generated hyperplanes. With the aforementioned, two new hybrid neural network architectures are proposed, which combine perceptrons and morphological neurons. The first architecture is the Linear-Morphological Neural Network (LMNN), and the second is Morphological-Linear Neural Network (MLNN). Both architectures are trained by Stochastic Gradient Descent (SGD). The first result shows that a single layer of morphological neurons has a greater capacity to segment 2D space in different regions than a layer of perceptrons. The second result shows that it is possible to use morphological neurons as feature extractors and, on average, this architecture requires a smaller number of training parameters than its counterparts, and at the same time, it obtains better classification percentages.