Neural networks with external dynamic memory to solve algorithmic problems

Abstract

RESUMEN: Implementamos y desarrollamos una Computadora Neural Diferenciable, estudiamos su arquitectura, características y capacidades. Se realizaron pruebas mediante un conjunto de tareas algorítmicas básicas y se llevó a cabo una comparación con su modelo predecesor; La Máquina de Turing Neuronal. Se proporciona un marco teórico extenso sobre el funcionamiento de la Computadora Neural Diferenciable. Los resultados preliminares muestran el cómo la Computadora Neural Diferenciable es capaz inferir algoritmos simples al igual que las Máquinas de Turing Neuronales pero de manera más eficaz y eficiente, y también cómo este modelo tiene la capacidad de generalizar resultados sin la necesidad de entrenarlo nuevamente.

ABSTRACT: We developed a Differentiable Neural Computer and studied its architecture, characteristics, and capabilities. We tested the DNC through a set of basic tasks and made a benchmark versus its predecessor; The Neural Turing Machine. Also, we provide an extensive theoretical framework about how the Differentiable Neural Computer works. Preliminary results show that Differentiable Neural Computers can infer simple algorithms like Neural Turing Machines but in a more efficient and efficacy way, and also has the capability of generalizing results without retraining the model.