Redes Neuronales Profundas con solo una neurona
13 de Septiembre de 2021
Las redes neuronales profundas (DNN) son una herramienta útil para una amplia gama de tareas como la clasificación de imágenes, la detección de objetos, el redimensionamiento de imágenes o la generación de textos. Son extremadamente potentes, pero requieren suficiente capacidad de cálculo y grandes conjuntos de datos para entrenarlas. Las redes neuronales profundas suelen estar formadas por múltiples capas de neuronas acopladas en arquitecturas feed-forward. En estas arquitecturas, en las que se puede acabar fácilmente con cientos de miles de neuronas, la información se mueve en una sola dirección: hacia adelante, desde la entrada hasta la salida.
Un equipo internacional de investigadores, entre los que se encuentran científicos del IFISC (UIB-CSIC), ha desarrollado un enfoque para emular una red neuronal profunda completa utilizando sólo una neurona artificial con bucles de retardo modulados por retroalimentación. La gran red con muchos elementos que interactúan se sustituye por un único elemento, que representa diferentes elementos en el tiempo interactuando con sus propios estados retardados. El trabajo se ha publicado en Nature Communications y ha sido seleccionado para la página web de Nature Communications Editors' Highlights en la sección de investigación multidisciplinar reciente denominada “AI and machine learning”.
Este nuevo enfoque, bautizado por los autores Folded-in-Time Deep Neural Network (Fit-DNN), puede reducir drásticamente el hardware necesario y ofrece una nueva perspectiva sobre cómo construir sistemas complejos entrenables, ya que sólo es necesario implementar una única neurona y varias líneas de retardo. Los sistemas de retardo poseen intrínsecamente un espacio de fases infinito, por lo que una sola neurona con retroalimentación es suficiente para plegar y capturar toda la complejidad de la red.
El enfoque Fit-DNN es muy útil para las implementaciones de hardware, en las que la propia red neuronal se construye utilizando sustratos físicos. En una DNN típica habría que implementar cada neurona con un único elemento de hardware, pero al capturar el comportamiento de todo el sistema con una sola neurona, se elimina la necesidad de construir una red completa. Los autores lo ejemplifican con un esquema optoelectrónico. En este tipo de implementación, sólo se requiere un emisor de luz, además de algunos componentes de telecomunicación estándar. Las Fit-DNN permiten encontrar un equilibrio entre la velocidad de cálculo y la necesidad de más componentes de hardware, ya que sería muy caro construir una DNN completa. Sin embargo, este enfoque no reduce el tiempo del proceso de entrenamiento, ya que sigue siendo necesario un ordenador tradicional.
Las Fit-DNN proporcionan una visión alternativa de las redes neuronales: toda la complejidad topológica de las redes neuronales multicapa feed-forward puede plegarse al dominio temporal mediante la arquitectura de bucle de retardo.
Deep neural networks using a single neuron: folded-in-time architecture using feedback-modulated delay loops. Stelzer, Florian; Röhm, Andre; Vicente, Raul; Fischer, Ingo and Yanchuk, Serhiy. Nature Communications 12, 5164 (1-10) (2021). Doi: https://doi.org/10.1038/s41467-021-25427-4
