Investigadores del IFISC descubren cómo emerge el aprendizaje colectivo en redes neuronales

• Un estudio publicado en Physical Review Research revela que, al acoplar diferentes redes neuronales, estas pueden aprender unas de otras sin necesidad de intercambiar datos, y el aprendizaje colectivo surge de forma abrupta, a través de transiciones de fase.
• El trabajo desarrollado por científicos del IFISC –con implicaciones para la seguridad de sistemas de inteligencia artificial– emplea métodos propios de la física para desvelar de forma teórica y práctica la emergencia de fenómenos colectivos en enjambres de redes neuronales, profundizando así en nuestra comprensión teórica de la inteligencia artificial.

Un equipo de investigadores del Instituto de Física Interdisciplinar y Sistemas Complejos (IFISC, UIB-CSIC) ha desarrollado una teoría efectiva que predice y explica cómo emerge el aprendizaje colectivo en sistemas de redes neuronales profundas puestas en interacción. El estudio, publicado en la revista Physical Review Research, demuestra que este fenómeno surge a través de transiciones de fase, cuyas propiedades a su vez dependen de la profundidad de las redes neuronales.

El equipo, formado por Lluís Arola-Fernández y Lucas Lacasa, diseñó un sistema de varias redes neuronales independientes, donde cada red neuronal es un cerebro de juguete que se entrena para reconocer una sola clase de datos, como un dígito concreto en un conjunto de imágenes. 

Los investigadores se preguntaron qué sucede cuando se acoplan varios de estos cerebros. “Queríamos entender si, por una suerte de inteligencia colectiva, al poner a los cerebros a interactuar sin compartir datos, estos pudieran reconocer imágenes que nunca antes hubieran visto”, comenta Lucas Lacasa, investigador del IFISC y coautor del estudio. “También queríamos entender si ese eventual tránsito a la inteligencia colectiva sucedería de manera paulatina, o de forma abrupta y espontánea”, explica Lluís Arola-Fernández, también del IFISC y coautor del trabajo.

Los investigadores desarrollaron una teoría que predice que este fenómeno ocurre a través de lo que se conoce como una transición de fase, determinada por la intensidad de la interacción entre los cerebros. "Cada red está entrenada para identificar solo un tipo de imagen, como el número uno o el dos, siendo muy eficaz para detectar su propio dígito pero ineficaz con otros. No obstante, al interactuar entre sí, logran reconocer todos los números", explica Arola-Fernández.

El estudio utiliza técnicas de física estadística para describir cómo las interacciones entre las redes pueden llevar a un comportamiento emergente. "Hemos encontrado que, sorprendentemente, la transición al estado de inteligencia colectiva sucede de manera análoga a un tipo de magnetización espontánea que se da en ciertos materiales, lo que apunta a una relación profunda entre la inteligencia artificial y la física", añade Arola-Fernández. “Además, nuestra teoría predice que la profundidad de cada uno de los cerebros (el número de capas de la red neuronal) es un parámetro que cambia radicalmente la física que observamos”. Esto sugiere que las arquitecturas de aprendizaje profundo podrían desempeñar un papel crucial en la forma en que se produce el aprendizaje en entornos descentralizados, con aplicaciones en áreas tan diversas como la educación o la salud.

En sus experimentos, validaron esta teoría utilizando conjuntos de datos como MNIST y CIFAR-10, dos colecciones de imágenes que se usan comúnmente para entrenar algoritmos de aprendizaje automático. Los resultados son prometedores: "Hemos observado que las redes individuales, entrenadas con un conjunto seleccionado de datos, pueden generalizar completamente a clases de datos no vistas cuando emerge esta fase de aprendizaje colectivo", señala Lacasa. “Este aprendizaje colectivo abrupto que observamos podría ocurrir también en sistemas sociales”, especula Lluís, “ya que la teoría efectiva no depende de los detalles de los cerebros individuales para explicar el efecto colectivo”.

Los dos investigadores consideran que el trabajo tiene también inquietantes implicaciones éticas en el célebre problema del alineamiento en inteligencia artificial: “Este trabajo es una sencilla prueba de concepto que demuestra que sistemas de IA pueden adquirir súbitamente nuevas capacidades para las que no fueron entrenadas ni diseñadas, en cuanto estos sistemas entran en interacción. En nuestro caso, esas nuevas capacidades parecen ventajosas y sin ningún peligro, pero no necesariamente será así siempre”, aseguran.

Lluís Arola-Fernández and Lucas Lacasa, Effective theory of collective deep learning, Physical Review Research, 6, L042040, https://doi.org/10.1103/PhysRevResearch.6.L042040

• El diari de la UIB