Investigadors de l’IFISC descobreixen com emergeix l'aprenentatge col·lectiu en xarxes neuronals

• Un estudi publicat en Physical Review Research revela que, en acoblar diferents xarxes neuronals, aquestes poden aprendre unes d'altres sense necessitat d'intercanviar dades, i l'aprenentatge col·lectiu sorgeix de manera abrupta, a través de transicions de fase.
• El treball desenvolupat per científics de l’IFISC –amb implicacions per a la seguretat de sistemes d'intel·ligència artificial– empra mètodes propis de la física per a revelar de manera teòrica i pràctica l'emergència de fenòmens col·lectius en eixams de xarxes neuronals, aprofundint així en la nostra comprensió teòrica de la intel·ligència artificial.

Un equip d'investigadors de l'Institut de Física Interdisciplinària i Sistemes Complexos (IFISC, UIB-CSIC) ha desenvolupat una teoria efectiva que prediu i explica com emergeix l'aprenentatge col·lectiu en sistemes de xarxes neuronals profundes posades en interacció. L'estudi, publicat en la revista Physical Review Research, demostra que aquest fenomen sorgeix a través de transicions de fase, les propietats de la qual al seu torn depenen de la profunditat de les xarxes neuronals.

L'equip, format per Lluís Arola-Fernández i Lucas Lacasa, va dissenyar un sistema de diverses xarxes neuronals independents, on cada xarxa neuronal és un cervell de joguina que s'entrena per a reconèixer una sola classe de dades, com un dígit concret en un conjunt d'imatges. 

Els investigadors es van preguntar què succeeix quan s'acoblen diversos d'aquests cervells. “Volíem entendre si, per una sort d'intel·ligència col·lectiva, en posar als cervells a interactuar sense compartir dades, aquests poguessin reconèixer imatges que mai abans haguessin vist”, comenta Lucas Lacasa, investigador de l’IFISC i coautor de l'estudi. “També volíem entendre si aquest eventual trànsit a la intel·ligència col·lectiva succeiria de manera gradual, o de manera abrupta i espontània”, explica Lluís Arola-Fernández, també de l’IFISC i coautor del treball.

Els investigadors van desenvolupar una teoria que prediu que aquest fenomen ocorre a través del que es coneix com una transició de fase, determinada per la intensitat de la interacció entre els cervells. "Cada xarxa està entrenada per a identificar només un tipus d'imatge, com el número un o el dos, sent molt eficaç per a detectar el seu propi dígit però ineficaç amb uns altres. No obstant això, en interactuar entre si, aconsegueixen reconèixer tots els números", explica Arola-Fernández.

L'estudi utilitza tècniques de física estadística per a descriure com les interaccions entre les xarxes poden portar a un comportament emergent. "Hem trobat que, sorprenentment, la transició a l'estat d'intel·ligència col·lectiva succeeix de manera anàloga a una mena de magnetització espontània que es dona en uns certs materials, la qual cosa apunta a una relació profunda entre la intel·ligència artificial i la física", afegeix Arola-Fernández. “A més, la nostra teoria prediu que la profunditat de cadascun dels cervells (el nombre de capes de la xarxa neuronal) és un paràmetre que canvia radicalment la física que observem”. Això suggereix que les arquitectures d'aprenentatge profund podrien exercir un paper crucial en la forma en què es produeix l'aprenentatge en entorns descentralitzats, amb aplicacions en àrees tan diverses com l'educació o la salut.

En els seus experiments, van validar aquesta teoria utilitzant conjunts de dades com MNIST i CIFAR-10, dues col·leccions d'imatges que s'usen comunament per a entrenar algorismes d'aprenentatge automàtic. Els resultats són prometedors: "Hem observat que les xarxes individuals, entrenades amb un conjunt seleccionat de dades, poden generalitzar completament a classes de dades no vistes quan emergeix aquesta fase d'aprenentatge col·lectiu", assenyala Lacasa. “Aquest aprenentatge col·lectiu abrupte que observem podria ocórrer també en sistemes socials”, especula Lluís, “ja que la teoria efectiva no depèn dels detalls dels cervells individuals per a explicar l'efecte col·lectiu”.

Els dos investigadors consideren que el treball té també inquietants implicacions ètiques en el cèlebre problema de l'alineament en intel·ligència artificial: “Aquest treball és una senzilla prova de concepte que demostra que sistemes de IA poden adquirir sobtadament noves capacitats per a les quals no van ser entrenades ni dissenyades, quan aquests sistemes entren en interacció. En el nostre cas, aquestes noves capacitats semblen avantatjoses i sense cap perill, però no necessàriament serà així sempre”, asseguren.

Lluís Arola-Fernández and Lucas Lacasa, Effective theory of collective deep learning, Physical Review Research, 6, L042040, https://doi.org/10.1103/PhysRevResearch.6.L042040

• El diari de la UIB