Un toc de caos pot ajudar la intel·ligència artificial a aprendre més aviat

• L'estudi, publicat a Physical Review Research, mostra que les xarxes neuronals es poden entrenar més aviat quan la seva dinàmica d'aprenentatge opera en l'inici del comportament caòtic, i s’equilibren l'exploració i l'explotació durant l'optimització.
• L'estudi ha estat realitzat per investigadors de l'Institut de Física Interdisciplinària i Sistemes Complexos (IFISC, CSIC-UIB), que han aplicat conceptes de la teoria del caos i els sistemes complexos per entendre com aprenen les xarxes neuronals artificials.

Entrenar una xarxa neuronal per realitzar una tasca, com fer prediccions o classificacions, consisteix a ajustar-ne, de forma suau i gradual, els paràmetres interns. Un cop que el seu rendiment arriba a un nivell satisfactori, deim que la xarxa ha après la tasca. Una nova recerca de l'IFISC (UIB-CSIC) mostra que introduir una quantitat controlada de caos en aquest procés pot, de fet, accelerar l'aprenentatge.

En l'estudi, publicat a Physical Review Research, els investigadors han descobert que les xarxes neuronals artificials es poden entrenar de manera més eficient quan la seva dinàmica d'aprenentatge opera prop de l'inici del comportament caòtic. En aquest punt, el sistema equilibra dues estratègies complementàries: refinar les solucions conegudes i explorar nous camins possibles en el vast espai de configuracions de la xarxa.

El «marge del caos» com a motor d'eficiència

Les xarxes neuronals artificials solen aprendre mitjançant algorismes d'optimització com el descens de gradient, que ajusta de manera gradual els paràmetres del model per reduir els errors. La taxa d'aprenentatge actua com la mida del pas d'aquests ajustos: els valors petits asseguren un progrés cautelós i estable cap a una solució; els més grans fan bots més agosarats que corren el risc de passar-se de llarg.

Aquest procés és generalment estable i explotador, i refina de manera constant la solució actual, com un excursionista que segueix un sender ben marcat. Però quan la taxa d'aprenentatge creix, els investigadors de l'IFISC han trobat que la dinàmica d'entrenament es torna sensible a petites diferències en els punts de partida, una característica distintiva del caos: dues xarxes neuronals gairebé idèntiques poden divergir de manera dràstica durant l'acció d'aprendre, com papallones l'aleteig de les quals provoca huracans a milers de quilòmetres de distància.

«En lloc de perjudicar l'aprenentatge, aquesta inestabilitat caòtica pot, realment, accelerar-lo», explica Lucas Lacasa, investigador de l'IFISC i coautor de l'estudi. «Prop del límit on comença la dinàmica caòtica, el sistema troba un punt ideal que li permet aprendre significativament més ràpid».

Els investigadors varen rastrejar les «rutes» que segueixen els paràmetres de la xarxa durant l'entrenament, i en varen mesurar la sensibilitat als punts de partida. Amb taxes d'aprenentatge petites, tot flueix de manera suau i ordenada; amb valors enormes, el caos total fa que l'aprenentatge col·lapsi. Però just en aquesta zona intermèdia, on l'exploració i l'explotació s'equilibren, les xarxes aprenen representacions precises i l'entrenament es torna sorprenentment més ràpid.

Cap a una IA més ràpida i eficient

El fenomen es va observar en diferents arquitectures de xarxes neuronals, funcions d'activació i conjunts de dades, cosa que suggereix que podria representar una característica robusta de la dinàmica d'aprenentatge en els sistemes estudiats.

«L'entrenament accelerat que observam a prop del marge de l'estabilitat resulta ser notablement robust», afirma Miguel C. Soriano, investigador de l'IFISC i coautor de l'estudi. «Apareix de forma consistent en les diferents arquitectures, funcions d'activació i conjunts de dades que vàrem provar».

Més enllà de les possibles implicacions pràctiques per accelerar l'entrenament, les troballes també connecten l'aprenentatge automàtic modern amb la hipòtesi del «marge del caos» de la ciència dels sistemes complexos, que proposa que els sistemes capaços de computar solen funcionar de manera òptima en el límit entre l'ordre i el desordre.

«Els nostres resultats suggereixen que, per a les xarxes neuronals que hem estudiat, l'aprenentatge és més eficient precisament prop d'aquest marge del caos», afirma el primer autor, Pedro Jiménez-González. «Comprendre i explotar aquest règim podria ajudar a dissenyar sistemes d'IA més ràpids i eficients en el futur».​

Imatge: L'entrenament d'una xarxa neuronal es pot veure com una trajectòria a través d'un espai gràfic d'alta dimensionalitat. Al llarg d'aquestes trajectòries, les connexions entre neurones evolucionen amb el temps. Aquestes trajectòries poden esdevenir caòtiques en certs règims.

Jiménez-González, P., Soriano, M. C., and Lacasa, L. (2026). Leveraging chaotic transients in the training of artificial neural networks. Physical Review Research. https://doi.org/10.1103/t5p9-kv5w

• CSIC
• Xornal Galicia
• UIB