11 octobre 2007
Les réseaux de neurones en tant que modèle de calcul, remontent aux tout débuts de l’informatique. Le regain d’intêret pour ces modèles date des années 80, avec la réalisation de mesures electro-physiologiques plus précises des signaux impulsionnels dans les neurones biologiques, les avancées des appareils de traitement du signal en temps réel, la découverte de l’algorithme de “rétropropagation du gradient”, et grâce aux liens établis par des physiciens éminents entre la physique statistique et les différents modèles de réseaux neuronaux.
Les équations de Chapman-Kolmogorov (CK) servent de base à de nombreuses modélisations en chimie et en physique, par exemple pour les “chemical master equations” de la chimie, ou pour les réseaux de files d’attente. Souvent en physique, leurs solutions sont obtenues par simulation stochastique (comme dans les travaux de D.T. Gillespie) ou à travers des approximations de champ moyen.
Dans cet exposé nous rappelons un modèle de réseaux de neurones “spiked” que nous avons introduit. Le réseau est récurrent et il assure une interconnexion arbitraire entre cellules. Nous le décrirons sous la forme d’une équation de CK et nous présenterons sa solution stationnaire exacte. A celà s’ajoutent d’autres resultants mathématiques et algorithmiques: existence-unicité de la solution, propriété d’approximation de fonctions continues et bornées, algorithme d’apprentissage de complexité O(n 3) pour le réseau récurrent et O(n 2) pour le réseau feed-forward.
Nous présenterons aussi des applications : reconnaissance et reproduction de textures d’images, compression video, routage adaptatif dans les réseaux de paquets, modélisation des oscillations cortico-thalamiques. Le modèle se généralise bien aux “effets de second ordre” où des groupes de cellules agissent conjointement sur une autre cellule, allant au delà des relations habituelles d’excitation-inhibition entre paires de cellules.
Enfin, nous montrons que les effets de second ordre permettent d’aboutir à la représentation canonique de fonctions Booléennes, où l’état d’une cellule peut représenter la valeur prise par une function Booléenne de l’état d’autres cellules. Ceci soulève la question fondamentale de la présence d’une logique “cablée” dans les réseaux de neurones naturels.
Erol Gelenbe (Imperial College, UK)
[Vidéo indisponible]
