Comment fonctionnent les réseaux de neurones et l’IA

Un neurone fait d’arithmétique

Dans votre cerveau, un neurone recueille les signaux d’autres neurones et s’active si le total est assez fort. Le cerveau humain en compte environ 86 milliards. Un neurone artificiel en est une caricature approximative, pas une copie. Il reçoit des nombres, multiplie chacun par un poids qui dit son importance, les additionne avec un biais, puis fait passer la somme par une fonction d’activation qui l’écrase dans un intervalle comme 0 à 1. L’idée remonte à McCulloch et Pitts en 1943 et au perceptron de Frank Rosenblatt en 1958.

Un neurone, chiffré

Donnez à un neurone les entrées 0,5 et 0,8, les poids 0,9 et 0,3 et un biais de −0,2. La somme est 0,5 × 0,9 + 0,8 × 0,3 − 0,2 = 0,45 + 0,24 − 0,2 = 0,49. L’activation sigmoïde, 1 / (1 + e puissance −x), transforme 0,49 en environ 0,62. Un poids positif pousse le neurone à s’activer, un poids négatif le retient. C’est tout : des multiplications et des additions. Tout ce que sait un réseau est stocké dans ses poids. Sur l’image, les traits épais sont des poids forts et les traits fins des poids faibles.

Les couches

Un seul neurone ne peut tracer qu’une droite entre deux groupes. Empilez des neurones en couches et le réseau peut tracer des courbes. La couche d’entrée contient les données, les couches cachées les combinent et la couche de sortie donne la réponse. Pour une image de 28 × 28 d’un chiffre, on peut prendre 784 entrées, une couche cachée de 128 neurones et 10 sorties. Le nombre de poids et de biais est 784 × 128 + 128 + 128 × 10 + 10 = 101 770 boutons. Le signal avance couche après couche. Les plus grands modèles actuels ont des milliards ou des billions de boutons.

Apprendre, c’est corriger

Au départ, les poids sont aléatoires et les réponses n’ont aucun sens. Montrez au réseau un exemple dont on connaît la réponse et mesurez l’erreur, un nombre unique appelé perte. Demandez ensuite à chaque poids : si tu grandissais un peu, la perte monterait-elle ou baisserait-elle ? Le gradient indique où se trouve la montée, donc on fait un pas vers la descente : nouveau poids = poids − η × gradient, où η est un petit taux d’apprentissage. Avec w = 0,80, un gradient de +0,5 et η = 0,1, le nouveau poids est 0,80 − 0,05 = 0,75. Répétez avec des milliers d’exemples. C’est la descente de gradient.

La faute, transmise à rebours

Un vrai réseau a des milliers ou des millions de poids. Comment trouver tous les gradients ? La rétropropagation applique la règle de dérivation en chaîne à rebours, de la sortie vers l’entrée, en répartissant la faute couche après couche. Seppo Linnainmaa et Paul Werbos ont décrit l’idée en 1970 et 1974, et l’article de 1986 dans Nature de David Rumelhart, Geoffrey Hinton et Ronald Williams l’a rendue célèbre. En 2024, Hinton et John Hopfield ont partagé le prix Nobel de physique pour les fondements de l’apprentissage automatique avec des réseaux de neurones artificiels. Lancez l’entraînement dans le bac à sable et regardez la frontière se déplacer.

Lire un chiffre

MNIST est une collection de 70 000 chiffres manuscrits, chacun de 28 × 28 pixels gris. 60 000 servent à l’entraînement et 10 000 sont gardés de côté pour le test. La luminosité de chaque pixel, de 0 à 1, entre dans un neurone d’entrée. La couche de sortie a dix neurones, un par chiffre, et le plus fort l’emporte, par exemple 0,93 pour le chiffre 7 et des valeurs minuscules pour les autres. Les petits réseaux reconnaissent environ 98 pour cent des chiffres de test jamais vus, et les réseaux convolutifs, qui cherchent des contours et des formes, dépassent 99 pour cent. Ils reconnaissent des motifs ; ils ne comprennent pas les chiffres comme vous.

Prédire le mot suivant

Un grand modèle de langage, le moteur de la plupart des chatbots, travaille avec des jetons, des morceaux de mots. À partir des jetons déjà écrits, le réseau donne une probabilité pour chaque jeton suivant possible. L’un est choisi et ajouté au texte, puis le processus recommence. Le modèle est entraîné sur une énorme quantité de texte et possède des milliards de poids. L’architecture utilisée aujourd’hui, le transformeur, a été présentée dans l’article de 2017 Attention Is All You Need. Un modèle ne cherche pas une réponse : il en génère une, mot après mot.

Fluide n’est pas vrai

Comme un modèle de langage prédit le texte probable, il peut écrire une phrase fluide et assurée qui est fausse : un titre de livre inventé, une date erronée, un calcul faux. C’est ce qu’on appelle une hallucination. Le modèle n’a aucun moyen intégré de vérifier les faits, sauf s’il est relié à des outils ou à des sources. Traitez sa réponse comme un brouillon utile, pas comme un oracle, et vérifiez tout ce qui compte dans des sources fiables, comme celles qui figurent à la fin de ce chapitre. Pour finir, entraînez votre propre petit réseau dans le bac à sable et voyez le peu qu’il faut pour apprendre.

Réseaux de neurones et IA