Le Perceptron : Un Neurone Artificiel

Maintenant que nous avons posé les bases théoriques du Machine Learning et découvert l'écosystème Python, il est temps de plonger dans notre premier modèle de neurone artificiel : le Perceptron.

Pourquoi Commencer par le Perceptron ?

Le Perceptron, inventé en 1957 par Frank Rosenblatt, est un modèle extrêmement simple, mais il est fondamental pour plusieurs raisons :

• Concept Fondateur : Le Perceptron est l'un des premiers modèles de neurones artificiels, et il a inspiré de nombreux développements ultérieurs dans le domaine du Deep Learning.
• Compréhension Intuitive : Son fonctionnement est facile à comprendre, ce qui en fait un excellent point de départ pour appréhender les concepts clés des réseaux de neurones.
• Base pour des Modèles Plus Complexes : Le Perceptron est une brique de base pour des modèles plus complexes, comme les réseaux de neurones multicouches (MLP).
• Simplicité mathématique et algorithmique: relative simplicité.

Ce que Vous Allez Apprendre dans cette Partie

Dans cette partie, nous allons :

• Découvrir l'intuition derrière le Perceptron : comment il prend des décisions.
• Explorer ses composants : entrées, poids, biais, fonction d'activation.
• Comprendre son fonctionnement : combinaison linéaire, seuillage, sortie.
• Implémenter un Perceptron "from scratch" en Python (sans utiliser de framework de ML).
• Tester le Perceptron sur des exemples simples (portes logiques ET, OU).
• Identifier ses limitations : le problème du XOR et la nécessité de modèles plus complexes.

info

L'objectif n'est pas de faire de vous des experts du Perceptron, mais de vous familiariser avec les concepts fondamentaux des réseaux de neurones de manière progressive et concrète.

Le Perceptron comme Unité de Décision Simple

Imaginez que vous deviez prendre une décision simple, par exemple : "Est-ce que je vais aller au cinéma ce soir ?". Votre décision dépendra probablement de plusieurs facteurs :

• Est-ce qu'il y a un film intéressant à l'affiche ?
• Est-ce que j'ai assez d'argent ?
• Est-ce que je suis fatigué ?
• Est-ce qu'il pleut ?

Chacun de ces facteurs peut être représenté par une variable binaire (oui/non) :

• x1 = 1 si un film intéressant est à l'affiche, 0 sinon.
• x2 = 1 si vous avez assez d'argent, 0 sinon.
• x3 = 1 si vous êtes fatigué, 0 sinon.
• x4 = 1 s'il pleut, 0 sinon.

Vous allez probablement accorder une importance différente à chaque facteur. Par exemple, vous pourriez être plus sensible à la fatigue qu'à la pluie. Ces importances peuvent être représentées par des poids :

• w1 = 2 (importance du film)
• w2 = 3 (importance de l'argent)
• w3 = -4 (importance de la fatigue - négatif car la fatigue vous dissuade d'aller au cinéma)
• w4 = -1 (importance de la pluie)

Pour prendre votre décision, vous allez faire une sorte de "somme pondérée" de ces facteurs :

score = w1 * x1 + w2 * x2 + w3 * x3 + w4 * x4

Si ce score dépasse un certain seuil (disons, 0), vous décidez d'aller au cinéma. Sinon, vous restez chez vous.

Le Perceptron, c'est exactement ça ! C'est un modèle mathématique qui prend des décisions binaires (0 ou 1) en fonction d'une combinaison linéaire de ses entrées.

Si nous reprenons notre exemple précédent, si c'est un film intéressant, que j'ai assez d'argent mais que je suis fatigué et qu'il ne pleut pas, nous allons avoir ceci :

1 = 2 * 1 + 3 * 1 + (-4 * 1) + (-1 * 0)

Je vais donc aller au cinéma.

Formalisation Mathématique

On peut formaliser le fonctionnement du perceptron comme suit:

Soit:

• x = (x₁, x₂, ... , x_n) le vecteur des entrées.
• w = (w₁, w₂, ..., w_n) le vecteur des poids synaptiques.
• b un biais
• f une fonction d'activation.

La sortie y du perceptron est donnée par:

y = f(w ⋅ x + b)

Avec:

• w ⋅ x = w₁**x₁ + w₂**x₂ + ... + w_n**x_n (produit scalaire)

tip

Il est plus correct de parler d'un produit scalaire, qui est une généralisation de la somme pondérée, plutôt que de parler d'une simple somme pondérée, bien que cela soit plus intuitif.

Composants : Entrées, Poids, Biais, Fonction d'Activation

Pour bien comprendre le fonctionnement du Perceptron, il est essentiel de détailler chacun de ses composants :

Entrées (Inputs)

Les entrées, notées généralement x₁, x₂, ..., x_n, représentent les informations fournies au Perceptron. Elles peuvent être :

• Des valeurs binaires (0 ou 1) : Comme dans l'exemple de la décision d'aller au cinéma (film intéressant : oui/non).
• Des valeurs réelles : Par exemple, la luminosité d'un pixel dans une image, la température d'une pièce, etc. Bien que le perceptron original utilise des valeurs binaires.
• Des valeurs discrètes : Des valeurs qui prennent un nombre fini de valeurs (ex: jours de la semaine, catégories).

Le Perceptron peut avoir une ou plusieurs entrées. L'ensemble des entrées forme un vecteur, souvent noté x.

Poids (Weights)

Les poids, notés généralement w₁, w₂, ..., w_n, représentent l'importance de chaque entrée dans la décision du Perceptron.

• Un poids positif signifie que l'entrée correspondante contribue positivement à la décision (plus l'entrée est élevée, plus le Perceptron a de chances de s'activer).
• Un poids négatif signifie que l'entrée correspondante contribue négativement à la décision (plus l'entrée est élevée, moins le Perceptron a de chances de s'activer).
• Un poids nul signifie que l'entrée n'a aucune influence sur la décision.

Les poids sont ajustés pendant la phase d'apprentissage du Perceptron, afin qu'il puisse apprendre à prendre les bonnes décisions. L'ensemble des poids forme un vecteur, souvent noté w.

Biais (Bias)

Le biais, noté généralement b, est un terme supplémentaire ajouté à la combinaison linéaire des entrées et des poids. Il permet de décaler la fonction d'activation, ce qui donne plus de flexibilité au Perceptron.

• Sans biais, le Perceptron ne peut s'activer que si la somme pondérée des entrées est positive.
• Avec un biais, le Perceptron peut s'activer même si la somme pondérée des entrées est négative (si le biais est suffisamment positif).

Le biais peut être considéré comme un poids supplémentaire, associé à une entrée fictive toujours égale à 1.

info

Le biais est un paramètre essentiel du Perceptron, car il lui donne la flexibilité nécessaire pour apprendre à résoudre différents types de problèmes.

Fonction d'Activation

La fonction d'activation, souvent notée $f$, prend en entrée la somme pondérée des entrées et du biais (souvent appelée "score" ou "potentiel d'activation") et produit la sortie du Perceptron.

Dans le cas du Perceptron original, la fonction d'activation est une fonction escalier (ou fonction de Heaviside) :

$$f(score) = 1\,si\,score \ge 0\\\ 0\,sinon$$

Où score = w ⋅ x + b

Cette fonction est très simple :

• Si le score est supérieur ou égal à 0, la sortie est 1 (le Perceptron "s'active").
• Si le score est inférieur à 0, la sortie est 0 (le Perceptron ne "s'active" pas).
• La fonction d'activation introduit une non-linéarité dans le modèle. Sans fonction d'activation, le Perceptron serait simplement un modèle linéaire.

Il existe d'autres fonctions d'activation (sigmoïde, tangente hyperbolique, ReLU), mais elles sont utilisées dans des modèles plus complexes que le Perceptron.

Représentation Schématique du Perceptron

Voici un diagramme illustrant les composants du Perceptron et les relations entre ces composants, dans le cas d'une fonction d'activation :

Ce diagramme montre comment les entrées (x1, x2, ..., xn) sont multipliées par leurs poids respectifs (w1, w2, ..., wn), puis additionnées avec le biais (b). Le résultat (le score) est ensuite passé à la fonction d'activation pour produire la sortie (y).

Exemple Mathématique

Prenons un exemple concret pour illustrer l'impact du biais. Imaginons un Perceptron avec deux entrées ($x_1$, $x_2$), deux poids ($w_1$, $w_2$) et un biais ($b$). Nous utiliserons la fonction escalier comme fonction d'activation.

Scénario 1 : Sans Biais ($b = 0$)

• Entrées : $x_1 = 1$, $x_2 = 0$

• Poids : $w_1 = 0.5$, $w_2 = -1$

• Biais : $b = 0$

• Calcul du score :

  $score = (w_1 \cdot x_1) + (w_2 \cdot x_2) + b$

  $score = (0.5 \cdot 1) + (-1 \cdot 0) + 0$

  $score = 0.5$

• Fonction d'activation : $f(score) = f(0.5) = 1$ (car $0.5 \ge 0$)

• Sortie : $y = 1$

Dans ce cas, le Perceptron s'active (sortie = 1).

Scénario 2 : Avec Biais ($b = -1$)

• Entrées : $x_1 = 1$, $x_2 = 0$

• Poids : $w_1 = 0.5$, $w_2 = -1$

• Biais : $b = -1$

• Calcul du score :

  $score = (w_1 \cdot x_1) + (w_2 \cdot x_2) + b$

  $score = (0.5 \cdot 1) + (-1 \cdot 0) + (-1)$

  $score = -0.5$

• Fonction d'activation : $f(score) = f(-0.5) = 0$ (car $-0.5 < 0$)

• Sortie : $y = 0$

Dans ce cas, malgré les mêmes entrées et les mêmes poids, le Perceptron ne s'active pas (sortie = 0) à cause du biais négatif.

Interprétation

Le biais permet de contrôler le seuil d'activation du Perceptron. Sans biais, le seuil est toujours 0. Avec un biais négatif, le seuil est plus élevé (il faut une somme pondérée plus forte pour que le Perceptron s'active). Avec un biais positif, le seuil est plus bas.

Analogie

Reprenons l'exemple de la décision d'aller au cinéma. Le biais pourrait représenter votre motivation générale à sortir. Si vous êtes très motivé (biais positif), vous aurez tendance à aller au cinéma même si les conditions ne sont pas parfaites. Si vous n'êtes pas du tout motivé (biais négatif), vous aurez tendance à rester chez vous, même s'il y a un bon film et que vous avez de l'argent.

Analogie avec un Neurone Biologique

Le Perceptron est inspiré du fonctionnement d'un neurone biologique, bien que de manière très simplifiée :

• Entrées (x1, x2, ..., xn) : Correspondent aux dendrites du neurone, qui reçoivent des signaux d'autres neurones.
• Poids (w1, w2, ..., wn) : Correspondent à la force des connexions synaptiques entre les neurones.
• Combinaison linéaire (score) : Correspond à la sommation des signaux reçus par le neurone.
• Seuil (bias): Correspond au potentiel de repos du neurone,
• Fonction d'activation : Détermine si le neurone doit "s'activer" (produire un signal) ou non, en fonction du score. Dans le cas du Perceptron, il s'agit souvent d'une fonction escalier (si le score dépasse le seuil, la sortie est 1, sinon 0).
• Sortie : Correspond à l'axone du neurone, qui transmet le signal à d'autres neurones.

info

Le Perceptron est un modèle très simple, mais il illustre bien le principe fondamental des réseaux de neurones : combiner des informations pondérées pour prendre des décisions.

Exemple Simple : Implémentation d'une Porte Logique (ET, OU) avec un Perceptron

Pour illustrer concrètement le fonctionnement du Perceptron, nous allons implémenter deux portes logiques classiques : ET et OU. Ces portes prennent deux entrées binaires (0 ou 1) et produisent une sortie binaire (0 ou 1).

Porte Logique ET

La porte ET (AND) retourne 1 si et seulement si les deux entrées sont égales à 1. Voici sa table de vérité :

x1	x2	Sortie (y)
0	0	0
0	1	0
1	0	0
1	1	1

Nous allons essayer de trouver des poids ($w_1$, $w_2$) et un biais ($b$) tels que le Perceptron reproduise cette table de vérité.

Proposition :

$w_1 = 1$, $w_2 = 1$, $b = -1.5$

Pour rappel :

$$score = w_1 \cdot x_1 + w_2 \cdot x_2 + b$$

et la fonction d'activation escalier :

$$f(score) = y\,et\,y=1\,si\,score \ge 0\\\ 0\,sinon$$

Vérifions si cela fonctionne :

• Cas (0, 0) :

  $score = (1 \cdot 0) + (1 \cdot 0) - 1.5 = -1.5$

  $f(-1.5) = 0$ (Correct)

• Cas (0, 1) :

  $score = (1 \cdot 0) + (1 \cdot 1) - 1.5 = -0.5$

  $f(-0.5) = 0$ (Correct)

• Cas (1, 0) :

  $score = (1 \cdot 1) + (1 \cdot 0) - 1.5 = -0.5$

  $f(-0.5) = 0$ (Correct)

• Cas (1, 1) :

  $score = (1 \cdot 1) + (1 \cdot 1) - 1.5 = 0.5$

  $f(0.5) = 1$ (Correct)

Notre Perceptron avec ces paramètres reproduit bien la table de vérité de la porte ET.

Porte Logique OU

La porte OU (OR) retourne 1 si au moins une des deux entrées est égale à 1. Voici sa table de vérité :

x1	x2	Sortie (y)
0	0	0
0	1	1
1	0	1
1	1	1

Essayons de trouver des paramètres pour le Perceptron qui reproduisent cette table de vérité.

Proposition :

$w_1 = 1$, $w_2 = 1$, $b = -0.5$

Vérifions :

• Cas (0, 0) :

  $score = (1 \cdot 0) + (1 \cdot 0) - 0.5 = -0.5$

  $f(-0.5) = 0$ (Correct)

• Cas (0, 1) :

  $score = (1 \cdot 0) + (1 \cdot 1) - 0.5 = 0.5$

  $f(0.5) = 1$ (Correct)

• Cas (1, 0) :

  $score = (1 \cdot 1) + (1 \cdot 0) - 0.5 = 0.5$

  $f(0.5) = 1$ (Correct)

• Cas (1, 1) :

  $score = (1 \cdot 1) + (1 \cdot 1) - 0.5 = 1.5$

  $f(1.5) = 1$ (Correct)

Ces paramètres permettent bien au Perceptron de simuler une porte OU.

info

Ces exemples montrent qu'un simple Perceptron peut représenter des fonctions logiques de base. Cependant, comme nous le verrons plus tard, il ne peut pas représenter toutes les fonctions logiques (notamment la fonction XOR).

Limitations : Le Perceptron et les Problèmes Linéairement Séparables

Nous avons vu que le Perceptron peut implémenter des fonctions logiques simples comme ET et OU. Cependant, le Perceptron a une limitation fondamentale : il ne peut résoudre que des problèmes linéairement séparables.

Qu'est-ce que la Séparabilité Linéaire ?

Un problème est dit linéairement séparable si l'on peut tracer une ligne droite (en 2D), un plan (en 3D) ou un hyperplan (en dimensions supérieures) pour séparer les différentes classes de données.

Exemple (2D) :

Imaginez que vous ayez des points dans un plan, certains étiquetés "positif" (représentés par des cercles) et d'autres "négatif" (représentés par des croix). Si vous pouvez tracer une ligne droite qui sépare parfaitement les cercles des croix, le problème est linéairement séparable.

Les portes ET et OU sont linéairement séparables. On peut le visualiser en représentant les entrées (x1, x2) comme des points dans un plan :

• Porte ET

• Porte OU

Le Problème du XOR

La porte XOR (OU exclusif) est un exemple classique de problème non linéairement séparable. Voici sa table de vérité :

x1	x2	Sortie (y)
0	0	0
0	1	1
1	0	1
1	1	0

Si vous essayez de tracer les points correspondants dans un plan, vous constaterez qu'il est impossible de tracer une ligne droite qui sépare les points (0, 1) et (1, 0) des points (0, 0) et (1, 1). Vous pouvez le constater sur le graphique ci-dessus, il n'y a pas de droite qui sépare les croix des ronds.

Pourquoi le Perceptron ne peut pas résoudre le XOR ?

Le Perceptron calcule une combinaison linéaire des entrées, puis applique une fonction escalier. Géométriquement, cela revient à tracer une droite (ou un hyperplan) et à décider de quel côté de la droite se trouve le point d'entrée. Il est impossible de séparer linéairement les données du XOR.

info

L'incapacité du Perceptron à résoudre le problème du XOR a été un frein important au développement des réseaux de neurones pendant de nombreuses années. Ce n'est qu'avec l'introduction des réseaux de neurones multicouches (et des fonctions d'activation non linéaires continues) que ce problème a pu être résolu.