Perceptron simpliste
Simple perceptron
Considérons le simple perceptron ci-dessous avec une fonction de transfert donnée par \( f(x)=x \) pour simplifier les calculs:
Fonction de transfert
La fonction de transfert est donnée par:
$$ \begin{equation} y= w_1.x_1 + w_2.x_2 + ... + w_N.x_N = \sum\limits_{i=1}^N w_i.x_i \label{eq:transfert-function} \end{equation} $$
Erreur de sortie
Dans les réseaux de neurones artificiels, l'erreur que l'on souhaite minimiser est donnée par:
$$ \begin{equation} E=(y'-y)^2 \label{eq:error} \end{equation} $$
où:
- \(E\) est l'erreur de sortie
- \(y′\) est la sortie souhaitée (de la base d'exemples d'entrainement)
- \(y\) est la sortie réelle (du réseau)
En pratique et pour simplifier la suite des équations, l'erreur est divisée par 2 :
$$ E=\frac{1}{2}(y'-y)^2 $$
Descente de gradient
L'algorithme de descente de gradient utilisé pour entraîner le réseau (i.e. mettre à jour les poids) est donné par:
$$ w_i'=w_i-\eta.\frac{dE}{dw_i} $$
où :
- \( wi \) est la valeur des poids avant mise à jour
- \( w′i \) est la valeur des poids après mise à jour
- \( η \) est le taux d'apprentissage (learning rate)
Dérivée de l'erreur
Dérivons l'erreur:
$$ \begin{equation} \frac{dE}{dw_i} = \frac{1}{2}\frac{d}{dw_i}(y'-y)^2 \label{eq:eq-error} \end{equation} $$
Grâce à la formule de dérivation des fonctions composées
$$ (f \circ g)'=(f' \circ g).g' $$
l'équation \( \eqref{eq:eq-error} \) peut être réécrite :
$$ \frac{dE}{dw_i} = \frac{2}{2}(y'-y)\frac{d}{dw_i} (y'-y) = -(y'-y)\frac{dy}{dw_i} $$
Comme \( y= w_1.x_1 + w_2.x_2 + ... + w_N.x_N \) :
$$ \frac{dE}{dw_i} = -(y'-y)\frac{d}{dw_i}(w_1.x_1 + w_2.x_2 + ... + w_N.x_N) = -(y'-y)x_i $$
Mise à jour des poids
Les poids peuvent être mis à jour avec la formule suivante :
$$ w_i'=w_i-\eta.\frac{dE}{dw_i} = w_i+\eta(y'-y)x_i $$
En conclusion :
$$ w_i'= w_i + \eta(y'-y)x_i $$
Voir aussi
- Régression non linéaire avec un réseau de neurones
- Jeux de données pour l'apprentissage profond
- Exemple de descente de gradient
- Quelle est la popularité des réseaux de neurones dans le temps ?
- Installation de TensorFlow et Keras sous Linux
- Démonstration de la règle d'apprentissage
- Exemple en régression linéaire
- Fonctions d'activation les plus utilisées en apprentissage profond
- Principaux papiers de recherches relatif au Deep learning
- Le perceptron dans les réseaux de neurones
- Le réseau de neurones le plus simple avec TensorFlow
- Algorithme d'apprentissage pour réseaux sans couches cachées
- Exemple de classification
- Descente de gradient pour les réseaux de neurones
- Limitations des réseaux sans couches cachées
- Réseaux de neurones
