Exemple de classification
Définition du problème
Dans cet exemple, nous considérons un jeu de données où chaque vecteur d'entrée \( X = ( x , y) \) est associé à une classe A(+1) ou B(-1). La figure suivante illustre ce problème de classification :
Architecture du réseau
L'architecture du réseau sans couches cachées est la suivante:
Comme nous souhaitons distinguer la classe A de la classe B, nous devons utiliser une fonction d'activation capable de séparer ces classes. Dans cet exemple, c'est la fonction tangente hyperbolique qui a été choisie :
Ce choix est motivé par le fait que cette fonction retourne une valeur comprise entre -1 et +1. La sortie du réseau peut être interprétée de deux façons. En terme de classes binaires (A ou B) ou en terme de probablités.
Interpretation binaire
Pour déterminer si un échantillon appartient à la classe A ou B, nous pouvons utiliser la règle suivante: lorque la sortie est positive, l'échantillon appartient à la classe A, sinon à la classe B. Mathématiquement, cela revient à ajouter cette fonction à la sortie du réseau :
- \( o=+1 \) quand tanh est positive
- \( o=-1 \) quand tanh est négative
Interprétation probabiliste
La seconde option pour interpréter la sortie du réseau est de la considérer comme une probabilité d'appartenir à la classe A ou B. Quand la sortie est égale à +1, la probablité de l'échantillon d'appartenir à la classe A ou B est respectivement donnée par un et zéro. L'équation suivante généralise ce concept et convertit la sortie du réseau en probabilités :
Probabilité d'appartenir à la classe A :
$$ p_A = \frac{o+1}{2} $$
Probabilité d'appartenir à la classe B :
$$ p_B = \frac{1-o}{2} $$
Notons que la somme des probabilité est toujours égale à 1 ( \( p_A + p_B = 1\) ).
Resultats
La figure suivante montre comment l'espace est divisé en deux classes après l'apprentissage:
La figure suivante donne une vue d'ensemble des résultats d'apprentissage.
- La surface dégradé bleu-rouge est la sortie brute du réseau.
- Les points rouges sont des données du jeu d'entrainement qui appartiennent à la classe A
- Les points bleus sont des données du jeu d'entrainement qui appartiennent à la classe B
- Les cercles verts sont les points correctement classifiés
- Les croix noirs sont les points mal classifiés
Codes sources et téléchargements
Voir aussi
- Régression non linéaire avec un réseau de neurones
- Jeux de données pour l'apprentissage profond
- Exemple de descente de gradient
- Quelle est la popularité des réseaux de neurones dans le temps ?
- Installation de TensorFlow et Keras sous Linux
- Démonstration de la règle d'apprentissage
- Exemple en régression linéaire
- Fonctions d'activation les plus utilisées en apprentissage profond
- Principaux papiers de recherches relatif au Deep learning
- Le perceptron dans les réseaux de neurones
- Le réseau de neurones le plus simple avec TensorFlow
- Perceptron simpliste
- Algorithme d'apprentissage pour réseaux sans couches cachées
- Descente de gradient pour les réseaux de neurones
- Limitations des réseaux sans couches cachées
- Réseaux de neurones
