Comprendre les matrices de covariance

Le but de cet article est d'expliquer les matrices de covariance. Nous commencerons avec un exemple illustré très simple (la distribution normale d'un tirage non corrélé) pour ensuite aller vers des exemples plus avancés (distributions normales corrélés). Pour terminer, nous expliquerons comment extraire des informations utiles de la matrice de covariance.

Echantillon non corrélé

Pour une meilleure compréhension des matrices de covariance, considérons un premier exemple: la distribution gaussienne d'un tirage aléatoire dans \( \mathbb{R}^2 \) avec un écart type de 1 sur chaque axe. Le tirage et la distribution gaussienne sont illustrés sur la figure suivante :

Figure a.
Distribution gaussienne d'un tirage non corrélé

Comme \(x\) et \(y\) sont indépendants (non corrélés), la matrice de covariance est diagnale et plus précisément une matrice identité car l'écart-type est égal à 1 sur chaque axe ( \( _a\sigma_x = {_{a}\sigma_y} = 1 \) ) dans l'équation suivante :

$$ \Sigma_a= \begin{bmatrix} _a\sigma_x^2 && 0\\ 0 && _a\sigma_y^2 \end{bmatrix} = \begin{bmatrix} 1 && 0\\ 0 && 1 \end{bmatrix} $$

Sur la figure suivante, l'écart-type le long de l'axe \(x\) est maintenant égal à 2 ( \( _b\sigma_x=2 \) et la variance est égale à \( 2^2 \) ) avec \(x\) et \(y\) qui sont toujours indépendants (non corrélés).

Figure b.
Matrice de covariance diagonale et distribution gaussienne

La matrice de covariance est donnée par la formule suivante :

$$ \Sigma_b= \begin{bmatrix} _b\sigma_x^2 && 0\\ 0 && _b\sigma_y^2 \end{bmatrix} = \begin{bmatrix} 4 && 0\\ 0 && 1 \end{bmatrix} $$

Notons qu'une matrice de transformation est cachées derrière \(\Sigma_b\). Comme le montre l'équation suivante, \(S_b\) est une homothétie qui transforme le vecteur aléatoire de la figure a vers la figure b :

$$ \sqrt{\Sigma_b}=S_b= \begin{bmatrix} 2 && 0\\ 0 && 1 \end{bmatrix} $$

Échantillons corrélés

Considérons maintenant que \(x\) et \(y\) sont linéairement corrélés, l'échantillon montré sur la figure c peut être vu comme une matrice de rotation qui transforme la figure b vers la figure c :

Figure c.
Distribution gaussienne d'un échantillon corrélé

La matrice de covariance peut être réécrite :

$$ \Sigma_c=R.\Sigma_b.R^T $$

Posons \( \psi \), l'angle de rotation entre les figures b et c, la matrice de rotation est donnée par:

$$ R= \begin{bmatrix} cos(\psi) && -sin(\psi)\\ sin(\psi) && cos(\psi) \end{bmatrix} $$

Décomposition en valeurs singulières (SVD)

La matrice de covariance généralise la notion de variance dans les espaces supérieurs ou égale à deux dimensions et peut être décomposés en matrices de transformation (combinaisons d'homothéties et de rotations). Ces matrices peuvent être extraite par une diagonalisation de la matrice de covariance. Dans la formule suivante, la matrice diagonale \(S\) est composée des écart-types projetés dans un espace où les variables sont décorrélés :

$$ \Sigma=R.(S.S).R^T $$

où:

La combinaison des matrices de transformations \(T_{RS}\) peut être facilement calculée à partir de la matrice de covariance graĉe à l'équation suivante :

$$ \sqrt{\Sigma}=T_{RS}=R.S $$

Le produit de la matrice de transformation \(T_{RS}\) par le cercle unitaire (ou une N-Sphere de rayon 1 dans \(\mathbb{R}^N\)) produit une ellipse (ou une ellipsoïde dans \( \mathbb{R}^N) \) illustrée par l'incertitude. Cette transformation peut être particulièrement utile. Elle peut, par exemple, permettre d'afficher graphiquement la confiance que l'on peut avoir dans une mesure ou une estimation.

Téléchargements

Les illustrations de cette page ont été créées à partir du script Matlab suivant :

CovarianceDecomposition.m

Voir aussi


Dernière mise à jour : 24/11/2022