Erreur quadratique moyenne

En statistiques, l’erreur quadratique moyenne d’un estimateur d’un paramètre de dimension 1 (mean squared error (), en anglais) est une mesure caractérisant la « précision » de cet estimateur. Elle est plus souvent appelée « erreur quadratique » (« moyenne » étant sous-entendu) ; elle est parfois appelée aussi « risque quadratique ».

Pour les articles homonymes, voir EQM.

L’erreur quadratique moyenne est définie par :

Définition  

Propriétés

Expression

On peut exprimer l’erreur quadratique moyenne en fonction du biais et de la variance de l’estimateur :

Théorème  

Signe

Corollaire  La variance étant toujours positive ou nulle, .

Minimisation

Théorème  Soit un estimateur sans biais du paramètre , tel que (si l’erreur quadratique moyenne est nulle, elle est déjà minimale, voir section « Signe » ci-dessus).

Parmi tous les estimateurs proportionnels à , l’erreur quadratique moyenne est minimale pour l’estimateur .

Cette erreur quadratique moyenne minimale vaut .

Remarque : la valeur de étant inconnue par nature (sinon, on n’en chercherait pas un estimateur), cette formule n’a d’intérêt pratique que si le coefficient se simplifie en une constante indépendante de , c’est-à-dire si et seulement si est proportionnel à (voir exemple plus bas).

Utilité

Comparaison d’estimateurs

Si les deux estimateurs à comparer sont sans biais, l’estimateur le plus efficace est simplement celui dont la variance est la plus petite. De même, si un estimateur a à la fois un plus grand biais (en valeur absolue) et une plus grande variance qu’un autre estimateur, ce dernier est évidemment meilleur.

Cependant, si un estimateur a un plus grand biais (en valeur absolue) mais une plus petite variance, la comparaison n’est plus immédiate : l’erreur quadratique moyenne permet alors de trancher.

Exemple :

Comparons les deux estimateurs les plus courants de la variance :

et

Pour un tirage avec remise et une loi de probabilité dont on suppose que le kurtosis normalisé est nul[note 1] (ex. : la loi normale), les calculs montrent que (voir Greene, section C.5.1) :

d’où ,
d’où  ;
d’où ,
d’où .

L’estimateur est sans biais mais a une plus grande variance (plus faible efficacité) que l’estimateur .

La comparaison des erreurs quadratiques moyennes donne :

L’estimateur biaisé est donc meilleur en terme d’erreur quadratique moyenne.

Toujours dans le cas d’un tirage avec remise et d’un kurtosis nul, en appliquant le théorème de minimisation donné plus haut à l’estimateur sans biais , on trouve que l’estimateur est l’estimateur minimisant l’erreur quadratique moyenne, cette dernière valant alors .

Convergence de l'estimateur

Il est possible de déterminer si un estimateur est convergent en probabilité à partir de son erreur quadratique moyenne, on a en effet:

Théorème  

La démonstration est faite à la page convergence de variables aléatoires.

Généralisation

Dans un cadre plus général pour un modèle multiparamétrique où l'on cherche à estimer plusieurs paramètres ou pour estimer une fonction de un ou plusieurs paramètres, l'erreur quadratique moyenne pour un estimateur de est défini par:

Définition  

où A est une matrice symétrique définie positive (qui définit donc un produit scalaire).

Notes et références

Notes

  1. Plus généralement, toujours pour un tirage avec remise, on a : .

Références

    Voir aussi

    Bibliographie

    (en) William H Greene, Econométrie, Paris, Pearson Education, , 5e éd., 943 p. (ISBN 978-2-7440-7097-6), p. 2

    Articles connexes

    • Portail des probabilités et de la statistique
    Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Sharealike. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.