Estimateurs Ponctuels

Dans ce chapitre, nous nous interessons au estimateur ponctuel [kay1993] [casella2002]. Un estimateur ponctuel est une règle de décision qui associe aux données observées une seule valeur pour estimer un paramètre inconnu.

Définition formelle

Soit un vecteur de $l$ paramètres inconnus $\mathit{\theta }$ et un vecteur d’observations $\mathbf{x}=[x_1,\cdots ,x_n]$ aléatoire. Un estimateur ponctuel est une variable aléatoire

$$\hat{\mathit{\theta }}=\mathbf{g}(\mathbf{x})$$

où $\mathbf{g}(\cdot ):{\mathbb{R}}^n\to {\mathbb{R}}^l$ est une fonction des données.

Une fois les données observées $\mathbf{x}$, l'estimateur prend une valeur numérique unique $\hat{\mathit{\theta }}$. Dans ce chapitre, nous proposons plusieurs techniques pour construire la fonction $\mathbf{g}(\cdot )$.

Méthode des moments

La méthode des moments est l'une des techniques les plus anciennes et les plus simples pour construire des estimateurs Casella (2002). Elle consiste à égaler les moments théoriques de la distribution aux moments empiriques calculés à partir des données.

Principe

Soit $\mathit{\theta }=[{\theta }_1,\dots ,{\theta }_l]$ un vecteur de $l$ paramètres inconnus à estimer. Notons $m_u(\mathit{\theta })$ le moment théorique d'ordre $u$ :

$$m_u(\mathit{\theta })=\mathbb{E}[x^u]$$

où l'espérance dépend des paramètres $\mathit{\theta }$.

Le moment empirique d'ordre $u$ est calculé à partir des observations $\mathbf{x}=[x_1,\dots ,x_n]$ :

$${\hat{m}}_u=\frac{1}{n}\sum _{k=1}^n{x}_k^u$$

Estimateur de la méthode des moments

Pour estimer $l$ paramètres, nous résolvons le système d'équations suivant :

$$\{\begin{array}{l}{m}_1(\mathit{\theta })={\hat{m}}_1\\ m_2(\mathit{\theta })={\hat{m}}_2\\ ⋮\\ m_l(\mathit{\theta })={\hat{m}}_l\end{array}$$

L'estimateur de la méthode des moments ${\hat{\mathit{\theta }}}_{MM}$ est la solution de ce système.

Exemple : Loi normale

Considérons l'estimation des paramètres $\mathit{\theta }=[\mu ,{\sigma }^2]$ d'une loi normale $\mathcal{N}(\mu ,{\sigma }^2)$ à partir d'un échantillon i.i.d. $\mathbf{x}=[x_1,\dots ,x_n]$.

Moments théoriques :

• Premier moment : $m_1(\mu ,{\sigma }^2)=\mathbb{E}[x]=\mu$
• Deuxième moment : $m_2(\mu ,{\sigma }^2)=\mathbb{E}[x^2]={\mu }^2+{\sigma }^2$

Moments empiriques :

• ${\hat{m}}_1=\frac{1}{n}\sum _{k=1}^n{x}_k$
• ${\hat{m}}_2=\frac{1}{n}\sum _{k=1}^n{x}_k^2$

Système d'équations :

$$\{\begin{array}{l}\mu ={\hat{m}}_1\\ {\mu }^2+{\sigma }^2={\hat{m}}_2\end{array}$$

Solution : Les estimateurs de la méthode des moments sont :

$$\begin{array}{rl}{\hat{\mu }}_{MM}& =\frac{1}{n}\sum _{k=1}^n{x}_k\\ {\hat{\sigma }}_{MM}^2& =\frac{1}{n}\sum _{k=1}^n{x}_k^2-{\left(\frac{1}{n}\sum _{k=1}^n{x}_k\right)}^2=\frac{1}{n}\sum _{k=1}^n(x_k-{\hat{\mu }}_{MM}{)}^2\end{array}$$

où la dernière expression s'obtient en simplifiant le developpement du carré.

Avantages et inconvénients

Avantages :

• Méthode simple et intuitive
• Ne nécessite pas de connaître la forme complète de la distribution
• Toujours applicable dès que les moments existent

Inconvénients :

• Peut donner des estimateurs biaisés
• N'exploite pas toute l'information disponible dans les données
• Peut être moins efficace que d'autres méthodes (comme le MLE)

Méthode du maximum de vraisemblance

La méthode du maximum de vraisemblance (maximum likelihood) Kay (1993) [lehmann1998] consiste à construire un estimateur le plus vraisemblable au sens des données observées $\mathbf{x}$.

Principe

Pour un échantillon $\mathbf{x}=[x_1,\dots ,x_n]$ i.i.d. de densité de probabilité $f(x;\mathit{\theta })$, l'estimateur du maximum de vraisemblance ${\hat{\mathit{\theta }}}_{MLE}$ maximise la fonction de vraisemblance :

$${\hat{\mathit{\theta }}}_{MLE}=\arg \underset{\theta \in \mathrm{\Theta }}{max}L(\mathit{\theta })$$

où la vraisemblance est définie par :

$$L(\mathit{\theta };x_1,\dots ,x_n)=\prod _{k=1}^{n}f(x_k;\mathit{\theta })$$

Remarques

• En pratique, sans perte de généralité, au lieu de maximiser directement la fonction de vraisemblance, il est souvent préferable de maximiser la log-vraisemblance. Dans le cas d'un grand nombre de densité de probabilité (notamment la loi gaussienne), l'expression du log-vraisemblance est nettement plus simple à manipuler. La log-vraisemblance est définie par

$$\ell (\mathit{\theta })=\log L(\mathit{\theta })=\sum _{k=1}^n\log f(x_k;\mathit{\theta })$$

• Pour trouver le maximum de la log-vraisemblance, on cherche les valeurs de $\mathit{\theta }$ qui annulent le gradient :

$${\mathrm{\nabla }}_{\mathit{\theta }}\ell (\mathit{\theta })=\left[\begin{array}{c}\frac{\partial \ell }{\partial {\theta }_1}\\ ⋮\\ \frac{\partial \ell }{\partial {\theta }_l}\end{array}\right]=\mathbf{0}$$

Dans le cas d'un paramètre scalaire $\theta$, on résout simplement $\frac{d\ell (\theta )}{d\theta }=0$ (dérivée ordinaire).

Dans certains cas, il est possible de trouver une solution analytique. Dans la majorité des cas, il est nécessaire de recourir à des algorithmes d'optimisation numérique.

Exemple : Loi normale

Considérons l'estimation des paramètres $\mathit{\theta }=[\mu ,{\sigma }^2]$ à partir d'un échantillon i.i.d. $\mathbf{x}=[x_1,\dots ,x_n]$ avec $x_n\sim \mathcal{N}(\mu ,{\sigma }^2)$. Pour estimer les paramètres, nous allons calculer la log-vraisemblance. Dans ce cas de figure, la log vraisemblance s'exprime sous la forme

$$\ell (\mu ,{\sigma }^2)=-\frac{n}{2}\log (2\pi )-\frac{n}{2}\log ({\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{k=1}^n(x_k-\mu {)}^2$$

Les MLE des paramètrees $\mathit{\theta }=[\mu ,{\sigma }^2]$ sont :

$$\begin{array}{rl}{\hat{\mu }}_{MLE}& =\frac{1}{n}\sum _{k=1}^n{x}_k,\\ {\hat{\sigma }}_{MLE}^2& =\frac{1}{n}\sum _{k=1}^n(x_k-{\hat{\mu }}_{MLE}{)}^2\end{array}$$

Exemple : Modèle paramétrique et moindres carrés

Considérons un modèle paramétrique où l'on observe un vecteur $\mathbf{x}=[x_1,\dots ,x_m{]}^T\in {\mathbb{R}}^m$ généré par :

$$x_k=s_k(\mathit{\theta })+n_k,k=1,\dots ,m$$

ou de façon vectorielle :

$$\mathbf{x}=\mathbf{s}(\mathit{\theta })+\mathbf{n}$$

où :

• $\mathbf{s}(\mathit{\theta })=[s_1(\mathit{\theta }),\dots ,s_m(\mathit{\theta }){]}^T$ est un vecteur de fonctions paramétriques (connues)
• $\mathit{\theta }\in {\mathbb{R}}^p$ est le vecteur de paramètres à estimer (inconnu)
• $\mathbf{n}\sim \mathcal{N}(\mathbf{0},{\sigma }^2{\mathbf{I}}_m)$ est un bruit gaussien de moyenne nulle et de matrice de covariance ${\sigma }^2{\mathbf{I}}_m$

Sous ce modèle, les observations suivent une loi normale multivariée $\mathbf{x}\sim \mathcal{N}(\mathbf{s}(\mathit{\theta }),{\sigma }^2{\mathbf{I}}_m)$ de densité :

$$f(\mathbf{x};\mathit{\theta },{\sigma }^2)=\frac{1}{(2\pi {\sigma }^2{)}^{m/2}}\exp (-\frac{1}{2{\sigma }^2}\parallel \mathbf{x}-\mathbf{s}(\mathit{\theta }){\parallel }^2)$$

Log-vraisemblance :

$$\ell (\mathit{\theta },{\sigma }^2)=-\frac{m}{2}\log (2\pi )-\frac{m}{2}\log ({\sigma }^2)-\frac{1}{2{\sigma }^2}\parallel \mathbf{x}-\mathbf{s}(\mathit{\theta }){\parallel }_2^2$$

Sous l'hypothèse de bruit gaussien, maximiser la log-vraisemblance par rapport à $\mathit{\theta }$ revient à minimiser :

$${\hat{\mathit{\theta }}}_{MLE}=\arg \underset{\mathit{\theta }}{min}\parallel \mathbf{x}-\mathbf{s}(\mathit{\theta }){\parallel }_2^2=\arg \underset{\mathit{\theta }}{min}\sum _{k=1}^m(x_k-s_k(\mathit{\theta }){)}^2$$

Ce critère correspond aux moindres carrés non linéaires. En général, il n'existe pas de solution analytique et il faut recourir à des algorithmes d'optimisation (gradient, Newton, Levenberg-Marquardt, etc.).

Cas particulier : modèle linéaire

Lorsque $\mathbf{s}(\mathit{\theta })$ est une fonction linéaire des paramètres, c'est-à-dire :

$$\mathbf{s}(\mathit{\theta })=\mathbf{A}\mathit{\theta }$$

où $\mathbf{A}\in {\mathbb{R}}^{m\times p}$ est une matrice de design connue.Ce problème admet une solution analytique :

$${\hat{\mathit{\theta }}}_{MLE}=({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T\mathbf{x}={\mathbf{A}}^{†}\mathbf{x}$$

où ${\mathbf{A}}^{†}$ est la pseudo-inverse de $\mathbf{A}$. Cette solution est appelée estimateur des moindres carrés ordinaires (Ordinary Least Squares, OLS).

Approfondissement

Le cas particulier du modèle linéaire, ses propriétés, son analyse détaillée et ses extensions sont présentés dans le Chapitre 4 consacré à la régression linéaire.

Propriétés

L'estimateur du maximum de vraisemblance possède des propriétés remarquables qui en font l'une des méthodes d'estimation les plus utilisées en statistique. Ces propriétés sont principalement asymptotiques, c'est-à-dire qu'elles se manifestent lorsque la taille de l'échantillon $n$ tend vers l'infini.

Consistance

Sous certaines conditions de régularité, l'estimateur du MLE est consistant : il converge en probabilité vers la vraie valeur du paramètre lorsque $n\to \mathrm{\infty }$ :

$${\hat{\mathit{\theta }}}_{MLE}\stackrel{P}{\to }\mathit{\theta }$$

Interprétation : Avec un échantillon suffisamment grand, l'estimateur du MLE s'approche arbitrairement de la vraie valeur du paramètre.

Normalité asymptotique

L'estimateur du MLE suit asymptotiquement une loi normale :

$$\sqrt{n}({\hat{\mathit{\theta }}}_{MLE}-\mathit{\theta })\stackrel{d}{\to }\mathcal{N}(\mathbf{0},{\mathbf{I}}^{-1}(\mathit{\theta }))$$

où $\mathbf{I}(\mathit{\theta })$ est la matrice d'information de Fisher définie par :

$$\mathbf{I}(\mathit{\theta })=-\mathbb{E}[{\mathrm{\nabla }}_{\mathit{\theta }}^2\ell (\mathit{\theta })]=\mathbb{E}\left[({\mathrm{\nabla }}_{\mathit{\theta }}\ell (\mathit{\theta })){({\mathrm{\nabla }}_{\mathit{\theta }}\ell (\mathit{\theta }))}^T\right]$$

Dans le cas scalaire ($\theta$ unidimensionnel), l'information de Fisher est :

$$I(\theta )=-\mathbb{E}\left[\frac{d^2\ell (\theta )}{d{\theta }^2}\right]=\mathbb{E}\left[{\left(\frac{d\ell (\theta )}{d\theta }\right)}^2\right]$$

Interprétation : Pour $n$ grand, l'estimateur du MLE se comporte approximativement comme une variable normale de moyenne $\mathit{\theta }$ et de variance $\frac{1}{n}{\mathbf{I}}^{-1}(\mathit{\theta })$.

Efficacité asymptotique

L'estimateur du MLE atteint asymptotiquement la borne de Cramér-Rao [cramer1946] : parmi tous les estimateurs sans biais, le MLE a asymptotiquement la variance minimale Kay (1993).

$$\text{var}({\hat{\mathit{\theta }}}_{MLE})\approx \frac{1}{n\mathbf{I}(\mathit{\theta })}$$

Interprétation : Le MLE est asymptotiquement optimal au sens de la variance : aucun autre estimateur sans biais ne peut avoir une variance plus faible pour un échantillon de grande taille.

Invariance par reparamétrisation

Si ${\hat{\mathit{\theta }}}_{MLE}$ est l'estimateur du MLE de $\mathit{\theta }$, alors pour toute fonction $g$ (suffisamment régulière), $g({\hat{\mathit{\theta }}}_{MLE})$ est l'estimateur du MLE de $g(\mathit{\theta })$ :

$${\widehat{g(\mathit{\theta })}}_{MLE}=g({\hat{\mathit{\theta }}}_{MLE})$$

Exemple : Si ${\hat{\sigma }}_{MLE}^2$ est le MLE de ${\sigma }^2$, alors $\sqrt{{\hat{\sigma }}_{MLE}^2}$ est le MLE de $\sigma$.

Interprétation : Cette propriété est très pratique car elle permet d'estimer facilement des transformations de paramètres sans avoir à recalculer le MLE dans le nouvel espace paramétrique.

Remarque

Ces propriétés asymptotiques font du MLE une méthode d'estimation très puissante, particulièrement pour les grands échantillons. Cependant, pour de petits échantillons, le MLE peut être biaisé ou avoir une variance élevée.

Intervalles de confiance

Grâce à la propriété de normalité asymptotique, nous pouvons construire des intervalles de confiance pour les paramètres estimés par MLE.

Cas scalaire

Pour un paramètre scalaire $\theta$, nous avons asymptotiquement :

$${\hat{\theta }}_{MLE}\sim \mathcal{N}(\theta ,\frac{1}{nI(\theta )})$$

En standardisant, nous obtenons :

$$\frac{{\hat{\theta }}_{MLE}-\theta }{\sqrt{\frac{1}{nI(\theta )}}}\sim \mathcal{N}(0,1)$$

Un intervalle de confiance asymptotique de niveau $1-\alpha$ pour $\theta$ est :

$$I{C}_{1-\alpha }(\theta )=[{\hat{\theta }}_{MLE}-z_{\alpha /2}\sqrt{\frac{1}{nI({\hat{\theta }}_{MLE})}},{\hat{\theta }}_{MLE}+z_{\alpha /2}\sqrt{\frac{1}{nI({\hat{\theta }}_{MLE})}}]$$

où $z_{\alpha /2}$ est le quantile d'ordre $1-\alpha /2$ de la loi normale centrée réduite $\mathcal{N}(0,1)$.

Remarque : En pratique, nous remplaçons $I(\theta )$ par $I({\hat{\theta }}_{MLE})$ car $\theta$ est inconnu. C'est ce qu'on appelle l'approche plug-in.

Cas multidimensionnel

Pour un vecteur de paramètres $\mathit{\theta }=[{\theta }_1,\dots ,{\theta }_l{]}^T$, un intervalle de confiance pour le $j$-ième coefficient est :

$$I{C}_{1-\alpha }({\theta }_j)=[{\hat{\theta }}_j-z_{\alpha /2}\sqrt{[{\mathbf{I}}^{-1}({\hat{\mathit{\theta }}}_{MLE}){]}_{jj}/n},{\hat{\theta }}_j+z_{\alpha /2}\sqrt{[{\mathbf{I}}^{-1}({\hat{\mathit{\theta }}}_{MLE}){]}_{jj}/n}]$$

où $[{\mathbf{I}}^{-1}{]}_{jj}$ désigne l'élément diagonal $(j,j)$ de la matrice d'information inverse.

Avantages et inconvénients

Avantages :

• Exploite toute l'information disponible dans les données (efficacité)
• Propriétés asymptotiques optimales : convergence, normalité asymptotique, efficacité asymptotique
• Invariant par reparamétrisation : si ${\hat{\mathit{\theta }}}_{MLE}$ est le MLE de $\mathit{\theta }$, alors $g({\hat{\mathit{\theta }}}_{MLE})$ est le MLE de $g(\mathit{\theta })$
• Fournit une approche systématique pour construire des estimateurs

Inconvénients :

• Nécessite de connaître la forme complète de la distribution (densité de probabilité)
• Peut être difficile à calculer (pas toujours de solution analytique)
• Peut donner des estimateurs biaisés pour de petits échantillons

Références

1. Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall.
2. Lehmann, E. L., & Casella, G. (1998). Theory of Point Estimation, 2nd edition. Springer.
3. Casella, G., & Berger, R. L. (2002). Statistical Inference, 2nd edition. Duxbury Press.
4. Cramér, H. (1946). Mathematical Methods of Statistics. Princeton University Press.