Estimateurs usuels

La page précédente a donné les critères pour juger un estimateur, mais aucun moyen d'en construire un. Cette page comble ce manque : la section 1 pose le cadre commun, minimiser une fonction de coût, les sections 2 à 4 l'instancient en trois estimateurs, le maximum de vraisemblance, les moindres carrés et le maximum a posteriori, la section 5 apprend l'estimateur sur des exemples, la section 6 fournit les algorithmes qui minimisent une loss lorsque aucune formule explicite n'existe, et la section 7 récapitule les quatre estimateurs et leurs hypothèses.

1. Problématique

Les trois estimateurs de la borne supérieure de la page précédente, ${\hat{\theta }}_1=\underset{n}{max}x[n]$, ${\hat{\theta }}_2=\underset{n}{max}x[n]-\underset{n}{min}x[n]$ et ${\hat{\theta }}_3=2\overline{x}$, ont été proposés de façon ad hoc : chacun repose sur une intuition, aucun sur une méthode. Nous savons depuis les fondations comparer leurs risques, mais rien ne nous dit comment en produire un quatrième, ni comment procéder face à un modèle où aucune intuition ne se présente.

Comment déterminer la fonction $g$ qui transforme les données en estimation ?

La réponse suivie dans toute cette page consiste à ramener la construction d'un estimateur à un problème de minimisation. Nous nous donnons une fonction de coût $J(\theta )$, la loss, qui mesure le désaccord entre le modèle et les données observées, et nous retenons la valeur du paramètre qui la rend minimale :

$$\hat{\theta }=\arg \underset{\theta \in \mathrm{\Theta }}{min}J(\theta ),$$

où

• $J(\theta )$ est la loss, une fonction du paramètre à données fixées,
• $\mathrm{\Theta }$ est l'ensemble des valeurs admissibles du paramètre.

Choisir un estimateur revient alors à choisir une loss. Les sections 2 à 5 en proposent quatre, issues de raisonnements différents ; la section 6 traite le problème d'optimisation lui-même, commun à tous les estimateurs de la page.

2. Maximum de vraisemblance

Une pièce est lancée $N=20$ fois et produit $k=13$ succès. Parmi toutes les valeurs possibles de la probabilité de succès, laquelle rend cette observation la plus plausible ?

Hypothèses

Le maximum de vraisemblance suppose une hypothèse forte : la loi des données est connue, à la valeur de ses paramètres près

$$\mathbf{x}\sim p(\mathbf{x};\theta )$$

Nous disposons donc de $p(\mathbf{x};\theta )$ comme fonction explicite, et la seule inconnue est $\theta$.

Expression

Définition, Maximum de vraisemblance (MLE)

La loss du maximum de vraisemblance (maximum likelihood estimator) est la log-vraisemblance négative des données observées :

$${\hat{\theta }}_{\mathrm{ML}}=\arg \underset{\theta \in \mathrm{\Theta }}{min}{J}_{\mathrm{ML}}(\theta ),$$

où

$$J_{\mathrm{ML}}(\theta )=-\ln p(\mathbf{x};\theta ),$$

et

• $p(\mathbf{x};\theta )$ est la vraisemblance, la loi des données évaluée en l'observation reçue,
• $\ln p(\mathbf{x};\theta )$ est la log-vraisemblance.

Notons que l'application du logarithme ne déplace pas l'optimum, puisqu'il est strictement croissant, mais il transforme le produit des densités i.i.d. en somme, ce qui rend la dérivation praticable et évite les dépassements numériques. Une vraisemblance de ${10}^{-40}$ n'est pas représentable en virgule flottante, son logarithme l'est.

Confusion classique

« La vraisemblance est la probabilité que $\theta$ vaille cette valeur. » Non : $\theta$ n'est pas une variable aléatoire, le point-virgule de $p(\mathbf{x};\theta )$ le rappelle. La vraisemblance est la probabilité des données pour un $\theta$ donné, jamais une probabilité sur $\theta$.

Propriétés

Le MLE ne garantit rien à $N$ fixé, mais ses propriétés asymptotiques pour $N\to \mathrm{\infty }$ en font l'estimateur à privilégier dès que la loi des données est connue.

Propriétés asymptotiques du MLE

Sous conditions de régularité, quand $N\to \mathrm{\infty }$, le MLE est

1. convergent : ${\hat{\theta }}_{\mathrm{ML}}$ tend vers la vraie valeur $\theta$ en probabilité ;
2. asymptotiquement sans biais : $b({\hat{\theta }}_{\mathrm{ML}})\to 0$ ;
3. asymptotiquement efficace : sa variance atteint la borne de Cramér-Rao, aucun estimateur sans biais ne fait mieux ;
4. asymptotiquement Gaussien : sa loi tend vers $\mathcal{N}(\theta ,1/I(\theta ))$.

Ces propriétés sont admises. Elles sont asymptotiques : rien n'interdit au MLE d'être biaisé pour un $N$ donné.

La normalité asymptotique a une retombée pratique immédiate : elle fournit un intervalle de confiance autour de l'estimation.

Proposition, Intervalle de confiance asymptotique

Pour $N$ assez grand, l'intervalle

$${\hat{\theta }}_{\mathrm{ML}}\pm \frac{1,96}{\sqrt{I({\hat{\theta }}_{\mathrm{ML}})}}$$

contient la vraie valeur $\theta$ dans environ $95\mathrm{\%}$ des expériences répétées, $1,96$ étant le quantile des $95\mathrm{\%}$ de la Gaussienne.

Confusion classique

« Il y a 95 % de chances que $\theta$ soit dans cet intervalle. » Non : $\theta$ est fixe, c'est l'intervalle qui est aléatoire, recalculé à chaque jeu de données. Les $95\mathrm{\%}$ sont une fréquence de couverture sur les expériences répétées, vérifiable par simulation de Monte-Carlo, jamais une probabilité sur $\theta$.

Pour la pièce de l'exemple qui suit ($N=20$, $k=13$), l'information de Fisher vaut $I(p)=N/(p(1-p))$ et l'intervalle est $0,65\pm 0,21$ : vingt lancers laissent une incertitude considérable, et l'intervalle le dit mieux qu'une estimation ponctuelle.

Exemple : paramètre d'une loi de Bernoulli

Soit $x[n]\sim \mathcal{B}(p)$ i.i.d. (fiche Bernoulli), avec $N=20$ lancers dont $k=\sum _{n}x[n]=13$ succès. La log-vraisemblance et sa dérivée valent

$$\ell (p)=k\ln p+(N-k)\ln (1-p),$$$$\frac{\partial \ell }{\partial p}=\frac{k}{p}-\frac{N-k}{1-p}.$$

L'annulation de cette dérivée donne l'estimateur, qui n'est autre que la fréquence observée :

$${\hat{p}}_{\mathrm{ML}}=\frac{k}{N}=0,65.$$

Figure 2.3a, Vraisemblance $p(\mathbf{x};p)$ pour $N=20$ et $k=13$, que le principe maximise (script figures/ch2/02-vraisemblance-bernoulli.py).

Figure 2.3b, Loss $J_{\mathrm{ML}}(p)=-\ell (p)$ du même échantillon, que nous minimisons.

Les deux courbes désignent le même point, $\hat{p}=0,65$, l'une par son sommet et l'autre par son creux : passer de la vraisemblance à la loss retourne la courbe sans déplacer son optimum. Leur lisibilité n'a en revanche rien de comparable. La vraisemblance s'écrase contre zéro sur presque tout le domaine, ses valeurs étant de l'ordre de ${10}^{-6}$, alors que la loss reste ample et se dérive sans peine. C'est la seule raison pour laquelle nous travaillons sur $J_{\mathrm{ML}}$.

3. Moindres carrés

Hypothèses

L'estimateur des moindres carrés présuppose un modèle de signal particulier. Spécifiquement, il considère que les échantillons reçus se décomposent en un signal dépendant d'un paramètre $\theta$, que nous écrivons $s[n;\theta ]$, et une composante additive de bruit. Sous cette hypothèse, les observations s'écrivent :

$$x[n]=s[n;\theta ]+w[n],$$

où $w[n]$ est un bruit additif de distribution inconnue.

Expression

Pour estimer $\theta$, une possibilité intuitive consiste à minimiser la distance entre le signal déterministe et les échantillons observés $x[n]$, au sens d'une norme. La norme 2 est de loin la plus employée, et c'est elle qui donne les moindres carrés.

Définition, Moindres carrés (LSE)

La loss des moindres carrés (least squares estimator) est l'écart quadratique entre les données et le signal du modèle :

$${\hat{\theta }}_{\mathrm{LS}}=\arg \underset{\theta \in \mathrm{\Theta }}{min}{J}_{\mathrm{LS}}(\theta ),$$

où

$$J_{\mathrm{LS}}(\theta )=\sum _{n=0}^{N-1}(x[n]-s[n;\theta ]{)}^2=\Vert \mathbf{x}-\mathbf{s}(\theta ){\Vert }_2^2.$$

Aucune hypothèse probabiliste n'intervient dans cette loss : le critère est purement géométrique, et il se pose même là où la notion de bruit aléatoire n'a aucun sens.

Propriétés

Proposition, Lien avec le MLE

Lorsque $w[n]\sim \mathcal{N}(0,{\sigma }^2)$, les estimateurs MLE et LSE coïncident :

$${\hat{\theta }}_{\mathrm{LS}}={\hat{\theta }}_{\mathrm{ML}}.$$

Démonstration

Les $x[n]$ sont i.i.d. de loi $\mathcal{N}(s[n;\theta ],{\sigma }^2)$. La log-vraisemblance négative est donc une somme de $N$ log-densités Gaussiennes :

$$J_{\mathrm{ML}}(\theta )=\frac{N}{2}\ln (2\pi {\sigma }^2)+\frac{1}{2{\sigma }^2}\sum _{n=0}^{N-1}(x[n]-s[n;\theta ]{)}^2,$$

où la somme est exactement $J_{\mathrm{LS}}(\theta )$. Les deux losses se déduisent donc l'une de l'autre par une fonction affine croissante, dont le coefficient $1/(2{\sigma }^2)$ est positif et le terme constant indépendant de $\theta$. Une telle transformation ne déplace pas l'argument du minimum. $◼$

Cette propriété montre que l'ajustement par erreur quadratique, posé sans aucune hypothèse probabiliste, est précisément ce que produit le maximum de vraisemblance dès que le bruit est Gaussien blanc. Le paramètre ${\sigma }^2$ n'apparaît que dans le facteur d'échelle, il est donc sans effet sur l'estimation de $\theta$.

🎯 Le choix de la loss est un choix de modèle de bruit

Le même calcul mené avec un bruit laplacien, $p(w)\propto \exp (-|w|/b)$, donne une loss L1 :

$$J_{\mathrm{ML}}(\theta )=\frac{1}{b}\sum _n|x[n]-s[n;\theta ]|+\mathrm{cte}.$$

Quand un cours d'apprentissage automatique propose un catalogue de loss, il propose en réalité un catalogue d'hypothèses sur le bruit.

Lorsque $\mathbf{s}(\theta )$ dépend linéairement de $\theta$, cette minimisation admet une solution analytique, objet de la page suivante. Dans le cas contraire, il faut recourir aux méthodes numériques de la section 6.

4. Maximum a posteriori

Le MLE traite $\theta$ comme une constante inconnue dont rien n'est su avant la mesure. Une information est pourtant souvent disponible en amont : la valeur nominale d'un composant, un ordre de grandeur physique, une plage plausible. Le maximum a posteriori incorpore cette connaissance dans l'estimation.

Hypothèses

Deux hypothèses définissent le cadre :

• le paramètre est modélisé comme une variable aléatoire, munie d'une loi $p(\theta )$ connue, le prior

$$\theta \sim p(\theta )$$

• la loi des données à paramètre fixé, $p(\mathbf{x}\mid \theta )$, est connue :

$$\mathbf{x}\sim p(\mathbf{x}\mid \theta )$$

⚠ Changement de statut de $\theta$

Jusqu'ici $\theta$ était un paramètre déterministe inconnu, et le point-virgule de $p(\mathbf{x};\theta )$ le rappelait. Le traiter comme une variable aléatoire change la notation, $p(\mathbf{x};\theta )\to p(\mathbf{x}\mid \theta )$, la loi des données sachant la valeur du paramètre. C'est le geste qui sépare l'approche bayésienne de l'approche fréquentiste des sections précédentes.

Expression

La valeur retenue est la plus probable au vu des données, celle qui maximise la loi a posteriori $p(\theta \mid \mathbf{x})$. Par la règle de Bayes, $p(\theta \mid \mathbf{x})\propto p(\mathbf{x}\mid \theta )p(\theta )$, le dénominateur $p(\mathbf{x})$ ne dépendant pas de $\theta$ ; le passage à la log-vraisemblance négative transforme cette maximisation en minimisation.

Définition, Maximum a posteriori (MAP)

La loss du maximum a posteriori ajoute un terme de prior à la loss des données :

$${\hat{\theta }}_{\mathrm{MAP}}=\arg \underset{\theta \in \mathrm{\Theta }}{min}{J}_{\mathrm{MAP}}(\theta ),$$

où

$$J_{\mathrm{MAP}}(\theta )=-\ln p(\mathbf{x}\mid \theta )-\ln p(\theta ),$$

et

• $-\ln p(\mathbf{x}\mid \theta )$ est la loss du MLE, l'attache aux données,
• $-\ln p(\theta )$ pénalise les valeurs du paramètre peu plausibles a priori.

Propriétés

Proposition, Lien avec le MLE

Lorsque le prior suit une loi uniforme sur $\mathrm{\Theta }$, les estimateurs MAP et MLE coïncident :

$${\hat{\theta }}_{\mathrm{MAP}}={\hat{\theta }}_{\mathrm{ML}}.$$

Exemple : moyenne d'une Gaussienne avec prior

Soit $x[n]\sim \mathcal{N}(\theta ,{\sigma }^2)$ i.i.d., avec un prior Gaussien centré $\theta \sim \mathcal{N}(0,{\sigma }_0^2)$. En développant les deux termes et en écartant les constantes :

$$J_{\mathrm{MAP}}(\theta )=\frac{1}{2{\sigma }^2}\sum _n(x[n]-\theta {)}^2+\frac{{\theta }^2}{2{\sigma }_0^2}+\mathrm{cte}.$$

L'annulation de la dérivée donne

$${\hat{\theta }}_{\mathrm{MAP}}=\frac{N/{\sigma }^2}{N/{\sigma }^2+1/{\sigma }_0^2}\overline{x}.$$

Le facteur devant $\overline{x}$ est compris entre $0$ et $1$ : le MAP rétrécit le MLE vers la moyenne du prior. Avec $N=10$, $\sigma =1$ et ${\sigma }_0^2=0,1$, ce facteur vaut $1/2$ : l'estimation est à mi-chemin entre $\overline{x}$ et $0$, le prior pesant autant que les dix mesures. Quand $N$ grandit, le facteur tend vers $1$ et le MAP rejoint le MLE : les données finissent par submerger le prior. Appliqué au modèle linéaire, ce mécanisme de rétrécissement deviendra la régularisation ridge.

5. Estimateur appris (data-driven)

Les trois estimateurs précédents dérivent $g$ d'un modèle, la loi des données, le signal, le prior. Lorsque aucun modèle n'est disponible sous forme analytique, une troisième stratégie consiste à postuler la forme de $g$ et à en ajuster les paramètres sur des exemples.

Hypothèses

Deux hypothèses définissent le cadre.

• Un modèle d'estimateur. La forme de l'estimateur est postulée :

$$\hat{\theta }=g(\mathbf{x};\mathit{\alpha }),$$

où $g(\cdot ;\mathit{\alpha })$ est une fonction de forme fixée, choisie a priori, et $\mathit{\alpha }$ rassemble les paramètres de cette fonction, à déterminer. La forme de $g$ est libre, du moment qu'elle dépend de $\mathit{\alpha }$ de façon dérivable : une combinaison linéaire de statistiques des données, un polynôme, ou un réseau de neurones dont $\mathit{\alpha }$ regroupe les poids. Idéalement, sa capacité doit être adaptée au problème.

• Une base de données. Une base d'apprentissage de $M$ exemples $\{({\mathbf{x}}^{(i)},{\theta }^{(i)}){\}}_{i=1}^M$ est disponible, le paramètre étant connu pour chacun. Chaque exemple est construit par deux tirages successifs :

$$\begin{array}{rl}{\theta }^{(i)}& \sim p(\theta ),\\ {\mathbf{x}}^{(i)}& \sim p(\mathbf{x}\mid {\theta }^{(i)}),\end{array}$$

où $p(\theta )$ est une distribution choisie sur le paramètre, le prior du §4, qui fixe ici la plage de valeurs à couvrir, et $p(\mathbf{x}\mid \theta )$ est le modèle des données, qui engendre les observations pour un $\theta$ donné.

Expression

Définition, Estimateur appris

L'estimateur est la fonction ajustée,

$$\hat{\theta }=g(\mathbf{x};\hat{\mathit{\alpha }})$$

où les paramètres $\hat{\mathit{\alpha }}$ sont ceux qui minimisent l'erreur quadratique moyenne commise sur la base d'apprentissage, c-à-d :

$$\hat{\mathit{\alpha }}=\arg \underset{\mathit{\alpha }}{min}J(\mathit{\alpha }),$$

avec

$$J(\mathit{\alpha })=\frac{1}{M}\sum _{i=1}^M({\theta }^{(i)}-g({\mathbf{x}}^{(i)};\mathit{\alpha }){)}^2,$$

Trois différences avec les sections précédentes. Spécifiquement,

• la minimisation porte sur $\mathit{\alpha }$, les paramètres de l'estimateur, et non sur $\theta$ directement ;
• la loss se mesure dans l'espace du paramètre, entre la valeur vraie ${\theta }^{(i)}$ et son estimation, alors que celle du LSE se mesure dans l'espace des observations, entre les échantillons reçus $\mathbf{x}$ et le signal $s[n;\theta ]$ que le modèle prédit ;
• la MSE des sections précédentes se calculait à $\theta$ fixé ; ici $\theta$ est tiré selon $p(\theta )$, et $J(\mathit{\alpha })$ est donc la MSE moyennée sur les exemples tirés selon $p(\theta )$.

Implémentation

L'estimateur s'obtient en deux phases, et c'est là sa particularité :

1. apprentissage, effectué une seule fois : constituer la base, puis minimiser $J(\mathit{\alpha })$ avec les algorithmes de la section 6 ;
2. exploitation, répétée à chaque nouvelle observation : évaluer $g(\mathbf{x};\hat{\mathit{\alpha }})$.

Le MLE, le LSE et le MAP relancent une optimisation pour chaque observation reçue. Ici l'optimisation est payée une fois, et chaque estimation ultérieure ne coûte qu'une évaluation de fonction.

DANGER

Pour évaluer les performances d'un estimateur appris, il est nécessaire d'utiliser une base de test différente de la base d'apprentissage.

Exemple : borne supérieure d'une loi uniforme

Reprenons l'estimation de $\theta$ pour $x[n]\sim \mathcal{U}(0,\theta )$, avec $N=8$ mesures, et confions-la à un réseau de neurones à quatre couches cachées de $64$ unités, d'activation ReLU. Il reçoit en entrée les huit mesures triées et doit produire $\theta$. Aucune statistique ne lui est fournie, ni maximum ni moyenne : il ne dispose que des mesures brutes.

L'apprentissage porte sur $M=60000$ exemples, chacun tiré avec son propre $\theta$, choisi uniformément dans $[1,10]$. Ce point est décisif : entraîner sur une seule valeur de $\theta$ produirait un réseau qui renverrait cette valeur quelles que soient les mesures reçues.

import numpy as np
from sklearn.neural_network import MLPRegressor
rng = np.random.default_rng(2026)

N, M = 8, 60_000

# one theta per example, then N sorted measurements drawn for that theta
theta_train = rng.uniform(1.0, 10.0, M)
x_train = np.sort(rng.uniform(0, 1, size=(M, N)) * theta_train[:, None], axis=1)

net = MLPRegressor(hidden_layer_sizes=(64,) * 4, activation="relu",
                   max_iter=600, early_stopping=True, random_state=0)
net.fit(x_train, theta_train)

La performance se mesure sur des tirages neufs, à $\theta$ fixé, et se compare à celle du maximum et du maximum recalibré $\alpha \underset{n}{max}x[n]$, avec $\alpha =(N+2)/(N+1)$.

Figure 2.4, MSE des trois estimateurs en fonction de $\theta$ pour $N=8$, estimée sur $40000$ tirages de test par valeur ; la bande grisée marque le domaine $[1,10]$ couvert par la base d'apprentissage (script figures/ch2/02-reseau-borne-sup.py).

Dans le domaine d'apprentissage, le réseau bat nettement le maximum, d'un facteur voisin de deux, et dépasse même le maximum recalibré au-delà de $\theta \approx 7$. À $\theta =5$, sa MSE vaut $0,37$ contre $0,56$. Il a donc reconstitué, à partir des seules mesures brutes, un estimateur meilleur que celui qu'une intuition avait proposé, sans qu'aucune propriété de la loi uniforme ne lui ait été communiquée.

Au-delà de $\theta =10$, les courbes s'inversent. À $\theta =14$, la MSE du réseau atteint $4,88$, contre $4,38$ pour le maximum et $2,43$ pour le maximum recalibré : le réseau devient le pire des trois. Il n'a jamais rencontré de telles valeurs et n'a aucune raison de bien extrapoler, là où les deux autres estimateurs, dérivés du modèle, restent valables pour tout $\theta$.

Ce contraste vient du décalage entre les deux points de vue. L'apprentissage a minimisé la MSE moyennée sur $[1,10]$, un unique nombre ; la figure la trace à $\theta$ fixé, valeur par valeur. Entraîné sur la moyenne, jugé point par point, le réseau reporte tout son effort là où les $\theta$ étaient tirés et néglige le reste. La base d'apprentissage tient lieu de modèle, et un modèle ne vaut que sur son domaine.

6. Optimisation numérique de la loss

Problématique

Les estimateurs des sections précédentes s'obtiennent en minimisant une loss en fonction du paramètre $\theta$. Dans la plupart des cas, cette recherche du minimum est la vraie difficulté pratique.

Pour illustrer ce problème, nous allons considérer une sinusoïde de pulsation inconnue, observée dans du bruit, $x[n]=\cos (\omega n)+w[n]$, avec $N=80$ échantillons et $\sigma =0,5$.

Figure 2.5a, Loss $J(\omega )$ de la pulsation d'une sinusoïde bruitée ($N=80$, $\sigma =0,5$), évaluée sur $]0,\pi ]$ ; la verticale marque la pulsation vraie ${\omega }_0=0,86$ (script figures/ch2/02-mle-sinusoide-loss.py).

La loss des moindres carrés est présentée dans la figure 2.5a. Cette loss n'est pas linéaire en $\omega$ et deux phénomènes rendent le problème de minimisation difficile :

• la loss est fortement multimodale : elle oscille autour de $50$ sur tout l'intervalle, avec des dizaines de minima locaux dus à la périodicité du cosinus,
• le minimum global est étroit et profond, il descend à $10$ sur une plage de largeur $0,05$ à peine.

Algorithmes usuels

Trois algorithmes répondent à cette question. Ils sont génériques : ils minimisent n'importe quelle loss, celle du MLE comme celle des moindres carrés, et ne supposent rien du problème d'estimation dont elle provient.

1. Recherche sur grille. Remplacer l'espace continu $\mathrm{\Theta }$ par un ensemble discret $\mathrm{\Omega }\subset \mathrm{\Theta }$ de valeurs candidates, évaluer $J$ en chacune d'elles et retenir la meilleure :

$$\hat{\theta }=\arg \underset{\theta \in \mathrm{\Omega }}{min}J(\theta ).$$

La discrétisation la plus simple échantillonne régulièrement un intervalle $[{\theta }_{min},{\theta }_{max}]$ en $K$ points :

$$\mathrm{\Omega }=\{{\theta }_{min}+k\frac{{\theta }_{max}-{\theta }_{min}}{K-1},k=0,\dots ,K-1\}.$$

Elle ne demande aucune dérivée et ne peut pas se piéger dans un minimum local.

2. Descente de gradient. Se déplacer en sens inverse de la pente, d'un pas $\eta$ :

$$\theta \leftarrow \theta -\eta \mathrm{\nabla }J(\theta ).$$

3. Newton-Raphson. Exploiter en plus la courbure, ce qui permet d'atteindre le minimum en très peu d'itérations lorsque la loss est régulière :

$$\theta \leftarrow \theta -[{\mathrm{\nabla }}^{2}J(\theta ){]}^{-1}\mathrm{\nabla }J(\theta ).$$

En pratique, il est courant de combiner un grid search, pour obtenir une première valeur approximative, puis de raffiner cette valeur par une descente de gradient ou par l'algorithme de Newton-Raphson. La raison tient au comportement des deux méthodes itératives : elles descendent la pente sur laquelle elles sont lâchées, et convergent donc vers un minimum local, celui du bassin où se trouve leur point de départ.

Figure 2.5b, Descente de gradient depuis $\omega =0,74$ : les itérés rejoignent le minimum local (script figures/ch2/02-gradient-init.py).

Figure 2.5c, Descente de gradient depuis $\omega =0,83$ : les itérés rejoignent le minimum global.

Pour illustrer le problème, les figures ci-dessus présentent la loss de la figure 2.5a, agrandie entre $0,70$ et $0,90$. Les deux figures montrent l'évolution de $\theta$ pour deux initialisations différentes. Les carrés marquent les points de départ, les étoiles les valeurs finales, et les points intermédiaires les itérés successifs. Ceux-ci se resserrent à mesure que la pente s'aplatit, l'incrément $\eta \mathrm{\nabla }J(\theta )$ diminuant avec le gradient : la progression est rapide au début, lente à l'approche du minimum. Les deux exécutions emploient le même pas $\eta ={10}^{-5}$ et le même nombre d'itérations, seul le point de départ change. À gauche, l'algorithme s'immobilise en $\hat{\omega }=\mathrm{0,765}6$, où la loss vaut $39,2$. À droite, il atteint $\hat{\omega }=\mathrm{0,860}7$, où elle vaut $10,2$, presque quatre fois moins.

7. Résumé

Quatre estimateurs ont été construits dans cette page, chacun par la minimisation d'une loss. Le tableau suivant les rassemble, avec les hypothèses que chacun exige.

Estimateur	Loss $J$	Hypothèses nécessaires
MLE	$-\ln p(\mathbf{x};\theta )$	loi des données $p(\mathbf{x};\theta )$ connue
LSE	$\Vert \mathbf{x}-\mathbf{s}(\theta ){\Vert }_2^2$	modèle de signal $s[n;\theta ]$ connu, bruit additif
MAP	$-\ln p(\mathbf{x}\mid \theta )-\ln p(\theta )$	loi des données et prior $p(\theta )$ connus
Appris	${\displaystyle \frac{1}{M}}{\displaystyle \sum _{i=1}^M({\theta }^{(i)}-g({\mathbf{x}}^{(i)};\mathit{\alpha }){)}^2}$	forme de $g$ postulée, base d'apprentissage disponible

La colonne des hypothèses ordonne les estimateurs selon la connaissance qu'ils exigent du modèle. Le MAP demande la plus complète, la loi des données et le prior ; le MLE se contente de la loi des données ; le LSE ne suppose qu'un modèle de signal et un bruit additif ; l'estimateur appris ne requiert aucun modèle analytique, mais une base d'exemples, qui en tient alors lieu. Plus l'hypothèse disponible est forte, plus l'estimateur l'exploite ; quand elle fait défaut, ce sont les données d'apprentissage qui la remplacent.