Estimation Bayésienne

Introduction

L'approche bayésienne de l'estimation statistique Casella (2002) repose sur une vision fondamentalement différente de celle présentée au Chapitre 2. Alors que l'approche fréquentiste considère les paramètres comme des quantités fixes (mais inconnues), l'approche bayésienne traite les paramètres comme des variables aléatoires dont on cherche à inférer la distribution à partir des données observées.

Comparaison des paradigmes

Aspect	Approche Fréquentiste	Approche Bayésienne
Paramètre $\theta$	Quantité fixe inconnue	Variable aléatoire
Données $\mathbf{x}$	Variables aléatoires	Observées (fixes une fois collectées)
Estimation	Point estimé $\hat{\theta }$	Distribution a posteriori $p(\theta \mid \mathbf{x})$
Incertitude	Intervalles de confiance	Intervalles de crédibilité
Information a priori	Non utilisée	Incorporée via la loi a priori

Philosophie bayésienne

L'approche bayésienne permet d'incorporer des connaissances a priori sur les paramètres (expertise du domaine, résultats d'études antérieures) et de les combiner avec les données observées pour obtenir une distribution a posteriori qui quantifie l'incertitude sur les paramètres.

Théorème de Bayes

Formulation générale

Le théorème de Bayes est le fondement mathématique de l'inférence bayésienne. Pour un paramètre $\theta$ et des observations $\mathbf{x}$, il s'énonce :

$$p(\theta \mid \mathbf{x})=\frac{p(\mathbf{x}\mid \theta )p(\theta )}{p(\mathbf{x})}$$

où :

• $p(\theta )$ est la loi a priori : notre connaissance sur $\theta$ avant d'observer les données
• $p(\mathbf{x}\mid \theta )$ est la vraisemblance : probabilité d'observer $\mathbf{x}$ sachant $\theta$
• $p(\mathbf{x})$ est l'évidence (ou vraisemblance marginale) : $p(\mathbf{x})=\int p(\mathbf{x}\mid \theta )p(\theta )d\theta$
• $p(\theta \mid \mathbf{x})$ est la loi a posteriori : notre connaissance sur $\theta$ après avoir observé les données

Forme proportionnelle

En pratique, on utilise souvent la forme proportionnelle :

$$p(\theta \mid \mathbf{x})\propto p(\mathbf{x}\mid \theta )p(\theta )$$

car l'évidence $p(\mathbf{x})$ est une constante de normalisation (indépendante de $\theta$).

Interprétation : La loi a posteriori combine la vraisemblance (information des données) et la loi a priori (information préalable).

Lois a priori

Le choix de la loi a priori est crucial en statistique bayésienne. Il existe plusieurs types de lois a priori selon le niveau d'information disponible.

Lois a priori informatives

Les lois a priori informatives reflètent une connaissance substantielle sur le paramètre avant d'observer les données. Par exemple :

• Si l'on sait que $\theta$ est proche de 5, on peut choisir $\theta \sim \mathcal{N}(5,1)$
• Elles incorporent expertise du domaine ou résultats d'études antérieures

Lois a priori faiblement informatives

Les lois a priori faiblement informatives expriment une certaine connaissance mais restent vagues. Par exemple :

• $\theta \sim \mathcal{N}(0,100)$ pour un paramètre sans information précise
• Elles laissent les données dominer l'inférence

Lois a priori non informatives

Les lois a priori non informatives (ou vagues) traduisent l'absence totale de connaissance a priori. Par exemple :

• Loi uniforme : $p(\theta )\propto 1$ (constante) sur un intervalle
• Loi de Jeffreys : $p(\theta )\propto \sqrt{I(\theta )}$ où $I(\theta )$ est l'information de Fisher

Remarque : Avec une loi a priori non informative, l'estimateur bayésien converge souvent vers l'estimateur du maximum de vraisemblance.

Estimateurs bayésiens

L'approche bayésienne fournit la loi a posteriori $p(\theta \mid \mathbf{x})$, qui décrit toute l'information disponible sur le paramètre $\theta$ après observation des données. Cependant, en pratique, il est souvent nécessaire de fournir une estimation ponctuelle (une valeur unique) du paramètre plutôt qu'une distribution complète.

Plusieurs estimateurs ponctuels peuvent être dérivés de la loi a posteriori, chacun optimisant un critère différent.

Estimateur du maximum a posteriori (MAP)

L'estimateur MAP (Maximum A Posteriori) est la valeur de $\theta$ qui maximise la loi a posteriori :

$${\hat{\theta }}_{MAP}=\arg \underset{\theta }{max}p(\theta \mid \mathbf{x})=\arg \underset{\theta }{max}[p(\mathbf{x}\mid \theta )p(\theta )]$$

En prenant le logarithme :

$${\hat{\theta }}_{MAP}=\arg \underset{\theta }{max}[\log p(\mathbf{x}\mid \theta )+\log p(\theta )]$$

Lien avec le MLE : Avec une loi a priori uniforme ($p(\theta )\propto 1$), l'estimateur MAP coïncide avec le MLE :

$${\hat{\theta }}_{MAP}={\hat{\theta }}_{MLE}\text{si }p(\theta )\propto 1$$

Estimateur de l'espérance a posteriori (EAP)

L'estimateur EAP (Expected A Posteriori) est l'espérance de la loi a posteriori :

$${\hat{\theta }}_{EAP}=\mathbb{E}[\theta \mid \mathbf{x}]=\int \theta p(\theta \mid \mathbf{x})d\theta$$

Propriété : Cet estimateur minimise l'erreur quadratique moyenne a posteriori :

$${\hat{\theta }}_{EAP}=\arg \underset{\hat{\theta }}{min}\mathbb{E}[(\theta -\hat{\theta }{)}^2\mid \mathbf{x}]$$

Estimateur médian a posteriori

L'estimateur médian est la médiane de la loi a posteriori, qui minimise l'erreur absolue moyenne :

$${\hat{\theta }}_{med}=\arg \underset{\hat{\theta }}{min}\mathbb{E}[|\theta -\hat{\theta }|\mid \mathbf{x}]$$

Exemples

Exemple 1 : Moyenne d'une loi normale avec variance connue

Soit $\mathbf{x}=[x_1,\dots ,x_n]$ un échantillon i.i.d. avec $x_k\sim \mathcal{N}(\mu ,{\sigma }^2)$ où ${\sigma }^2$ est connue.

Loi a priori : Choisissons une loi normale $\mu \sim \mathcal{N}({\mu }_0,{\sigma }_0^2)$

Vraisemblance :

$$p(\mathbf{x}\mid \mu )=\prod _{k=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x_k-\mu {)}^2}{2{\sigma }^2})\propto \exp (-\frac{n(\overline{x}-\mu {)}^2}{2{\sigma }^2})$$

où $\overline{x}=\frac{1}{n}\sum _{k=1}^n{x}_k$

Loi a posteriori : La loi normale est conjuguée, donc $\mu \mid \mathbf{x}\sim \mathcal{N}({\mu }_n,{\sigma }_n^2)$ avec :

$$\begin{array}{rl}{\mu }_n& =\frac{\frac{{\mu }_0}{{\sigma }_0^2}+\frac{n\overline{x}}{{\sigma }^2}}{\frac{1}{{\sigma }_0^2}+\frac{n}{{\sigma }^2}}=\frac{{\sigma }^2{\mu }_0+n{\sigma }_0^2\overline{x}}{{\sigma }^2+n{\sigma }_0^2}\\ {\sigma }_n^2& =\frac{1}{\frac{1}{{\sigma }_0^2}+\frac{n}{{\sigma }^2}}=\frac{{\sigma }^2{\sigma }_0^2}{{\sigma }^2+n{\sigma }_0^2}\end{array}$$

Interprétation :

• ${\mu }_n$ est une moyenne pondérée entre la moyenne a priori ${\mu }_0$ et la moyenne empirique $\overline{x}$
• Quand $n\to \mathrm{\infty }$ : ${\mu }_n\to \overline{x}$ (les données dominent)
• Quand ${\sigma }_0^2\to \mathrm{\infty }$ (loi a priori non informative) : ${\mu }_n\to \overline{x}$

Estimateurs :

• MAP : ${\hat{\mu }}_{MAP}={\mu }_n$ (mode de la gaussienne)
• EAP : ${\hat{\mu }}_{EAP}={\mu }_n$ (espérance de la gaussienne)

Intervalle de crédibilité à 95% :

$$I{C}_{95\mathrm{\%}}=[{\mu }_n-1.96{\sigma }_n,{\mu }_n+1.96{\sigma }_n]$$

Exemple 2 : Proportion d'une loi de Bernoulli

Soit $\mathbf{x}=[x_1,\dots ,x_n]$ avec $x_k\sim \text{Bernoulli}(\theta )$ (succès/échecs).

Loi a priori : Loi Bêta $\theta \sim \text{Beta}(\alpha ,\beta )$ (conjuguée)

$$p(\theta )=\frac{\mathrm{\Gamma }(\alpha +\beta )}{\mathrm{\Gamma }(\alpha )\mathrm{\Gamma }(\beta )}{\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}$$

Vraisemblance : Avec $s=\sum _{k=1}^n{x}_k$ (nombre de succès) :

$$p(\mathbf{x}\mid \theta )={\theta }^s(1-\theta {)}^{n-s}$$

Loi a posteriori : $\theta \mid \mathbf{x}\sim \text{Beta}(\alpha +s,\beta +n-s)$

Estimateurs :

• MAP : ${\hat{\theta }}_{MAP}=\frac{\alpha +s-1}{\alpha +\beta +n-2}$ (pour $\alpha ,\beta >1$)
• EAP : ${\hat{\theta }}_{EAP}=\frac{\alpha +s}{\alpha +\beta +n}$

Cas particulier : Avec une loi a priori uniforme $\text{Beta}(1,1)$ :

$${\hat{\theta }}_{EAP}=\frac{s+1}{n+2},{\hat{\theta }}_{MAP}=\frac{s}{n}={\hat{\theta }}_{MLE}$$

Exemple 3 : Modèle paramétrique général avec loi a priori gaussienne

Considérons le modèle paramétrique général introduit au Chapitre 2 :

$$\mathbf{x}=\mathbf{s}(\mathit{\theta })+\mathbf{n},\mathbf{n}\sim \mathcal{N}(\mathbf{0},{\sigma }^2{\mathbf{I}}_m)$$

Loi a priori : Supposons $\mathit{\theta }\sim \mathcal{N}({\mathit{\mu }}_0,{\mathbf{\Sigma }}_0)$

Log-vraisemblance :

$$\log p(\mathbf{x}\mid \mathit{\theta })\propto -\frac{1}{2{\sigma }^2}\parallel \mathbf{x}-\mathbf{s}(\mathit{\theta }){\parallel }^2$$

Log-probabilité a priori :

$$\log p(\mathit{\theta })\propto -\frac{1}{2}(\mathit{\theta }-{\mathit{\mu }}_0{)}^T{\mathbf{\Sigma }}_0^{-1}(\mathit{\theta }-{\mathit{\mu }}_0)$$

Estimateur MAP : Maximiser la log-probabilité a posteriori :

$$\begin{array}{rl}{\hat{\mathit{\theta }}}_{MAP}& =\arg \underset{\mathit{\theta }}{max}[\log p(\mathbf{x}\mid \mathit{\theta })+\log p(\mathit{\theta })]\\ & =\arg \underset{\mathit{\theta }}{min}[\parallel \mathbf{x}-\mathbf{s}(\mathit{\theta }){\parallel }^2+\frac{{\sigma }^2}{1}(\mathit{\theta }-{\mathit{\mu }}_0{)}^T{\mathbf{\Sigma }}_0^{-1}(\mathit{\theta }-{\mathit{\mu }}_0)]\end{array}$$

Interprétation : Le terme $(\mathit{\theta }-{\mathit{\mu }}_0{)}^T{\mathbf{\Sigma }}_0^{-1}(\mathit{\theta }-{\mathit{\mu }}_0)$ agit comme un terme de régularisation qui pénalise les valeurs de $\mathit{\theta }$ éloignées de ${\mathit{\mu }}_0$.

Cas linéaire : Régularisation de Tikhonov

Pour le modèle linéaire $\mathbf{s}(\mathit{\theta })=\mathbf{A}\mathit{\theta }$ avec une loi a priori $\mathit{\theta }\sim \mathcal{N}(\mathbf{0},{\tau }^2\mathbf{I})$ (centrée) :

$${\hat{\mathit{\theta }}}_{MAP}=\arg \underset{\mathit{\theta }}{min}[\parallel \mathbf{x}-\mathbf{A}\mathit{\theta }{\parallel }^2+\lambda \parallel \mathit{\theta }{\parallel }^2]$$

avec $\lambda ={\sigma }^2/{\tau }^2$. C'est la régularisation de Tikhonov (ou régression ridge), qui a une solution analytique :

$${\hat{\mathit{\theta }}}_{MAP}=({\mathbf{A}}^T\mathbf{A}+\lambda \mathbf{I}{)}^{-1}{\mathbf{A}}^T\mathbf{x}$$

Lien avec la régularisation

L'approche bayésienne fournit une justification probabiliste aux méthodes de régularisation :

• Ridge ($L^2$) = loi a priori gaussienne $\mathcal{N}(0,{\tau }^{2}I)$
• LASSO ($L^1$) = loi a priori de Laplace

Ces méthodes sont développées au Chapitre 5 dans le contexte de la régression linéaire.

Méthodes de calcul

Pour des modèles complexes, la loi a posteriori n'a pas de forme analytique simple. On utilise alors des méthodes numériques.

Approximation de Laplace

L'approximation de Laplace consiste à approcher la loi a posteriori par une gaussienne centrée en ${\hat{\theta }}_{MAP}$ :

$$p(\theta \mid \mathbf{x})\approx \mathcal{N}({\hat{\theta }}_{MAP},{[-{\mathrm{\nabla }}^2\log p(\theta \mid \mathbf{x}){|}_{\theta ={\hat{\theta }}_{MAP}}]}^{-1})$$

Méthodes de Monte Carlo par chaînes de Markov (MCMC)

Les méthodes MCMC (Markov Chain Monte Carlo) permettent d'échantillonner la loi a posteriori sans la calculer explicitement :

• Algorithme de Metropolis-Hastings : génère une chaîne de Markov qui converge vers la loi a posteriori
• Échantillonneur de Gibbs : cas particulier pour les lois conditionnelles connues
• Hamiltonian Monte Carlo (HMC) : utilise le gradient pour explorer efficacement l'espace

Outils modernes : Des logiciels comme Stan, PyMC, JAGS facilitent l'inférence bayésienne avec MCMC.

Remarque

Les méthodes MCMC sont devenues incontournables en statistique bayésienne moderne, permettant de traiter des modèles très complexes (modèles hiérarchiques, apprentissage profond bayésien, etc.).

Avantages et inconvénients de l'approche bayésienne

Avantages

1. Incorporation de connaissance a priori : Permet d'intégrer expertise et études antérieures
2. Interprétation probabiliste naturelle : La loi a posteriori quantifie directement l'incertitude sur $\theta$
3. Flexibilité : S'applique à des modèles très complexes (hiérarchiques, non paramétriques)
4. Prédiction naturelle : Distribution prédictive a posteriori pour de nouvelles observations
5. Régularisation : Les lois a priori agissent comme régularisateurs, évitant le surapprentissage

Inconvénients

1. Choix de la loi a priori : Subjectif et peut influencer les résultats (surtout avec peu de données)
2. Coût de calcul : Nécessite souvent des méthodes numériques (MCMC) coûteuses
3. Interprétation : Nécessite d'adopter le paradigme bayésien (probabilité subjective)
4. Convergence : Les méthodes MCMC nécessitent de vérifier la convergence des chaînes

Références

1. Casella, G., & Berger, R. L. (2002). Statistical Inference, 2nd edition. Duxbury Press.
2. Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall.