Introduction
Le chapitre 1 a construit des modèles de probabilité, des lois qui décrivent le hasard quand nous connaissons leurs paramètres. Dans la vraie vie, c'est l'inverse : nous avons des données, et nous cherchons le paramètre qui les explique. Quelle est la vraie tension délivrée par ce capteur ? Le vrai taux de conversion de ce bouton ? Le vrai niveau de ce joueur ? Répondre, c'est estimer, et ce chapitre est le pivot du cours : le bloc Détection qui suit a besoin de tout ce qui s'y construit, le bloc Prétraitement dérivé aussi, et le machine learning qui vient après n'est, du début à la fin, qu'un problème d'estimation à très grande échelle.
L'histoire du chapitre, en cinq temps
1. Un estimateur est une variable aléatoire. C'est le prolongement direct du climax du chapitre 1 : une quantité calculée sur des données aléatoires est elle-même aléatoire. L'estimation change d'une expérience à l'autre. Juger un estimateur sur une seule valeur obtenue n'a donc pas de sens, c'est sa loi qu'il faut juger.
2. Cette loi se juge par trois nombres : biais, variance et MSE. Le biais mesure une erreur systématique, la variance une erreur de fluctuation, la MSE les réunit. Ces quantités sont des espérances, rarement calculables à la main : la simulation de Monte-Carlo les estime. Pour les estimateurs sans biais, la borne de Cramér-Rao fixe en outre la variance minimale atteignable, donc l'estimateur optimal de cette classe.
3. Construire un estimateur revient à minimiser une loss. Quatre instances de ce cadre unique : le maximum de vraisemblance, qui minimise la log-vraisemblance négative ; les moindres carrés, qui minimisent un écart quadratique sans aucune hypothèse probabiliste ; le maximum a posteriori, qui ajoute au premier un prior sur le paramètre ; et l'estimateur appris, dont la forme est postulée et les paramètres ajustés sur une base d'exemples. Sous bruit Gaussien blanc, les deux premiers coïncident, non par analogie mais par dérivation. Quand aucune formule ne donne le minimum, des algorithmes d'optimisation le cherchent numériquement.
4. Dans le cas linéaire, la loss a une solution analytique. Lorsque le signal dépend linéairement du paramètre, les moindres carrés se résolvent en une formule fermée, qui admet une lecture géométrique en projection orthogonale. Les fonctions de base étendent cette machinerie à des relations non linéaires. Mais enrichir le modèle est trompeusement facile : trop de paramètres et l'ajustement colle au bruit plutôt qu'au signal, c'est le surapprentissage.
5. La régularisation réhabilite le biais. En donnant au paramètre une croyance a priori, nous obtenons un estimateur légèrement biaisé dont la MSE peut être plus petite que celle du meilleur estimateur sans biais du temps 2. La contrainte d'absence de biais, qui semblait indépassable, se lève dès que nous acceptons un biais choisi. C'est aussi la porte d'entrée de toute la régularisation du machine learning.
Prérequis
Ce chapitre s'appuie directement sur le chapitre 1 : variable aléatoire et réalisation, espérance et variance, la loi normale, et surtout le théorème central limite, l'idée que
Ce que vous saurez faire à la fin
À l'issue de ce chapitre, vous saurez formaliser un problème d'estimation, juger la qualité d'un estimateur par son biais, sa variance, sa MSE ou un intervalle de confiance, construire un estimateur en minimisant une loss, mener une régression linéaire multiple, et relier ces principes aux fondements du machine learning.
| # | Critère | Vous saurez... | Niveau |
|---|---|---|---|
| C1 | Formaliser | Poser un problème d'estimation : données, modèle | Comprendre |
| C2 | Quantifier | Calculer et décomposer biais, variance et MSE, les estimer par simulation de Monte-Carlo, dériver la borne de Cramér-Rao, et construire puis interpréter un intervalle de confiance asymptotique. | Analyser |
| C3 | Dériver | Construire les estimateurs usuels en minimisant une loss, du maximum de vraisemblance au maximum a posteriori et à l'estimateur appris, et minimiser numériquement quand la solution analytique manque. | Analyser |
| C4 | Régresser | Mener une régression linéaire multiple : moindres carrés et équations normales, géométrie de la projection, fonctions de base, diagnostic du surapprentissage et régularisation ridge. | Analyser |
| C5 | Relier au ML | Justifier qu'un estimateur biaisé (ridge, MAP) peut battre le meilleur estimateur sans biais, et mesurer un estimateur appris contre les estimateurs dérivés du modèle. | Évaluer |
Question d'ouverture
Vous mesurez 10 fois une tension avec un voltmètre bruité, et vous faites la moyenne des 10 mesures. Cette moyenne est-elle la vraie tension ?
Ce chapitre entier est la réponse, précisée pas à pas : la moyenne est un estimateur, elle possède donc un biais, une variance et une MSE, et la dernière page montre qu'un estimateur biaisé peut pourtant faire mieux qu'elle.
Plan
- Fondations, l'estimateur comme variable aléatoire, biais, variance et MSE, la borne de Cramér-Rao, la simulation de Monte-Carlo.
- Estimateurs usuels, construire un estimateur en minimisant une loss : maximum de vraisemblance, moindres carrés, maximum a posteriori, estimateur appris sur des données, algorithmes d'optimisation.
- Modèle linéaire, le cas où le signal dépend linéairement du paramètre : solution analytique, géométrie de la projection, fonctions de base, surapprentissage et régularisation.