Introduction

Le chapitre 2 répondait à une question de valeur : quel paramètre $\theta$ explique le mieux les données ? Ce chapitre pose une question de nature différente : entre plusieurs hypothèses concurrentes sur l'origine des données, laquelle retenir ? Un écho radar contient-il une cible, ou seulement du bruit ? Quel symbole, parmi quatre, un récepteur vient-il de recevoir ? Décider entre des hypothèses à partir de données bruitées est le problème de la détection, et il se traite avec les outils du chapitre 2 : les mêmes vraisemblances, le même geste bayésien, la même stratégie apprise, transposés de l'estimation d'une valeur au choix d'une hypothèse.

L'histoire du chapitre, en cinq temps

1. Aucune décision n'est parfaite. Sous chaque hypothèse, les données suivent une loi, et ces lois se recouvrent : une même mesure est plausible sous les deux. Tout détecteur, une statistique $T(\mathbf{x})$ comparée à un seuil $\gamma$, produira donc des erreurs, et elles sont de deux natures incomparables : déclencher une alarme pour rien ne coûte pas le même prix que manquer une cible.

2. Un détecteur se juge par deux nombres antagonistes. La probabilité de fausse alarme $P_{FA}$ et la probabilité de détection $P_D$ mesurent séparément les deux erreurs, chacune comme une aire au-delà du seuil. Une seule manette, le seuil, règle les deux à la fois : le déplacer améliore l'une en dégradant l'autre. Il n'existe pas de seuil optimal, seulement des compromis, et le vocabulaire du machine learning, rappel, spécificité, taux de faux positifs, nomme exactement les mêmes quantités.

3. La courbe ROC juge le détecteur, la matrice de confusion le généralise. Faire varier le seuil décrit d'un coup tous les compromis accessibles : c'est la courbe ROC, qui juge le détecteur indépendamment du choix du seuil, comme la MSE jugeait l'estimateur indépendamment d'un tirage. Au-delà de deux hypothèses, la matrice de confusion prend le relais et dit non seulement combien le détecteur se trompe, mais avec qui chaque hypothèse se confond.

4. Construire un détecteur revient à choisir une statistique. C'est le miroir exact du chapitre 2 : choisir un estimateur revenait à choisir une loss, choisir un détecteur revient à choisir $T$. Lois connues : le rapport de vraisemblance $T_{\mathrm{NP}}$, optimal par le lemme de Neyman-Pearson, dont la ROC est un plafond indépassable. Paramètres inconnus : le GLRT les estime d'abord, le prix de l'ignorance se chiffre, et les tests classiques de l'analyse de données, test t, ${\chi }^2$, ANOVA, s'en déduisent, leur dérivation faisant l'objet d'un projet. Signal connu dans un bruit mal connu : le filtre adapté corrèle les données au signal attendu, et sa performance ne dépend que de l'énergie du signal, jamais de sa forme. Priors connus : le détecteur bayésien garde la même statistique et ne déplace que le seuil, pour minimiser la probabilité d'erreur.

5. Quand les lois manquent, les exemples en tiennent lieu. Entraîné à la cross-entropy sur une base étiquetée, un réseau apprend la probabilité a posteriori $P(H_1\mid \mathbf{x})$, la quantité même que le détecteur bayésien calcule depuis les lois, et sa ROC vient s'appuyer sur le plafond de Neyman-Pearson à $\mathrm{0,003}$ d'AUC près. Les cinq détecteurs ne sont pas concurrents : ils correspondent à cinq niveaux de connaissance du problème, et le choix est dicté par les hypothèses disponibles, jamais par la complexité de la méthode.

Prérequis

Ce chapitre mobilise directement le chapitre 2 : la vraisemblance et le MLE, le geste du MAP, assigner une loi a priori à l'inconnue, et la stratégie de l'estimateur appris, qui se transpose ici presque mot pour mot. S'y ajoutent la loi normale du chapitre 1, dont la fonction de queue $Q$ porte tous les calculs d'exemples, et la simulation de Monte-Carlo, qui estime les probabilités par comptage.

Ce que vous saurez faire à la fin

À l'issue de ce chapitre, vous saurez formaliser un problème de décision entre hypothèses, évaluer la qualité d'un détecteur ou d'un classifieur par ses probabilités de fausse alarme et de détection, sa courbe ROC ou sa matrice de confusion, construire le détecteur adapté aux hypothèses dont vous disposez, du rapport de vraisemblance optimal au détecteur appris, et relier ce cadre aux tests d'hypothèse classiques.

#	Critère	Vous saurez...	Niveau
C1	Formaliser	Poser un problème de détection : hypothèses $H_0$/$H_1$, statistique de test $T(\mathbf{x})$, seuil $\gamma$.	Comprendre
C2	Évaluer	Évaluer la qualité d'un détecteur ou d'un classifieur : $P_{FA}$ et $P_D$, courbe ROC et AUC, matrice de confusion estimée par Monte-Carlo, précision et rappel, et les limites de l'exactitude sur classes déséquilibrées.	Évaluer
C3	Dériver	Construire le détecteur adapté aux hypothèses disponibles : rapport de vraisemblance et seuil à $P_{FA}$ imposée, GLRT à paramètres inconnus, filtre adapté à signal connu, seuil bayésien à priors connus, et relier ce cadre aux tests classiques (p-value, test t, ${\chi }^2$, ANOVA) en explicitant leur portée et leurs limites.	Analyser
C4	Relier au ML	Reconnaître la cross-entropy comme log-vraisemblance de Bernoulli, interpréter le score d'un classifieur comme $P(H_1\mid \mathbf{x})$, et mesurer un détecteur appris contre le plafond de Neyman-Pearson.	Évaluer

Question d'ouverture

Un détecteur de fumée se déclenche parfois pour rien. Suffit-il de relever son seuil pour le rendre meilleur ?

Non, et la courbe ROC montre pourquoi : relever le seuil échange des fausses alarmes contre des détections manquées, un déplacement le long de la même courbe. Le rendre réellement meilleur exige de changer de courbe, meilleure statistique ou davantage de mesures, ce que le détecteur de Neyman-Pearson établit.

Plan

1. Fondations, le modèle de détecteur $T(\mathbf{x})$, les métriques $P_{FA}$ et $P_D$, la courbe ROC, la matrice de confusion.
2. Détecteurs usuels, cinq détecteurs pour cinq niveaux de connaissance du problème : Neyman-Pearson et son extension GLRT, filtre adapté, détecteur bayésien, détecteur appris.