Fondations : détecteur, PFA, PD, ROC

Cette page pose les outils pour juger un détecteur, sans encore dire comment en construire un. La section 1 définit le problème de décision binaire et le modèle de détecteur. La section 2 en tire les métriques de performance, probabilités de fausse alarme et de détection, et la courbe ROC qui les résume. La section 3 étend ces métriques au cas de plusieurs hypothèses avec la matrice de confusion.

1. Problématique

Un récepteur mesure une valeur bruitée et doit décider si un signal est présent. En l'absence de signal, la mesure ne contient que du bruit ; en sa présence, elle s'en écarte. Le chapitre 2 estimait une valeur ; il faut maintenant choisir entre deux hypothèses :

$$\begin{array}{rl}{H}_0& :x\sim p(x;H_0),\\ H_1& :x\sim p(x;H_1),\end{array}$$

où

• $H_0$ est l'hypothèse nulle, l'état par défaut (bruit seul),
• $H_1$ est l'hypothèse alternative, l'état à détecter (signal présent),
• $p(x;H_0)$ et $p(x;H_1)$ sont les lois des données sous chaque hypothèse, supposées connues.

Modèle de détecteur

Un détecteur est caractérisé par une statistique de test $T(\mathbf{x})$ et un seuil $\gamma$. La règle de décision s'écrit :

• décider $H_1$ si $T(\mathbf{x})>\gamma$,

où

• $T(\mathbf{x})$ est une fonction scalaire des données, choisie par nous,
• $\gamma$ est le seuil de décision, à régler.

Dans le chapitre 2, l'estimateur était une fonction $g(\mathbf{x})$ à valeurs continues, le détecteur est une fonction des données suivie d'une comparaison à un seuil. Comme $\hat{\theta }$, la statistique $T(\mathbf{x})$ est une variable aléatoire : elle possède une loi sous $H_0$ et une autre sous $H_1$, et c'est l'écart entre ces deux lois qui rend la décision possible.

DANGER

Attention à ne pas confondre l'hypothèse vraie, inconnue, et l'hypothèse décidée, produite par le détecteur. Les métriques de cette page mesurent précisément leurs désaccords.

Exemple : détection d'un décalage de moyenne

Une mesure unique $x$ suit $\mathcal{N}(0,{\sigma }^2)$ sous $H_0$ et $\mathcal{N}({\mu }_1,{\sigma }^2)$ sous $H_1$, avec ${\mu }_1=2$ et $\sigma =1$. La statistique la plus simple est la mesure elle-même, $T(x)=x$, comparée à un seuil $\gamma$.

Figure 3.1, Les densités des deux hypothèses, $\mathcal{N}(0,1)$ et $\mathcal{N}(2,1)$ ; la zone grisée est commune aux deux (script figures/ch3/01-hypotheses-gaussiennes.py).

Les deux densités se recouvrent : une même valeur observée, $x=1$ par exemple, est plausible sous les deux hypothèses. Aucune règle de décision ne peut donc être parfaite, et tout choix de seuil produira des erreurs. Deux erreurs de natures différentes sont possibles, décider $H_1$ alors que $H_0$ est vraie, ou l'inverse, et leurs conséquences ne sont pas comparables : déclencher une alarme pour rien ne coûte pas le même prix que manquer une cible. Il faut des métriques qui les distinguent.

2. Métriques de performance

Définition

Définition, Probabilités de fausse alarme et de détection

Pour un détecteur de statistique $T(\mathbf{x})$ et de seuil $\gamma$ :

$$P_{FA}=P(T(\mathbf{x})>\gamma ;H_0),$$$$P_D=P(T(\mathbf{x})>\gamma ;H_1),$$

où

• $P_{FA}$ est la probabilité de fausse alarme, décider $H_1$ alors que $H_0$ est vraie (erreur de première espèce, notée $\alpha$),
• $P_D$ est la probabilité de détection, décider $H_1$ quand $H_1$ est vraie (la puissance du test),
• $P_M=1-P_D$ est la probabilité de manque (erreur de seconde espèce, notée $\beta$).

Un bon détecteur a une $P_{FA}$ faible et une $P_D$ élevée. Ces métriques portent d'autres noms en apprentissage automatique, et le vocabulaire croisé est à connaître :

Détection	Machine learning	Définition
$P_D$	rappel (recall), sensibilité, taux de vrais positifs (TPR)	$P(\text{décider }{H}_1;H_1)$
$P_{FA}$	taux de faux positifs (FPR)	$P(\text{décider }{H}_1;H_0)$
$1-P_{FA}$	spécificité, taux de vrais négatifs (TNR)	$P(\text{décider }{H}_0;H_0)$
$P_M=1-P_D$	taux de faux négatifs (FNR)	$P(\text{décider }{H}_0;H_1)$

La précision (precision), fréquente en apprentissage automatique, est absente de ce tableau : elle dépend des proportions relatives des deux hypothèses, et sa définition attend la matrice de confusion du §3.

Confusion classique

« $P_D=1-P_{FA}$. » Non : les deux probabilités sont conditionnées sur des hypothèses différentes, $H_1$ pour l'une, $H_0$ pour l'autre. Elles ne se somment à rien de particulier. C'est $P_M=1-P_D$ qui est vraie, les deux étant conditionnées sur $H_1$.

Illustration

Figure 3.2a, Le seuil $\gamma =1$ et les deux zones d'erreur : $P_{FA}$, aire de $p(x;H_0)$ au-delà de $\gamma$, et $P_M$, aire de $p(x;H_1)$ en deçà (script figures/ch3/01-seuil-metriques.py).

Figure 3.2b, $P_D$ et $P_{FA}$ en fonction du seuil $\gamma$ : les deux décroissent ensemble quand $\gamma$ augmente.

Les deux métriques se lisent comme des aires au-delà du seuil, chacune sous sa densité. Déplacer $\gamma$ vers la droite réduit la fausse alarme mais dégrade la détection ; vers la gauche, l'inverse. Une seule manette règle deux métriques antagonistes : il n'existe pas de seuil qui optimise les deux à la fois, seulement des compromis.

Exemple : décalage de moyenne Gaussien

Pour $T(x)=x$, les deux métriques s'expriment avec la fonction de queue Gaussienne $Q(u)=1-\mathrm{\Phi }(u)$ :

$$P_{FA}=Q\left(\frac{\gamma }{\sigma }\right),$$$$P_D=Q\left(\frac{\gamma -{\mu }_1}{\sigma }\right).$$

Au seuil $\gamma =1$, à mi-chemin des deux moyennes : $P_{FA}=Q(1)\approx \mathrm{0,159}$ et $P_D=Q(-1)\approx \mathrm{0,841}$. Le code suivant calcule ces valeurs, puis les vérifie par comptage, l'estimation d'une probabilité par une fréquence relevant de la simulation de Monte-Carlo.

scipy

import scipy.stats as sta

mu1, sigma, gamma = 2.0, 1.0, 1.0

pfa = sta.norm.sf(gamma, 0, sigma)      # >>> 0.1587
pd = sta.norm.sf(gamma, mu1, sigma)     # >>> 0.8413

Monte-Carlo

import numpy as np
rng = np.random.default_rng(2026)

mu1, sigma, gamma, B = 2.0, 1.0, 1.0, 100_000

x_h0 = rng.normal(0.0, sigma, B)        # B draws under H0
x_h1 = rng.normal(mu1, sigma, B)        # B draws under H1

pfa = np.mean(x_h0 > gamma)             # >>> 0.1577  (predicted: 0.1587)
pd = np.mean(x_h1 > gamma)              # >>> 0.8427  (predicted: 0.8413)

Courbe ROC

Un couple $(P_{FA},P_D)$ ne décrit le détecteur que pour un seuil. Faire varier $\gamma$ décrit tous les compromis accessibles d'un coup.

Définition, Courbe ROC

La courbe ROC (receiver operating characteristic) d'un détecteur est la courbe de $P_D$ en fonction de $P_{FA}$ obtenue en faisant varier le seuil $\gamma$ sur tout son domaine. L'AUC (area under the curve) est l'aire sous cette courbe.

La courbe est croissante et relie $(0,0)$, seuil infini, tout est décidé $H_0$, à $(1,1)$, seuil $-\mathrm{\infty }$, tout est décidé $H_1$. La diagonale $P_D=P_{FA}$ correspond à une décision au hasard, indépendante des données ; le coin supérieur gauche $(0,1)$ au détecteur parfait. L'AUC résume la courbe en un nombre : $0,5$ pour le hasard, $1$ pour la perfection.

Pour le décalage de moyenne, la courbe admet une forme fermée. En éliminant $\gamma$ entre les deux expressions de l'exemple :

$$P_D=Q(Q^{-1}(P_{FA})-d),$$

où $d={\mu }_1/\sigma$ est l'écart normalisé entre les deux hypothèses. La courbe ne dépend que de $d$ : la difficulté du problème tient dans un seul nombre, et l'AUC vaut $\mathrm{\Phi }(d/\sqrt{2})$.

Figure 3.3, Courbes ROC du décalage de moyenne pour $d\in \{0,5,1,2\}$ ; le point marque le seuil $\gamma =1$ de l'exemple, $(0,16,0,84)$ (script figures/ch3/01-roc.py).

Plus $d$ grandit, plus la courbe se bombe vers le coin parfait : les deux densités s'éloignent et la décision devient facile. À $d$ fixé, se déplacer le long de la courbe ne change pas le détecteur, seulement son seuil ; changer de statistique $T$ ou améliorer le rapport signal à bruit change de courbe. La ROC juge donc le détecteur indépendamment du choix du seuil, comme la MSE jugeait l'estimateur indépendamment d'un tirage particulier.

3. Extension au cas multi-hypothèses

Beaucoup de problèmes comptent plus de deux hypothèses : un symbole parmi quatre en démodulation, un chiffre manuscrit parmi dix. Les hypothèses deviennent $H_0,\dots ,H_{K-1}$, et le détecteur décide l'une d'elles. Un couple $(P_{FA},P_D)$ ne suffit plus : chaque paire d'hypothèses a ses propres confusions possibles.

Définition

Définition, Matrice de confusion

La matrice de confusion d'un détecteur à $K$ hypothèses est la matrice $K\times K$ de terme

$$C_{k,k^{\prime }}=P(\text{décider }{H}_{k^{\prime }};H_k),$$

soit, en disposant l'hypothèse vraie en ligne et l'hypothèse décidée en colonne :

$$\mathbf{C}=\begin{array}{cccc}& \text{decide }{H}_0& \cdots & \text{decide }{H}_{K-1}\\ \text{vrai }{H}_0& C_{0,0}& \cdots & C_{0,K-1}\\ ⋮& ⋮& \ddots & ⋮\\ \text{vrai }{H}_{K-1}& C_{K-1,0}& \cdots & C_{K-1,K-1}\end{array}$$

où

• la diagonale porte les probabilités de décision correcte,
• chaque terme hors diagonale porte une confusion particulière, décider $H_{k^{\prime }}$ alors que $H_k$ est vraie.

Chaque ligne somme à 1. En pratique, $C_{k,k^{\prime }}$ s'estime par la fréquence des décisions sur un jeu de données étiquetées.

Le cas binaire s'y retrouve : pour $K=2$, la matrice contient quatre termes, $P_D=C_{1,1}$, $P_{FA}=C_{0,1}$, et leurs complémentaires, le vocabulaire vrais/faux positifs/négatifs du tableau du §2 nomme ces quatre cases.

Métriques dérivées

Trois résumés de la matrice sont d'usage constant :

• l'exactitude (accuracy) est la probabilité de décision correcte toutes hypothèses confondues, la moyenne des termes diagonaux pondérée par les proportions de chaque hypothèse ;
• le rappel de la classe $k$ est $C_{k,k}$, la proportion des cas de $H_k$ correctement décidés, la généralisation directe de $P_D$ ;
• la précision de la classe $k$ est la proportion de décisions « $H_k$ » qui sont correctes, calculée sur la colonne $k$.

DANGER

$P_{FA}$, $P_D$ et le rappel sont conditionnés sur l'hypothèse vraie : ils ne dépendent pas des proportions des hypothèses. L'exactitude et la précision en dépendent. Si $H_1$ ne survient que dans 1 % des cas, le détecteur qui répond toujours $H_0$ atteint 99 % d'exactitude avec $P_D=0$ : sur des classes déséquilibrées, l'exactitude seule ne juge rien.

Exemple : trois moyennes Gaussiennes

Trois hypothèses de moyennes $-2$, $0$ et $2$, avec $\sigma =1$, et le détecteur qui décide la moyenne la plus proche de la mesure. Le code suivant estime la matrice de confusion par comptage sur $B=20000$ tirages par hypothèse.

import numpy as np
rng = np.random.default_rng(2026)

means = np.array([-2.0, 0.0, 2.0])
sigma, B = 1.0, 20_000
K = len(means)

confusion = np.zeros((K, K))
for k in range(K):
    x = rng.normal(means[k], sigma, B)                        # B draws under H_k
    decided = np.abs(x[:, None] - means[None, :]).argmin(axis=1)
    for kp in range(K):
        confusion[k, kp] = np.mean(decided == kp)

accuracy = np.trace(confusion) / K     # >>> 0.7891  (predicted: 0.7885)

Figure 3.4, Matrice de confusion du détecteur à moyenne la plus proche, trois hypothèses Gaussiennes de moyennes $-2$, $0$, $2$ ($\sigma =1$), estimée sur $20000$ tirages par hypothèse (script figures/ch3/01-matrice-confusion.py).

La diagonale porte les rappels : $0,84$ pour les classes extrêmes, $0,69$ seulement pour la classe centrale, prise en étau entre deux voisines. Les confusions se concentrent entre classes adjacentes, à $0,16$, et sont quasi nulles entre les classes extrêmes, distantes de $4\sigma$ : la matrice ne dit pas seulement combien le détecteur se trompe, elle dit avec qui chaque hypothèse se confond. L'exactitude, ici la moyenne de la diagonale puisque les trois hypothèses sont équiprobables, vaut $0,79$.