Notations

Cette page rassemble toutes les notations utilisées dans le cours. Elle suit Kay, Vol. I & II, et les conventions ci-dessous sont employées partout, sans exception, la même quantité porte toujours le même symbole.

Ensembles et événements

Objet	Notation	Remarque
Univers	$\mathrm{\Omega }$	l'ensemble de toutes les valeurs possibles
Événement	$A$, $B$, …	un sous-ensemble de $\mathrm{\Omega }$
Probabilité d'un événement	$P(A)$
Complémentaire	$\overline{A}$	« non $A$ »
Intersection	$A\cap B$	« $A$ et $B$ »
Union	$A\cup B$	« $A$ ou $B$ »
Événement impossible / certain	$\varnothing$ / $\mathrm{\Omega }$	$P(\varnothing )=0$, $P(\mathrm{\Omega })=1$

Variables aléatoires

Objet	Notation	Remarque
Variable aléatoire	majuscule : $X$, $Y$	le mécanisme, avant l'expérience
Réalisation	minuscule : $x$, $y$	le résultat, après l'expérience
Données	$x[0],\dots ,x[N-1]$, vecteur $\mathbf{x}$, taille $N$	$x[n]$ désigne la v.a. ou sa réalisation selon le contexte ; la distinction typographique n'est maintenue qu'au début du chapitre 2
Fonction de masse (PMF)	$P(X=x_k)$	cas discret
Densité (PDF)	$f_X(x)$	cas continu ; $f_X(x)$ n'est pas une probabilité
Fonction de répartition (CDF)	$F_X(x)=P(X\le x)$	vaut dans les deux cas
Indépendance	$X\perp Y$	$P(\{X=x\}\cap \{Y=y\})=P(X=x)P(Y=y)$ (discret), $f_{X,Y}=f_X{f}_Y$ (continu)

Lois usuelles et paramètres

Objet	Notation	Remarque
Paramètre	$\theta$ (scalaire), $\mathit{\theta }$ (vecteur), espace $\mathrm{\Theta }$
Modèle paramétré (fréquentiste)	$p(x;\theta )$ ou $p(\mathbf{x};\theta )$	le « ; » signifie : $\theta$ est un paramètre fixe inconnu
Vraisemblance (bayésien)	$p(\mathbf{x}\mid \theta )$, prior $p(\theta )$	le passage « ; » → « $\mid$ » est un point pédagogique du chapitre 2 (estimateur MAP)
Gaussienne	$\mathcal{N}(\mu ,{\sigma }^2)$	le second argument est la variance, jamais l'écart-type

Moments

Objet	Notation	Remarque
Espérance	$E(X)$	$\sum _k{x}_{k}P(X=x_k)$ (discret) ou $\int x{f}_X(x)\mathrm{d}x$ (continu)
Variance	$\mathrm{var}(X)$	$E((X-E(X){)}^2)=E(X^2)-E(X{)}^2$
Écart-type	$\sigma$, ou ${\sigma }_X$	$\sigma =\sqrt{\mathrm{var}(X)}$, même unité que $X$
Somme / moyenne empirique	$S_n=\sum _i{X}_i$, ${\bar{X}}_n=S_n/n$	pour un $n$-échantillon i.i.d.

Opérateurs et estimation

Objet	Notation	Remarque
Estimateur	$\hat{\theta }$	une fonction des données, donc une variable aléatoire
Biais	$b(\hat{\theta })=E[\hat{\theta }]-\theta$	erreur systématique
Risque	$R(\hat{\theta },\theta )=E[L(\hat{\theta },\theta )]$	espérance d'une perte $L$ sur tous les jeux de données, à $\theta$ fixé ; juge une procédure, pas un résultat
MSE	$\mathrm{MSE}(\hat{\theta })=E[(\hat{\theta }-\theta {)}^2]=\mathrm{var}(\hat{\theta })+b(\hat{\theta }{)}^2$	mean squared error ; jamais EQM, l'acronyme anglais est celui des bibliothèques
Estimateur appris	$g(\mathbf{x};\mathit{\alpha })$, base $\{({\mathbf{x}}^{(i)},{\theta }^{(i)})\}$	$\mathit{\alpha }$ = paramètres de l'estimateur (poids d'un réseau) ; à ne pas confondre avec le risque scalaire $\alpha$ des tests
Loi a posteriori	$p(\theta \mid \mathbf{x})=p(\mathbf{x}\mid \theta )p(\theta )/p(\mathbf{x})$	posterior ; $p(\mathbf{x})$ = évidence, constante en $\theta$ ; la résumer donne MMSE (moyenne), médiane ou MAP (mode)
MAP	$J_{\mathrm{MAP}}(\theta )=-\ln p(\mathbf{x}\mid \theta )-\ln p(\theta )$	maximum a posteriori ; prior $p(\theta )$ ; le MLE est le MAP à prior uniforme
Coût / loss	$J(\theta )=-\ln p(\mathbf{x};\theta )$	en ML : loss
Descente de gradient	$\theta \leftarrow \theta -\eta \mathrm{\nabla }J(\theta )$	$\eta$ = pas (learning rate) ; à distinguer du seuil $\eta$ du LRT (chapitre 3), le contexte lève l'ambiguïté
Information de Fisher	$I(\theta )=-E[{\partial }^2\ln p/\partial {\theta }^2]$
CRLB	$\mathrm{var}(\hat{\theta })\ge 1/I(\theta )$	borne de Cramér-Rao, pour tout estimateur sans biais
Intervalle de confiance	$[{\hat{\theta }}_{inf},{\hat{\theta }}_{sup}]$, niveau $1-\alpha$	$P({\hat{\theta }}_{inf}\le \theta \le {\hat{\theta }}_{sup})=1-\alpha$ ; l'aléa est porté par les bornes, jamais par $\theta$ ; quantile Gaussien $z_{1-\alpha /2}$, avec $z_{\mathrm{0,975}}=1,96$
Variance empirique	${\hat{\sigma }}^2=\frac{1}{N-1}\sum _n(x[n]-\overline{x}{)}^2$	diviseur $N-1$ = sans biais (ddof=1) ; le diviseur $N$ (ddof=0) a pour biais $-{\sigma }^2/N$ ; $\hat{\sigma }$ reste biaisé pour $\sigma$
Quantile de Student	$t_{1-\alpha /2,\nu }$, $\nu =N-1$	remplace $z_{1-\alpha /2}$ quand $\sigma$ est estimé ; $t_{\mathrm{0,975};9}=\mathrm{2,262}$ ; tend vers $z$ quand $\nu \to \mathrm{\infty }$
Régression	couples $(t_n,x_n)$, modèle $\mathbf{x}=\mathbf{H}\mathit{\theta }+\mathbf{w}$	$t$ = entrée, $x$ = sortie, l'observation, notée $x$ comme dans tout le cours ; en ML l'usage est $t\to x$ et $x\to y$
Moindres carrés	$J(\mathit{\theta })=\Vert \mathbf{x}-\mathbf{H}\mathit{\theta }{\Vert }^2$	solution $\hat{\mathit{\theta }}=({\mathbf{H}}^T\mathbf{H}{)}^{-1}{\mathbf{H}}^T\mathbf{x}$
Ridge	$J_{\lambda }=J+\lambda \Vert \mathit{\theta }{\Vert }^2$	$\hat{\mathit{\theta }}=({\mathbf{H}}^T\mathbf{H}+\lambda \mathbf{I}{)}^{-1}{\mathbf{H}}^T\mathbf{x}$

Détection

Objet	Notation	Remarque
Hypothèses	$H_0$ (nulle), $H_1$ (alternative)	lois des données $p(\mathbf{x};H_0)$ et $p(\mathbf{x};H_1)$
Modèle de détecteur	décider $H_1$ si $T(\mathbf{x})>\gamma$	$T$ = statistique de test, $\gamma$ = seuil
Métriques	$P_{FA}=\alpha$ (1re espèce), $P_D$ (puissance), $P_M=1-P_D$ (2de espèce)	ROC = courbe $P_D(P_{FA})$, AUC = aire sous la ROC
Rapport de vraisemblance	$T_{\mathrm{NP}}(\mathbf{x})=\mathrm{\Lambda }(\mathbf{x})=p(\mathbf{x};H_1)/p(\mathbf{x};H_0)$, seuil $\eta$	optimal à $P_{FA}$ fixée (lemme de Neyman-Pearson)
GLRT	$T_{\mathrm{GLRT}}$ = rapport des vraisemblances maximisées	extension du NP : paramètres inconnus remplacés par leur MLE sous chaque hypothèse
Filtre adapté	$T_{\mathrm{MF}}(\mathbf{x})=\sum _{n}x[n]s[n]$, seuil $\gamma$	corrélation avec le signal connu $s$ ; rejoint le NP sous bruit Gaussien blanc, $d=\sqrt{{\mathcal{E}}_s}/\sigma$
Test t	$t=\sqrt{N}(\overline{x}-{\mu }_0)/s$	GLRT du décalage de moyenne à $\sigma$ inconnue ; loi de Student $t(N-1)$ sous $H_0$
Test du ${\chi }^2$	$\sum _k(O_k-E_k{)}^2/E_k$	adéquation à une PMF ; GLRT asymptotique (théorème de Wilks), loi ${\chi }^2$ sous $H_0$
Test F (ANOVA)	$F={\displaystyle \frac{(J_0-J_1)/q}{J_1/(N-p)}}$	GLRT des modèles linéaires emboîtés ; ANOVA = cas des moyennes de groupes ; loi de Fisher sous $H_0$
Détecteur bayésien	$T_{\mathrm{B}}=T_{\mathrm{NP}}$, seuil $\eta =P(H_0)/P(H_1)$	minimise $P_e=P(H_0)P_{FA}+P(H_1)P_M$
Détecteur appris	$T_{\mathrm{app}}=g(\mathbf{x};\hat{\mathit{\alpha }})$, seuil $s$	cross-entropy $J(\mathit{\alpha })=-\frac{1}{M}\sum _i[h^{(i)}\ln g+(1-h^{(i)})\ln (1-g)]$ ; $g\approx P(H_1\mid \mathbf{x})$
Matrice de confusion	$C_{k,k^{\prime }}=P(\text{décider }{H}_{k^{\prime }};H_k)$	à distinguer de la matrice de covariance $\mathbf{C}$ (chapitre 1), le contexte lève l'ambiguïté
Adéquation	$T=\sum _k(n_k-{\hat{n}}_k{)}^2/{\hat{n}}_k\sim {\chi }^2(\nu )$ sous $H_0$, $\nu =K-1-r$	$n_k$ = effectif observé, ${\hat{n}}_k$ = effectif attendu, $K$ = classes (non des hypothèses), $r$ = paramètres estimés ; $H_1$ non spécifiée
p-value	$p=P(T\ge T_{\mathrm{obs}};H_0)$	la $P_{FA}$ du test dont le seuil serait $T_{\mathrm{obs}}$ ; probabilité sur les données, jamais sur l'hypothèse

Convention transversale : $\alpha$ = risque toléré. Au chapitre 2, c'est le complément du niveau de confiance d'un intervalle, $1-\alpha$ ; au chapitre 3, c'est le budget de fausse alarme d'un test, $P_{FA}=\alpha$. Dans les deux cas, la même quantité, la fraction des expériences répétées où la procédure se trompe dans le sens contrôlé. À ne pas confondre avec $\mathit{\alpha }$ (gras), les paramètres d'un estimateur ou d'un détecteur appris.

⚠ Piège, scipy et l'écart-type

Nous écrivons $\mathcal{N}(\mu ,{\sigma }^2)$ avec la variance. Mais sta.norm(loc=µ, scale=σ) prend l'écart-type $\sigma$, pas ${\sigma }^2$. Cette collision de conventions est une source d'erreurs classique : vérifiez systématiquement.

Les définitions, théorèmes et propositions sont des encadrés nommés (« Définition, Maximum de vraisemblance »). Les preuves, repliées par défaut, se terminent par ∎.