Fondations

Cette page pose les fondations du cours. La section 1 part de deux exemples concrets, le dé et le chrono d'un marathon, pour faire émerger intuitivement le vocabulaire des probabilités. La section 2 formalise ce vocabulaire : événements, probabilités et variables aléatoires. Les sections 3 et 4 décrivent ensuite, respectivement pour les variables discrètes et continues, la loi de la variable (PMF ou PDF), sa fonction de répartition, son espérance, sa variance et l'indépendance entre deux variables. La section 5 en tire la synthèse qui traverse tout le cours : une loi de probabilité est un modèle paramétré, noté $p(x;\theta )$.

1. Avant-propos

Avant toute définition, cette section se concentre sur deux phénomènes aléatoires, un où nous comptons, un où nous mesurons. Elle liste les questions qu'un ingénieur voudrait pouvoir chiffrer. Ces questions permettent d'introduire le vocabulaire du chapitre.

1.1 Un objet discret : le dé

Figure 1.1, Le dé équilibré : ses six issues possibles.

Lorsque vous lancez un dé à six faces, équilibré, il n'est pas possible de prédire le résultat, c'est la définition même du hasard, et pourtant il est possible d'énoncer des propriétés très précises à son sujet. L'ensemble des valeurs possibles, nommé l'univers, correspond à $\mathrm{\Omega }=\{1,2,3,4,5,6\}$. Chaque valeur possible $\omega \in \mathrm{\Omega }$, nommée événement élémentaire, a une chance sur six de sortir, et cette probabilité de $1/6$ suffit à répondre à toute une famille de questions calculables :

• Quelle est la probabilité d'obtenir un 6 ? Une sur six. D'obtenir un résultat pair ? Trois faces sur six, soit une sur deux : la question porte sur un ensemble de résultats, un événement, et sa réponse s'obtient en additionnant des probabilités élémentaires.
• Si le montant de la face obtenue est versé en euros, combien « vaut » un lancer ? Aucun lancer ne rapporte 3,50 €, et pourtant 3,50 € est la seule réponse raisonnable : c'est ce que rapporte un lancer en moyenne, à long terme.
• De combien le résultat s'écarte-t-il, typiquement, de cette valeur centrale ? Le dé donne des valeurs entre 1 et 6 : la réponse mesure l'étalement du hasard, pas sa position.
• Si nous lançons le dé 10 000 fois, la moyenne des résultats sera-t-elle proche de 3,5 ? Avec quelle précision ?

Ces quatre questions ont des dénominations scientifiques, événement, variable aléatoire, espérance, dispersion, que la section 2 précisera ; la valeur d'un lancer et son étalement typique trouveront leur réponse chiffrée en section 3.3.

Le hasard du dé se décrit donc entièrement par ses six faces et leur probabilité commune $1/6$ : c'est la loi uniforme. Et cette description se vérifie par simulation, le réflexe permanent de ce cours :

from scratch

import numpy as np
rng = np.random.default_rng(0)

rng.integers(1, 7, size=100).mean()      # >>> 3.62    (encore loin de 3,5 : 100 lancers ne suffisent pas)
rng.integers(1, 7, size=10_000).mean()   # >>> 3.5049  (nettement plus proche : la loi des grands nombres)

scipy

import scipy.stats as sta

X = sta.randint(1, 7)   # loi uniforme discrète sur {1, ..., 6}
X.rvs(size=100, random_state=0).mean()      # >>> 3.42    (encore loin de 3,5)
X.rvs(size=10_000, random_state=0).mean()   # >>> 3.4939  (nettement plus proche)

Figure 1.2, Les fréquences observées (carrés) confrontées au modèle $1/6$ (points), après 100 puis 10 000 lancers simulés : à 100 lancers, les carrés s'écartent nettement des points ; à 10 000, ils s'y confondent presque. La description « $1/6$ par face » n'est pas une opinion, c'est un modèle vérifiable, d'autant mieux vérifié que l'expérience est répétée (script figures/ch1/01-de.py).

Ce diagramme en bâtons est le modèle du dé, une PMF (fonction de masse), que la section 3 de cette page définira précisément.

Lancer de deux dés

À partir de ce modèle élémentaire, nous pouvons en construire d'autres. Lançons deux dés et considérons la somme des faces. Les lancers ne s'influencent pas, c'est ce que nous nommons l'indépendance statistique. Chacun des 36 couples a la probabilité $\frac{1}{6}\times \frac{1}{6}=\frac{1}{36}$, les probabilités de deux événements sans influence mutuelle se multiplient. Or une seule combinaison donne 2, six donnent 7 : $P(\text{somme}=2)=\frac{1}{36}$ et $P(\text{somme}=7)=\frac{6}{36}=\frac{1}{6}$. La somme de deux dés uniformes ne suit plus une loi uniforme mais une loi triangulaire.

Figure 1.3, La somme de deux dés : un profil triangulaire, maximal en 7 ($6/36$), minimal en 2 et 12 ($1/36$). Comme pour le dé seul (figure 1.2), les fréquences à 100 doubles lancers s'écartent nettement du modèle, celles à 10 000 s'y confondent presque (script figures/ch1/01-somme-deux-des.py).

1.2 Un objet continu : le chrono d'un marathon

Considérons à présent un second objet. À l'issue d'un marathon, nous nous intéressons au chrono final d'un coureur pris au hasard parmi les arrivants, le temps mis pour parcourir les 42,195 km. Première différence avec le dé : ce chrono peut prendre n'importe quelle valeur d'un intervalle, 3 h 47 min 12,1 s aussi bien que 3 h 47 min 12,2 s. Nous ne comptons plus, nous mesurons avec une certaine précision.

Cette différence change la nature des questions possibles. Quelle est la probabilité qu'un coureur finisse en exactement 4 h 00 min 00 s ? Aucun coureur, ou presque, ne réalise ce chrono à la microseconde près : la réponse est nulle, et elle l'est pour chaque valeur exacte. La question pertinente porte sur un intervalle, quelle proportion des coureurs finit entre 3 h 55 et 4 h 05 ?, et sa réponse se lit sur un histogramme.

Observons l'histogramme des chronos, en affinant progressivement ses classes :

Figure 1.4, Chronos (simulés) de 2 000 marathoniens. Classes larges : nous devinons la forme. Classes fines : elle se précise. À la limite, la silhouette de l'histogramme devient une courbe lisse, la densité, et la proportion de coureurs entre deux chronos devient une aire sous cette courbe (script figures/ch1/01-marathon-densite.py).

Cette figure porte deux enseignements. Premièrement, la densité émerge de l'histogramme que nous affinons : c'est l'objet qui remplace les bâtons du dé lorsque les valeurs ne se comptent plus, et les probabilités s'y lisent en aires, non plus en hauteurs, une PDF, que la section 4 de cette page définira précisément. Deuxièmement, la forme est instructive : la masse des coureurs se concentre autour de 3 h 50 – 4 h, mais la courbe s'étire vers la droite, les chronos élevés s'étalent bien davantage que les chronos rapides ne se compriment. Enfin, la densité tracée en rouge n'est déjà plus « les données » : c'est une courbe lisse qui résume 2 000 chronos individuels, autrement dit, un modèle, avec ce que tout modèle comporte de choix et d'approximation.

Sur ce même exemple, une probabilité se lit comme une aire :

Figure 1.5, La probabilité comme aire sous la densité : $P(4\text{h}<X<4\text{h}30)$ est l'aire colorée, soit environ $0,25$, un quart des coureurs (script figures/ch1/01-densite-aire.py).

2. Événements, probabilités et variables aléatoires

2.1 Univers et événements

Définition, Univers et événements

Nous étudions une expérience aléatoire : une expérience dont l'issue n'est pas connue à l'avance, mais dont l'ensemble des issues possibles l'est. Cet ensemble, l'univers, est noté $\mathrm{\Omega }$ ; chacune de ses issues $\omega \in \mathrm{\Omega }$ est un événement élémentaire. Un événement est un sous-ensemble de $\mathrm{\Omega }$.

Sur le dé, l'univers est $\mathrm{\Omega }=\{1,2,3,4,5,6\}$, chaque face $\omega \in \mathrm{\Omega }$ en est un événement élémentaire, et « obtenir un résultat pair » est l'événement $A=\{2,4,6\}\subset \mathrm{\Omega }$, « obtenir au moins 5 » l'événement $B=\{5,6\}\subset \mathrm{\Omega }$. L'événement $A$ se réalise si la face tirée lui appartient, et sa probabilité s'obtient en sommant celles de ses éléments : $P(A)=3/6=1/2$.

Les « et », « ou », « non » du langage courant deviennent des opérations sur ces ensembles :

• l'intersection $A\cap B$, « $A$ et $B$ » : les valeurs communes aux deux événements ; ici $A\cap B=\{6\}$, pair et au moins 5 ;
• l'union $A\cup B$, « $A$ ou $B$ » : les valeurs appartenant à au moins l'un des deux ; ici $A\cup B=\{2,4,5,6\}$ ;
• le complémentaire $\overline{A}$, « non $A$ » : les valeurs hors de $A$ ; ici $\overline{A}=\{1,3,5\}$, un résultat impair.

Figure 1.6, Les événements du dé vus comme des ensembles : l'univers $\mathrm{\Omega }$, $A$ (pair), $B$ (au moins 5), leur intersection $A\cap B=\{6\}$ et les faces $\{1,3\}$ hors des deux (script figures/ch1/01-evenements-ensembles.py).

2.2 Probabilités

Définition, Probabilité

Une probabilité sur $\mathrm{\Omega }$ est une fonction $P$ qui associe à chaque événement $A\subset \mathrm{\Omega }$ un nombre $P(A)\in [0,1]$, et qui vérifie :

• $P(\mathrm{\Omega })=1$, l'univers, qui contient toutes les issues possibles, est réalisé à coup sûr ;
• $P(\varnothing )=0$, l'événement vide, qui ne contient aucune issue, ne se réalise jamais ;
• pour deux événements disjoints $A\cap B=\varnothing$, $P(A\cup B)=P(A)+P(B)$, les probabilités d'événements incompatibles s'additionnent.

Sur le dé équilibré, chaque face élémentaire porte la probabilité $1/6$ ; l'événement certain $\mathrm{\Omega }=\{1,\dots ,6\}$ vaut donc $P(\mathrm{\Omega })=6\times 1/6=1$, et l'événement impossible « obtenir 7 », qui ne correspond à aucune face, vaut $P(\varnothing )=0$. La probabilité d'un événement composé, comme $A=\{2,4,6\}$, s'obtient en additionnant celles de ses éléments, $P(A)=3/6$, parce que les faces qui le composent sont deux à deux disjointes.

Relations entre probabilités

Pour tous événements $A$, $B$ d'un même univers $\mathrm{\Omega }$ :

Relation	Formule
Contraire	$P(\overline{A})=1-P(A)$
Union (cas général)	$P(A\cup B)=P(A)+P(B)-P(A\cap B)$
Union (événements disjoints)	$P(A\cup B)=P(A)+P(B)$ si $A\cap B=\varnothing$
Intersection (indépendance)	$P(A\cap B)=P(A)P(B)$

Le contraire retranche à 1 ; l'union additionne, sauf à retrancher ce qui a été compté deux fois (l'intersection) ; deux événements sans influence mutuelle voient leurs probabilités se multiplier. Sur le dé : $P(\text{pas de 6})=5/6$, $P(\text{pair ou}\ge 5)=3/6+2/6-1/6=4/6$, et « au moins un 6 en quatre lancers » se calcule par le contraire, $1-(5/6{)}^4\approx 0,52$.

Cette lecture ensembliste ne se limite pas au dé. Pour une v.a. continue comme le chrono, l'univers $\mathrm{\Omega }$ devient un intervalle de $\mathbb{R}$ (ici ${\mathbb{R}}_{+}$), et un événement n'est plus une liste de valeurs isolées mais un intervalle, ou une réunion d'intervalles, « finir en moins de 4 h » s'écrit $\{X<4\}$. Sa probabilité ne s'obtient plus en sommant des probabilités élémentaires (chacune est nulle, section 1.2) mais en intégrant la densité, c'est-à-dire en mesurant une aire, comme sur la figure 1.5.

Probabilité conditionnelle

La probabilité conditionnelle s'intéresse à la question : une fois su que $B$ s'est produit, quelle probabilité reste-t-il pour $A$ ?

Définition, Probabilité conditionnelle

Pour deux événements $A,B$ avec $P(B)>0$, la probabilité conditionnelle de $A$ sachant $B$ est

$$P(A\mid B)=\frac{P(A\cap B)}{P(B)}.$$

Notons que deux événements sont indépendants si et seulement si $P(A\mid B)=P(A)$, savoir que $B$ s'est produit ne change rien à $A$, ce qui donne $P(A\cap B)=P(A)P(B)$ ci-dessus.

Illustrons sur le dé : sachant que le résultat est au plus 3 ($C=\{1,2,3\}$), quelle est la probabilité qu'il soit pair ($A=\{2,4,6\}$) ? Seule la valeur $2$ appartient à $A\cap C$, et $C$ regroupe trois valeurs équiprobables, donc $P(A\mid C)=P(A\cap C)/P(C)=(1/6)/(3/6)=1/3$, moins que $P(A)=1/2$ sans condition : savoir que le résultat ne dépasse pas 3 exclut $4$ et $6$, et rend le tirage moins susceptible d'être pair.

Théorème de Bayes

La probabilité conditionnelle n'est pas symétrique : $P(A\mid B)$ et $P(B\mid A)$ diffèrent en général. Or nous savons souvent mesurer l'une et cherchons l'autre. Un capteur de défaut se caractérise par sa probabilité de déclencher sachant qu'une pièce est défectueuse, $P(\text{alarme}\mid \text{défaut})$ ; l'ingénieur, lui, veut la probabilité qu'une pièce soit défectueuse sachant que l'alarme a sonné, $P(\text{défaut}\mid \text{alarme})$. Le théorème de Bayes inverse le conditionnement.

Théorème de Bayes

Pour deux événements $A,B$ avec $P(B)>0$ :

$$P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}.$$

Le dénominateur se calcule par la loi des probabilités totales : $A$ et son contraire $\overline{A}$ partitionnent l'univers, donc $P(B)=P(B\mid A)P(A)+P(B\mid \overline{A})P(\overline{A})$. Trois quantités connues, $P(B\mid A)$, $P(A)$ et le comportement sur $\overline{A}$, suffisent ainsi à produire $P(A\mid B)$.

Reprenons le capteur, avec des chiffres. Les pièces défectueuses sont rares, $P(\text{défaut})=1\mathrm{\%}$. Le capteur est bon : il détecte un vrai défaut dans $99\mathrm{\%}$ des cas, $P(\text{alarme}\mid \text{défaut})=0,99$, et ne se déclenche à tort que dans $5\mathrm{\%}$ des cas sur une pièce saine, $P(\text{alarme}\mid \text{sain})=0,05$. Une alarme vient de sonner : quelle probabilité que la pièce soit réellement défectueuse ?

$$P(\text{défaut}\mid \text{alarme})=\frac{0,99\times 0,01}{0,99\times 0,01+0,05\times 0,99}=\frac{\mathrm{0,009}9}{\mathrm{0,059}4}=\frac{1}{6}\approx 16,7\mathrm{\%}.$$

Le résultat surprend : malgré un capteur fiable à $99\mathrm{\%}$, une alarme ne correspond à un vrai défaut qu'une fois sur six. La raison tient à la rareté du défaut : les $5\mathrm{\%}$ de fausses alarmes portent sur les $99\mathrm{\%}$ de pièces saines, bien plus nombreuses, et noient les vrais défauts. Ignorer la probabilité de départ $P(\text{défaut})$, dite a priori, est l'erreur classique que Bayes corrige.

from scratch

import numpy as np
rng = np.random.default_rng(0)

N = 2_000_000
defective = rng.random(N) < 0.01                                    # P(défaut) = 1 %
alarm = np.where(defective, rng.random(N) < 0.99, rng.random(N) < 0.05)
defective[alarm].mean()   # >>> 0.1656   (≈ 1/6, la prédiction de Bayes)

Cette inversion est le moteur de deux chapitres à venir : au chapitre 2, elle transforme une croyance a priori sur un paramètre en une estimation a posteriori ; au chapitre 3, elle fonde la règle de décision d'un détecteur.

2.3 Variable aléatoire et réalisation

Le dé et le chrono ont un point commun : dans les deux cas, l'expérience aléatoire produit un nombre.

Définition, Variable aléatoire

Une variable aléatoire (v.a.) $X$ est un nombre issu d'une expérience aléatoire : la face du dé, le chrono du coureur, la tension mesurée par un capteur. Nous notons $X$ (majuscule) la variable aléatoire elle-même, le mécanisme qui produira un nombre, et $x$ (minuscule) une réalisation.

Confusion classique

« $X$ et $x$, c'est pareil. » Non. $X$ est la règle du jeu : « lancer le dé et lire la face ». Elle existe avant le lancer, et c'est sur elle que portent les calculs (« $X$ a une chance sur six de valoir 6 »). $x$ est le résultat : « ce lancer-ci a donné 4 ». Il n'a plus rien d'aléatoire, écrire « la probabilité que 4 soit égal à 6 » n'aurait aucun sens. Toute quantité calculée à partir de $X$ hérite du hasard de $X$ ; toute quantité calculée à partir de $x$ est un nombre figé.

Dans ce cours, nous allons classer les variables aléatoires en deux catégories :

• les v.a. discrètes, dont les valeurs possibles se comptent ($\{1,\dots ,6\}$ pour le dé, $\mathbb{N}$ pour un comptage) ;
• les v.a. continues, dont les valeurs possibles remplissent un intervalle de $\mathbb{R}$.

3. Décrire une variable aléatoire discrète

3.1 Loi de masse

Pour une v.a. discrète, décrire le hasard, c'est donner la liste des chances de chaque valeur, les six bâtons du dé de la section 1.1.

Définition, Loi de masse

La loi d'une v.a. discrète $X$ à valeurs dans $\{x_1,x_2,\dots \}$ (son support) est la donnée des probabilités

$$p_k=P(X=x_k),$$

sous les contraintes

$$p_k\ge 0\text{et}\sum _k{p}_k=1.$$

La fonction $k\mapsto P(X=x_k)$ s'appelle la fonction de masse (probability mass function, PMF).

Une loi discrète est entièrement connue dès que nous connaissons la probabilité de chacune de ses valeurs, et la somme de ces probabilités est nécessairement égale à 1 : l'expérience produit toujours l'une des valeurs du support.

Exemple : loi uniforme discrète

Figure 1.7, La loi de masse du dé : un bâton de hauteur $P(X=k)=1/6$ sur chacune des six faces ; les hauteurs somment à 1 (script figures/ch1/01-loi-uniforme-de.py).

3.2 Fonction de répartition

Définition, Fonction de répartition (cas discret)

La fonction de répartition (cumulative distribution function, CDF) d'une v.a. discrète $X$ à valeurs entières est

$$F_X(n)=P(X\le n)=\sum _{k=-\mathrm{\infty }}^{n}P(X=k),n\in \mathbb{Z}.$$

Elle est croissante par paliers, tend vers $0$ en $-\mathrm{\infty }$ et vers $1$ en $+\mathrm{\infty }$.

La fonction de répartition $F_X(n)$ cumule toutes les probabilités jusqu'à $n$ inclus. Elle ne remplace pas $P(X=n)$ : c'est un total, pas une masse ponctuelle.

Proposition, Calculer avec $F_X$

Pour toute v.a. $X$ et tous réels $a\le b$ :

$$P(a<X\le b)=F_X(b)-F_X(a).$$

Pour une v.a. discrète à valeurs entières, la masse en un point se récupère par différence :

$$P(X=n)=F_X(n)-F_X(n-1).$$

Preuve

Les événements $\{X\le a\}$ et $\{a<X\le b\}$ sont incompatibles et leur réunion est $\{X\le b\}$, donc $F_X(a)+P(a<X\le b)=F_X(b)$ : c'est la première formule. La deuxième en est le cas particulier $a=n-1$, $b=n$ pour une v.a. à valeurs entières. ∎

En d'autres termes, toute probabilité d'intervalle, et même toute masse ponctuelle, se retrouve par simple soustraction de deux valeurs de $F_X$, plus besoin de resommer la PMF à chaque fois.

Exemple : loi uniforme

Pour le dé, $F_X(k)=P(X\le k)=k/6$ : chaque face ajoute $1/6$ au total cumulé. Le graphe de $F_X$ est donc un escalier à six marches égales, de $0$ juste avant la face 1 à $1$ à partir de la face 6.

Figure 1.8, La fonction de répartition du dé : six marches de hauteur $1/6$, chacune au niveau $k/6$ (script figures/ch1/01-loi-uniforme-de.py).

3.3 Espérance et variance

L'allure d'une loi est difficile à décrire précisément. Pour la résumer, il est possible de calculer des grandeurs caractéristiques. Parmi ces grandeurs, deux sont particulièrement utilisées :

• l'espérance, notée $E(X)$, décrivant la position de la valeur centrale, ce que vaut un tirage en moyenne ;
• la variance, notée $\mathrm{var}(X)$ (ou son écart-type qui correspond à $\sqrt{\mathrm{var}(X)}$), décrivant la dispersion des valeurs autour de la valeur centrale.

Figure 1.9a, Même dispersion, espérances différentes : la position seule change (script figures/ch1/01-esperances-differentes.py).

Figure 1.9b, Même espérance, dispersions différentes : un capteur « juste mais bruité » et un capteur « juste et précis » se distinguent par leur variance, pas par leur moyenne (script figures/ch1/01-esperance-variance.py).

Formellement, ces deux grandeurs s'obtiennent à partir d'un même gabarit : la moyenne d'une fonction $g$ de la variable, pondérée par les chances de chaque valeur :

$$E(g(X))=\sum _{k}g(x_k)P(X=x_k).$$

Ce gabarit, appliqué à $g(x)=x$ puis $g(x)=(x-\mu {)}^2$, donne les deux grandeurs les plus utiles.

Définition, Espérance, variance et écart-type

L'espérance d'une v.a. discrète $X$ est

$$E(X)=\sum _k{x}_{k}P(X=x_k).$$

Sa variance, avec $\mu =E(X)$, est

$$\mathrm{var}(X)=E((X-\mu {)}^2)\ge 0,$$

et son écart-type est $\sigma =\sqrt{\mathrm{var}(X)}$, qui a la même unité que $X$.

L'espérance est le centre de gravité de la loi : elle en fixe la position. L'écart-type est l'écart moyen à ce centre : il mesure l'étalement, dans l'unité de $X$, c'est pour cela que nous préférons $\sigma$ à $\mathrm{var}(X)$, exprimée dans le carré de l'unité.

Proposition, Les trois règles de calcul

Pour toute v.a. $X$ de variance finie et toutes constantes $a,b$ :

1. Linéarité de l'espérance : $E(aX+b)=aE(X)+b$, et plus généralement $E(X+Y)=E(X)+E(Y)$ pour toutes v.a. $X,Y$, sans aucune hypothèse ;
2. Formule de König-Huygens : $\mathrm{var}(X)=E(X^2)-E(X{)}^2$ ;
3. Transformation affine : $\mathrm{var}(aX+b)=a^2\mathrm{var}(X)$, décaler ne disperse pas, dilater disperse au carré.

Preuve

1. $E(aX+b)=\sum _k(a{x}_k+b)p_k=a\sum _k{x}_k{p}_k+b\sum _k{p}_k=aE(X)+b$, en utilisant $\sum _k{p}_k=1$.
2. En développant $(X-\mu {)}^2=X^2-2\mu X+{\mu }^2$ puis par linéarité : $\mathrm{var}(X)=E(X^2)-2\mu E(X)+{\mu }^2=E(X^2)-{\mu }^2$.
3. $aX+b$ a pour espérance $a\mu +b$, donc $\mathrm{var}(aX+b)=E((aX+b-a\mu -b{)}^2)=a^{2}E((X-\mu {)}^2)=a^2\mathrm{var}(X)$. ∎

L'espérance se manipule sans précaution : une somme de v.a., quelconques, a toujours pour espérance la somme des espérances. La variance, elle-même illisible sous forme développée, se calcule plus simplement via $E(X^2)$ ; et elle ne réagit qu'aux dilatations, jamais aux décalages.

Exemple : le dé

Pour un dé équilibré, $P(X=k)=1/6$ pour $k=1,\dots ,6$, d'où

$$\begin{array}{rl}E(X)& =\frac{1+2+3+4+5+6}{6}=3,5,\\ E(X^2)& =\frac{1+4+9+16+25+36}{6}=\frac{91}{6}\approx 15,17,\\ \mathrm{var}(X)& =E(X^2)-E(X{)}^2=\frac{91}{6}-\frac{49}{4}=\frac{35}{12}\approx 2,92,\sigma \approx 1,71.\end{array}$$

Un lancer « vaut » 3,5 en moyenne et s'en écarte typiquement de 1,7 : la réponse aux deux questions laissées ouvertes en section 1.1. Cette moyenne, calculée sur plusieurs lancers, est elle-même une variable aléatoire, ce que le théorème central limite précisera en fin de chapitre.

3.4 Indépendance

Dernière brique : deux v.a. observées ensemble. Le cas qui domine ce cours est celui où elles ne s'influencent pas.

Définition, Indépendance

Deux v.a. $X$ et $Y$ sont indépendantes (notation $X\perp Y$) si leur loi conjointe est le produit des lois marginales : pour tous $x,y$,

$$P(\{X=x\}\cap \{Y=y\})=P(X=x)P(Y=y).$$

Connaître la valeur de l'une ne change rien aux chances de l'autre. Deux lancers d'un dé sont indépendants par construction, c'est la règle des $1/36$ de la somme de deux dés de la section 1.1.

Proposition, Conséquences de l'indépendance

Si $X$ et $Y$ sont indépendantes et de variances finies :

$$\begin{array}{rl}E(XY)& =E(X)E(Y)\\ \mathrm{var}(X+Y)& =\mathrm{var}(X)+\mathrm{var}(Y).\end{array}$$

Preuve

Pour le produit : $E(XY)=\sum _{x,y}xyP(X=x)P(Y=y)=(\sum _{x}xP(X=x))(\sum _{y}yP(Y=y))=E(X)E(Y)$, la factorisation étant permise par l'indépendance. Pour la somme, avec ${\mu }_X=E(X)$, ${\mu }_Y=E(Y)$ : $\mathrm{var}(X+Y)=\mathrm{var}(X)+\mathrm{var}(Y)+2E((X-{\mu }_X)(Y-{\mu }_Y))$, et le terme croisé vaut $E(XY)-{\mu }_X{\mu }_Y=0$ par la première formule. ∎

Contraste avec la linéarité de l'espérance : l'espérance d'une somme est toujours la somme des espérances, sans condition. L'additivité des variances, elle, exige l'indépendance.

4. Décrire une variable aléatoire continue

4.1 Densité de probabilité

Pour une v.a. continue, un chrono, une tension, la liste des $P(X=x)$ ne décrit plus rien : ces probabilités sont toutes nulles. L'objet qui décrit le hasard continu est une courbe nommée densité de probabilité.

Définition, Densité de probabilité

Une v.a. $X$ est continue de densité $f_X$ (probability density function, PDF) si, pour tous $a\le b$,

$$P(a<X<b)={\int }_a^b{f}_X(x)\mathrm{d}x,$$

sous les contraintes $f_X(x)\ge 0$ et ${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_X(x)\mathrm{d}x=1$.

La densité donne la probabilité par unité de longueur : localement, $P(x<X<x+\mathrm{d}x)\approx f_X(x)\mathrm{d}x$. Toute probabilité est une aire sous la courbe, jamais une hauteur.

Confusion classique

« $f_X(x)$ est une probabilité. » Faux. Une densité peut dépasser 1 : $\mathrm{Exp}(20)$ part de $f_X(0)=20$. Seules les aires ${\int }_a^b{f}_X$ restent entre 0 et 1. Corollaire : $P(X=x)=0$ pour tout $x$, d'où le chrono « exactement 4 h » sans réponse utile. Écrire $P(X=x)=f_X(x)$ est l'erreur conceptuelle la plus fréquente du chapitre.

Exemple : loi Gaussienne

La densité la plus répandue est celle de la loi normale (ou Gaussienne) $\mathcal{N}(\mu ,{\sigma }^2)$, en cloche et symétrique autour de $\mu$.

Figure 1.10a, La densité d'une loi $\mathcal{N}(10,4)$ : une courbe en cloche dont l'aire totale colorée vaut ${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_X(x)\mathrm{d}x=1$, à comparer aux six bâtons de hauteur $1/6$ de la figure 1.7, qui, eux, sommaient à 1 (script figures/ch1/01-densite-gaussienne.py).

4.2 Fonction de répartition

Définition, Fonction de répartition (cas continu)

Pour une v.a. continue de densité $f_X$ :

$$F_X(x)={\int }_{-\mathrm{\infty }}^x{f}_X(t)\mathrm{d}t,$$

et là où $F_X$ est dérivable, $f_X(x)=F_X^{\prime }(x)$ : la densité est la pente de la répartition.

Même objet que dans le cas discret, mais obtenu par intégrale plutôt que par somme. La proposition « Calculer avec $F_X$ » ($P(a<X\le b)=F_X(b)-F_X(a)$) reste valable telle quelle.

Exemple : loi Gaussienne

Pour la loi $\mathcal{N}(\mu ,{\sigma }^2)$, $F_X$ n'a pas de forme fermée simple, elle s'obtient en intégrant la cloche point par point. Sa courbe est en S : plate loin de $\mu$, de pente maximale en $\mu$ (là où la densité est la plus haute), et $F_X(\mu )=1/2$ par symétrie.

Figure 1.10b, La fonction de répartition d'une loi $\mathcal{N}(10,4)$ : une courbe en S, de pente maximale en $\mu$, où $F_X(\mu )=1/2$ (script figures/ch1/01-densite-gaussienne.py).

4.3 Espérance et variance

Définition, Espérance et variance (cas continu)

Pour une v.a. continue de densité $f_X$ :

$$\begin{array}{rl}E(X)& ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}x{f}_X(x)\mathrm{d}x,\\ \mathrm{var}(X)& =E((X-\mu {)}^2)=E(X^2)-E(X{)}^2,\end{array}$$

avec $\mu =E(X)$ et $\sigma =\sqrt{\mathrm{var}(X)}$.

Même lecture que dans le cas discret : $E(X)$ positionne la loi, $\sigma$ mesure son étalement. Les trois règles de calcul (linéarité, König-Huygens, transformation affine) s'appliquent sans modification, seule l'intégrale remplace la somme dans les preuves.

4.4 Indépendance

Définition, Indépendance (cas continu)

Deux v.a. continues $X$ et $Y$, de densité conjointe $f_{X,Y}$, sont indépendantes si cette densité se factorise en le produit des densités marginales : pour tous $x,y$,

$$f_{X,Y}(x,y)=f_X(x)f_Y(y).$$

Même définition que dans le cas discret, avec des densités à la place des PMF : connaître $X$ ne renseigne toujours rien sur $Y$.

5. Du phénomène au modèle $p(x;\theta )$

Résumons le chemin parcouru. Le hasard du dé est entièrement décrit par six bâtons, sa PMF ; le hasard du chrono, par une courbe, sa PDF. Dans les deux cas, nous avons remplacé un phénomène imprévisible par un objet mathématique parfaitement déterminé, qui dit avec quelles probabilités chaque valeur peut survenir. Cet objet s'appelle une loi de probabilité, et ce remplacement porte un nom : modéliser.

5.1 Un formalisme commun : la fonction de répartition

Les sections 3 et 4 se répondent terme à terme : la PMF se somme là où la PDF s'intègre, et toutes deux se cumulent dans le même objet, la fonction de répartition $F_X$ (cas discret, cas continu). Les règles de calcul valent dans les deux cas sans changer une virgule : toute probabilité d'intervalle est une soustraction de deux valeurs de $F_X$. Discret et continu ne sont donc pas deux théories, mais deux visages d'un même formalisme, et c'est ce formalisme unifié que la suite du cours manipule.

5.2 Une loi est un modèle paramétré

Les lois utiles dépendent en général de paramètres réglables, la probabilité de succès d'un test, le taux d'arrivée de requêtes, le centre et la largeur d'une cloche. Nous écrirons une loi paramétrée

$$p(x;\theta ),$$

où

• $p(x;\theta )$ désigne, pour la valeur $x$, la PMF $P(X=x)$ dans le cas discret et la densité $f_X(x)$ dans le cas continu ;
• $x$ désigne une valeur possible de la grandeur étudiée, et, une fois l'expérience faite, la valeur observée, la réalisation de la section 2.3 ;
• $\theta$ désigne le (ou les) paramètre(s) du modèle. Cette notation est à retenir : nous la retrouverons à chaque chapitre, et tout le programme du cours tient dans ces quelques symboles (récapitulés sur la page Notations).

À titre d'exemple, la Gaussienne de la figure 1.10a s'écrit $p(x;\theta )$ avec $\theta =(\mu ,{\sigma }^2)=(10,4)$ : fixer $\theta$ choisit une cloche précise, centrée en 10, de variance 4 ; changer $\theta$ déplace ou élargit la cloche sans changer la formule.

5.3 Implémentation avec scipy.stats

Cette lecture « une loi = un objet réglé par $\theta$ » est exactement celle de scipy.stats (importé sta), qui expose chaque loi à travers une interface unique, prolongement direct de la fonction de répartition unificatrice de la section 5.1 :

Méthode	Quantité
X.pmf(k) / X.pdf(x)	$P(X=k)$ (discret) / densité $f_X(x)$ (continu)
X.cdf(x)	$F_X(x)=P(X\le x)$
X.sf(x)	$P(X>x)=1-F_X(x)$
X.ppf(q)	quantile d'ordre $q$ (réciproque de la CDF)
X.rvs(size=M)	$M$ tirages simulés
X.mean(), X.var()	$E(X)$, $\mathrm{var}(X)$

Le processus est toujours le même : instancier la loi en fixant $\theta$, interroger le modèle, résumer ou simuler. Déroulé complet sur $\mathcal{N}(10,4)$ :

import scipy.stats as sta

X = sta.norm(loc=10, scale=2)       # theta = (mu, sigma²) = (10, 4)
X.pdf(10.0)             # >>> 0.1995   (hauteur au centre)
X.cdf(12) - X.cdf(8)    # >>> 0.6827   (P(8 < X <= 12), µ ± σ)
X.sf(13)                # >>> 0.0668   (P(X > 13), queue droite)
X.ppf(0.975)            # >>> 13.92    (quantile à 97,5 %)
X.mean(), X.var()       # >>> (10.0, 4.0)

Deux pièges reviennent sans cesse : scale attend l'écart-type (jamais la variance), et pour les lois discrètes c'est pmf qui remplace pdf.

Les pages Lois discrètes et Lois continues présentent maintenant un catalogue des lois paramétrées les plus utilisées, chacune sous cette même forme $p(x;\theta )$. Lorsque nous choisissons un modèle paramétré $p(x;\theta )$ (ce chapitre), la phase d'ajustement de ses paramètres aux données correspond à l'estimation de $\theta$ (chapitre 2).