Rappels de probabilités

Variables aléatoires

Définition

Une variable aléatoire (v.a.) $X$ est une fonction mesurable définie sur un espace probabilisé $(\mathrm{\Omega },\mathcal{F},P)$ à valeurs dans $\mathbb{R}$. On distingue deux types de variables aléatoires :

• Discrète : $X$ prend ses valeurs dans un ensemble fini ou dénombrable. Elle est caractérisée par sa fonction de masse (ou loi de probabilité) :

$$p_X(x)=P(X=x)$$

• Continue : $X$ prend ses valeurs dans un ensemble continu. Elle est caractérisée par sa densité de probabilité $f_X(x)$ telle que :

$$P(a\le X\le b)={\int }_a^b{f}_X(x)dx$$

Fonction de répartition

La fonction de répartition de $X$ est définie par :

$$F_X(x)=P(X\le x)$$

Elle est croissante, continue à droite, et vérifie $\underset{x\to -\mathrm{\infty }}{lim}{F}_X(x)=0$ et $\underset{x\to +\mathrm{\infty }}{lim}{F}_X(x)=1$.

Espérance et variance

Espérance

L'espérance (ou moyenne) d'une variable aléatoire $X$ mesure sa tendance centrale :

• Cas discret : $\mathbb{E}[X]=\sum _{x}x{p}_X(x)$
• Cas continu : $\mathbb{E}[X]={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}x{f}_X(x)dx$

Propriétés :

• Linéarité : $\mathbb{E}[aX+bY]=a\mathbb{E}[X]+b\mathbb{E}[Y]$
• Si $X$ et $Y$ sont indépendantes : $\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$

Variance

La variance mesure la dispersion de $X$ autour de son espérance :

$$\text{var}(X)=\mathbb{E}[(X-\mathbb{E}[X]{)}^2]=\mathbb{E}[X^2]-(\mathbb{E}[X]{)}^2$$

L'écart-type est ${\sigma }_X=\sqrt{\text{var}(X)}$.

Propriétés :

• $\text{var}(aX+b)=a^2\text{var}(X)$
• Si $X$ et $Y$ sont indépendantes : $\text{var}(X+Y)=\text{var}(X)+\text{var}(Y)$

Figure 1 : Influence de l'espérance et de la variance sur la forme d'une distribution normale

Covariance

La covariance entre deux variables aléatoires $X$ et $Y$ mesure leur dépendance linéaire :

$$\text{cov}(X,Y)=\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]=\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]$$

Le coefficient de corrélation normalise la covariance :

$${\rho }_{XY}=\frac{\text{cov}(X,Y)}{{\sigma }_X{\sigma }_Y},-1\le {\rho }_{XY}\le 1$$

Propriétés :

• Si $X$ et $Y$ sont indépendantes, alors $\text{cov}(X,Y)=0$ (la réciproque est fausse en général)
• $\text{var}(X+Y)=\text{var}(X)+\text{var}(Y)+2\text{cov}(X,Y)$

Figure 2 : Nuages de points pour différentes valeurs du coefficient de corrélation ρ

Lois classiques

Lois discrètes

Loi	Notation	Paramètres	Espérance	Variance
Bernoulli	$\mathcal{B}(p)$	$p\in [0,1]$	$p$	$p(1-p)$
Binomiale	$\mathcal{B}(n,p)$	$n\in {\mathbb{N}}^{\ast }$, $p\in [0,1]$	$np$	$np(1-p)$
Poisson	$\mathcal{P}(\lambda )$	$\lambda >0$	$\lambda$	$\lambda$

Figure 3 : Lois discrètes classiques pour différentes valeurs de paramètres

Lois continues

Loi	Notation	Densité	Espérance	Variance
Uniforme	$\mathcal{U}(a,b)$	$\frac{1}{b-a}$ sur $[a,b]$	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$
Exponentielle	$\mathcal{E}(\lambda )$	$\lambda e^{-\lambda x}$ pour $x\ge 0$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$
Normale	$\mathcal{N}(\mu ,{\sigma }^2)$	$\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$	$\mu$	${\sigma }^2$

Figure 4 : Densités de probabilité des lois continues classiques

Loi normale centrée réduite

Si $X\sim \mathcal{N}(\mu ,{\sigma }^2)$, la variable centrée réduite $Z=\frac{X-\mu }{\sigma }$ suit une loi $\mathcal{N}(0,1)$.

Cette transformation est fondamentale pour le calcul de probabilités et la construction d'intervalles de confiance.

Vecteurs aléatoires

Définition

Un vecteur aléatoire est un vecteur $\mathbf{X}=[X_1,\dots ,X_n{]}^T$ dont les composantes sont des variables aléatoires. Il est caractérisé par :

• Son vecteur moyenne :

$${\mathit{\mu }}_{\mathbf{X}}=\mathbb{E}[\mathbf{X}]=[\mathbb{E}[X_1],\dots ,\mathbb{E}[X_n]{]}^T$$

• Sa matrice de covariance :

$${\mathbf{\Sigma }}_{\mathbf{X}}=\mathbb{E}[(\mathbf{X}-{\mathit{\mu }}_{\mathbf{X}})(\mathbf{X}-{\mathit{\mu }}_{\mathbf{X}}{)}^T]$$

dont l'élément $(i,j)$ est $[{\mathbf{\Sigma }}_{\mathbf{X}}{]}_{ij}=\text{cov}(X_i,X_j)$.

Propriétés de la matrice de covariance

• Symétrique : ${\mathbf{\Sigma }}_{\mathbf{X}}={\mathbf{\Sigma }}_{\mathbf{X}}^T$
• Semi-définie positive : ${\mathbf{a}}^T{\mathbf{\Sigma }}_{\mathbf{X}}\mathbf{a}\ge 0$ pour tout $\mathbf{a}\in {\mathbb{R}}^n$
• Les éléments diagonaux sont les variances : $[{\mathbf{\Sigma }}_{\mathbf{X}}{]}_{ii}=\text{var}(X_i)$

Transformation linéaire

Si $\mathbf{Y}=\mathbf{A}\mathbf{X}+\mathbf{b}$ où $\mathbf{A}$ est une matrice et $\mathbf{b}$ un vecteur constant, alors :

$$\mathbb{E}[\mathbf{Y}]=\mathbf{A}{\mathit{\mu }}_{\mathbf{X}}+\mathbf{b},{\mathbf{\Sigma }}_{\mathbf{Y}}=\mathbf{A}{\mathbf{\Sigma }}_{\mathbf{X}}{\mathbf{A}}^T$$

Vecteur gaussien

Un vecteur aléatoire $\mathbf{X}$ suit une loi normale multivariée $\mathcal{N}(\mathit{\mu },\mathbf{\Sigma })$ si sa densité est :

$$f_{\mathbf{X}}(\mathbf{x})=\frac{1}{(2\pi {)}^{n/2}|\mathbf{\Sigma }{|}^{1/2}}\exp (-\frac{1}{2}(\mathbf{x}-\mathit{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathit{\mu }))$$

Propriétés importantes :

• Toute combinaison linéaire des composantes est gaussienne
• Toute transformation linéaire $\mathbf{A}\mathbf{X}+\mathbf{b}$ est gaussienne
• Pour un vecteur gaussien, non-corrélation $\iff$ indépendance

Figure 5 : Densité de la loi normale bivariée pour différentes matrices de covariance

Échantillon i.i.d.

Un échantillon i.i.d. (indépendant et identiquement distribué) est un ensemble de $n$ variables aléatoires $X_1,\dots ,X_n$ qui sont :

• Indépendantes : la réalisation de l'une n'affecte pas les autres
• Identiquement distribuées : elles suivent toutes la même loi $P_{\theta }$

L'échantillon est noté $\mathbf{x}=[x_1,\dots ,x_n]$ et constitue la donnée de base pour l'estimation statistique.