Régression Linéaire - Fondements

Introduction

La régression linéaire est l'une des méthodes statistiques les plus fondamentales et les plus utilisées Kay (1993) [casella2002]. Elle permet de modéliser la relation entre une variable dépendante (ou variable à expliquer) et une ou plusieurs variables indépendantes (ou variables explicatives). Nous avons vu au Chapitre 2 que sous l'hypothèse de bruit gaussien, l'estimateur du maximum de vraisemblance coïncide avec l'estimateur des moindres carrés. Dans ce chapitre, nous approfondissons l'étude de ce modèle en analysant ses propriétés, ses applications et ses extensions.

Modèle de régression linéaire

Formulation générale

Considérons un ensemble de $m$ observations. Le modèle de régression linéaire s'écrit :

$$\mathbf{x}=\mathbf{A}\mathbf{s}+\mathbf{n}$$

où :

• $\mathbf{x}=[x_1,\dots ,x_m{]}^T\in {\mathbb{R}}^m$ est le vecteur des observations (variable dépendante)
• $\mathbf{A}\in {\mathbb{R}}^{m\times p}$ est la matrice de design (variables explicatives)
• $\mathbf{s}=[s_1,\dots ,s_p{]}^T\in {\mathbb{R}}^p$ est le vecteur des paramètres (coefficients de régression)
• $\mathbf{n}\sim \mathcal{N}(\mathbf{0},{\sigma }^2{\mathbf{I}}_m)$ est le vecteur des erreurs (bruit gaussien)

Hypothèses du modèle :

1. Linéarité : La relation entre $\mathbf{x}$ et $\mathbf{A}$ est linéaire en $\mathbf{s}$
2. Indépendance : Les erreurs $n_k$ sont indépendantes
3. Homoscédasticité : Les erreurs ont toutes la même variance ${\sigma }^2$
4. Normalité : Les erreurs suivent une loi normale $\mathcal{N}(0,{\sigma }^2)$
5. Non-colinéarité : Les colonnes de $\mathbf{A}$ sont linéairement indépendantes (rang plein)

Interprétation des composantes

Pour chaque observation $k=1,\dots ,m$, nous avons :

$$x_k=\sum _{j=1}^p{A}_{kj}{s}_j+n_k$$

où $A_{kj}$ est la valeur de la $j$-ième variable explicative pour l'observation $k$.

Estimateur des moindres carrés

Dérivation

L'estimateur des moindres carrés ordinaires (Ordinary Least Squares, OLS) minimise la somme des carrés des résidus :

$${\hat{\mathbf{s}}}_{OLS}=\arg \underset{\mathbf{s}}{min}\parallel \mathbf{x}-\mathbf{A}\mathbf{s}{\parallel }_2^2=\arg \underset{\mathbf{s}}{min}\sum _{k=1}^m(x_k-\sum _{j=1}^p{A}_{kj}{s}_j{)}^2$$

En développant le critère et en annulant le gradient, nous obtenons les équations normales :

$${\mathbf{A}}^T\mathbf{A}\mathbf{s}={\mathbf{A}}^T\mathbf{x}$$

Si $\mathbf{A}$ est de rang plein (i.e., $\text{rang}(\mathbf{A})=p$ avec $m\ge p$), alors ${\mathbf{A}}^T\mathbf{A}$ est inversible et la solution unique est :

$${\hat{\mathbf{s}}}_{OLS}=({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T\mathbf{x}={\mathbf{A}}^{†}\mathbf{x}$$

où ${\mathbf{A}}^{†}=({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T$ est la pseudo-inverse de Moore-Penrose de $\mathbf{A}$.

Interprétation géométrique

L'estimateur OLS projette orthogonalement le vecteur des observations $\mathbf{x}$ sur le sous-espace engendré par les colonnes de $\mathbf{A}$. Le vecteur des valeurs ajustées (fitted values) est :

$$\hat{\mathbf{x}}=\mathbf{A}{\hat{\mathbf{s}}}_{OLS}=\mathbf{A}({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T\mathbf{x}=\mathbf{P}\mathbf{x}$$

où $\mathbf{P}=\mathbf{A}({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T$ est la matrice de projection sur l'espace des colonnes de $\mathbf{A}$.

Le vecteur des résidus est :

$$\hat{\mathbf{n}}=\mathbf{x}-\hat{\mathbf{x}}=\mathbf{x}-\mathbf{P}\mathbf{x}=(\mathbf{I}-\mathbf{P})\mathbf{x}$$

Propriété remarquable : Les résidus sont orthogonaux aux valeurs ajustées : ${\hat{\mathbf{n}}}^T\hat{\mathbf{x}}=0$.

Figure 1: Interprétation géométrique de l'estimateur OLS comme projection orthogonale

Propriétés de l'estimateur OLS

Sans biais

L'estimateur OLS est sans biais :

$$\mathbb{E}[{\hat{\mathbf{s}}}_{OLS}]=\mathbb{E}[({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T\mathbf{x}]=({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T\mathbb{E}[\mathbf{x}]$$

Puisque $\mathbb{E}[\mathbf{x}]=\mathbf{A}\mathbf{s}$ (car $\mathbb{E}[\mathbf{n}]=\mathbf{0}$), nous obtenons :

$$\mathbb{E}[{\hat{\mathbf{s}}}_{OLS}]=({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T\mathbf{A}\mathbf{s}=\mathbf{s}$$

Matrice de covariance

La matrice de covariance de l'estimateur OLS est :

$$\text{Cov}({\hat{\mathbf{s}}}_{OLS})={\sigma }^2({\mathbf{A}}^T\mathbf{A}{)}^{-1}$$

Démonstration :

$$\begin{array}{rl}\text{Cov}({\hat{\mathbf{s}}}_{OLS})& =\text{Cov}(({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T\mathbf{x})\\ & =({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T\text{Cov}(\mathbf{x})\mathbf{A}({\mathbf{A}}^T\mathbf{A}{)}^{-1}\\ & =({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T({\sigma }^2\mathbf{I})\mathbf{A}({\mathbf{A}}^T\mathbf{A}{)}^{-1}\\ & ={\sigma }^2({\mathbf{A}}^T\mathbf{A}{)}^{-1}\end{array}$$

Conséquence : La variance du $j$-ième coefficient est :

$$\text{var}({\hat{s}}_j)={\sigma }^2[({\mathbf{A}}^T\mathbf{A}{)}^{-1}{]}_{jj}$$

Théorème de Gauss-Markov

Le théorème de Gauss-Markov Casella (2002) établit que, parmi tous les estimateurs linéaires et sans biais, l'estimateur OLS a la variance minimale.

Énoncé : Soit $\tilde{\mathbf{s}}$ un estimateur linéaire sans biais quelconque de $\mathbf{s}$. Alors :

$$\text{Cov}(\tilde{\mathbf{s}})-\text{Cov}({\hat{\mathbf{s}}}_{OLS})⪰0$$

où $\mathbf{B}⪰0$ signifie que $\mathbf{B}$ est semi-définie positive.

En d'autres termes, l'estimateur OLS est BLUE (Best Linear Unbiased Estimator) : le meilleur estimateur linéaire sans biais.

Remarque importante

Le théorème de Gauss-Markov ne nécessite pas l'hypothèse de normalité des erreurs. Il suffit que les erreurs soient non corrélées et de variance constante.

Loi de l'estimateur

Sous l'hypothèse de normalité des erreurs $\mathbf{n}\sim \mathcal{N}(\mathbf{0},{\sigma }^2\mathbf{I})$, l'estimateur OLS suit une loi normale multivariée :

$${\hat{\mathbf{s}}}_{OLS}\sim \mathcal{N}(\mathbf{s},{\sigma }^2({\mathbf{A}}^T\mathbf{A}{)}^{-1})$$

Par conséquent, chaque coefficient ${\hat{s}}_j$ suit une loi normale :

$${\hat{s}}_j\sim \mathcal{N}(s_j,{\sigma }^2[({\mathbf{A}}^T\mathbf{A}{)}^{-1}{]}_{jj})$$

Estimation de la variance des erreurs

Estimateur non biaisé de ${\sigma }^2$

La variance des erreurs ${\sigma }^2$ est généralement inconnue. Nous l'estimons par :

$${\hat{\sigma }}^2=\frac{1}{m-p}\sum _{k=1}^m{\hat{n}}_k^2=\frac{1}{m-p}\parallel \mathbf{x}-\mathbf{A}{\hat{\mathbf{s}}}_{OLS}{\parallel }^2$$

où $m-p$ est le nombre de degrés de liberté (nombre d'observations moins nombre de paramètres).

Propriété : Cet estimateur est sans biais : $\mathbb{E}[{\hat{\sigma }}^2]={\sigma }^2$.

Somme des carrés et décomposition

La somme totale des carrés peut se décomposer :

$$\underset{\text{SST (Total)}}{\underbrace{\sum _{k=1}^m(x_k-\overline{x}{)}^2}}=\underset{\text{SSE (Expliquée)}}{\underbrace{\sum _{k=1}^m({\hat{x}}_k-\overline{x}{)}^2}}+\underset{\text{SSR (Résiduelle)}}{\underbrace{\sum _{k=1}^m(x_k-{\hat{x}}_k{)}^2}}$$

où $\overline{x}=\frac{1}{m}\sum _{k=1}^m{x}_k$ est la moyenne empirique des observations.

Coefficient de détermination $R^2$

Définition

Le coefficient de détermination $R^2$ mesure la proportion de la variance de $\mathbf{x}$ expliquée par le modèle :

$$R^2=\frac{\text{SSE}}{\text{SST}}=1-\frac{\text{SSR}}{\text{SST}}=1-\frac{\sum _{k=1}^m(x_k-{\hat{x}}_k{)}^2}{\sum _{k=1}^m(x_k-\overline{x}{)}^2}$$

Interprétation :

• $R^2=1$ : Le modèle explique parfaitement les données (ajustement parfait)
• $R^2=0$ : Le modèle n'explique aucune variance (pas mieux qu'une simple moyenne)
• $0<R^2<1$ : Le modèle explique partiellement les données

Coefficient de détermination ajusté

Le $R^2$ ajusté pénalise l'ajout de variables explicatives :

$$R_{adj}^2=1-\frac{(1-R^2)(m-1)}{m-p}$$

Cette version corrige le fait que $R^2$ augmente mécaniquement avec le nombre de paramètres, même si les variables ajoutées n'apportent pas d'information significative.

Figure 2: Décomposition de la variance et interprétation du R²

Références

1. Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall.
2. Casella, G., & Berger, R. L. (2002). Statistical Inference, 2nd edition. Duxbury Press.
3. Wasserman, L. (2004). All of Statistics: A Concise Course in Statistical Inference. Springer.