7. Régularisation et inférence en grande dimension

On n'a souvent pas une poignée de régresseurs propres. Il peut y avoir de nombreux prédicteurs candidats, parfois plus que d'observations, et ils sont corrélés. Les moindres carrés ordinaires surapprennent ou s'effondrent dans ce régime. La régularisation les dompte en rétrécissant les coefficients, et c'est là que la régression régularisée rejoint le plus directement la statistique classique. Elle s'accompagne d'un avertissement : sélectionner des variables puis faire de l'inférence sur les mêmes données invalide les écarts-types classiques, ce qui compte dès que l'objectif est une estimation causale plutôt qu'une prédiction.

Dans tout ce module, on note les coefficients de régression \(\beta\), les paramètres \(\theta\) du modèle linéaire du module de régression linéaire.

Objectifs

• Voir pourquoi les moindres carrés ordinaires échouent avec de nombreux régresseurs corrélés.
• Définir la régression ridge (L2) et lasso (L1) et le rôle de la pénalité \(\lambda\).
• Comprendre pourquoi le lasso produit des solutions parcimonieuses qui sélectionnent les variables.
• Choisir la pénalité \(\lambda\) par validation croisée.
• Reconnaître pourquoi l'inférence naïve après sélection est invalide, et connaître les corrections standard.

7.1 Pourquoi régulariser

Quand le nombre de régresseurs \(p\) est grand par rapport à la taille d'échantillon \(n\), l'ajustement par moindres carrés poursuit le bruit et ses coefficients ont une variance énorme. Avec des régresseurs corrélés, la matrice \(X^T X\) est presque singulière, donc de petites variations des données font osciller fortement les estimations, et quand \(p > n\) elle est singulière et les MCO n'ont aucune solution unique. La régularisation accepte un peu de biais en échange d'une forte réduction de variance, le compromis vu dans Concepts généraux.

7.2 Régression ridge (L2)

Ridge ajoute une pénalité en norme au carré sur les coefficients à l'objectif des moindres carrés :

\[\boxed{ \hat{\beta}_{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \|\beta\|_2^2 }\]

Elle possède une forme close toujours inversible pour \(\lambda > 0\), ce qui sauve précisément les cas de colinéarité et de \(p > n\) :

Ridge rétrécit tous les coefficients doucement vers zéro mais ne les annule jamais exactement, elle stabilise donc plutôt qu'elle ne sélectionne.

7.3 Régression lasso (L1)

Le lasso remplace la pénalité au carré par une pénalité en valeur absolue :

\[\boxed{ \hat{\beta}_{\text{lasso}} = \arg\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \|\beta\|_1 }\]

Ce petit changement a une grande conséquence : le lasso met certains coefficients exactement à zéro, il effectue donc une sélection de variables tout en ajustant. La raison est géométrique. La région de contrainte \(\|\beta\|_1 \le t\) est un losange dont les coins sont sur les axes, et les contours elliptiques de la perte tendent à la toucher d'abord en un coin, où une coordonnée est nulle.

La boule L2 arrondie est touchée hors des axes, gardant chaque coefficient non nul, tandis que le losange L1 est touché en un coin, mettant un coefficient exactement à zéro.

À mesure que la pénalité grandit, davantage de coefficients passent à zéro, traçant le chemin de régularisation du modèle complet jusqu'au modèle vide.

Chaque coefficient rétrécit quand \(\lambda\) augmente puis atteint exactement zéro, si bien que le lasso fournit un sous-ensemble compact et interprétable de régresseurs.

7.4 Elastic net

L'elastic net mêle les deux pénalités, gardant la sélection du lasso tout en empruntant la stabilité de ridge face aux régresseurs corrélés :

\[\boxed{ \hat{\beta}_{\text{en}} = \arg\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda\left(\alpha \|\beta\|_1 + (1 - \alpha)\|\beta\|_2^2\right) }\]

avec \(\alpha \in [0, 1]\) dosant la sélection (\(\alpha = 1\), lasso) et le rétrécissement (\(\alpha = 0\), ridge).

7.5 Choisir la pénalité

La pénalité \(\lambda\) est un hyperparamètre, on la choisit donc par validation croisée, vue au module précédent : on ajuste sur une grille de valeurs de \(\lambda\) et on garde celle dont l'erreur validée est la plus faible, ou le plus grand \(\lambda\) à un écart-type du meilleur pour un modèle plus simple. Un \(\lambda\) plus grand signifie plus de rétrécissement, plus de biais et moins de variance.

7.6 La mise en garde sur l'inférence

Prédire n'est pas inférer, et c'est le point qu'il est facile de manquer. Supposons que vous sélectionniez des régresseurs par lasso, puis que vous fassiez des moindres carrés ordinaires sur le sous-ensemble retenu en rapportant les écarts-types des manuels. Ces écarts-types sont faux. Ils ignorent que les données ont déjà servi à choisir les variables, donc les intervalles de confiance sont trop étroits et les p-valeurs ne sont pas valides, une forme de la malédiction du vainqueur. Trois corrections sont standard :

• Division de l'échantillon. Sélectionner les variables sur une partie des données et estimer puis inférer sur une autre, pour que la sélection ne contamine pas les écarts-types.
• Lasso débiaisé (dé-parcimonisé). Ajouter un terme de correction à l'estimation lasso qui retire le biais de rétrécissement et rétablit un intervalle de confiance asymptotiquement valide pour chaque coefficient.
• Post-double-sélection (Belloni, Chernozhukov et Hansen). Pour estimer l'effet d'un traitement avec de nombreux contrôles, sélectionner les contrôles qui prédisent le résultat et ceux qui prédisent le traitement, puis estimer l'effet sur l'union des deux ensembles.

Remarque : ces idées ouvrent la porte du machine learning causal, où des apprenants flexibles estiment des fonctions de nuisance tandis qu'une correction préserve une inférence valide sur le paramètre d'intérêt. La régularisation est excellente pour prédire, mais pour un paramètre causal il faut l'une de ces corrections, pas les coefficients pénalisés bruts.

Une fois le rétrécissement et la sélection couverts, le module suivant emprunte une autre voie vers une bonne frontière de décision, le classifieur à marge maximale, avant d'aborder les arbres et les ensembles.

Suivant : Machines à vecteurs de support · Vue d'ensemble du cours