Introduction
Le machine learning construit des modèles qui apprennent des motifs à partir de données, au lieu d'être programmés explicitement avec des règles. Ce module fixe la notation utilisée tout au long du cours et cartographie l'éventail des problèmes et des modèles, afin que les modules suivants restent concis et centrés sur les formules.
Types d'apprentissage
- Supervisé : apprendre à partir d'exemples étiquetés (régression, classification).
- Non supervisé : trouver une structure dans des données non étiquetées (clustering, réduction de dimension).
- Par renforcement : apprendre via des retours en interagissant avec un environnement.
Le déroulé
- Définir le problème et rassembler les données.
- Explorer et préparer les données.
- Entraîner des modèles candidats.
- Les évaluer et les comparer.
- Déployer et surveiller (voir le cours MLOps).
Objectifs
- Fixer la notation utilisée dans tout le cours.
- Définir l'ensemble d'entraînement, l'hypothèse et la matrice de conception.
- Adopter la convention d'ordonnée à l'origine \(x_0 = 1\).
- Classer un problème supervisé selon le type de sa sortie.
- Distinguer les modèles discriminatifs des modèles génératifs.
Notation et mise en place
Ensemble d'entraînement
L'ensemble d'entraînement est défini comme une collection de \(m\) exemples étiquetés :
\[\boxed{ \{(x^{(i)}, y^{(i)})\}_{i=1}^{m} }\]Symboles :
- \(x^{(i)}\) est l'entrée (vecteur de caractéristiques) du \(i\)-ème exemple.
- \(y^{(i)}\) est sa cible (étiquette).
- \(m\) est le nombre d'exemples d'entraînement.
- \(n\) est le nombre de caractéristiques.
- \(x_j^{(i)}\) est la \(j\)-ème caractéristique du \(i\)-ème exemple.
Remarque : l'exposant \((i)\) indexe l'exemple et l'indice \(j\) indexe la caractéristique, donc \(x_j^{(i)}\) est la caractéristique \(j\) de l'exemple \(i\).
Par convention l'entrée est augmentée d'un terme d'ordonnée à l'origine constant \(x_0 = 1\), donc \(x \in \mathbb{R}^{n+1}\) et les paramètres sont \(\theta \in \mathbb{R}^{n+1}\).
\[\boxed{ x_0 = 1, \quad x \in \mathbb{R}^{n+1}, \quad \theta \in \mathbb{R}^{n+1} }\]Remarque : l'ordonnée à l'origine permet à un seul produit scalaire \(\theta^T x\) de porter le terme de biais, de sorte qu'aucune constante séparée n'a besoin d'être écrite.
Hypothèse
Une hypothèse est définie comme une fonction choisie dans une famille de modèles qui associe une entrée à une prédiction :
\[\boxed{ h_\theta : x \mapsto h_\theta(x) }\]L'apprentissage est la recherche, sur les paramètres \(\theta\), de l'hypothèse qui s'ajuste le mieux à l'ensemble d'entraînement.
Matrice de conception
La matrice de conception empile les \(m\) entrées transposées ligne par ligne, et le vecteur cible rassemble les étiquettes :
\[\boxed{ X = \begin{bmatrix} (x^{(1)})^{T} \\ \vdots \\ (x^{(m)})^{T} \end{bmatrix}, \quad y = \begin{bmatrix} y^{(1)} \\ \vdots \\ y^{(m)} \end{bmatrix} }\]Ici \(X \in \mathbb{R}^{m \times (n+1)}\) (chaque entrée augmentée est une ligne) et \(y \in \mathbb{R}^{m}\).
Remarque : avec cette disposition de nombreux modèles se réduisent à des expressions matricielles compactes, par exemple une prédiction linéaire sur tous les exemples vaut \(X\theta\).
Types de problèmes et de modèles
Type de prédiction
Un problème supervisé est nommé selon la nature de sa cible \(y\).
| Type | Cible | Objectif |
|---|---|---|
| Régression | \(y \in \mathbb{R}\) | prédire une valeur continue |
| Classification | \(y \in \{1, \dots, k\}\) | prédire l'une des \(k\) classes discrètes |
Remarque : la classification binaire est le cas \(k = 2\), souvent codé \(y \in \{0, 1\}\) ou \(y \in \{-1, +1\}\).
À gauche : la régression ajuste une sortie continue. À droite : la classification sépare l'espace en classes.
Type de modèle
Un modèle est discriminatif s'il apprend directement la conditionnelle \(p(y \mid x)\), et génératif s'il modélise la façon dont les données sont générées, \(p(x \mid y)\) et \(p(y)\), puis inverse via la règle de Bayes :
\[\boxed{ p(y \mid x) = \frac{p(x \mid y)\, p(y)}{p(x)} }\]| Aspect | Discriminatif | Génératif |
|---|---|---|
| Objectif | modéliser la frontière entre classes | modéliser comment chaque classe génère les données |
| Ce qui est appris | \(p(y \mid x)\) directement | \(p(x \mid y)\) et \(p(y)\), puis Bayes |
| Exemples | régression logistique, SVM | analyse discriminante gaussienne, Bayes naïf |
Remarque : \(p(x)\) est identique pour toutes les classes, donc en classification on peut l'ignorer et retenir la classe la plus probable via \(\arg\max_y\, p(x \mid y)\, p(y)\).
Mise en relation
Le type de sortie fixe régression vs classification, et le choix de modélisation fixe discriminatif vs génératif. Ensemble ils sélectionnent une famille de modèles.
graph TD
A["probleme supervise"] --> B{"type de sortie ?"}
B -->|"continue"| C["regression"]
B -->|"discrete"| D["classification"]
D --> E{"type de modele ?"}
E -->|"discriminatif"| F["regression logistique, SVM"]
E -->|"generatif"| G["ADG, Bayes naif"]
Le problème étant posé et la notation fixée, la partie suivante introduit les outils qui servent à ajuster un modèle aux données : fonctions de perte, descente de gradient et maximum de vraisemblance.
Suivant : Concepts généraux · Vue d'ensemble du cours