Les problèmes de machine learning se rangent d'ordinaire en trois paradigmes. Ce qui les sépare n'est pas l'algorithme mais le retour disponible pendant l'entraînement : une étiquette pour chaque exemple, aucune étiquette, ou une récompense obtenue en interagissant.


**Apprentissage supervisé.** Chaque exemple d'entraînement associe une entrée $x$ à la réponse $y$ que le modèle doit produire, et le but est une correspondance $x \mapsto y$ qui généralise à des entrées jamais vues à l'entraînement. Prédire le prix d'une maison à partir de ses caractéristiques (régression) et décider si un courriel est un spam (classification) sont les tâches canoniques. Les étiquettes rendent l'objectif explicite et le progrès mesurable, ce qui explique que la théorie soit la plus développée ici. Presque tout ce cours se place dans ce cadre.

**Apprentissage non supervisé.** Seules les entrées $x$ sont disponibles, et aucune étiquette ne dit quelle est la bonne réponse. Le but passe de la prédiction à la description : regrouper des clients similaires en segments (clustering), compresser de nombreuses caractéristiques corrélées en quelques directions informatives (réduction de dimension), ou estimer quelles régions de l'espace d'entrée sont probables (estimation de densité). Le succès est plus difficile à quantifier, faute de vérité terrain à laquelle se comparer.

**Apprentissage par renforcement.** Il n'y a pas de jeu de données fixe. Un agent choisit une action, l'environnement renvoie un nouvel état et une récompense, et cette récompense peut arriver longtemps après l'action qui l'a produite. Le but est une politique, une règle de choix des actions qui maximise la récompense cumulée. Le jeu et la robotique en sont les exemples typiques. C'est un domaine à part entière, hors du périmètre de ce cours.

| Paradigme | Données | Signal de retour | Ce qui est appris | Tâches canoniques |

| --- | --- | --- | --- | --- |

| Supervisé | paires $(x, y)$ | l'étiquette $y$ | une correspondance $h : x \mapsto y$ | régression, classification |

| Non supervisé | entrées $x$ seules | aucun | une structure dans les données | clustering, réduction de dimension |

| Par renforcement | interaction | récompense, souvent différée | une politique d'action | contrôle, jeu |

*Remarque :* les frontières ne sont pas rigides. L'apprentissage semi-supervisé mélange quelques exemples étiquetés à beaucoup d'exemples non étiquetés, et l'apprentissage auto-supervisé fabrique des étiquettes à partir des données elles-mêmes, par exemple en masquant un mot pour le prédire. Les deux réutilisent la machinerie supervisée introduite dans ce cours.

L'ensemble d'entraînement est défini comme une collection de $m$ exemples étiquetés :

$$\boxed{ \{(x^{(i)}, y^{(i)})\}_{i=1}^{m} }$$

Symboles :

- $x^{(i)}$ est l'entrée (vecteur de caractéristiques) du $i$-ème exemple.

- $y^{(i)}$ est sa cible (étiquette).

- $m$ est le nombre d'exemples d'entraînement.

- $n$ est le nombre de caractéristiques.

- $x_j^{(i)}$ est la $j$-ème caractéristique du $i$-ème exemple.

*Remarque :* l'exposant $(i)$ indexe l'exemple et l'indice $j$ indexe la caractéristique, donc $x_j^{(i)}$ est la caractéristique $j$ de l'exemple $i$.

Une hypothèse est définie comme une fonction choisie dans une famille de modèles qui associe une entrée à une prédiction :

La matrice de conception empile les $m$ entrées transposées ligne par ligne, et le vecteur cible rassemble les étiquettes :

$$\boxed{ X = \begin{bmatrix} (x^{(1)})^{T} \\ \vdots \\ (x^{(m)})^{T} \end{bmatrix}, \quad y = \begin{bmatrix} y^{(1)} \\ \vdots \\ y^{(m)} \end{bmatrix} }$$

Ici $X \in \mathbb{R}^{m \times (n+1)}$ (chaque entrée augmentée est une ligne) et $y \in \mathbb{R}^{m}$.

Un problème supervisé est nommé selon la nature de sa cible $y$.

| Type | Cible | Objectif |

| --- | --- | --- |

| Régression | $y \in \mathbb{R}$ | prédire une valeur continue |

| Classification | $y \in \{1, \dots, k\}$ | prédire l'une des $k$ classes discrètes |

*Remarque :* la classification binaire est le cas $k = 2$, souvent codé $y \in \{0, 1\}$ ou $y \in \{-1, +1\}$.


---

Suivant : [Concepts généraux](/fr/Machine%20Learning/02%20General%20concepts) · [Vue d'ensemble du cours](/fr/Machine%20Learning)