3. Formulation probabiliste
La probabilité est le langage que le machine learning utilise pour traiter l'incertitude. Ce module énonce les règles pour les variables discrètes et continues, jette un premier regard sur la théorie de l'information, montre la manière bayésienne de transformer des probabilités en décisions, et définit les deux principes d'estimation auxquels le cours revient sans cesse : le maximum de vraisemblance et le maximum a posteriori.
Objectifs
- Énoncer les règles de la probabilité pour les variables discrètes et continues.
- Relier les probabilités conjointe, conditionnelle et marginale par les règles de la somme et du produit et par la règle de Bayes.
- Mesurer l'incertitude avec l'entropie, l'entropie croisée et la divergence de Kullback-Leibler.
- Prendre la décision qui minimise la perte espérée, et retrouver le classifieur du maximum a posteriori.
- Définir les estimateurs du maximum de vraisemblance et du maximum a posteriori.
3.1 Probabilité, discrète et continue
Une variable aléatoire prend des valeurs avec des probabilités qui sont positives et qui somment ou s'intègrent à un. Une variable discrète a une fonction de masse, une variable continue une densité de probabilité :
\[\boxed{ \sum_x p(x) = 1 \qquad \int p(x)\, dx = 1, \quad p(x) \ge 0 }\]Pour une variable continue, la probabilité s'attache à des intervalles au moyen d'une intégrale, \(P(a \le X \le b) = \int_a^b p(x)\, dx\), et non à des points isolés.
3.2 Conjointe, conditionnelle et Bayes
Deux variables ont une distribution conjointe \(p(x, y)\). Sommer (ou intégrer) une variable donne la marginale, la règle de la somme, et la conjointe se factorise en une conditionnelle fois une marginale, la règle du produit :
\[\boxed{ p(x) = \sum_y p(x, y) \qquad p(x, y) = p(y \mid x)\, p(x) }\]En réarrangeant la règle du produit dans les deux sens on obtient la règle de Bayes, qui inverse une conditionnelle :
\[\boxed{ p(y \mid x) = \frac{p(x \mid y)\, p(y)}{p(x)} }\]Deux variables sont indépendantes quand la conjointe est le produit des marginales, \(p(x, y) = p(x)\, p(y)\).
3.3 Un peu de théorie de l'information
L'entropie d'une distribution mesure son incertitude, le nombre moyen de bits nécessaires pour décrire une issue :
\[\boxed{ H(X) = -\sum_x p(x)\log p(x) }\]
Pour une variable à deux issues, l'entropie est maximale en \(p = 0.5\), là où l'issue est la plus difficile à prévoir, et nulle quand une issue est certaine.
L'entropie croisée mesure le coût d'utiliser un modèle \(q\) quand la vérité est \(p\), et la divergence de Kullback-Leibler mesure à quelle distance \(q\) se trouve de \(p\) :
\[\boxed{ H(p, q) = -\sum_x p(x)\log q(x) \qquad D_{\mathrm{KL}}(p \,\|\, q) = \sum_x p(x)\log\frac{p(x)}{q(x)} \ge 0 }\]
Remarque : minimiser l'entropie croisée entre les vraies étiquettes et les prédictions d'un modèle revient à maximiser la vraisemblance de ces étiquettes. C'est pourquoi les réseaux de classification minimisent l'entropie croisée, un fil repris dans les modules suivants.
3.4 Théorie de la décision bayésienne
Pour classer une entrée \(x\), la règle bayésienne utilise l'a posteriori sur les classes. Sous la perte 0-1, la décision qui minimise la perte espérée est simplement la classe la plus probable, et comme l'a posteriori est proportionnel à la densité conditionnelle de classe fois l'a priori, on peut la calculer des deux façons :
\[\boxed{ \hat{y} = \arg\max_y \; p(y \mid x) = \arg\max_y \; p(x \mid y)\, p(y) }\]
Chaque classe apporte sa densité mise à l'échelle par son a priori, et la frontière de décision tombe là où les deux sont égales. De chaque côté, la classe au plus grand a posteriori l'emporte.
Remarque : c'est le classifieur optimal, appelé classifieur de Bayes. Chaque méthode plus loin dans le cours est, en pratique, une tentative d'approcher ces a posteriori à partir des données.
3.5 Maximum de vraisemblance et maximum a posteriori
On connaît rarement la vraie distribution, on estime donc ses paramètres \(\theta\) à partir des données. Le maximum de vraisemblance choisit le \(\theta\) qui rend les données observées les plus probables, maximisé en général comme une somme de log-vraisemblances sur les \(m\) exemples :
\[\boxed{ \theta_{\mathrm{MV}} = \arg\max_\theta \sum_{i=1}^{m} \log p(x^{(i)} \mid \theta) }\]En apprentissage supervisé le modèle paramètre la conditionnelle \(p(y \mid x; \theta)\), le même principe s'applique donc à la vraisemblance conditionnelle des cibles :
\[\boxed{ \ell(\theta) = \sum_{i=1}^{m} \log p\!\left(y^{(i)} \mid x^{(i)}; \theta\right) }\]Maximiser \(\ell\) revient à minimiser le coût \(J(\theta) = -\ell(\theta)\) : la vue par la vraisemblance et la vue par minimisation du coût de Concepts généraux sont deux faces d'un même objectif.
Le maximum a posteriori maximise plutôt l'a posteriori, qui multiplie la vraisemblance par un a priori sur \(\theta\) :
\[\boxed{ \theta_{\mathrm{MAP}} = \arg\max_\theta \; p(D \mid \theta)\, p(\theta) }\]Remarque : le maximum a posteriori est le maximum de vraisemblance augmenté d'un a priori. Un a priori gaussien sur \(\theta\) devient une pénalité L2 et un a priori de Laplace une pénalité L1, ce qui est exactement la régularisation du module suivant. Avec beaucoup de données l'a priori s'efface et les deux estimateurs coïncident.
Le module suivant transforme ces principes en un premier modèle concret : la régression linéaire, où maximum de vraisemblance et maximum a posteriori aboutissent tous deux à des ajustements en forme close.
Suivant : Régression linéaire · Vue d'ensemble du cours