Minimiser le critère introduit l'outil de base de tout ce qui, dans ce cours, n'a pas de forme close, la descente de gradient : avancer les paramètres à répétition à l'opposé du gradient de la perte, mis à l'échelle par un taux d'apprentissage $\alpha > 0$ :

$$\boxed{\,w \leftarrow w - \alpha\,\nabla_w E(w)\,}$$

<details class="proof">

<summary>Preuve : le maximum de vraisemblance donne l'entropie croisée</summary>

Le modèle dit que chaque étiquette est un tirage de Bernoulli de probabilité de succès $\hat{y}^{(i)} = \sigma(w^T x^{(i)})$, et les deux cas se replient en une seule expression :

$$p(y^{(i)} \mid x^{(i)}; w) = \left(\hat{y}^{(i)}\right)^{y^{(i)}}\left(1 - \hat{y}^{(i)}\right)^{1 - y^{(i)}}$$

puisque $y^{(i)} \in \{0, 1\}$ sélectionne le facteur : l'expression vaut $\hat{y}^{(i)}$ quand $y^{(i)} = 1$ et $1 - \hat{y}^{(i)}$ quand $y^{(i)} = 0$. Les exemples sont i.i.d., la vraisemblance de l'ensemble d'entraînement se factorise donc, comme dans la [Régression linéaire](/fr/Machine%20Learning/04%20Linear%20regression) :

$$p(y \mid X; w) = \prod_{i=1}^{m} \left(\hat{y}^{(i)}\right)^{y^{(i)}}\left(1 - \hat{y}^{(i)}\right)^{1 - y^{(i)}}$$

Le logarithme préserve l'argmax, transforme le produit en somme et fait descendre les exposants :

$$\ell(w) = \sum_{i=1}^{m}\left[ y^{(i)}\log \hat{y}^{(i)} + (1 - y^{(i)})\log(1 - \hat{y}^{(i)}) \right]$$

Maximiser $\ell$ revient à minimiser $-\ell$, qui est exactement $L(w)$. L'entropie croisée est l'opposé de la log-vraisemblance de Bernoulli, le même principe d'estimation qui faisait des moindres carrés la réponse sous bruit gaussien. $\blacksquare$

</details>

<details class="proof">

<summary>Preuve : le gradient se réduit au résidu fois l'entrée</summary>

Notons le score $z^{(i)} = w^T x^{(i)}$, de sorte que $\hat{y}^{(i)} = \sigma(z^{(i)})$. La dérivation repose sur une seule identité, la sigmoïde qui se dérive en elle-même :

puisque $\tfrac{e^{-z}}{1 + e^{-z}} = 1 - \sigma(z)$. Prenons maintenant la perte d'un seul exemple, $L^{(i)} = -\left[y^{(i)}\log \hat{y}^{(i)} + (1 - y^{(i)})\log(1 - \hat{y}^{(i)})\right]$, et suivons la règle de dérivation en chaîne à travers ses trois étages, de la perte à la sortie, de la sortie au score, du score au poids :

$$\frac{\partial L^{(i)}}{\partial \hat{y}^{(i)}} = -\frac{y^{(i)}}{\hat{y}^{(i)}} + \frac{1 - y^{(i)}}{1 - \hat{y}^{(i)}} = \frac{\hat{y}^{(i)} - y^{(i)}}{\hat{y}^{(i)}\left(1 - \hat{y}^{(i)}\right)}, \qquad \frac{\partial \hat{y}^{(i)}}{\partial z^{(i)}} = \hat{y}^{(i)}\left(1 - \hat{y}^{(i)}\right), \qquad \frac{\partial z^{(i)}}{\partial w_j} = x_j^{(i)}$$

(la première égalité met les deux fractions au dénominateur commun $\hat{y}^{(i)}(1 - \hat{y}^{(i)})$, et la deuxième est l'identité de la sigmoïde ci-dessus). En multipliant les trois, le dénominateur du premier facteur est exactement le deuxième facteur, et tout se simplifie :

$$\frac{\partial L^{(i)}}{\partial w_j} = \frac{\hat{y}^{(i)} - y^{(i)}}{\hat{y}^{(i)}\left(1 - \hat{y}^{(i)}\right)} \cdot \hat{y}^{(i)}\left(1 - \hat{y}^{(i)}\right) \cdot x_j^{(i)} = \left(\hat{y}^{(i)} - y^{(i)}\right) x_j^{(i)}$$

Sommer sur l'ensemble d'entraînement donne $\partial L / \partial w_j = \sum_{i=1}^{m} (\hat{y}^{(i)} - y^{(i)})\, x_j^{(i)}$, et brancher ce gradient dans la règle de descente $w \leftarrow w - \alpha\, \nabla_w L$ est la mise à jour encadrée. $\blacksquare$

</details>

*Remarque :* contrairement au perceptron, le gradient fait intervenir chaque point d'entraînement, pas seulement les mal classés : chaque point tire proportionnellement à son résidu $\hat{y}^{(i)} - y^{(i)}$. C'est ce qui rend la régression logistique plus stable que le perceptron et utilisable sur des données non séparables.

Pour $k$ classes, la sigmoïde se généralise en la softmax : un vecteur de poids $w_c$, donc un score, par classe, des exponentielles qui rendent les scores positifs, et une normalisation qui en fait une distribution. En notant $\hat{y}_c$ la probabilité prédite de la classe $c$, comme $\hat{y}$ était la probabilité de la classe positive ci-dessus :

$$\boxed{ \hat{y}_c = p(y = c \mid x; w) = \frac{\exp(w_c^T x)}{\sum_{j=1}^{k}\exp(w_j^T x)} }$$

<summary>Preuve : la softmax à k = 2 est la sigmoïde</summary>

Avec deux classes, la softmax note l'entrée deux fois, $w_1$ pour la classe positive et $w_0$ pour la classe négative :

$$p(y = 1 \mid x; w) = \frac{e^{w_1^T x}}{e^{w_1^T x} + e^{w_0^T x}}$$

</details>

Rien ne fixe l'échelle de $w$ : le doubler ne déplace aucune frontière du perceptron et ne fait qu'affûter les probabilités de la régression logistique, et des vecteurs de poids différents peuvent produire des scores identiques. La recette du maximum a posteriori de la [Régression linéaire](/fr/Machine%20Learning/04%20Linear%20regression) s'applique telle quelle, en ajoutant une pénalité à la perte minimisée, quelle qu'elle soit :

$$\boxed{ J_\lambda(w) = \sum_{i=1}^{m} L\!\left(h_w(x^{(i)}),\,y^{(i)}\right) + \lambda\,\Omega(w), \qquad \Omega(w) = \lVert w \rVert_2^2 \ \text{ou} \ \lVert w \rVert_1 }$$

Pour l'entropie croisée avec la pénalité L2, le gradient gagne simplement une traction vers zéro, $\sum_i (\hat{y}^{(i)} - y^{(i)})\,x^{(i)} + 2\lambda w$.

| --- | --- |

| Hypothèse sur les données | classes de forme gaussienne |

| Activation | identité pour entraîner (régression sur des cibles $\pm 1$), puis $\mathrm{sign}(w^T x)$ pour prédire |

| Perte | erreur quadratique $\sum_{i=1}^{m}\left(w^T x^{(i)} - y^{(i)}\right)^2$ |

| Ajustement | forme close $w = (X^T X)^{-1}X^T y$, aucune itération |

| Multiclasse | lignes one-hot de $Y$, $W = (X^T X)^{-1}X^T Y$, prédire $\arg\max_k\,(W^T x)_k$ |

| --- | --- |

| Hypothèse sur les données | aucune |

| Activation | échelon, $h_w(x) = \mathrm{sign}(w^T x)$, $y \in \{-1, +1\}$ |

| Perte | critère du perceptron $E(w) = -\sum_{i \in \mathcal{M}} y^{(i)}\, w^T x^{(i)}$, points mal classés seulement |

| Gradient | $\nabla_w E = -\sum_{i \in \mathcal{M}} y^{(i)} x^{(i)}$ |

| Mise à jour | $w \leftarrow w + \alpha\, y^{(i)} x^{(i)}$ sur une erreur, rien sinon |

| Multiclasse | $\hat{y} = \arg\max_c\, w_c^T x$, puis $w_{y} \mathrel{+}= \alpha x$ et $w_{\hat{y}} \mathrel{-}= \alpha x$ |

| Convergence | finie si les données sont séparables, oscille sinon |

**La régression logistique**, probabiliste et sans hypothèse :

| | Formule |

| --- | --- |

| Hypothèse sur les données | aucune |

| Activation | sigmoïde, $\hat{y} = \sigma(w^T x) = \tfrac{1}{1 + e^{-w^T x}}$, une probabilité, $y \in \{0, 1\}$ |

| Perte | entropie croisée $L(w) = -\sum_{i=1}^{m}\left[ y^{(i)}\log \hat{y}^{(i)} + (1 - y^{(i)})\log(1 - \hat{y}^{(i)}) \right]$ |

| Gradient | $\nabla_{w_j} L = \sum_{i=1}^{m}\left(\hat{y}^{(i)} - y^{(i)}\right)x_j^{(i)}$, chaque point tire selon son résidu |

| Mise à jour | $w_j \leftarrow w_j - \alpha \sum_{i=1}^{m}\left(\hat{y}^{(i)} - y^{(i)}\right)x_j^{(i)}$ |

| Multiclasse | softmax $\hat{y}_c = \tfrac{\exp(w_c^T x)}{\sum_{j}\exp(w_j^T x)}$ et l'entropie croisée catégorielle |

*Remarque :* lues côte à côte, la mise à jour du perceptron (dans son codage $\{0, 1\}$) et celle de la régression logistique sont la même formule, le résidu fois l'entrée, et seule l'activation change (l'échelon pour le perceptron, la sigmoïde pour la régression logistique, et l'identité de la régression linéaire complète la famille). Le cours de Deep Learning reprend précisément ce fil, en empilant de telles unités en couches. Une perte manque volontairement à ce menu, la charnière $\max(0,\,1 - y\,w^T x)$, qui pénalise les petites marges autant que les erreurs : elle appartient à la [SVM](/fr/Machine%20Learning/07%20Support%20Vector%20Machines).