Chaque couche calcule une pré-activation $z^{[l]} = W^{[l]} a^{[l-1]} + b^{[l]}$ puis une activation $a^{[l]} = g^{[l]}(z^{[l]})$. Le choix de la non-linéarité $g^{[l]}$ est ce qui rend la profondeur utile. Cette leçon explique pourquoi une fonction $g$ non linéaire est nécessaire, passe en revue les familles sigmoïde, tanh et ReLU, présente la softmax utilisée en sortie et donne des conseils pratiques sur l'activation à choisir.

- Montrer qu'un empilement de couches purement linéaires se réduit à une seule application linéaire.

- Définir la sigmoïde et la tanh, dériver leurs dérivées et expliquer la saturation.

- Passer en revue la famille ReLU (ReLU, leaky ReLU, PReLU, ELU, GELU) et le problème des unités mortes.

- Définir la softmax et la placer en sortie plutôt que dans les couches cachées.

- Donner une règle empirique simple pour choisir une activation par couche.

Supposons que chaque activation soit l'identité, $g^{[l]}(z) = z$. Alors chaque couche se réduit à $a^{[l]} = W^{[l]} a^{[l-1]} + b^{[l]}$, et composer deux d'entre elles donne $W^{[2]}(W^{[1]} x + b^{[1]}) + b^{[2]} = (W^{[2]} W^{[1]}) x + (W^{[2]} b^{[1]} + b^{[2]})$. C'est de nouveau de la forme $W x + b$. Par récurrence, l'ensemble du réseau à $L$ couches se réduit à une seule application affine :

$$\boxed{ g^{[l]} = \text{identity} \;\Rightarrow\; \hat{y} = W' x + b' }$$

avec $W' = W^{[L]} \cdots W^{[1]}$ et $b'$ le biais accumulé. Peu importe le nombre de couches linéaires empilées, le modèle ne peut ajuster qu'une fonction linéaire, donc la profondeur supplémentaire n'apporte rien. Une fonction $g$ non linéaire entre les couches est précisément ce qui brise cet effondrement et permet au réseau de représenter des frontières de décision courbes et des régressions non linéaires.


La sigmoïde écrase n'importe quelle pré-activation réelle dans l'intervalle ouvert $(0, 1)$ :

$$\boxed{ \sigma(z) = \frac{1}{1 + e^{-z}} \in (0, 1) }$$

Sa dérivée admet la forme close pratique ci-dessous, qui réutilise la valeur avant $\sigma(z)$ déjà calculée :

$$\boxed{ \sigma'(z) = \sigma(z)\left(1 - \sigma(z)\right) }$$

La tangente hyperbolique est une sigmoïde remise à l'échelle et centrée en zéro, dont la sortie est dans $(-1, 1)$. Sa dérivée s'exprime elle aussi à partir de la valeur avant :

$$\boxed{ \tanh'(z) = 1 - \tanh(z)^2 }$$

*Remarque :* $\tanh$ est centrée en zéro alors que $\sigma$ ne l'est pas, si bien que $\tanh$ s'entraîne souvent un peu mieux comme activation cachée. Les deux sont reliées par $\tanh(z) = 2\sigma(2z) - 1$.

Les deux courbes s'aplatissent dans leurs queues. Pour de grandes valeurs de $|z|$, la sortie est proche d'une constante ($0$ ou $1$ pour $\sigma$, $\pm 1$ pour $\tanh$), donc la dérivée est proche de zéro : $\sigma'(z) \to 0$ et $\tanh'(z) \to 0$. Une unité située dans cette région plate est dite saturée, et elle ne transmet presque aucun gradient vers l'arrière. Lorsque de nombreux facteurs de ce type se multiplient à travers un empilement profond, le gradient tend vers zéro : c'est le problème de disparition du gradient revu dans [Initialisation et disparition du gradient](/fr/Deep%20Learning/07%20Initialization%20and%20vanishing%20gradients).


L'unité linéaire rectifiée conserve la partie positive de son entrée et annule le reste :

$$\boxed{ \text{ReLU}(z) = \max(0, z) }$$

Sa dérivée vaut $1$ pour $z > 0$ et $0$ pour $z < 0$ (non définie en $z = 0$, prise égale à $0$ ou $1$ par convention). ReLU ne sature pas du côté positif, elle y maintient donc un gradient sain, ce qui explique en grande partie pourquoi elle est devenue l'activation cachée par défaut. Le prix à payer est le problème des unités mortes : si la pré-activation d'une unité est toujours négative sur l'ensemble des données, son gradient est toujours nul et elle cesse complètement d'apprendre. Les variantes ci-dessous sacrifient un peu de simplicité pour adoucir cette défaillance ou lisser le point anguleux à l'origine.

| nom | formule | dérivée | meurt / sature ? |

| --- | --- | --- | --- |

| ReLU | $\max(0, z)$ | $1$ if $z>0$ else $0$ | peut mourir (gradient nul pour $z<0$) |

| Leaky ReLU | $\max(\alpha z, z)$, $\alpha \approx 0.01$ | $1$ if $z>0$ else $\alpha$ | meurt rarement (petite pente négative) |

| PReLU | $\max(\alpha z, z)$, $\alpha$ learned | $1$ if $z>0$ else $\alpha$ | meurt rarement ($\alpha$ appris par canal) |

| ELU | $z$ if $z>0$ else $\alpha(e^z - 1)$ | $1$ if $z>0$ else $\alpha e^z$ | sature doucement pour $z\to-\infty$ |

| GELU | $z\,\Phi(z)$, $\Phi$ the normal CDF | lisse, proche de $1$ pour de grands $z$ | lisse, pas de mort brutale |

*Remarque :* leaky ReLU et PReLU ajoutent une petite pente $\alpha$ du côté négatif afin qu'une unité ne soit jamais complètement éteinte. GELU pondère l'entrée par la probabilité $\Phi(z)$ qu'une loi normale standard soit inférieure à $z$, ce qui donne une courbe lisse se comportant comme ReLU pour de grandes valeurs de $|z|$. C'est le choix standard à l'intérieur des Transformers.

Pour une classification à $K$ classes, la couche finale produit un vecteur $z \in \mathbb{R}^K$ de scores, et la softmax le transforme en une distribution de probabilité sur les classes :

$$\boxed{ \text{softmax}(z)_k = \frac{e^{z_k}}{\sum_{j=1}^{K} e^{z_j}} }$$

Chaque composante appartient à $(0, 1)$ et les composantes somment à $1$, si bien que $\text{softmax}(z)_k$ se lit comme la probabilité prédite de la classe $k$. Le plus grand score devient la classe la plus probable.

*Remarque :* la softmax a sa place dans la couche de sortie, pas dans une couche cachée. Elle couple chaque unité par le dénominateur partagé (une normalisation sur tout le vecteur), ce qui est exactement ce dont une sortie probabiliste a besoin mais ne constitue pas une non-linéarité cachée utile par unité. Pour une sortie unique ($K = 1$ contre son complément), la softmax se réduit à la sigmoïde. L'association de la softmax avec sa fonction de perte fait l'objet de [Fonctions de perte et couches de sortie](/fr/Deep%20Learning/04%20Loss%20functions%20and%20output%20layers).

Un bon choix par défaut : utiliser ReLU ou GELU dans les couches cachées, et choisir l'activation de sortie selon la tâche. Le schéma et le tableau ci-dessous résument la décision.


| couche / tâche | activation recommandée | raison |

| --- | --- | --- |

| cachée (par défaut) | ReLU ou GELU | pas de saturation du côté positif, peu coûteuse, entraînement rapide |

| cachée (unités mortes) | leaky ReLU ou ELU | conserve un gradient non nul pour $z < 0$ |

| sortie, régression | identité (aucune) | la prédiction est une valeur réelle non bornée |

| sortie, binaire | sigmoïde | transforme le score en une probabilité dans $(0, 1)$ |

| sortie, multiclasse | softmax | transforme les scores en une distribution sur les classes |

*Remarque :* la sigmoïde et la tanh sont aujourd'hui rarement utilisées comme activations cachées dans les réseaux profonds à propagation avant, précisément à cause de la saturation vue à la Section 3.2.3. Elles subsistent en sortie (sigmoïde) et à l'intérieur des unités récurrentes à portes, où leur plage bornée est justement recherchée.

---

Suivant : [Fonctions de perte et couches de sortie](/fr/Deep%20Learning/04%20Loss%20functions%20and%20output%20layers) · [Vue d'ensemble du cours](/fr/Deep%20Learning)