Chaque couche calcule une pré-activation $z^{[l]} = W^{[l]} a^{[l-1]} + b^{[l]}$ puis une activation $a^{[l]} = g^{[l]}(z^{[l]})$. Le choix de la non-linéarité $g^{[l]}$ est ce qui rend la profondeur utile. Cette leçon explique pourquoi une fonction $g$ non linéaire est nécessaire, passe en revue les familles sigmoïde, tanh et ReLU, présente la softmax utilisée en sortie et donne des conseils pratiques sur l'activation à choisir.

Supposons que chaque activation soit l'identité, $g^{[l]}(z) = z$. Alors chaque couche se réduit à $a^{[l]} = W^{[l]} a^{[l-1]} + b^{[l]}$, et composer deux d'entre elles donne $W^{[2]}(W^{[1]} x + b^{[1]}) + b^{[2]} = (W^{[2]} W^{[1]}) x + (W^{[2]} b^{[1]} + b^{[2]})$. C'est de nouveau de la forme $W x + b$. Par récurrence, l'ensemble du réseau à $L$ couches se réduit à une seule application affine :

$$\boxed{ g^{[l]} = \text{identity} \;\Rightarrow\; \hat{y} = W' x + b' }$$

avec $W' = W^{[L]} \cdots W^{[1]}$ et $b'$ le biais accumulé. Peu importe le nombre de couches linéaires empilées, le modèle ne peut ajuster qu'une fonction linéaire, donc la profondeur supplémentaire n'apporte rien. Une fonction $g$ non linéaire entre les couches est précisément ce qui brise cet effondrement et permet au réseau de représenter des frontières de décision courbes et des régressions non linéaires.

La sigmoïde écrase n'importe quelle pré-activation réelle dans l'intervalle ouvert $(0, 1)$ :

$$\boxed{ \sigma(z) = \frac{1}{1 + e^{-z}} \in (0, 1) }$$

Sa dérivée admet la forme close pratique ci-dessous, qui réutilise la valeur avant $\sigma(z)$ déjà calculée :

$$\boxed{ \sigma'(z) = \sigma(z)\left(1 - \sigma(z)\right) }$$

La tangente hyperbolique est une sigmoïde remise à l'échelle et centrée en zéro, dont la sortie est dans $(-1, 1)$. Sa dérivée s'exprime elle aussi à partir de la valeur avant :

$$\boxed{ \tanh'(z) = 1 - \tanh(z)^2 }$$

*Remarque :* $\tanh$ est centrée en zéro alors que $\sigma$ ne l'est pas, si bien que $\tanh$ s'entraîne souvent un peu mieux comme activation cachée. Les deux sont reliées par $\tanh(z) = 2\sigma(2z) - 1$.

L'unité linéaire rectifiée conserve la partie positive de son entrée et annule le reste :

$$\boxed{ \text{ReLU}(z) = \max(0, z) }$$

Sa dérivée vaut $1$ pour $z > 0$ et $0$ pour $z < 0$ (non définie en $z = 0$, prise égale à $0$ ou $1$ par convention). ReLU ne sature pas du côté positif, elle y maintient donc un gradient sain, ce qui explique en grande partie pourquoi elle est devenue l'activation cachée par défaut. Le prix à payer est le problème des unités mortes : si la pré-activation d'une unité est toujours négative sur l'ensemble des données, son gradient est toujours nul et elle cesse complètement d'apprendre. Les variantes ci-dessous sacrifient un peu de simplicité pour adoucir cette défaillance ou lisser le point anguleux à l'origine.

| nom | formule | dérivée | meurt / sature ? |

| --- | --- | --- | --- |

| ReLU | $\max(0, z)$ | $1$ if $z>0$ else $0$ | peut mourir (gradient nul pour $z<0$) |

| Leaky ReLU | $\max(\alpha z, z)$, $\alpha \approx 0.01$ | $1$ if $z>0$ else $\alpha$ | meurt rarement (petite pente négative) |

| PReLU | $\max(\alpha z, z)$, $\alpha$ learned | $1$ if $z>0$ else $\alpha$ | meurt rarement ($\alpha$ appris par canal) |

| ELU | $z$ if $z>0$ else $\alpha(e^z - 1)$ | $1$ if $z>0$ else $\alpha e^z$ | sature doucement pour $z\to-\infty$ |

| GELU | $z\,\Phi(z)$, $\Phi$ the normal CDF | lisse, proche de $1$ pour de grands $z$ | lisse, pas de mort brutale |

*Remarque :* leaky ReLU et PReLU ajoutent une petite pente $\alpha$ du côté négatif afin qu'une unité ne soit jamais complètement éteinte. GELU pondère l'entrée par la probabilité $\Phi(z)$ qu'une loi normale standard soit inférieure à $z$, ce qui donne une courbe lisse se comportant comme ReLU pour de grandes valeurs de $|z|$. C'est le choix standard à l'intérieur des Transformers.

Pour une classification à $K$ classes, la couche finale produit un vecteur $z \in \mathbb{R}^K$ de scores, et la softmax le transforme en une distribution de probabilité sur les classes :

$$\boxed{ \text{softmax}(z)_k = \frac{e^{z_k}}{\sum_{j=1}^{K} e^{z_j}} }$$

Chaque composante appartient à $(0, 1)$ et les composantes somment à $1$, si bien que $\text{softmax}(z)_k$ se lit comme la probabilité prédite de la classe $k$. Le plus grand score devient la classe la plus probable.

Un bon choix par défaut : utiliser ReLU ou GELU dans les couches cachées, et choisir l'activation de sortie selon la tâche. Le schéma et le tableau ci-dessous résument la décision.

| couche / tâche | activation recommandée | raison |

| --- | --- | --- |

| cachée (par défaut) | ReLU ou GELU | pas de saturation du côté positif, peu coûteuse, entraînement rapide |

| cachée (unités mortes) | leaky ReLU ou ELU | conserve un gradient non nul pour $z < 0$ |

| sortie, régression | identité (aucune) | la prédiction est une valeur réelle non bornée |

| sortie, binaire | sigmoïde | transforme le score en une probabilité dans $(0, 1)$ |

| sortie, multiclasse | softmax | transforme les scores en une distribution sur les classes |

*Remarque :* la sigmoïde et la tanh sont aujourd'hui rarement utilisées comme activations cachées dans les réseaux profonds à propagation avant, précisément à cause de la saturation vue à la Section 3.2.3. Elles subsistent en sortie (sigmoïde) et à l'intérieur des unités récurrentes à portes, où leur plage bornée est justement recherchée.

---