Deep Learning
Les réseaux de neurones, du simple perceptron aux transformeurs modernes : comment la profondeur, les bonnes fonctions d'activation et l'entraînement par gradient permettent à un modèle d'apprendre ses propres caractéristiques au lieu de les concevoir à la main.
Prérequis : le cours Machine Learning (en particulier le perceptron dans Classification linéaire), Python de base, calcul différentiel et algèbre linéaire.
Programme
- Introduction
- Perceptron multicouche
- Fonctions d'activation
- Fonctions de perte et couches de sortie
- Rétropropagation
- Optimisation
- Initialisation et disparition du gradient
- Normalisation
- Régularisation et dropout
- Réseaux convolutifs
- Architectures de CNN
- Plongements et apprentissage de représentations
- Réseaux récurrents
- LSTM et GRU
- Attention
- Transformeurs
- Le deep learning en pratique