VersoML Learn
Changelog
Documentation
Toggle dark mode
Login
Home
A - Z
Page Index
en
Deep Learning
01 Introduction
02 Activation functions
03 Optimization
04 Training deep networks
05 Convolutional networks
06 Embeddings and representation learning
07 Recurrent networks
08 LSTM and GRU
09 Attention
10 Transformers
Machine Learning
01 Introduction
02 General concepts
03 Probabilistic formulation
04 Linear regression
05 Linear classification
06 Multilayer neural networks
07 Decision trees and ensemble methods
Mathematics
01 Mathematical refresher
MLOps
01 Introduction
fr
Deep Learning
01 Introduction
02 Activation functions
03 Optimization
04 Training deep networks
05 Convolutional networks
06 Embeddings and representation learning
07 Recurrent networks
08 LSTM and GRU
09 Attention
10 Transformers
Machine Learning
01 Introduction
02 General concepts
03 Probabilistic formulation
04 Linear regression
05 Linear classification
06 Multilayer neural networks
07 Decision trees and ensemble methods
Mathematics
01 Mathematical refresher
MLOps
01 Introduction
An Otter Wiki
Page Index
Toggle page headings
E
en
Courses
Deep Learning
Syllabus
01 Introduction
1.1 The perceptron, recalled
1.2 Why one unit is not enough
1.3 From units to networks
1.4 Notation for this course
1.4.1 A single unit
1.4.2 A layer and a network
1.4.3 Symbol table
1.5 The multilayer perceptron, recalled
02 Activation functions
2.1 Why nonlinearity is required
2.2 Sigmoid and tanh
2.2.1 Sigmoid
2.2.2 Tanh
2.2.3 Saturation
2.3 The vanishing gradient
2.4 The ReLU family
2.5 Softmax for multiclass outputs
2.6 Choosing an activation
03 Optimization
3.1 Gradient descent
3.1.1 Batch, mini-batch, stochastic
3.2 Momentum
3.2.1 Nesterov momentum
3.3 RMSProp
3.4 Adam
3.5 Learning-rate schedules
3.5.1 Step decay
3.5.2 Cosine decay
3.5.3 Warmup
3.6 Choosing an optimizer
3.7 Good practices
04 Training deep networks
4.1 Initialization
4.2 Normalization
4.3 Regularization and dropout
05 Convolutional networks
5.1 Why not a dense layer
5.2 The 2D convolution
5.2.1 Cross-correlation
5.2.2 The layer output
5.3 Stride, padding, and output size
5.4 Channels and feature maps
5.5 Pooling
5.6 A convolutional stage
5.7 From layers to architectures
06 Embeddings and representation learning
6.1 From one-hot to dense vectors
6.1.1 The one-hot representation
6.1.2 The embedding lookup
6.2 Learning word embeddings with word2vec
6.2.1 Skip-gram objective
6.2.2 Negative sampling
6.3 Measuring similarity
6.4 Embeddings beyond words
6.5 Embeddings as the input to sequence models
07 Recurrent networks
7.1 Why not an MLP or a CNN?
7.2 The vanilla RNN cell
7.2.1 Recurrence
7.2.2 Shared weights
7.3 Unrolling in time
7.4 Backpropagation through time
7.5 Vanishing and exploding gradients
08 LSTM and GRU
8.1 The gating idea
8.2 The LSTM cell
8.2.1 The three gates
8.2.2 Candidate and cell update
8.2.3 Hidden state
8.3 The GRU
8.3.1 Reset and update gates
8.3.2 Candidate and interpolated state
8.4 LSTM versus GRU
09 Attention
9.1 The seq2seq bottleneck
9.2 The attention mechanism
9.2.1 Alignment scores
9.2.2 Attention weights
9.2.3 Context vector
9.3 Score functions
9.3.1 Additive (Bahdanau) score
9.3.2 Multiplicative (Luong) score
9.3.3 Which to use
9.4 Query, key, value
10 Transformers
10.1 Self-attention and Q, K, V
10.2 Scaled dot-product attention
10.2.1 Why divide by \(\sqrt{d_k}\)
10.3 Multi-head attention
10.4 Positional encoding
10.5 The Transformer block
10.6 The encoder-decoder architecture
10.6.1 Variants
MLOps
Syllabus
01 Introduction
What is MLOps?
Why it matters
The ML lifecycle
Machine Learning
Syllabus
01 Introduction
1.1 Types of learning
1.2 The course notation
1.2.1 Training set
1.2.2 Hypothesis
1.2.3 Design matrix
1.3 Types of problems
02 General concepts
2.1 Supervised versus unsupervised learning
2.2 Minimizing a loss: polynomial regression
2.2.1 Loss function
2.2.2 Cost function
2.2.3 The running example: polynomial regression
2.3 Training performance versus generalization
2.3.1 Generalization error
2.3.2 Underfitting and overfitting
2.4 Regularization
2.5 Hyperparameters, validation, and cross-validation
2.5.1 Training, validation, and test sets
2.5.2 Cross-validation
2.5.3 Model and hyperparameter selection
2.6 Regression metrics: how far off, on average
2.7 Classification metrics: beyond a single error rate
2.8 Common validation pitfalls
2.9 The curse of dimensionality
03 Probabilistic formulation
3.1 Probability, discrete and continuous
3.2 Joint, conditional, and Bayes
3.3 A little information theory
3.4 Bayesian decision theory
3.5 Maximum likelihood and maximum a posteriori
04 Linear regression
4.1 The linear model
4.2 The problem to solve
4.3 Maximum likelihood: least squares justified
4.4 Maximum a posteriori: ridge regression
4.5 The lasso: a penalty that selects
4.6 Basis functions: nonlinear in \(x\), linear in \(w\)
4.7 Multiple outputs
4.8 Summary
05 Linear classification
5.1 The linear separator
5.2 Least squares as a classifier
5.3 The perceptron
5.3.1 The model: one neuron
5.3.2 The loss function: the perceptron criterion
5.3.3 Optimization: gradient descent
5.3.4 Multiclass perceptron
5.3.5 Convergence and limits
5.4 Logistic regression
5.4.1 The model: a smooth activation
5.4.2 The loss function: cross-entropy
5.4.3 Optimization: gradient descent
5.4.4 Multiclass: the softmax
5.5 Regularized classification
5.6 Summary
06 Multilayer neural networks
6.1 Linear versus nonlinear
6.2 Make logistic regression deep
6.2.1 Logistic regression as a network
6.2.2 Insert a hidden layer
6.2.3 How to make a prediction?
6.2.4 The formula on the graph
6.3 The loss function
6.4 How to optimize the parameters?
07 Decision trees and ensemble methods
7.1 Why a single model?
7.2 The bootstrap: averaging away variance
7.3 Bagging
7.4 Boosting: AdaBoost
7.4.1 The algorithm
7.4.2 Gradient boosting
7.5 Decision trees
7.5.1 From stumps to trees
7.5.2 Tree as a partition
7.5.3 Impurity and split selection
7.5.4 Regression trees
7.5.5 Pruning
7.6 Random forests
Mathematics
Syllabus
01 Mathematical refresher
1.1 Linear algebra
1.2 Expectation and variance
1.3 Covariance and the covariance matrix
1.4 The multivariate Gaussian
1.5 Likelihood, prior, posterior, and evidence
F
fr
Cours
Deep Learning
Programme
01 Introduction
1.1 Le perceptron, rappel
1.2 Pourquoi une seule unité ne suffit pas
1.3 Des unités aux réseaux
1.4 Notation pour ce cours
1.4.1 Une unité unique
1.4.2 Une couche et un réseau
1.4.3 Table des symboles
1.5 Le perceptron multicouche, rappel
02 Activation functions
2.1 Pourquoi la non-linéarité est nécessaire
2.2 Sigmoïde et tanh
2.2.1 Sigmoïde
2.2.2 Tanh
2.2.3 Saturation
2.3 La disparition du gradient
2.4 La famille ReLU
2.5 Softmax pour les sorties multiclasses
2.6 Choisir une activation
03 Optimization
3.1 Descente de gradient
3.1.1 Batch, mini-batch, stochastique
3.2 Momentum
3.2.1 Momentum de Nesterov
3.3 RMSProp
3.4 Adam
3.5 Plannings de taux d'apprentissage
3.5.1 Décroissance par paliers
3.5.2 Décroissance en cosinus
3.5.3 Warmup
3.6 Choisir un optimiseur
3.7 Les bonnes pratiques
04 Training deep networks
4.1 L'initialisation
4.2 La normalisation
4.3 La régularisation et le dropout
05 Convolutional networks
5.1 Pourquoi pas une couche dense
5.2 La convolution 2D
5.2.1 Corrélation croisée
5.2.2 La sortie de la couche
5.3 Pas, remplissage et taille de sortie
5.4 Canaux et cartes de caractéristiques
5.5 Pooling
5.6 Un étage convolutif
5.7 Des couches aux architectures
06 Embeddings and representation learning
6.1 Du one-hot aux vecteurs denses
6.1.1 La représentation one-hot
6.1.2 La recherche de plongement
6.2 Apprendre des plongements de mots avec word2vec
6.2.1 Objectif skip-gram
6.2.2 Échantillonnage négatif
6.3 Mesurer la similarité
6.4 Les plongements au-delà des mots
6.5 Les plongements comme entrée des modèles de séquences
07 Recurrent networks
7.1 Pourquoi pas un MLP ou un CNN ?
7.2 La cellule RNN de base
7.2.1 Récurrence
7.2.2 Poids partagés
7.3 Déroulement dans le temps
7.4 Rétropropagation à travers le temps
7.5 Évanouissement et explosion des gradients
08 LSTM and GRU
8.1 L'idée des portes
8.2 La cellule LSTM
8.2.1 Les trois portes
8.2.2 Candidat et mise à jour de la cellule
8.2.3 État caché
8.3 Le GRU
8.3.1 Portes de réinitialisation et de mise à jour
8.3.2 Candidat et état interpolé
8.4 LSTM contre GRU
09 Attention
9.1 Le goulot d'étranglement du seq2seq
9.2 Le mécanisme d'attention
9.2.1 Scores d'alignement
9.2.2 Poids d'attention
9.2.3 Vecteur de contexte
9.3 Fonctions de score
9.3.1 Score additif (Bahdanau)
9.3.2 Score multiplicatif (Luong)
9.3.3 Lequel utiliser
9.4 Requête, clé, valeur
10 Transformers
10.1 Auto-attention et Q, K, V
10.2 Attention par produit scalaire mis à l'échelle
10.2.1 Pourquoi diviser par \(\sqrt{d_k}\)
10.3 Attention multi-têtes
10.4 Encodage positionnel
10.5 Le bloc de Transformeur
10.6 L'architecture encodeur-décodeur
10.6.1 Variantes
MLOps
Programme
01 Introduction
Qu'est-ce que le MLOps ?
Pourquoi c'est important
Le cycle de vie du ML
Machine Learning
Programme
01 Introduction
1.1 Types d'apprentissage
1.2 La notation du cours
1.2.1 Ensemble d'entraînement
1.2.2 Hypothèse
1.2.3 Matrice de conception
1.3 Types de problèmes
02 General concepts
2.1 Apprentissage supervisé et non supervisé
2.2 Minimiser une perte : la régression polynomiale
2.2.1 Fonction de perte
2.2.2 Fonction de coût
2.2.3 L'exemple fil rouge : la régression polynomiale
2.3 Performance d'entraînement et généralisation
2.3.1 Erreur de généralisation
2.3.2 Sous-apprentissage et surapprentissage
2.4 Régularisation
2.5 Hyperparamètres, validation et validation croisée
2.5.1 Ensembles d'entraînement, de validation et de test
2.5.2 Validation croisée
2.5.3 Sélection du modèle et des hyperparamètres
2.6 Métriques de régression : de combien se trompe-t-on, en moyenne
2.7 Métriques de classification : au-delà d'un simple taux d'erreur
2.8 Pièges courants de la validation
2.9 La malédiction de la dimensionnalité
03 Probabilistic formulation
3.1 Probabilité, discrète et continue
3.2 Conjointe, conditionnelle et Bayes
3.3 Un peu de théorie de l'information
3.4 Théorie de la décision bayésienne
3.5 Maximum de vraisemblance et maximum a posteriori
04 Linear regression
4.1 Le modèle linéaire
4.2 Le problème à résoudre
4.3 Maximum de vraisemblance : les moindres carrés justifiés
4.4 Maximum a posteriori : la régression ridge
4.5 Le lasso : une pénalité qui sélectionne
4.6 Fonctions de base : non linéaire en \(x\), linéaire en \(w\)
4.7 Prédictions multiples
4.8 Résumé
05 Linear classification
5.1 Le séparateur linéaire
5.2 Les moindres carrés comme classifieur
5.3 Le perceptron
5.3.1 Le modèle : un neurone
5.3.2 La fonction de perte : le critère du perceptron
5.3.3 Optimisation : la descente de gradient
5.3.4 Perceptron multiclasse
5.3.5 Convergence et limites
5.4 La régression logistique
5.4.1 Le modèle : une activation lisse
5.4.2 La fonction de perte : l'entropie croisée
5.4.3 Optimisation : la descente de gradient
5.4.4 Multiclasse : la softmax
5.5 La classification régularisée
5.6 Résumé
06 Multilayer neural networks
6.1 Linéaire contre non linéaire
6.2 Rendre la régression logistique profonde
6.2.1 La régression logistique comme réseau
6.2.2 Insérer une couche cachée
6.2.3 Comment faire une prédiction ?
6.2.4 La formule sur le graphe
6.3 La fonction de perte
6.4 Comment optimiser les paramètres ?
07 Decision trees and ensemble methods
7.1 Pourquoi un seul modèle ?
7.2 Le bootstrap : moyenner la variance
7.3 Le bagging
7.4 Le boosting : AdaBoost
7.4.1 L'algorithme
7.4.2 Gradient boosting
7.5 Arbres de décision
7.5.1 Des souches aux arbres
7.5.2 L'arbre comme partition
7.5.3 Impureté et choix de la coupure
7.5.4 Arbres de régression
7.5.5 Élagage
7.6 Forêts aléatoires
Mathematics
Programme
01 Mathematical refresher
1.1 Algèbre linéaire
1.2 Espérance et variance
1.3 Covariance et matrice de covariance
1.4 La gaussienne multivariée
1.5 Vraisemblance, a priori, a posteriori et évidence
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9
Learn
