lbourdois/en-fr-nyu-dl-course-corpus huggingface dataset:
English: The training manifold is a single-dimensional object going in three dimensions. Where x∈X⊆Rn, the goal for autoencoder is to stretch down the curly line in one direction, where z∈Z⊆Rd. As a result, a point from the input layer will be transformed to a point in the latent layer. Now we have the correspondence between points in the input space and the points on the latent space but do not have the correspondence between regions of the input space and regions of the latent space. Afterwards, we will utilize the decoder to transform a point from the latent layer to generate a meaningful output layer.
French: La variété d’entraînement est un objet unidimensionnel allant à trois dimensions. Où x∈X⊆Rn, le but de l’auto-encodeur est d’étirer la ligne bouclée dans une direction, où z∈Z⊆Rd. En conséquence, un point de la couche d’entrée est transformé en un point de la couche latente. Nous avons maintenant la correspondance entre les points de l’espace d’entrée et les points de l’espace latent, mais pas la correspondance entre les régions de l’espace d’entrée et les régions de l’espace latent. Ensuite, nous utilisons le décodeur pour transformer un point de la couche latente afin de générer une couche de sortie significative.
English: Using 28×28 image, and a 30-dimensional hidden layer. The transformation routine would be going from 784→30→784. By applying hyperbolic tangent function to encoder and decoder routine, we are able to limit the output range to (−1,1). Mean Squared Error (MSE) loss will be used as the loss function of this model.
French: On utilise une image 28×28 et une couche cachée en 30 dimensions. La routine de transformation passe de 784→30→784. En appliquant la fonction tangente hyperbolique à la routine d’encodage et de décodage, nous sommes en mesure de limiter la plage de sortie à (−1,1). La perte d’erreur quadratique moyenne (MSE) est utilisée comme fonction de perte de ce modèle.
English: It is important to note that in spite of the fact that the dimension of the input layer is 28×28=784, a hidden layer with a dimension of 500 is still an over-complete layer because of the number of black pixels in the image. Below are examples of kernels used in the trained under-complete standard autoencoder. Clearly, the pixels in the region where the number exists indicate the detection of some sort of pattern, while the pixels outside of this region are basically random. This indicates that the standard autoencoder does not care about the pixels outside of the region where the number is.
French: Il est important de noter que malgré le fait que la dimension de la couche d’entrée est de 28×28=784 une couche cachée d’une dimension de 500 est toujours une couche sur-complète en raison du nombre de pixels noirs dans l’image. Nous pouvons voir ci-dessous des exemples de noyaux utilisés dans un auto-encodeur standard sous-complet entraîné. Il est clair que les pixels dans la région où le nombre existe indiquent la détection d’une sorte de motif, tandis que les pixels en dehors de cette région sont essentiellement aléatoires. Cela indique que l’auto-encodeur standard ne se soucie pas des pixels situés en dehors de la région où se trouve le nombre.
English: On the other hand, when the same data is fed to a denoising autoencoder where a dropout mask is applied to each image before fitting the model, something different happens. Every kernel that learns a pattern sets the pixels outside of the region where the number exists to some constant value. Because a dropout mask is applied to the images, the model now cares about the pixels outside of the number’s region.
French: D’autre part, lorsque les mêmes données sont transmises à un auto-encodeur débruiteur où un masque de dropout est appliqué à chaque image avant l’application du modèle, quelque chose de différent se produit. Chaque noyau qui apprend un modèle fixe les pixels en dehors de la région où le nombre existe à une certaine valeur constante. Comme un masque de dropout est appliqué aux images, le modèle se préoccupe maintenant des pixels situés en dehors de la région où le nombre existe.
English: In this section, we focused on the introduction of contrastive methods in Energy-Based Models in several aspects. First, we discuss the advantage brought by applying contrastive methods in self-supervised learning. Second, we discussed the architecture of denoising autoencoders and their weakness in image reconstruction tasks. We also talked about other contrastive methods, like contrastive divergence and persistent contrastive divergence.
French: Dans cette section, nous nous focalisons sur l’introduction des méthodes contrastives dans les modèles à base d’énergie (EBMs) sous plusieurs aspects. Tout d’abord, nous discutons de l’avantage apporté par l’application des méthodes contrastives dans l’apprentissage autosupervisé. Ensuite, nous discutons de l’architecture des auto-encodeurs débruiteurs et de leur faiblesse dans les tâches de reconstruction d’images. Nous évoquons également d’autres méthodes contrastives, comme la divergence contrastive et la divergence contrastive persistante.
English: In this section, we discussed regularized latent variable EBMs in detail covering concepts of conditional and unconditional versions of these models. We then discussed the algorithms of ISTA, FISTA and LISTA and look at examples of sparse coding and filters learned from convolutional sparse encoders. Finally we talked about Variational Auto-Encoders and the underlying concepts involved.
French: Dans cette section, nous discutons en détail des EBMs à variables latentes régularisées en couvrant les concepts de versions conditionnelles et inconditionnelles de ces modèles. Nous discutons ensuite des algorithmes ISTA, FISTA et LISTA. Nous examinons des exemples de codage épars et de filtres appris d’encodeurs convolutifs épars. Enfin, nous parlons des auto-encodeurs variationnels et des concepts sous-jacents impliqués.
English: In this section, we discussed a specific type of generative model called Variational Autoencoders and compared their functionalities and advantages over Classic Autoencoders. We explored the objective function of VAE in detail, understanding how it enforced some structure in the latent space. Finally, we implemented and trained a VAE on the MNIST dataset and used it to generate new samples.
French: Dans cette section, nous discutons d’un type spécifique de modèle génératif appelé auto-encodeurs variationnels (VAEs pour Variational Autoencoders) et comparons leurs fonctionnalités et avantages par rapport aux auto-encodeurs classiques. Nous explorons en détail la fonction objectif du VAE, en comprenant notamment comment elle impose une certaine structure dans l’espace latent. Enfin, nous mettons en œuvre et entraînons un VAE sur le jeu de données MNIST et l’utilisons pour générer de nouveaux échantillons.
English: 1. Contrastive Methods that push down the energy of training data points, F(xi​,yi​), while pushing up energy on everywhere else, F(xi​,y’).
French: 1. Les méthodes contrastives qui poussent vers le bas l’énergie des points des données d’entraînement, F(xi​,yi​), tout en poussant vers le haut l’énergie sur tous les autres points, F(xi​,y’).
English: To distinguish the characteristics of different training methods, Dr. Yann LeCun has further summarized 7 strategies of training from the two classes mention before. One of which is methods that are similar to Maximum Likelihood method, which push down the energy of data points and push up everywhere else.
French: Pour distinguer les caractéristiques des différentes méthodes d’entraînement, Yann a listé lors du cours précédent sept stratégies d’entraînement des deux classes mentionnées à l’instant. L’une d’entre elles est une méthode similaire à la méthode du maximum de vraisemblance, qui pousse l’énergie des points de données vers le bas et vers le haut partout ailleurs.
English: Maximum Likelihood method probabilistically pushes down energies at training data points and pushes everywhere else for every other value of y’≠yi. Maximum Likelihood doesn’t “care” about the absolute values of energies but only “cares” about the difference between energy. Because the probability distribution is always normalized to sum/integrate to 1, comparing the ratio between any two given data points is more useful than simply comparing absolute values.
French: La méthode du maximum de vraisemblance pousse de façon probabiliste les énergies vers le bas des points des données d’entraînement et vers le haut partout ailleurs pour chaque autre valeur de y’≠yi​. La méthode du maximum de vraisemblance ne se soucie pas des valeurs absolues des énergies, mais seulement de la différence entre les énergies. Comme la distribution des probabilités est toujours normalisée à 1, la comparaison du rapport entre deux points donnés est plus utile que la simple comparaison des valeurs absolues.
English: In contrastive methods, we push down on the energy of observed training data points (xi​, yi​), while pushing up on the energy of points outside of the training data manifold.
French: Dans les méthodes contrastives, nous poussons vers le bas l’énergie des points des données d’entraînement observés (xi​, yi​), tout en poussant vers le haut l’énergie des points en dehors de la variété des données d’entraînement.
English: In self-supervised learning, we use one part of the input to predict the other parts. We hope that our model can produce good features for computer vision that rival those from supervised tasks.
French: Dans l’apprentissage autosupervisé, nous utilisons une partie des données d’entrée pour prédire les autres parties. Nous espérons que notre modèle peut produire de bonnes caractéristiques pour la vision par ordinateur qui rivalisent avec celles des tâches supervisées.
English: Researchers have found empirically that applying contrastive embedding methods to self-supervised learning models can indeed have good performances which rival that of supervised models. We will explore some of these methods and their results below.
French: Les chercheurs ont constaté empiriquement que l’application de méthodes d’enchâssement contrastives (contrastive embedding methods) à des modèles d’apprentissage autosupervisé peut donner de bonnes performances rivalisant avec celles des modèles supervisés. Nous allons explorer certaines de ces méthodes et leurs résultats.
English: Conceptually, contrastive embedding methods take a convolutional network, and feed x and y through this network to obtain two feature vectors: h and h’. Because x and y have the same content (i.e. a positive pair), we want their feature vectors to be as similar as possible. As a result, we choose a similarity metric (such as cosine similarity) and a loss function that maximizes the similarity between h and h’. By doing this, we lower the energy for images on the training data manifold.
French: Conceptuellement, les méthodes d’enchâssement contrastives prennent un réseau convolutif et passent x et y à travers ce réseau pour obtenir deux vecteurs de caractéristiques : h et h’. Comme x et y ont le même contenu (une paire positive), nous voulons que leurs vecteurs de caractéristiques soient aussi similaires que possible. Par conséquent, nous choisissons une métrique de similarité (telle que la similarité cosinus) et une fonction de perte qui maximise la similarité entre h et h’. Ce faisant, nous réduisons l’énergie des images sur la variété des données d’entraînement.
English: However, we also have to push up on the energy of points outside this manifold. So we also generate negative samples (xneg​, yneg​), images with different content (different class labels, for example). We feed these to our network above, obtain feature vectors h and h’, and now try to minimize the similarity between them.
French: Cependant, nous devons également pousser l’énergie des points situés en dehors de cette variété. Ainsi, nous générons également des échantillons négatifs (xneg​, yneg​), des images au contenu différent (labels de classe différents par exemple). Nous les transmettons à notre réseau, obtenons les vecteurs de caractéristiques h et h’, et essayons de minimiser la similarité entre eux.
English: As seen in the figure above, MoCo and PIRL achieve SOTA results (especially for lower-capacity models, with a small number of parameters). PIRL is starting to approach the top-1 linear accuracy of supervised baselines (~75%).
French: Comme le montre la figure ci-dessus, les méthodes MoCo et PIRL obtiennent les résultats de l’état de l’art (en particulier pour les modèles de faible capacité, avec un petit nombre de paramètres). PIRL commence à se rapprocher du top 1 de la précision linéaire des baselines supervisées (environ 75%).
English: What PIRL does differently is that it doesn’t use the direct output of the convolutional feature extractor. It instead defines different heads F and g, which can be thought of as independent layers on top of the base convolutional feature extractor.
French: PIRL n’utilise pas la sortie directe de l’extracteur de caractéristiques du ConvNet. Il définit plutôt différentes têtes F et g, qui peuvent être considérées comme des couches indépendantes au-dessus de l’extracteur de caractéristiques.
English: In a mini-batch, we will have one positive (similar) pair and many negative (dissimilar) pairs. We then compute the similarity between the transformed image’s feature vector (It) and the rest of the feature vectors in the minibatch (one positive, the rest negative). We then compute the score of a softmax-like function on the positive pair. Maximizing a softmax score means minimizing the rest of the scores, which is exactly what we want for an energy-based model. The final loss function, therefore, allows us to build a model that pushes the energy down on similar pairs while pushing it up on dissimilar pairs.
French: Dans un mini-batch, nous avons une paire positive (similaire) et de nombreuses paires négatives (dissemblables). Nous calculons ensuite la similarité entre le vecteur caractéristique de l’image transformée (It) et le reste des vecteurs caractéristiques du mini-batch (un positif, le reste négatif). Nous calculons ensuite le score d’une fonction de type softmax sur la paire positive. Maximiser un score softmax signifie minimiser le reste des scores, ce qui est exactement ce que nous voulons pour un modèle à base d’énergie. La fonction de perte finale nous permet donc de construire un modèle qui pousse l’énergie vers le bas sur des paires similaires tout en la poussant vers le haut sur des paires dissemblables.
English: Dr. LeCun mentions that to make this work, it requires a large number of negative samples. In SGD, it can be difficult to consistently maintain a large number of these negative samples from mini-batches. Therefore, PIRL also uses a cached memory bank.
French: Yann mentionne que pour que cela fonctionne, il faut un grand nombre d’échantillons négatifs. Dans la SGD, il peut être difficile de maintenir de façon constante un grand nombre de ces échantillons négatifs à partir de mini-batchs. C’est pourquoi PIRL utilise également une banque mémoire en cache.
English: Why do we use cosine similarity instead of L2 Norm? With an L2 norm, it’s very easy to make two vectors similar by making them “short” (close to centre) or make two vectors dissimilar by making them very “long” (away from the centre). This is because the L2 norm is just a sum of squared partial differences between the vectors. Thus, using cosine similarity forces the system to find a good solution without “cheating” by making vectors short or long.
French: Pourquoi utilisons-nous la similarité cosinus au lieu de la norme L2 ? Avec une norme L2, il est très facile de rendre deux vecteurs similaires en les rendant « courts » (proches du centre) ou de rendre deux vecteurs dissemblables en les rendant très « longs » (éloignés du centre). En effet, la norme L2 n’est qu’une somme des carrés des différences partielles entre les vecteurs. Ainsi, l’utilisation de la similarité cosinus oblige le système à trouver une bonne solution sans « tricher » en rendant les vecteurs courts ou longs.
English: SimCLR shows better results than previous methods. In fact, it reaches the performance of supervised methods on ImageNet, with top-1 linear accuracy on ImageNet. The technique uses a sophisticated data augmentation method to generate similar pairs, and they train for a massive amount of time (with very, very large batch sizes) on TPUs. Dr. LeCun believes that SimCLR, to a certain extent, shows the limit of contrastive methods. There are many, many regions in a high-dimensional space where you need to push up the energy to make sure it’s actually higher than on the data manifold. As you increase the dimension of the representation, you need more and more negative samples to make sure the energy is higher in those places not on the manifold.
French: SimCLR donne de meilleurs résultats que les méthodes précédentes. En fait, avec un nombre de paramètres suffisants, elle atteint les performances des méthodes supervisées de la « top-1 linear accuracy » sur ImageNet. La technique utilise une méthode sophistiquée d’augmentation de données pour générer des paires similaires et l’entraînement est réalisé pendant un temps considérable (avec des batchs très très importants) sur des TPUs. Yann pense que SimCLR, dans une certaine mesure, montre la limite des méthodes contrastives. Il y a beaucoup beaucoup de régions dans un espace en grande dimension où il faut pousser l’énergie vers le haut pour s’assurer qu’elle est effectivement plus élevée que sur la surface de données. Au fur et à mesure que vous augmentez la dimension de la représentation, vous avez besoin de plus en plus d’échantillons négatifs pour vous assurer que l’énergie est plus élevée dans les endroits qui ne sont pas sur la surface.
English: In week 7’s practicum, we discussed denoising autoencoder. The model tends to learn the representation of the data by reconstructing corrupted input to the original input. More specifically, we train the system to produce an energy function that grows quadratically as the corrupted data move away from the data manifold.
French: Dans les travaux dirigés de la semaine 7, nous avons discuté de l’auto-encodeur débruiteur. Le modèle tend à apprendre la représentation des données en reconstruisant l’entrée corrompue à l’entrée originale. Plus précisément, nous entraînons le système à produire une fonction d’énergie qui croît quadratiquement à mesure que les données corrompues s’éloignent de la variétés des données.
English: However, there are several problems with denoising autoencoders. One problem is that in a high dimensional continuous space, there are uncountable ways to corrupt a piece of data. So there is no guarantee that we can shape the energy function by simply pushing up on lots of different locations. Another problem with the model is that it performs poorly when dealing with images due to the lack of latent variables. Since there are many ways to reconstruct the images, the system produces various predictions and doesn’t learn particularly good features. Besides, corrupted points in the middle of the manifold could be reconstructed to both sides. This will create flat spots in the energy function and affect the overall performance.
French: Cependant, l’auto-encodeur débruiteur pose plusieurs problèmes. L’un des problèmes est que dans un espace continu de grande dimension, il existe d’innombrables façons de corrompre une donnée. Il n’y a donc aucune garantie que nous puissions modeler la fonction d’énergie en poussant simplement sur un grand nombre d’endroits différents.
English: There are other contrastive methods such as contrastive divergence, Ratio Matching, Noise Contrastive Estimation, and Minimum Probability Flow. We will briefly discuss the basic idea of contrastive divergence.
French: Il existe d’autres méthodes contrastives telles que la divergence contrastive, le Ratio Matching, le Noise Contrastive Estimation ou encore le Minimum Probability Flow. Nous abordons brièvement l’idée de base de la divergence contrastive.
English: Contrastive divergence (CD) is another model that learns the representation by smartly corrupting the input sample. In a continuous space, we first pick a training sample y and lower its energy. For that sample, we use some sort of gradient-based process to move down on the energy surface with noise. If the input space is discrete, we can instead perturb the training sample randomly to modify the energy. If the energy we get is lower, we keep it. Otherwise, we discard it with some probability. Keep doing so will eventually lower the energy of y. We can then update the parameter of our energy function by comparing y and the contrasted sample yˉ​ with some loss function.
French: La divergence contrastive est un autre modèle qui apprend la représentation en corrompant intelligemment l’échantillon d’entrée. Dans un espace continu, nous choisissons d’abord un échantillon d’entraînement y et nous en diminuons l’énergie. Pour cet échantillon, nous utilisons une sorte de processus basé sur des gradients pour descendre sur la surface de l’énergie avec du bruit. Si l’espace d’entrée est discret, nous pouvons à la place perturber l’échantillon d’entraînement de manière aléatoire pour modifier l’énergie. Si l’énergie que nous obtenons est plus faible, nous la gardons. Sinon, nous la rejetons avec une certaine probabilité. Si nous continuons ainsi, nous finissons par diminuer l’énergie de y. Nous pouvons alors mettre à jour le paramètre de notre fonction d’énergie en comparant y et l’échantillon contrasté yˉ​ avec une certaine fonction de perte.
English: One of the refinements of contrastive divergence is persistent contrastive divergence. The system uses a bunch of “particles” and remembers their positions. These particles are moved down on the energy surface just like what we did in the regular CD. Eventually, they will find low energy places in our energy surface and will cause them to be pushed up. However, the system does not scale well as the dimensionality increases.
French: L’un des raffinements de la divergence contrastive est la divergence contrastive persistante. Le système utilise un groupe de « particules » et se souvient de leurs positions. Ces particules sont déplacées vers le bas sur la surface d’énergie, tout comme nous l’avons fait dans la divergence contrastive ordinaire. Finalement, elles trouvent des endroits à faible énergie dans notre surface énergétique et les font monter. Cependant, le système ne s’adapte pas bien à l’échelle car la dimensionnalité augmente.
English: Models with latent variables are capable of making a distribution of predictions y‾y​ conditioned on an observed input x and an additional latent variable z. Energy-based models can also contain latent variables:
French: Les modèles avec des variables latentes sont capables de faire une distribution de prédictions y‾y​ conditionnée par une entrée observée x et une variable latente supplémentaire z. Les modèles à base d’énergie peuvent également contenir des variables latentes :
English: Unfortunately, if the latent variable z has too much expressive power in producing the final prediction y‾y​, every true output y will be perfectly reconstructed from input x with an appropriately chosen z. This means that the energy function will be 0 everywhere, since the energy is optimized over both y and z during inference.
French: Malheureusement, si la variable latente z a une trop grande puissance expressive dans la production de la prédiction finale y‾y​, chaque sortie réelle y sera parfaitement reconstruite à partir de l’entrée x avec un z choisi de manière appropriée. Cela signifie que la fonction d’énergie sera partout égale à 0, puisque l’énergie est optimisée à la fois sur y et z pendant l’inférence.