lbourdois/en-fr-nyu-dl-course-corpus huggingface dataset:
English: For evaluation, a subset of the Imagenet dataset (1.3 million images over 1000 categories) without labels is used to pre-train a randomly initialized Resnet-50 model.
French: Pour l’évaluation, un sous-ensemble d’ImageNet (1,3 million d’images dans 1000 catégories) non étiqueté est utilisé pour pré-entraîner un modèle Resnet-50 initialisé de manière aléatoire.
English: An image i and its augmentation ItIt is passed through the network and the contrastive learning loss is applied in such a way that the network becomes invariant to the pretext task. The aim is to achieve high similarity for image and patch features belonging to the same image. And low similarity for features from other random images. The pretext task of PIRL tries to achieve invariance over data augmentations rather than predicting the data augmentation.
French: Une image i et son augmentation ItIt sont passées à travers le réseau et la perte d’apprentissage contrastive est appliquée de manière à ce que le réseau devienne invariant à la tâche de prétexte. L’objectif est d’obtenir une similarité élevée pour les caractéristiques de l’image et du patch appartenant à la même image ainsi qu’une faible similarité pour les caractéristiques provenant d’autres images aléatoires. La tâche prétexte de PIRL essaie d’obtenir une invariance sur les augmentations de données plutôt que de prédire l’augmentation des données.
English: 1. Crops of an image: Contrastive Predictive Coding (CPC) based models use patches from one image that are close-by as positives (related) and patches that are far-away from each other as negatives (unrelated).
French: 1. Patchs d’une image : les modèles basés sur le codage prédictif contrastif (CPC, Contrastive Predictive Coding en anglais) utilisent les zones d’une image qui sont proches les unes des autres comme positives (liées) et les zones qui sont éloignées les unes des autres comme négatives (non liées).
English: 2. Crops across images: Patches from within one image are considered related and patches from 2 different images are considered unrelated. Used in MoCo and SimCLR
French: 2. Patchs d’images : les patchs d’une même image sont considérés comme apparentés et les patchs de 2 images différentes sont considérés comme non apparentés. Utilisé dans MoCo et SimCLR
English: 4. Multimodal - Video and Audio: Video sequences along with their corresponding audio are related. Video sequences from one video and audio from another are unrelated.
French: 4. Multimodal - Vidéo et audio : les séquences vidéo et les séquences audio correspondantes sont liées. Les séquences vidéo d’une vidéo et les séquences audio d’une autre vidéo ne sont pas liées.
English: 5. Video Object Tracking: An object is tracked through multiple frames in a video. Detection patches from the same video are related. Detection patches from different videos are unrelated.
French: 5. Pistage (tracking) d’objets vidéo : un objet est suivi à travers plusieurs images d’une vidéo. Les zones de détection d’une même vidéo sont liées. Les patchs de détection de différentes vidéos ne sont pas liés.
English: The objective function of Contrastive Learning is designed to prevent trivial solutions. The aim of the function is to make sure the distance between positive embedding pairs are smaller than the distance between negative embedding pairs. Hence, a trivial solution, where a constant distance is assigned to all embedding pairs, is impossible to attain through a minimization process on the given objective function. However, research has shown that good negative pairs are crucial for Contrastive Learning to work well.
French: La fonction objectif de l’apprentissage contrastif est conçue pour éviter les solutions triviales. L’objectif de la fonction est de s’assurer que la distance entre les paires d’enchâssements positives est inférieure à la distance entre les paires d’enchâssements négatives. Par conséquent, une solution triviale où une distance constante est attribuée à toutes les paires d’enchâssements est impossible à atteindre par un processus de minimisation de la fonction objective donnée. Cependant, les recherches ont montré que de bonnes paires négatives sont cruciales pour que l’apprentissage contrastif fonctionne bien.
English: In SimCLR, Simple Framework for Contrastive Learning of Visual Representations, two correlated views of an image are created using augmentations like random cropping, resize, color distortions and Gaussian blur. A base encoder is used along with a projection head to obtain representations that are used to perform contrastive learning.
French: Dans SimCLR, deux vues corrélées d’une image sont créées en utilisant des augmentations telles que des patchs aléatoire, le redimensionnement, les distorsions de couleur et le flou gaussien. Un encodeur de base est utilisé avec une tête de projection pour obtenir des représentations qui sont utilisées pour effectuer un apprentissage contrastif.
English: It utilizes a large batch size to generate negative samples. The batch can be spread across multiple GPUs independently. Images from one GPU could be considered as negatives for those from another GPU.
French: Il utilise une grande taille de batch pour générer des échantillons négatifs. Le batch peut être réparti sur plusieurs GPUs de manière indépendante. Les images d’un GPU peuvent être considérées comme négatives pour celles d’un autre GPU.
English: A Memory bank can be used to maintain a momentum of activations across all features. With each forward pass of an image, the memory bank features are updated using the new embeddings. These memory bank features can then be used as negatives for contrastive loss.
French: Une banque mémoire peut être utilisée pour maintenir un momentum d’activations sur toutes les caractéristiques. À chaque passage en avant d’une image, les caractéristiques de la banque mémoire sont mises à jour en utilisant les nouveaux enchâssements. Les caractéristiques de la banque mémoire peuvent ensuite être utilisées comme négatives pour la perte contrastive.
English: MoCo, or, Momentum Contrast, is a contrastive method that utilizes a memory bank to maintain a momentum of activations. It works by using 2 encoders. The fθ encoder is the encoder that needs to be learnt. fθEMA​​ encoder maintains an exponential moving average of fθ​.
French: MoCo est une méthode contrastive qui utilise une banque mémoire pour maintenir un momentum d’activations. Elle fonctionne en utilisant 2 encodeurs. L’encodeur fθ est l’encodeur qui doit être appris. L’encodeur fθEMA​​ maintient une moyenne mobile exponentielle de fθ​.
English: During Forward Pass, each sample is forwarded through both encoders. Some of the embeddings from fθEMA​​ are kept aside for use as negative embeddings. For the algorithm, original embeddings comes from fθ​, positive embeddings from fθEMA​​ and negative embeddings come from the set of stored embeddings.
French: Pendant la passe avant, chaque échantillon est passé à travers les deux encodeurs. Certains des enchâssements de fθEMA​​ sont gardés de côté pour être utilisés comme enchâssements négatifs. Pour l’algorithme, les enchâssements originales proviennent de fθ​, les enchâssements positives de fθEMA​​ et les enchâssements négatives proviennent de l’ensemble des enchâssements stockées.
English: In Constrastive Learning, each sample has corresponding positives and negatives, and the aim of the learning task is to try and bring together positive embeddings, while pushing apart negative embeddings. Essentially we are creating groups within the feature space.
French: Dans l’apprentissage constrastif, chaque échantillon comporte des éléments positifs et négatifs correspondants. Le but de la tâche d’apprentissage est d’essayer de rassembler les enchâssemnts positifs tout en repoussant les enchâssemnts négatifs. Nous créons donc essentiellement des groupes dans l’espace des caractéristiques.
English: The SwAV (Swapping Assignments between Views) algorithm is an online clustering method. The idea here is to maximize the similarity of a given image i and augmentation of that image augment(I) and, in doing so, ensure they belong to the same cluster.
French: L’algorithme SwAV (Swapping Assignments between Views) est une méthode de clustering en ligne. L’idée ici est de maximiser la similarité d’une image donnée i et de l’augmentation de cette image augment(I) et, ce faisant, de s’assurer qu’elles appartiennent au même cluster.
English: Samples and their augmentations are represented by different shades of the same color. The similarity of each sample’s embedding with each of the prototypes (cluster-centers) is computed. The sample is then assigned to the prototype with the highest similarity. The aim of the network is to assign an image and its augmentation to the same prototype.
French: Les échantillons et leurs augmentations sont représentés par différentes nuances de la même couleur. La similarité de l’enchâssement de chaque échantillon avec chacun des prototypes (centres des clusters) est calculée. L’échantillon est alors assigné au prototype ayant la plus grande similarité. L’objectif du réseau est d’affecter une image et son augmentation au même prototype.
English: Given n samples and k partitions, each cluster is allowed to have a maximum of n/k samples. Embeddings are equally partitioned and this prevents the single cluster trivial solution. Optimal-transport based clustering methods such as the Sinkhorn-Knopp algorithm inherently guarantees the constraint.
French: Étant donné N échantillons et kk partitions, chaque cluster est autorisé à avoir un maximum de n/k échantillons. Les enchâssements sont partitionnés de manière égale ce qui empêche la solution triviale du cluster unique. Les méthodes de clustering basées sur le transport optimal, comme l’algorithme de Sinkhorn-Knopp, garantissent intrinsèquement la contrainte.
English: 1. In soft assignment, a sample belongs to all prototypes with some proportion of each, such that they all sum up to 1.0. The composition values can be treated as a code that indicates how each embedding is encoded in the ‘prototype’ space.
French: 1. Dans l’affectation douce, un échantillon appartient à tous les prototypes avec une certaine proportion de chacun d’entre eux, de sorte que leur somme soit égale à 1. Les valeurs de composition peuvent être traitées comme un code qui indique comment chaque enchâssement est codé dans l’espace prototype.
English: Soft assignment solves this problem by representing a lot more classes (logically) than hard assignment. It gives a richer representation and is less sensitive to k (number of classes) and hence k/n. However, if hard assignment is used, the class imbalance and the fixed value of n/k will create inaccuracies.
French: L’affectation douce résout ce problème en représentant beaucoup plus de classes que l’affectation dure. Elle donne une représentation plus riche et est moins sensible à k (nombre de classes) et donc à k/n. Cependant, si l’affectation dure est utilisée, le déséquilibre des classes et la valeur fixe de n/k créeront des imprécisions.
English: 2 crops from an image are passed through the network to compute the corresponding codes. The 2nd2nd code is then predicted from the 1st embedding and vice versa. This task forces the network to become invariant to data augmentations. Gradients are backpropagated onto the prototypes as well. Hence this model is updated in an online manner.
French: Deux patchs d’une image sont passés par le réseau pour calculer les codes correspondants. Le code 22 est alors prédit à partir de l’enchâsement 1 et vice versa. Cette tâche force le réseau à devenir invariant aux augmentations de données. Les gradients sont également rétropropagés sur les prototypes. Ce modèle est donc mis à jour en ligne.
English: Consider the above image. One crop has a refrigerator and the other crop could be that of a table/chair. The algorithm would try to create similar embeddings for both of them, because they belong to the same image. This is not what we expect from the training process.
French: Considérons l’image ci-dessus. Un patch présente un réfrigérateur et l’autre pourrait être celui d’une table/chaise. L’algorithme essaie de créer des enchâssements similaires pour les deux car ils appartiennent à la même image. Ce n’est pas ce que nous attendons du processus d’entraînement.
English: Real world data has very different distributions. They may sometimes even be cartoon images or memes, and there is no guarantee that an image will contain a single (or sometimes, any) prominent object.
French: Les données du monde réel ont des distributions très différentes. Il peut même s’agir d’images de dessins animés ou de memes et rien ne garantit qu’une image contiendra un seul (ou parfois, n’importe quel) objet proéminent.
English: Compared to Imagenet dataset, real world images may have different distributions (cartoons, memes) and may or may not have a prominent object. In order to verify if the models work well on images outside of Imagenet dataset we decided to test Swav method on large scale data. SEER is Swav method tested on billions of unfiltered images.
French: Par rapport au jeu de données Imagenet, les images du monde réel peuvent avoir des distributions différentes (dessins animés, memes) et avoir ou non un objet proéminent. Afin de vérifier si les modèles fonctionnent bien sur des images en dehors de la base de données Imagenet, les auteurs de SEER ont décidé de tester la méthode SWAV sur des données à grande échelle. SEER (SElf-supERvised) est donc la méthode SWAV testée sur des milliards d’images non filtrées.
English: Following graph compares the fine tune performance of the four models when transferred to Imagenet. Using SEER method, a model can be trained with more than a billion parameters which are going to transfer really well to Imagenet.
French: Le graphique suivant compare les performances des quatre modèles finetunés sur Imagenet. En utilisant la méthode SEER, un modèle peut être entraîné avec plus d’un milliard de paramètres qui vont se transférer très bien à Imagenet.
English: For contrastive leaning on an Audio-Video dataset, when the (audio-video) inputs are passed to the two encoders (fa,fv​) we will get two embeddings (audio and video). The embeddings from the same sample should be close in feature space compared to embeddings from different samples.
French: Pour l’apprentissage contrastif sur un jeu de données audio-vidéo, lorsque les entrées (audio-vidéo) sont transmises aux deux encodeurs (fa,fv), nous obtenons deux enchâssements (audio et vidéo). Les enchâssements d’un même échantillon doivent être proches dans l’espace des caractéristiques par rapport aux enchâssements de différents échantillons.
English: To introduce the clustering, the notion of the positives and negatives is expanded as shown in the following image. Computing the similarities in the video and audio embeddings from a reference point to all the other samples results in Positive Set and Negative Set. A sample falls into positive set when both its audio and video embeddings are similar to the reference embeddings.
French: Pour introduire le clustering, la notion de positifs et négatifs est étendue comme le montre l’image suivante. Le calcul des similarités dans les enchâssements vidéo et audio à partir d’un point de référence vers tous les autres échantillons donne lieu à un ensemble positif et un ensemble négatif. Un échantillon tombe dans l’ensemble positif lorsque ses enchâssements audio et vidéo sont tous deux similaires aux enchâssements de référence.
English: Distillation methods are similarity maximization based methods. Like other SSL methods distillation tries to prevent trivial solutions. It does so by asymmetry in two different ways.
French: Les méthodes de distillation sont des méthodes basées sur la maximisation de la similarité. Comme les autres méthodes d’apprentissage autosupervisé, la distillation tente d’empêcher les solutions triviales. Elle le fait par l’asymétrie de deux manières différentes :
English: There is an asymmetry in architecture between student teacher as student has an additional prediction head. The gradient backpropagation only happens through Student encoder clearly creating an asymmetry in learning rate. In BYOL there is an additional source of asymmetry which is in weights of student encoder and teacher encoder. Teacher encoder is created as moving average of student encoder. These asymmetries will prevent the model from trivial solutions.
French: Il y a une asymétrie dans l’architecture entre l’étudiant et l’enseignant car l’étudiant a une tête de prédiction supplémentaire. La rétropropagation du gradient ne se fait qu’à travers l’encodeur de l’étudiant créant clairement une asymétrie dans le taux d’apprentissage. Dans BYOL, il y a une source supplémentaire d’asymétrie qui se trouve dans les poids de l’encodeur de l’étudiant et de l’encodeur de l’enseignant avec l’encodeur de l’enseignant qui est créé comme une moyenne mobile de l’encodeur de l’étudiant. Ces trois asymétries vont empêcher le modèle d’avoir des solutions triviales.
English: Recent studies showed that all the three sources of asymmetry discussed in BYOL are not needed to prevent the trivial solutions. In SimSiam architecture the student and teacher share the same set of weights and there are two sources of asymmetry.
French: Des études récentes ont montré que les trois sources d’asymétrie présentes dans BYOL ne sont pas nécessaires pour empêcher les solutions triviales. Dans l’architecture SimSiam (Simple Siamese), l’étudiant et l’enseignant partagent le même ensemble de poids et il existe deux sources d’asymétrie :
English: In learning rate, when backpropagating the gradients are passed only through student encoder but not the teacher encoder. After each epoch, the weights of student encoder are copied to the teacher encoder.
French: 2. Dans le taux d’apprentissage, lors de la rétropropagation, où les gradients ne passent que par l’encodeur de l’étudiant mais pas par celui de l’enseignant. Après chaque époque, les poids de l’encodeur étudiant sont copiés dans l’encodeur de l’enseignant.
English: The efficient coding hypothesis was proposed by Horace Barlow in 1961 as a theoretical model of sensory coding in the brain. Within the brain, neurons communicate with each other by sending electrical impulses called spikes. Barlow hypothesised that the spikes in the sensory system form a neural code for efficiently representing sensory information. By efficient, Barlow meant that the code minimises the number of spikes needed to transmit a given signal.
French: L’hypothèse du codage efficace a été proposée par Horace Barlow en 1961 comme modèle théorique du codage sensoriel dans le cerveau. Barlow a émis l’hypothèse que les impulsions électriques dans le cerveau forment un code neuronal permettant de représenter efficacement les informations sensorielles. C’est-à-dire que ce code minimise le nombre d’impulsions nécessaires pour transmettre un signal donné notamment d’un point de vue énergétique notamment. Cette hypothèse est basée sur la théorie de l’information.
English: The Barlow Twins method proposes an objective function that naturally avoids such collapse by measuring the cross-correlation matrix between the outputs of two identical networks fed with distorted versions of a sample and making them as close as possible to the identity matrix.
French: La méthode des Barlow Twins propose une fonction objectif qui évite naturellement l’effondrement causé par les solutions triviales. Elle mesure la matrice de corrélation croisée entre les sorties des deux réseaux identiques (ayant préalablement eu en entrée des versions déformées d’un échantillon) et en les rendant aussi proches que possible de la matrice d’identité.
English: Barlow’s redundancy-reduction principle applied to a pair of identical networks. The objective function measures the cross-correlation matrix between the output features of two identical networks fed with distorted versions of a batch of samples and attempts to bring this matrix close to the identity. This causes the representation vectors of distorted versions of a sample to be similar, while minimizing the redundancy between the components of these vectors (Figure 7).
French: Les vecteurs de représentation des versions déformées d’un échantillon sont ainsi similaires, tout en minimisant la redondance entre les composantes de ces vecteurs (figure 7).
English: More formally, it produces two distorted views for all images of a batch X. The distorted views are obtained via a distribution of data augmentations T. The two batches of distorted views YA and YB are then fed to a function fθ​, typically a deep network with trainable parameters θ, producing batches of representations ZA and ZB respectively.
French: Plus formellement, cela produit deux vues déformées pour toutes les images d’un batch X. Les vues déformées sont obtenues via une distribution d’augmentations de données T. Les deux batchs de vues déformées YA et YB sont ensuite soumis à une fonction fθ​, typiquement un réseau profond avec des paramètres entraînables θ, produisant respectivement des batchs de représentations ZA et ZB.
English: where Λ  is a constant controlling the importance of the first and second terms of the loss, and where c is the cross-correlation matrix computed between the outputs of the two identical networks along the batch dimension:
French: où Λ  est une constante contrôlant l’importance des premier et deuxième termes de la perte. Et on a c la matrice de corrélation croisée calculée entre les sorties des deux réseaux identiques le long de la dimension du batch :
English: Intuitively, the invariance term of the objective, by trying to equate the diagonal elements of the cross-correlation matrix to 1, makes the representation invariant to the distortions applied. The redundancy reduction term, by trying to equate the off-diagonal elements of the cross-correlation matrix to 0, decorrelates the different vector components of the representation. This decorrelation reduces the redundancy between output units, so that the output units contain non-redundant information about the sample.
French: Intuitivement, en essayant d’égaliser les éléments diagonaux de la matrice de corrélation croisée à 1, le terme d’invariance de l’objectif rend la représentation invariante aux distorsions appliquées. En essayant d’égaliser les éléments hors diagonale de la matrice de corrélation croisée à 0, le terme de réduction de la redondance décorréle les différentes composantes vectorielles de la représentation. Cette décorrélation réduit la redondance entre les unités de sortie, de sorte que les unités de sortie contiennent des informations non redondantes sur l’échantillon.
English: We should be familiar with the terminology of these modules from the previous lectures. In the conditional EBM latent variable architecture, we have x the conditional variable which goes into a predictor. We have y which is the target value. The decoder modules will produce y~​ when fed with a latent variable z and the output of the predictor. EE is the energy function which minimizes the energy between y~​ and y~.
French: Dans l’architecture d’un EBM conditionnel à variable latente, nous avons x la variable conditionnelle qui va dans un prédicteur. Nous avons y qui est la valeur cible. Les modules de décodage produisent y~​ lorsqu’on leur donne une variable latente z et la sortie du prédicteur. E est la fonction d’énergie qui minimise l’énergie entre y~​ et y~.