<figure><img src="image_1.png" /></figure>

HAL
open science

# Apprentissage mixte de neurones pré-entraînés et aléatoires dans un modèle neuronal pour l'adaptation au domaine

Sara Meftah, Nasredine Semmar, Youssef Tamaazousti, Hassane Essafi, Fatiha Sadat

► To cite this version:

Sara Meftah, Nasredine Semmar, Youssef Tamaazousti, Hassane Essafi, Fatiha Sadat. Apprentissage mixte de neurones pré-entraînés et aléatoires dans un modèle neuronal pour l'adaptation au domaine. Congrès Reconnaissance des Formes, Image, Apprentissage et Perception, Association Française pour la Reconnaissance et l'Interprétation des Formes, Jun 2020, Vannes, France. cea-04572471

HAL Id: cea-04572471

https://cea.hal.science/cea-04572471

Submitted on 10 May 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
# Apprentissage mixte de neurones pré-entraînés et aléatoires dans un modèle neuronal pour l'adaptation au domaine

Conference Paper · September 2020

CITATIONS

0

READS

140

5 authors, including:

<figure><img src="image_1.png" /></figure>

Sara Meftah
Square Research Center

11 PUBLICATIONS 70 CITATIONS

SEE PROFILE

<figure><img src="image_2.png" /></figure>

Youssef Tamaazousti
Group42

29 PUBLICATIONS 216 CITATIONS

SEE PROFILE

<figure><img src="image_3.png" /></figure>

Nasredine Semmar
Atomic Energy and Alternative Energies Commission

91 PUBLICATIONS 703 CITATIONS

SEE PROFILE

<figure><img src="image_4.png" /></figure>

Hassane Essafi
Atomic Energy and Alternative Energies Commission

60 PUBLICATIONS 227 CITATIONS

SEE PROFILE
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/344430260

# Apprentissage mixte de neurones pré-entraînés et aléatoires dans un modèle neuronal pour l'adaptation au domaine

Conference Paper · September 2020

CITATIONS

0

READS

140

5 authors, including:

<figure><img src="image_2.png" /></figure>

Sara Meftah
Square Research Center

11 PUBLICATIONS 70 CITATIONS

SEE PROFILE

<figure><img src="image_3.png" /></figure>

Youssef Tamaazousti
Group42

29 PUBLICATIONS 216 CITATIONS

SEE PROFILE

<figure><img src="image_4.png" /></figure>

Nasredine Semmar
Atomic Energy and Alternative Energies Commission

91 PUBLICATIONS 703 CITATIONS

SEE PROFILE

<figure><img src="image_5.png" /></figure>

Hassane Essafi
Atomic Energy and Alternative Energies Commission

60 PUBLICATIONS 227 CITATIONS

SEE PROFILE
Apprentissage mixte de neurones pré-entraînés et aléatoires dans un modèle
neuronal pour l'adaptation au domaine

Sara Meftah¹ Nasredine Semmar¹ Youssef Tamaazousti¹ Hassane Essafi¹ Fatiha Sadat²

¹CEA, LIST, Laboratoire Analyse Sémantique Texte et Image, France
{sara.meftah,nasredine.semmar,youssef.tamaazousti,hassane.essafi}@cea.fr

²UQAM, Montreal (Quebec), Canada
fatiha.sadat@uqam.ca

Résumé

L'apprentissage par transfert neuronal est largement uti-
lisé pour l'adaptation au domaine, permettant de trans-
férer des connaissances à partir des domaines riches en
données d'apprentissage vers les domaines faiblement do-
tés. Spécifiquement, l'apprentissage par transfert par fine-
tuning consiste à un pré-apprentissage d'un réseau de neu-
rones sur un problème source, riche en données anno-
tées, suivi par son adaptation (fine-tuning) sur un problème
cible, avec peu de données annotées. Ainsi, les problèmes
source et cible sont entraînés en utilisant la même archi-
tecture neuronale. Cependant, les neurones pré-entraînés
ont souvent des difficultés à renoncer aux patterns spéci-
fiques au domaine source et à apprendre de nouveaux pat-
terns spécifiques au domaine cible. Nous proposons dans
cet article d'améliorer le schéma standard du fine-tuning
en augmentant le réseau de neurones cible avec des neu-
rones normalisés, pondérés et initialisés de façon aléa-
toire pour permettre une meilleure adaptation au domaine
cible tout en conservant les connaissances acquises lors
de l'apprentissage du problème source. Nous réalisons des
expérimentations sur l'annotation en étiquettes morpho-
syntaxiques (parties de discours) des textes des réseaux so-
ciaux (Tweets). Les résultats obtenus démontrent que notre
méthode atteint des performances de l'état de l'art sur trois
jeux de données couramment utilisés.

Mots Clef

Réseaux de neurones, Apprentissage par transfert, Textes des réseaux sociaux, Domaines peu dotées, Adaptation au domaine, Étiquetage morpho-syntaxique.

Abstract

Fine-tuning neural networks is widely used to transfer va-
luable knowledge from high-resource to low-resource do-
mains. In a standard fine-tuning scheme, source and tar-
get problems are trained using the same architecture. Al-
though capable of adapting to new domains, pre-trained
units struggle with learning uncommon target-specific pat-
terns. In this paper, we propose to augment the target
neural network with normalised, weighted and randomly

initialised units that beget a better adaptation while main-
taining the valuable source knowledge. Our experiments on
Part-Of-Speech tagging of social media texts (Tweets do-
main) demonstrate that our method achieves state-of-the-
art performances on three commonly used datasets.

Keywords

Neural Networks, Transfer learning, Social media content, Low-resource languages, Domain adaptation, Part-Of-Speech tagging.

# 1 Introduction

L'annotation en parties de discours (POS tagging pour Part-Of-Speech tagging) est un problème d'étiquetage de séquences, qui consiste à attribuer à chaque mot dans la phrase sa partie de discours (Nom, Adjectif, etc.) en prenant en compte la position et le contexte du mot dans la phrase. Ces propriétés linguistiques sont utiles pour les applications de Traitement Automatique de la Langue (TAL), telles que l'analyse des sentiments [1], la traduction automatique [2] ou encore la recherche d'information [3, 4]. L'une des meilleures approches pour l'annotation morpho-syntaxique des textes des réseaux sociaux est l'apprentissage par transfert [5], qui repose sur un réseau neuronal appris sur suffisamment de données annotées pour un problème source, puis adapté au problème cible ayant peu de données annotées. Bien que cette approche soit connue pour être très efficace [6], car elle tire profit des connaissances pré-apprises, elle présente un inconvénient majeur de par sa conception. Il a été démontré en vision par ordinateur [7] que, les neurones pré-entraînés sont biaisés par ce qu'ils ont appris à partir des données sources. Par exemple, ils ont constaté que lors du fine-tuning sur des scènes d'un modèle pré-entraîné sur des objets, c'est le neurone spécifique à l'objet chien blanc qui devient très sensible à la scène de la chute d'eau. C'est également le cas en TAL (voir les expérimentations). En effet, nous avons constaté qu'en appliquant l'approche de l'apprentissage par transfert du domaine des News au domaine des Tweets par fine-tuning standard, les neurones pré-appris ont des difficultés à apprendre des patterns spécifiques aux données du do-
Apprentissage mixte de neurones pré-entraînés et aléatoires dans un modèle
neuronal pour l'adaptation au domaine

Sara Meftah¹ Nasredine Semmar¹ Youssef Tamaazousti¹ Hassane Essafi¹ Fatiha Sadat²

¹CEA, LIST, Laboratoire Analyse Sémantique Texte et Image, France
{sara.meftah,nasredine.semmar,youssef.tamaazousti,hassane.essafi}@cea.fr

²UQAM, Montreal (Quebec), Canada
fatiha.sadat@uqam.ca

Résumé

L'apprentissage par transfert neuronal est largement uti-
lisé pour l'adaptation au domaine, permettant de trans-
férer des connaissances à partir des domaines riches en
données d'apprentissage vers les domaines faiblement do-
tés. Spécifiquement, l'apprentissage par transfert par fine-
tuning consiste à un pré-apprentissage d'un réseau de neu-
rones sur un problème source, riche en données anno-
tées, suivi par son adaptation (fine-tuning) sur un problème
cible, avec peu de données annotées. Ainsi, les problèmes
source et cible sont entraînés en utilisant la même archi-
tecture neuronale. Cependant, les neurones pré-entraînés
ont souvent des difficultés à renoncer aux patterns spéci-
fiques au domaine source et à apprendre de nouveaux pat-
terns spécifiques au domaine cible. Nous proposons dans
cet article d'améliorer le schéma standard du fine-tuning
en augmentant le réseau de neurones cible avec des neu-
rones normalisés, pondérés et initialisés de façon aléa-
toire pour permettre une meilleure adaptation au domaine
cible tout en conservant les connaissances acquises lors
de l'apprentissage du problème source. Nous réalisons des
expérimentations sur l'annotation en étiquettes morpho-
syntaxiques (parties de discours) des textes des réseaux so-
ciaux (Tweets). Les résultats obtenus démontrent que notre
méthode atteint des performances de l'état de l'art sur trois
jeux de données couramment utilisés.

Mots Clef

Réseaux de neurones, Apprentissage par transfert, Textes des réseaux sociaux, Domaines peu dotées, Adaptation au domaine, Étiquetage morpho-syntaxique.

Abstract

Fine-tuning neural networks is widely used to transfer va-
luable knowledge from high-resource to low-resource do-
mains. In a standard fine-tuning scheme, source and tar-
get problems are trained using the same architecture. Al-
though capable of adapting to new domains, pre-trained
units struggle with learning uncommon target-specific pat-
terns. In this paper, we propose to augment the target
neural network with normalised, weighted and randomly

initialised units that beget a better adaptation while main-
taining the valuable source knowledge. Our experiments on
Part-Of-Speech tagging of social media texts (Tweets do-
main) demonstrate that our method achieves state-of-the-
art performances on three commonly used datasets.

Keywords

Neural Networks, Transfer learning, Social media content, Low-resource languages, Domain adaptation, Part-Of-Speech tagging.

# 1 Introduction

L'annotation en parties de discours (POS tagging pour Part-Of-Speech tagging) est un problème d'étiquetage de séquences, qui consiste à attribuer à chaque mot dans la phrase sa partie de discours (Nom, Adjectif, etc.) en prenant en compte la position et le contexte du mot dans la phrase. Ces propriétés linguistiques sont utiles pour les applications de Traitement Automatique de la Langue (TAL), telles que l'analyse des sentiments [1], la traduction automatique [2] ou encore la recherche d'information [3, 4]. L'une des meilleures approches pour l'annotation morpho-syntaxique des textes des réseaux sociaux est l'apprentissage par transfert [5], qui repose sur un réseau neuronal appris sur suffisamment de données annotées pour un problème source, puis adapté au problème cible ayant peu de données annotées. Bien que cette approche soit connue pour être très efficace [6], car elle tire profit des connaissances pré-apprises, elle présente un inconvénient majeur de par sa conception. Il a été démontré en vision par ordinateur [7] que, les neurones pré-entraînés sont biaisés par ce qu'ils ont appris à partir des données sources. Par exemple, ils ont constaté que lors du fine-tuning sur des scènes d'un modèle pré-entraîné sur des objets, c'est le neurone spécifique à l'objet chien blanc qui devient très sensible à la scène de la chute d'eau. C'est également le cas en TAL (voir les expérimentations). En effet, nous avons constaté qu'en appliquant l'approche de l'apprentissage par transfert du domaine des News au domaine des Tweets par fine-tuning standard, les neurones pré-appris ont des difficultés à apprendre des patterns spécifiques aux données du do-
<figure><img src="image_5.png" /></figure>

FIGURE 1 – Étant donné une représentation du mot $x_i$, un réseau récurrent BiLSTM ($\Phi$) modélisant la séquence, et une couche FC ($\Psi$) pour réaliser la classification. Lors du fine-tuning standard, les neurones sont pré-entraînés sur le jeu de données du problème source puis adaptés au problème cible. Dans ce travail, nous proposons d'ajouter des neurones initialisés de manière aléatoire (branche verte) et de les adapter conjointement avec des neurones pré-entraînés (branche grise). Une somme est ensuite appliquée pour fusionner les deux branches. Avant de fusionner, nous équilibrons les différents comportements des neurones pré-entraînés et aléatoires, en utilisant une normalisation indépendante ($\mathcal{N}$). Enfin, nous laissons le réseau apprendre quels neurones pré-entraînés ou aléatoires sont les mieux adaptées pour chaque classe, en ajoutant des vecteurs de pondération qui peuvent être appris ($u$ et $v$ initialisés avec des valeurs 1) sur les couches FC.

maine cible (wanna (want to) ou gonna (going to) dans le domaine des Tweets). Ce dernier point n'est pas souhaitable, puisqu'il a été démontré récemment [8] que de telles neurones spécifiques sont importants pour la performance du modèle. Pour pallier à cet inconvénient, nous pouvons proposer de tirer profit des modèles initialisés de manière aléatoire, qui sont par conception non biaisés. Cependant, il est courant de se trouver face à des domaines cibles qui contiennent trop peu de données annotées pour apprendre de tels modèles à partir de zéro. Dans un tel contexte, il est donc difficile d'apprendre des modèles aléatoires qui généralisent bien.

Dans cet article, nous proposons une méthode hybride qui tire profit des deux approches, l'initialisation aléatoire et l'apprentissage par transfert, sans leurs inconvénients. Notre méthode consiste à augmenter le réseau de neurones source (ensemble de neurones pré-entraînés) avec des neurones initialisés de façon aléatoire et à les apprendre conjointement. Nous appelons notre méthode **PretRand** (Pretrained and Rand units) et l'illustrons dans la Figure.1. La principale difficulté est de forcer le réseau à prendre en compte les neurones aléatoires, car elles ont des comportements différents de ceux des neurones pré-entraînés. En effet, si ces derniers sont activés fortement

de manière discriminatoire sur de nombreux mots, les premiers ne s'activent sur aucun mot au stade initial du fine-tuning. Par conséquent, les neurones aléatoires ne contribuent pas de manière significative au calcul des gradients et sont donc lentement mises à jour. Pour surmonter ce problème, nous avons proposé de normaliser indépendamment les couches pré-entraînées et aléatoires. Cette normalisation équilibre leur échelle d'activations et force ainsi le réseau à les prendre en compte toutes les deux. Enfin, nous ne savons pas lesquels des prédicteurs, pré-entraînés ou aléatoires sont les meilleurs pour chaque classe. Nous proposons, donc, d'apprendre des vecteurs de pondération sur chaque branche.

Nous avons évalué notre méthode sur trois jeux de données du domaine des Tweets dans un contexte d'apprentissage par transfert. Notre méthode est plus performante que les méthodes de l'état de l'art et dépasse de manière significative des approches assez comparables.

# 2 Méthode Proposée : PretRand

## 2.1 Modèle Neuronal de Base

Étant données une phrase $P = [w_1, ..., w_n]$ composée d'une séquence de $n$ mots $w_i$, le but du POS tagging est de prédire pour chaque mot $w_i$ son étiquette POS $c_i \in C$, où $C$ est l'ensemble des étiquettes. Ainsi, pour notre modèle de base, nous avons utilisé un modèle commun d'étiquetage des séquences qui, dans un premier temps, génère pour chaque mot $w_i$, une représentation au niveau mot (word-level embedding), noté $\Upsilon_w$, et une représentation au niveau caractère en utilisant un encodeur biLSTM (bidirectional-Long Short-Term Memory), noté $\Upsilon_c$. Ces deux représentations sont concatenées pour obtenir une représentation finale $x_i$. Cette dernière représentation $x_i$ alimente un deuxième réseau biLSTM (noté $\Phi$) chargé d'extraire les caractéristiques (features) de chaque mot en se basant sur son contexte et dont la sortie (représentation chaînée) alimente un réseau entièrement connecté (FC : fully-connected, noté $\Psi$) et qui est dédié à la classification.
Formellement, étant donné $w_i$, les prédictions sont obtenues en utilisant : $\hat{y}_{w_i} = \Psi \circ \Phi \circ \Upsilon(w_i)$, où $\Upsilon$ est la concatenation des sorties $\Upsilon_c$ et $\Upsilon_w$ correspondant à $w_i$.

## 2.2 Fine-tuning Standard

Dans un schéma de fine-tuning standard [9], l'apprentissage est réalisé en trois étapes :

1. Un réseau de base *source* est entraîné sur le domaine *source* (News).

2. Les paramètres des modules $\Upsilon$ et $\Phi$ du réseau *cible* sont initialisés avec les poids pré-appris du modèle source, tandis que le module $\Psi$ est initialisé aléatoirement.

3. Ensuite, les trois modules sont entraînés sur la tâche-cible en minimisant la fonction objective SCE (Softmax Cross-Entropy) en utilisant l'algorithme SGD (Stochastic Gradient Descent).
<figure><img src="image_6.png" /></figure>

FIGURE 1 – Étant donné une représentation du mot $x_i$, un réseau récurrent BiLSTM ($\Phi$) modélisant la séquence, et une couche FC ($\Psi$) pour réaliser la classification. Lors du fine-tuning standard, les neurones sont pré-entraînés sur le jeu de données du problème source puis adaptés au problème cible. Dans ce travail, nous proposons d'ajouter des neurones initialisés de manière aléatoire (branche verte) et de les adapter conjointement avec des neurones pré-entraînés (branche grise). Une somme est ensuite appliquée pour fusionner les deux branches. Avant de fusionner, nous équilibrons les différents comportements des neurones pré-entraînés et aléatoires, en utilisant une normalisation indépendante (N). Enfin, nous laissons le réseau apprendre quels neurones pré-entraînés ou aléatoires sont les mieux adaptées pour chaque classe, en ajoutant des vecteurs de pondération qui peuvent être appris (u et v initialisés avec des valeurs 1) sur les couches FC.

maine cible (wanna (want to) ou gonna (going to) dans le domaine des Tweets). Ce dernier point n'est pas souhaitable, puisqu'il a été démontré récemment [8] que de telles neurones spécifiques sont importants pour la performance du modèle. Pour pallier à cet inconvénient, nous pouvons proposer de tirer profit des modèles initialisés de manière aléatoire, qui sont par conception non biaisés. Cependant, il est courant de se trouver face à des domaines cibles qui contiennent trop peu de données annotées pour apprendre de tels modèles à partir de zéro. Dans un tel contexte, il est donc difficile d'apprendre des modèles aléatoires qui génèrent bien.

Dans cet article, nous proposons une méthode hybride qui tire profit des deux approches, l'initialisation aléatoire et l'apprentissage par transfert, sans leurs inconvénients. Notre méthode consiste à augmenter le réseau de neurones source (ensemble de neurones pré-entraînés) avec des neurones initialisés de façon aléatoire et à les apprendre conjointement. Nous appelons notre méthode **PretRand** (Pretrained and Rand units) et l'illustrons dans la Figure.1. La principale difficulté est de forcer le réseau à prendre en compte les neurones aléatoires, car elles ont des comportements différents de ceux des neurones pré-entraînés. En effet, si ces derniers sont activés fortement

de manière discriminatoire sur de nombreux mots, les premiers ne s'activent sur aucun mot au stade initial du fine-tuning. Par conséquent, les neurones aléatoires ne contribuent pas de manière significative au calcul des gradients et sont donc lentement mises à jour. Pour surmonter ce problème, nous avons proposé de normaliser indépendamment les couches pré-entraînées et aléatoires. Cette normalisation équilibre leur échelle d'activations et force ainsi le réseau à les prendre en compte toutes les deux. Enfin, nous ne savons pas lesquels des prédicteurs, pré-entraînés ou aléatoires sont les meilleurs pour chaque classe. Nous proposons, donc, d'apprendre des vecteurs de pondération sur chaque branche.

Nous avons évalué notre méthode sur trois jeux de données du domaine des Tweets dans un contexte d'apprentissage par transfert. Notre méthode est plus performante que les méthodes de l'état de l'art et dépasse de manière significative des approches assez comparables.

# 2 Méthode Proposée : PretRand

## 2.1 Modèle Neuronal de Base

Étant données une phrase $P = [w_1, ..., w_n]$ composée d'une séquence de $n$ mots $w_i$, le but du POS tagging est de prédire pour chaque mot $w_i$ son étiquette POS $c_i \in C$, où $C$ est l'ensemble des étiquettes. Ainsi, pour notre modèle de base, nous avons utilisé un modèle commun d'étiquetage des séquences qui, dans un premier temps, génère pour chaque mot $w_i$, une représentation au niveau mot (word-level embedding), noté $\Upsilon_w$, et une représentation au niveau caractère en utilisant un encodeur biLSTM (bidirectional-Long Short-Term Memory), noté $\Upsilon_c$. Ces deux représentations sont concatenées pour obtenir une représentation finale $x_i$. Cette dernière représentation $x_i$ alimente un deuxième réseau biLSTM (noté $\Phi$) chargé d'extraire les caractéristiques (features) de chaque mot en se basant sur son contexte et dont la sortie (représentation chaînée) alimente un réseau entièrement connecté (FC : fully-connected, noté $\Psi$) et qui est dédié à la classification.
Formellement, étant donné $w_i$, les prédictions sont obtenues en utilisant : $\hat{y}_{w_i} = \Psi \circ \Phi \circ \Upsilon(w_i)$, où $\Upsilon$ est la concatenation des sorties $\Upsilon_c$ et $\Upsilon_w$ correspondant à $w_i$.

## 2.2 Fine-tuning Standard

Dans un schéma de fine-tuning standard [9], l'apprentissage est réalisé en trois étapes :

1. Un réseau de base *source* est entraîné sur le domaine *source* (News).

2. Les paramètres des modules $\Upsilon$ et $\Phi$ du réseau *cible* sont initialisés avec les poids pré-appris du modèle source, tandis que le module $\Psi$ est initialisé aléatoirement.

3. Ensuite, les trois modules sont entraînés sur la tâche-cible en minimisant la fonction objective SCE (Softmax Cross-Entropy) en utilisant l'algorithme SGD (Stochastic Gradient Descent).
## 2.3 Ajout d'une branche aléatoire

Comme mentionné dans l'introduction, les neurones pré-entraînés sont, par conception, biaisés, et se révèlent donc peu efficaces. C'est ce qui nous a motivé à augmenter la branche pré-entraînée avec des neurones aléatoires additionnels (comme illustré dans la Figure.1). Pour ce faire, théoriquement, on peut ajouter ces neurones dans n'importe quelle couche du modèle de base. Cependant dans la pratique, il faut faire un compromis entre les performances et le nombre de paramètres (complexité du modèle). Ainsi, étant donné que les couches profondes sont plus spécifiques aux tâches à apprendre (task-specific) que les couches moins profondes [10, 11]. De plus, les plongements de mots (words embeddings) contiennent la majorité des paramètres. A cet effet, nous choisissons de n'augmenter que les couches supérieures. Avec ce choix, nous augmentons la complexité du modèle uniquement en 1.02× par rapport à la base (réseau initial).

En ce qui concerne les couches étendues, nous ajoutons spécifiquement $k$ neurones à $\Phi$, conduisant à une couche biLSTM supplémentaire : $\Phi_r$ ($r$ pour aléatoire); et $C$ neurones dans $\Psi$ aboutissant à une couche FC supplémentaire : $\Psi_r$. Ainsi, pour chaque $w_i$, la branche aléatoire supplémentaire prédit les probabilités $\hat{y}_{wi}^r$ des classes où $\hat{y}_{wi}^r = \Psi_r \circ \Phi_r(x_i)$ (avec $x_i = \Upsilon(w_i)$). Notez que le fait d'avoir deux couches FC produit évidemment deux prédictions par classe, une provenant de la couche FC pré-entraînée $\hat{y}_{wi}^p$ et une provenant de la couche FC aléatoire $\hat{y}_{wi}^r$, qui doivent donc être fusionnées.

Par conséquent, pour obtenir les prévisions finales, nous appliquons simplement une somme element-wise (élément par élément) des sorties des deux branches : $\hat{y}_{wi} = \hat{y}_{wi}^p \oplus \hat{y}_{wi}^r$. Les deux branches sont entraînées conjointement en minimisant la fonction objective SCE en utilisant l'algorithme SGD.

## 2.4 Normalisation indépendante

Néanmoins, nous avons constaté qu'au stade initial du fine-tuning, les neurones pré-entraînés prédominent car ils s'activent fortement sur plusieurs mots tandis que les neurones aléatoires s'activent faiblement. Par conséquent, les neurones pré-entraînés absorbent les poids, les sorties et donc les gradients des neurones aléatoires, ce qui rend les neurones pré-entraînés inutiles à la prédiction finale. En effet, comme l'illustre le graphique de gauche de la Figure 2, à la fin du fine-tuning, la distribution des poids des neurones aléatoires est absorbée (plus proche de zéro) par celle des neurones pré-entraînés. La même observation a été illustrée dans certains travaux de vision par ordinateur [12, 13].

Pour inciter les deux classificateurs à travailler en coopération, nous proposons donc de normaliser (en utilisant $\ell_p$-norme) les deux branches indépendamment avant de les fusionner. Formellement, nous appliquons $N_p(x) = \frac{x}{||x||_p}$ à $\hat{y}_{wi}^p$ et $\hat{y}_{wi}^r$. La normalisation résout de manière satisfaisante le problème d'absorption des poids car à la fin de l'entraînement, les distributions des poids pré-entraînés et

<figure><img src="image_6.png" /><figcaption>FIGURE 2 – Distributions des valeurs des poids des couches entièrement connectées (FC), initialisées aléatoirement $\Psi_r$ (vertes) et pré-entraînées $\Psi$ (grises) après l'entraînement conjoint. Gauche : sans normalisation, droite : avec normalisation.</figcaption></figure>

aléatoires deviennent très similaires (Le schéma droit de la Figure 2). Mais, nous avons observé que malgré la normalisation, les performances des classificateurs pré-entraînés étaient encore bien meilleures que celles des classificateurs aléatoires. Ainsi, pour rendre ces derniers plus compétitifs, nous proposons de commencer par optimiser que les neurones initialisés aléatoirement en gelant ceux pré-entraînés, puis l'entraînement conjoint. Nous appelons cette méthode *aléatoire++*.

## 2.5 Apprentissage des poids des Vecteurs

Nous proposons de pondérer la contribution des prédicteurs pré-appris et aléatoire pour chaque classe. À cette fin, au lieu de simplement effectuer une somme élément par élément entre les prédictions aléatoires et pré-entraînées, nous pondérons d'abord chacune des deux prédictions avec des vecteurs de pondération, en calculant le produit Hadamard des prédictions obtenues et les vecteurs appris $u \in \mathbb{R}^C$ et $v \in \mathbb{R}^C$ correspondant respectivement à la branche pré-entraînée et aléatoire, initialisés avec le vecteur $\mathcal{N}$ (chaque vecteur est initialisé à 1) et sont appris par SGD. Formellement, les prédictions finales sont calculées en appliquant l'équation suivante : $\hat{y}_{wi} = u \odot N_p(\hat{y}_{wi}^p) \oplus v \odot N_p(\hat{y}_{wi}^r)$

# 3 Expérimentations

## 3.1 Détails d'implémentation

Dans la représentation des mots, les tokens sont mis en muscules, tandis que dans celle au niveau des caractères, les majuscules sont conservées. La dimension de la représentation des caractères est de 50, tandis que celles des couches cachés du biLSTM est de 100 dimensions au niveau des caractères et 300 au niveau des mots. Cette dernière correspond à la représentation Glove pré-apprise sur 42 milliards de mots extraits de phrases du web (1,9 millions de mots uniques) [14]. Notons, que nous mettons à jour ces poids pendant la phase d'adaptation. Concernant les biLSTM qui contiennent une branche pré-apprise et une initialisée aléatoirement, nous avons considéré 200 neurones pour la première, et $k$ pour la dernière (avec $k \in \{50, 100, 150, 200\}$). La sortie de chacune des branches est normalisée indépendamment, et nous avons utilisé la normalisation $\ell_2$. Finalement, dans toutes les expériences, l'apprentissage a été
## 2.3 Ajout d'une branche aléatoire

Comme mentionné dans l'introduction, les neurones pré-entraînés sont, par conception, biaisés, et se révèlent donc peu efficaces. C'est ce qui nous a motivé à augmenter la branche pré-entraînée avec des neurones aléatoires additionnels (comme illustré dans la Figure.1). Pour ce faire, théoriquement, on peut ajouter ces neurones dans n'importe quelle couche du modèle de base. Cependant dans la pratique, il faut faire un compromis entre les performances et le nombre de paramètres (complexité du modèle). Ainsi, étant donné que les couches profondes sont plus spécifiques aux tâches à apprendre (task-specific) que les couches moins profondes [10, 11]. De plus, les plongements de mots (words embeddings) contiennent la majorité des paramètres. A cet effet, nous choisissons de n'augmenter que les couches supérieures. Avec ce choix, nous augmentons la complexité du modèle uniquement en 1.02× par rapport à la base (réseau initial).

En ce qui concerne les couches étendues, nous ajoutons spécifiquement $k$ neurones à $\Phi$, conduisant à une couche biLSTM supplémentaire : $\Phi_r$ ($r$ pour aléatoire); et $C$ neurones dans $\Psi$ aboutissant à une couche FC supplémentaire : $\Psi_r$. Ainsi, pour chaque $w_i$, la branche aléatoire supplémentaire prédit les probabilités $\hat{y}_{wi}^r$ des classes où $\hat{y}_{wi}^r = \Psi_r \circ \Phi_r(x_i)$ (avec $x_i = \Upsilon(w_i)$). Notez que le fait d'avoir deux couches FC produit évidemment deux prédictions par classe, une provenant de la couche FC pré-entraînée $\hat{y}_{wi}^p$ et une provenant de la couche FC aléatoire $\hat{y}_{wi}^r$, qui doivent donc être fusionnées.

Par conséquent, pour obtenir les prévisions finales, nous appliquons simplement une somme element-wise (élément par élément) des sorties des deux branches : $\hat{y}_{wi} = \hat{y}_{wi}^p \oplus \hat{y}_{wi}^r$. Les deux branches sont entraînées conjointement en minimisant la fonction objective SCE en utilisant l'algorithme SGD.

## 2.4 Normalisation indépendante

Néanmoins, nous avons constaté qu'au stade initial du fine-tuning, les neurones pré-entraînés prédominent car ils s'activent fortement sur plusieurs mots tandis que les neurones aléatoires s'activent faiblement. Par conséquent, les neurones pré-entraînés absorbent les poids, les sorties et donc les gradients des neurones aléatoires, ce qui rend les neurones pré-entraînés inutiles à la prédiction finale. En effet, comme l'illustre le graphique de gauche de la Figure 2, à la fin du fine-tuning, la distribution des poids des neurones aléatoires est absorbée (plus proche de zéro) par celle des neurones pré-entraînés. La même observation a été illustrée dans certains travaux de vision par ordinateur [12, 13].

Pour inciter les deux classificateurs à travailler en coopération, nous proposons donc de normaliser (en utilisant $\ell_p$-norme) les deux branches indépendamment avant de les fusionner. Formellement, nous appliquons $N_p(x) = \frac{x}{||x||_p}$ à $\hat{y}_{wi}^p$ et $\hat{y}_{wi}^r$. La normalisation résout de manière satisfaisante le problème d'absorption des poids car à la fin de l'entraînement, les distributions des poids pré-entraînés et

<figure><img src="image_7.png" /><figcaption>FIGURE 2 – Distributions des valeurs des poids des couches entièrement connectées (FC), initialisées aléatoirement $\Psi_r$ (vertes) et pré-entraînées $\Psi$ (grises) après l'entraînement conjoint. Gauche : sans normalisation, droite : avec normalisation.</figcaption></figure>

aléatoires deviennent très similaires (Le schéma droit de la Figure 2). Mais, nous avons observé que malgré la normalisation, les performances des classificateurs pré-entraînés étaient encore bien meilleures que celles des classificateurs aléatoires. Ainsi, pour rendre ces derniers plus compétitifs, nous proposons de commencer par optimiser que les neurones initialisés aléatoirement en gelant ceux pré-entraînés, puis l'entraînement conjoint. Nous appelons cette méthode *aléatoire++*.

## 2.5 Apprentissage des poids des Vecteurs

Nous proposons de pondérer la contribution des prédicteurs pré-appris et aléatoire pour chaque classe. À cette fin, au lieu de simplement effectuer une somme élément par élément entre les prédictions aléatoires et pré-entraînées, nous pondérons d'abord chacune des deux prédictions avec des vecteurs de pondération, en calculant le produit Hadamard des prédictions obtenues et les vecteurs appris $u \in \mathbb{R}^C$ et $v \in \mathbb{R}^C$ correspondant respectivement à la branche pré-entraînée et aléatoire, initialisés avec le vecteur $\nabla$ (chaque vecteur est initialisé à 1) et sont appris par SGD. Formellement, les prédictions finales sont calculées en appliquant l'équation suivante : $\hat{y}_{wi} = u \odot N_p(\hat{y}_{wi}^p) \oplus v \odot N_p(\hat{y}_{wi}^r)$

# 3 Expérimentations

## 3.1 Détails d'implémentation

Dans la représentation des mots, les tokens sont mis en muscules, tandis que dans celle au niveau des caractères, les majuscules sont conservées. La dimension de la représentation des caractères est de 50, tandis que celles des couches cachés du biLSTM est de 100 dimensions au niveau des caractères et 300 au niveau des mots. Cette dernière correspond à la représentation Glove pré-apprise sur 42 milliards de mots extraits de phrases du web (1,9 millions de mots uniques) [14]. Notons, que nous mettons à jour ces poids pendant la phase d'adaptation. Concernant les biLSTM qui contiennent une branche pré-apprise et une initialisée aléatoirement, nous avons considéré 200 neurones pour la première, et $k$ pour la dernière (avec $k \in \{50, 100, 150, 200\}$). La sortie de chacune des branches est normalisée indépendamment, et nous avons utilisé la normalisation $\ell_2$. Finalement, dans toutes les expériences, l'apprentissage a été
<table><caption>TABLE 1 – Nombre de mots dans chaque dataset.</caption><thead><tr><th>Corpus</th><th>TPoS</th><th>Ark</th><th>TweeBank</th></tr></thead><tbody><tr><td>Train</td><td>10,652</td><td>26,594</td><td>24,753</td></tr><tr><td>Dev</td><td>2,242</td><td>n/a</td><td>11,742</td></tr><tr><td>Test</td><td>2,291</td><td>7,707</td><td>19,112</td></tr></tbody></table>

réalisé en utilisant l'optimiseur SGD avec momentum et des mini-batchs de 8 phrases. Et bien évidemment, tous les hyper-paramètres ont été définis par validation croisée.

## 3.2 Jeux de données

Pour le dataset source, nous avons utilisé **WSJ** (Wall Street Journal) qui est un sous-ensemble de Penn-Tree-Bank (PTB), un large jeu de données pour l'anglais contenant 1.2M+ de mots (annotés avec les classes de PTB) issus du domaine des textes formels (News). Pour les dataset-cibles, nous avons utilisé 3 datasets du domaine des Tweets : **TPoS** [15], annoté avec 40 classes; **ARK** [16] contenant 25 classes génériques; et le récent **TweeBank** [17] contenant 17 classes. Le nombre de mots dans chaque dataset est donné dans le tableau 1.

## 3.3 Méthodes de comparaison

Pour évaluer les performances de notre modèle PretRand sur la tâche du POS tagging, nous l'avons comparé aux 5 méthodes de référence suivantes :

- **Aléatoire-200** et **Aléatoire-400** : modèle neuronal contenant 200 et 400 neurones biLSTM initialisés aléatoirement;

- **Fine-tuning** : modèle pré-appris et finé-tuné (adapté) avec le schéma standard;

- **Modèle d'ensemble (2 aléatoires)** : moyenne des prédictions de modèle initialisés aléatoirement et appris indépendemment sur les datasets de Tweets;

- **Modèle d'ensemble (1 pré-appris + 1 aléatoire)** : similaire à la précédente mais avec un pré-appris sur WSJ et l'autre initialisé aléatoirement.

Nous nous comparons également aux 5 meilleures méthodes de l'état-de-l'art :

- **GATE** [18] est un modèle basé sur les HMMs avec un ensemble de règles de normalisation, un dictionnaire externe et un lexique de caractéristiques. Les auteurs reportent des scores sur TPOS, avec WSJ et 32K tokens du corpus NPS IRC et ils ont également utilisés 1.5M de tokens d'apprentissage additionnels (annotés par bootstrapping sur une contrainte de vote (**GATE-bootstrap**)).

- **ArK tagger** [16] : un modèle basé sur l'entropie maximale d'un modèle de Markov de premierordre (MEMM) en utilisant le Brown Clustering et des règles conçues manuellement.

- **TPANN** [19] utilise l'apprentissage antagoniste pour bénéficier de l'énorme quantité de données de Tweets non annotés.

- **Multi-dataset-multi-task** [20] : un apprentissage

<figure><img src="image_7.png" /><figcaption>FIGURE 3 – Pérformances en fonction des différentes tailles d'ensembles d'apprentissage pour le dataset-cible TweeBank. La différence entre notre méthode et le fine-tuning standard est mise en avant en vert transparent.</figcaption></figure>

joint entre 4 tâches du TAL avec 20 datasets du domaine des textes informels (Tweets).

- **Data Annealing** [21] : une méthode d'apprentissage par transfert qui consiste à pré-apprendre un modèle neuronal sur les textes formels (News) et introduire graduellement des exemples d'apprentissage des textes informels (Tweets).

## 3.4 Résultats

Sur les résultats donnés au tableau 2, on peut voir que notre approche surpasse l'état-de-l'art et les méthodes de référence sur tous les datasets. Plus intéressant, PretRand surpasse significativement la méthode de fine-tuning standard de +1.4% en moyenne, et est meilleur sur toutes les classes (voir l'amélioration par-classe sur la Fig. 4). PretRand surpasse également les méthodes d'ensemble de beaucoup (+2.2%), tout en utilisant beaucoup moins de paramètres. Ceci montre clairement la différence de notre méthode par rapport aux modèles d'ensemble, et plus important, montre l'importance d'avoir une représentation des mots partagée ainsi que la normalisation et les poids de pondération appris pendant la phase d'apprentissage. Un dernier point important, est finalement, un atout essentiel de PretRand, est sa capacité à surpasser considérablement le fine-tuning standard, en utilisant uniquement 0.02% de paramètres supplémentaires.

De plus, nous avons conduit une expérience intéressante qui consiste à évaluer le gain en performance de PretRand par rapport au fine-tuning, en fonction de la taille des différents ensembles d'apprentissage du domaine cible. D'après les résultats de la Figure 3, PretRand a un gain plus important avec des ensembles de données plus grands. Ceci signifie que plus on a de données d'entraînement, plus notre méthode sera meilleure.

Pour évaluer la contribution des différents composants de PretRand, nous avons réalisé une étude d'ablation. Plus précisément, nous avons retiré successivement les vecteurs
<table><caption>TABLE 1 – Nombre de mots dans chaque dataset.</caption><thead><tr><th>Corpus</th><th>TPoS</th><th>Ark</th><th>TweeBank</th></tr></thead><tbody><tr><td>Train</td><td>10,652</td><td>26,594</td><td>24,753</td></tr><tr><td>Dev</td><td>2,242</td><td>n/a</td><td>11,742</td></tr><tr><td>Test</td><td>2,291</td><td>7,707</td><td>19,112</td></tr></tbody></table>

réalisé en utilisant l'optimiseur SGD avec momentum et des mini-batchs de 8 phrases. Et bien évidemment, tous les hyper-paramètres ont été définis par validation croisée.

## 3.2 Jeux de données

Pour le dataset source, nous avons utilisé **WSJ** (Wall Street Journal) qui est un sous-ensemble de Penn-Tree-Bank (PTB), un large jeu de données pour l'anglais contenant 1.2M+ de mots (annotés avec les classes de PTB) issus du domaine des textes formels (News). Pour les dataset-cibles, nous avons utilisé 3 datasets du domaine des Tweets : **TPoS** [15], annoté avec 40 classes; **ARK** [16] contenant 25 classes génériques; et le récent **TweeBank** [17] contenant 17 classes. Le nombre de mots dans chaque dataset est donné dans le tableau 1.

## 3.3 Méthodes de comparaison

Pour évaluer les performances de notre modèle PretRand sur la tâche du POS tagging, nous l'avons comparé aux 5 méthodes de référence suivantes :

- **Aléatoire-200** et **Aléatoire-400** : modèle neuronal contenant 200 et 400 neurones biLSTM initialisés aléatoirement;

- **Fine-tuning** : modèle pré-appris et fine-tuné (adapté) avec le schéma standard;

- **Modèle d'ensemble (2 aléatoires)** : moyenne des prédictions de modèle initialisés aléatoirement et appris indépendemment sur les datasets de Tweets;

- **Modèle d'ensemble (1 pré-appris + 1 aléatoire)** : similaire à la précédente mais avec un pré-appris sur WSJ et l'autre initialisé aléatoirement.

Nous nous comparons également aux 5 meilleures méthodes de l'état-de-l'art :

- **GATE** [18] est un modèle basé sur les HMMs avec un ensemble de règles de normalisation, un dictionnaire externe et un lexique de caractéristiques. Les auteurs reportent des scores sur TPOS, avec WSJ et 32K tokens du corpus NPS IRC et ils ont également utilisés 1.5M de tokens d'apprentissage additionnels (annotés par bootstrapping sur une contrainte de vote (**GATE-bootstrap**)).

- **ArK tagger** [16] : un modèle basé sur l'entropie maximale d'un modèle de Markov de premierordre (MEMM) en utilisant le Brown Clustering et des règles conçues manuellement.

- **TPANN** [19] utilise l'apprentissage antagoniste pour bénéficier de l'énorme quantité de données de Tweets non annotés.

- **Multi-dataset-multi-task** [20] : un apprentissage

<figure><img src="image_8.png" /><figcaption>FIGURE 3 – Pérformances en fonction des différentes tailles d'ensembles d'apprentissage pour le dataset-cible TweeBank. La différence entre notre méthode et le fine-tuning standard est mise en avant en vert transparent.</figcaption></figure>

joint entre 4 tâches du TAL avec 20 datasets du domaine des textes informels (Tweets).

- **Data Annealing** [21] : une méthode d'apprentissage par transfert qui consiste à pré-apprendre un modèle neuronal sur les textes formels (News) et introduire graduellement des exemples d'apprentissage des textes informels (Tweets).

## 3.4 Résultats

Sur les résultats donnés au tableau 2, on peut voir que notre approche surpasse l'état-de-l'art et les méthodes de référence sur tous les datasets. Plus intéressant, PretRand surpasse significativement la méthode de fine-tuning standard de +1.4% en moyenne, et est meilleur sur toutes les classes (voir l'amélioration par-classe sur la Fig. 4). PretRand surpasse également les méthodes d'ensemble de beaucoup (+2.2%), tout en utilisant beaucoup moins de paramètres. Ceci montre clairement la différence de notre méthode par rapport aux modèles d'ensemble, et plus important, montre l'importance d'avoir une représentation des mots partagée ainsi que la normalisation et les poids de pondération appris pendant la phase d'apprentissage. Un dernier point important, est finalement, un atout essentiel de PretRand, est sa capacité à surpasser considérablement le fine-tuning standard, en utilisant uniquement 0.02% de paramètres supplémentaires.

De plus, nous avons conduit une expérience intéressante qui consiste à évaluer le gain en performance de PretRand par rapport au fine-tuning, en fonction de la taille des différents ensembles d'apprentissage du domaine cible. D'après les résultats de la Figure 3, PretRand a un gain plus important avec des ensembles de données plus grands. Ceci signifie que plus on a de données d'entraînement, plus notre méthode sera meilleure.

Pour évaluer la contribution des différents composants de PretRand, nous avons réalisé une étude d'ablation. Plus précisément, nous avons retiré successivement les vecteurs
<table><caption>TABLE 2 – Comparaison de notre méthode à l'état-de-l'art (haut) et à des méthodes de référence (milieu) en termes de précision (en %) par mot sur les 3 datasets de Tweets. Il convient de noter que les méthodes de références sont plus justement comparable à notre méthodes que celles de l'état-de-l'art. La seconde et la dernière colonne, représentent le nombre de paramètres de chaque méthodes, ainsi que la précision moyenne sur l'ensemble des datasets.</caption><thead><tr><th rowspan="2">Méthode</th><th rowspan="2">#paramètres</th><th colspan="2">TPoS</th><th>ArK</th><th colspan="2">TweeBank</th><th rowspan="2">Moy.</th></tr><tr><th>Dev</th><th>Test</th><th>Test</th><th>Dev</th><th>Test</th></tr></thead><tbody><tr><td>GATE [18]</td><td>n/a</td><td>89.37</td><td>88.69</td><td>n/a</td><td>n/a</td><td>n/a</td><td>n/a</td></tr><tr><td>GATE-bootstrap [18]</td><td>n/a</td><td>n/a</td><td>90.54</td><td>n/a</td><td>n/a</td><td>n/a</td><td>n/a</td></tr><tr><td>ARK [16]</td><td>n/a</td><td>n/a</td><td>90.40</td><td><u>93.2</u></td><td>n/a</td><td><u>94.6</u></td><td>n/a</td></tr><tr><td>TPANN [19]</td><td>n/a</td><td><u>91.08</u></td><td>90.92</td><td>92.8</td><td>n/a</td><td>n/a</td><td>n/a</td></tr><tr><td>Multi-dataset-multi-task [20]</td><td>n/a</td><td>n/a</td><td><b>91.70</b></td><td>91.61</td><td>n/a</td><td>92.44</td><td>n/a</td></tr><tr><td>Data Annealing (LSTM) [21]</td><td>n/a</td><td>n/a</td><td>89.16</td><td>n/a</td><td>n/a</td><td>n/a</td><td>n/a</td></tr><tr><td>Aléatoire-200</td><td>1x</td><td>88.32</td><td>87.76</td><td>90.67</td><td>91.20</td><td>91.56</td><td>89.90</td></tr><tr><td>Aléatoire-400</td><td>1.03x</td><td>89.01</td><td>88.89</td><td>90.99</td><td>91.38</td><td>91.63</td><td>90.38</td></tr><tr><td>Fine-tuning Standard</td><td>1x</td><td>90.96</td><td>90.7</td><td>91.72</td><td><u>92.59</u></td><td>92.99</td><td><u>91.79</u></td></tr><tr><td>Modèle d'Ensemble (2 aléatoires)</td><td>2x</td><td>89.20</td><td>88.8</td><td>91.36</td><td>91.73</td><td>92.05</td><td>90.62</td></tr><tr><td>Modèle d'Ensemble (1 pré-Appris + 1 aléatoire)</td><td>2x</td><td>89.77</td><td>88.61</td><td>91.41</td><td>92.57</td><td>92.85</td><td>91.04</td></tr><tr><td>PretRand (Notre méthode)</td><td>1.02x</td><td><b>91.56</b></td><td><u>91.46</u></td><td><b>93.77</b></td><td><b>94.51</b></td><td><b>94.95</b></td><td><b>93.24</b></td></tr></tbody></table>

<table><caption>TABLE 3 – Etude d'ablation. Précision (en %) par token lorsque l'on retire progressivement des composants de notre méthode PretRand.</caption><thead><tr><th>Méthode</th><th>TPoS</th><th>ArK</th><th>TweeBank</th><th>Moy.</th></tr></thead><tbody><tr><td>PretRand</td><td><b>91.46</b></td><td><b>93.77</b></td><td><b>94.95</b></td><td><b>93.39</b></td></tr><tr><td>-VecteurAppris</td><td>91.25</td><td>93.46</td><td>94.59</td><td>93.10</td></tr><tr><td>-aléatoire++</td><td>90.97</td><td>93.11</td><td>94.13</td><td>92.73</td></tr><tr><td>-norm.L2</td><td>90.76</td><td>92.11</td><td>93.38</td><td>92.08</td></tr></tbody></table>

<figure><img src="image_8.png" /><figcaption>FIGURE 4 – Amélioration par classe (ordonnée) de PretRand comparé à la méthode de fine-tuning sur le dataset TweeBank.</figcaption></figure>

de pondération appris (VectAppris), le sur-apprentissage pour les neurones aléatoires (aléatoire++) et la normalisation (norm. $\ell_2$). D'après les résultats du tableau 3, nous pouvons observer que les performances ne sont que marginalement meilleures que le fine-tuning lors de l'ablation des trois composantes de PretRand. Plus important encore, l'addition de chacun d'eux successivement, rend les performances nettement meilleures, ce qui souligne l'importance de chaque composant.

# 4 Analyse et Discussion

## Biais lors du fine-tuning de neurones pré-entraînés

Notre objectif est de souligner que, comme dans [7], les neurones pré-entraînés peuvent être biaisées dans le schéma de fine-tuning standard.

<figure><img src="image_9.png" /><figcaption>FIGURE 5 – Corrélation entre les activations des neurones avant (colonnes) et après (lignes) le fine-tuning.</figcaption></figure>

Nous suivons [22] et analysons les neurones de $\Phi$ (couche biLSTM) *avant* et *après* le fine-tuning.

Plus précisément, nous calculons la corrélation Pearson entre tous les neurones de cette couche avant et après le fine-tuning. Ici, un neurone est représenté par la variable aléatoire qui est la concatenation de ses activations sur tous les mots de l'ensemble de validation de l'ensemble de données TweeBank. À partir de la matrice de corrélation résultante illustrée dans la figure 5, on peut clairement observer la diagonale blanche, soulignant le fait que chaque neurone après le fine-tuning est beucoup plus corrélé avec lui-même avant le fine-tuning qu'avec toute autre neurone. Cela confirme clairement notre motivation initiale, à savoir que les neurones pré-entraînés sont fortement biaisés par rapport à ce qu'ils ont appris à partir des données source, ce qui les limite à apprendre des patterns spécifiques à la base de données cible.

En outre, nous visualisons dans la figure 6 un exemple concret de neurone biaisé lors du transfert des News vers le domaine Tweets.

Plus précisément, nous montrons les 10 premiers (top-10) mots activant le neurone 169 de $\Phi$, *avant* le fine-tuning (à
<table><caption>TABLE 2 – Comparaison de notre méthode à l'état-de-l'art (haut) et à des méthodes de référence (milieu) en termes de précision (en %) par mot sur les 3 datasets de Tweets. Il convient de noter que les méthodes de références sont plus justement comparable à notre méthodes que celles de l'état-de-l'art. La seconde et la dernière colonne, représentent le nombre de paramètres de chaque méthodes, ainsi que la précision moyenne sur l'ensemble des datasets.</caption><thead><tr><th rowspan="2">Méthode</th><th rowspan="2">#paramètres</th><th colspan="2">TPoS</th><th>ArK</th><th colspan="2">TweeBank</th><th rowspan="2">Moy.</th></tr><tr><th>Dev</th><th>Test</th><th>Test</th><th>Dev</th><th>Test</th></tr></thead><tbody><tr><td>GATE [18]</td><td>n/a</td><td>89.37</td><td>88.69</td><td>n/a</td><td>n/a</td><td>n/a</td><td>n/a</td></tr><tr><td>GATE-bootstrap [18]</td><td>n/a</td><td>n/a</td><td>90.54</td><td>n/a</td><td>n/a</td><td>n/a</td><td>n/a</td></tr><tr><td>ARK [16]</td><td>n/a</td><td>n/a</td><td>90.40</td><td><u>93.2</u></td><td>n/a</td><td><u>94.6</u></td><td>n/a</td></tr><tr><td>TPANN [19]</td><td>n/a</td><td><u>91.08</u></td><td>90.92</td><td>92.8</td><td>n/a</td><td>n/a</td><td>n/a</td></tr><tr><td>Multi-dataset-multi-task [20]</td><td>n/a</td><td>n/a</td><td><b>91.70</b></td><td>91.61</td><td>n/a</td><td>92.44</td><td>n/a</td></tr><tr><td>Data Annealing (LSTM) [21]</td><td>n/a</td><td>n/a</td><td>89.16</td><td>n/a</td><td>n/a</td><td>n/a</td><td>n/a</td></tr><tr><td>Aléatoire-200</td><td>1x</td><td>88.32</td><td>87.76</td><td>90.67</td><td>91.20</td><td>91.56</td><td>89.90</td></tr><tr><td>Aléatoire-400</td><td>1.03x</td><td>89.01</td><td>88.89</td><td>90.99</td><td>91.38</td><td>91.63</td><td>90.38</td></tr><tr><td>Fine-tuning Standard</td><td>1x</td><td>90.96</td><td>90.7</td><td>91.72</td><td><u>92.59</u></td><td>92.99</td><td><u>91.79</u></td></tr><tr><td>Modèle d'Ensemble (2 aléatoires)</td><td>2x</td><td>89.20</td><td>88.8</td><td>91.36</td><td>91.73</td><td>92.05</td><td>90.62</td></tr><tr><td>Modèle d'Ensemble (1 pré-appris + 1 aléatoire)</td><td>2x</td><td>89.77</td><td>88.61</td><td>91.41</td><td>92.57</td><td>92.85</td><td>91.04</td></tr><tr><td>PretRand (Notre méthode)</td><td>1.02x</td><td><b>91.56</b></td><td><u>91.46</u></td><td><b>93.77</b></td><td><b>94.51</b></td><td><b>94.95</b></td><td><b>93.24</b></td></tr></tbody></table>

<table><caption>TABLE 3 – Etude d'ablation. Précision (en %) par token lorsque l'on retire progressivement des composants de notre méthode PretRand.</caption><thead><tr><th>Méthode</th><th>TPoS</th><th>ArK</th><th>TweeBank</th><th>Moy.</th></tr></thead><tbody><tr><td>PretRand</td><td><b>91.46</b></td><td><b>93.77</b></td><td><b>94.95</b></td><td><b>93.39</b></td></tr><tr><td>-VecteurAppris</td><td>91.25</td><td>93.46</td><td>94.59</td><td>93.10</td></tr><tr><td>-aléatoire++</td><td>90.97</td><td>93.11</td><td>94.13</td><td>92.73</td></tr><tr><td>-norm.L2</td><td>90.76</td><td>92.11</td><td>93.38</td><td>92.08</td></tr></tbody></table>

<figure><img src="image_9.png" /><figcaption>FIGURE 4 – Amélioration par classe (ordonnée) de PretRand comparé à la méthode de fine-tuning sur le dataset TweeBank.</figcaption></figure>

de pondération appris (VectAppris), le sur-apprentissage pour les neurones aléatoires (aléatoire++) et la normalisation (norm. $\ell_2$). D'après les résultats du tableau 3, nous pouvons observer que les performances ne sont que marginalement meilleures que le fine-tuning lors de l'ablation des trois composantes de PretRand. Plus important encore, l'addition de chacun d'eux successivement, rend les performances nettement meilleures, ce qui souligne l'importance de chaque composant.

# 4 Analyse et Discussion

## Biais lors du fine-tuning de neurones pré-entraînés

Notre objectif est de souligner que, comme dans [7], les neurones pré-entraînés peuvent être biaisées dans le schéma de fine-tuning standard.

<figure><img src="image_10.png" /><figcaption>FIGURE 5 – Corrélation entre les activations des neurones avant (colonnes) et après (lignes) le fine-tuning.</figcaption></figure>

Nous suivons [22] et analysons les neurones de $\Phi$ (couche biLSTM) *avant et après* le fine-tuning.

Plus précisément, nous calculons la corrélation Pearson entre tous les neurones de cette couche avant et après le fine-tuning. Ici, un neurone est représenté par la variable aléatoire qui est la concatenation de ses activations sur tous les mots de l'ensemble de validation de l'ensemble de données TweeBank. À partir de la matrice de corrélation résultante illustrée dans la figure 5, on peut clairement observer la diagonale blanche, soulignant le fait que chaque neurone après le fine-tuning est beucoup plus corrélé avec lui-même avant le fine-tuning qu'avec toute autre neurone. Cela confirme clairement notre motivation initiale, à savoir que les neurones pré-entraînés sont fortement biaisés par rapport à ce qu'ils ont appris à partir des données source, ce qui les limite à apprendre des patterns spécifiques à la base de données cible.

En outre, nous visualisons dans la figure 6 un exemple concret de neurone biaisé lors du transfert des News vers le domaine Tweets.

Plus précisément, nous montrons les 10 premiers (top-10) mots activant le neurone 169 de $\Phi$, *avant* le fine-tuning (à
<figure><img src="image_10.png" /><figcaption>FIGURE 6 – Les mots top-10 activant le neurone-169 du schéma standard du fine-tuning, avant (Final-WSJ) et pendant le fine-tuning sur le dataset TweeBank.</figcaption></figure>

<figure><img src="image_11.png" /><figcaption>FIGURE 7 – Les mots top-10 activant le neurone-99 de la branche aléatoire PretRand, avant et pendant l’apprentissage.</figcaption></figure>

ce stade, le modèle est appris sur l'ensemble de données source WSJ) et *pendant le fine-tuning* sur l'ensemble de données TweeBank.

Nous pouvons observer que ce neurone est très sensible aux noms propres (par exemple, *George* et *Washington*) avant le fine-tuning, et aux mots dont la première lettre est en majuscule, que le mot soit un nom propre ou pas (par exemple, *Man* et *Father*) pendant le fine-tuning sur l'ensemble de données TweeBank. En effet, nous avons constaté que la plupart des mots dont la première lettre est en majuscule sont prédits par erreur comme des noms propres (*PROPN*) dans le schéma de fine-tuning standard. En fait, en anglais standard, à l'intérieur des phrases, seuls les noms propres commencent par une lettre majuscule, ce qui fait que le fine-tuning du modèle pré-appris ne parvient pas à éliminer ce pattern qui n'est pas toujours respecté dans les Tweets.

## Des neurones uniques émergent dans une branche aléatoire

Enfin, nous soulignons la capacité des neurones initialisées de façon aléatoire à apprendre des modèles spécifiques à l'ensemble de données cible et non appris par les neurones pré-entraînés en raison de leur problème de biais. Pour ce faire, nous visualisons des neurones uniques – *c'est-à-dire* des neurones aléatoires ayant une corrélation inférieure à 0,4 avec les neurones pré-entraînés – qui émergent dans la branche aléatoire.

Bien qu'il n'y en fait qu'un seul comme le montre la figure 7, de nombreux neurones uniques ont été appris par

la branche aléatoire de notre modèle PretRand : 37,5% des 200 neurones aléatoires ont une corrélation inférieure à 0,4 avec les neurones pré-entraînés.

En ce qui concerne le neurone 99, il est très spécifique aux mots "na", "ta" et "n't". En effet, dans TweeBank, des mots comme "gonna" (going to) sont symbolisés par deux tokens : "gon" et "na", le dernier étant annoté comme une particule et le premier comme un verbe. Il est important de noter qu'aucun neurone du schéma de fine-tuning standard n'a été trouvé spécifique à ce pattern spécifique au domaine des Tweets.

# 5 Conclusion

Dans cet article, nous avons présenté une méthode pour améliorer le fine-tuning en utilisant trois idées principales : ajouter des neurones aléatoires et les apprendre conjointement avec des neurones pré-entraînés; normaliser les activations des deux types de neurones pour équilibrer leurs différents comportements; et appliquer des poids apprenables sur les deux prédicteurs pour permettre au réseau d'apprendre lesquels des neurones aléatoires ou pré-entraînés sont les meilleurs pour chaque classe. Nous avons démontré l'efficacité de notre approche pour l'adaptation de notre modèle neuronal du domaine des News vers le domaine des Tweets sur des jeux de données couramment utilisés dans l'annotation en parties de discours. Pour nos travaux futurs, nous envisageons d'explorer plusieurs pistes. Tout d'abord, les bons résultats de PretRand sur la tâche d'étiquetage morpho-syntaxique suggèrent de l'expérimenter sur d'autres types de tâches de TAL plus sémantiques comme par exemple la désambiguïsation lexicale et l'annotation en rôles thématiques. En outre, étant donné que le transfert négatif est très important lors du transfert entre des domaines source et cible moins liés, l'impact de PretRand serait plus intéressant en transfert interlingue. Deuxièmement, dans ce travail, nous avons expérimenté le schéma d'adaptation PretRand sur des modèles pré-entraînés de manière supervisée, un pas important en avant est d'examiner son extensibilité avec d'autres méthodes de pré-apprentissage.

## Références

[1] Alexander Pak and Patrick Paroubek. Twitter as a corpus for sentiment analysis and opinion mining. In *LREC*, volume 10, pages 1320–1326, 2010.

[2] Jan Niehues and Eunah Cho. Exploiting linguistic resources for neural machine translation using multitask learning. In *Proceedings of the Second Conference on Machine Translation*, pages 80–89, 2017.

[3] Nasredine Semmar, Laib Meriama, and Christian Fluhr. A deep linguistic analysis for cross-language information retrieval. In *Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC’06)*, 2006.
<figure><img src="image_11.png" /><figcaption>FIGURE 6 – Les mots top-10 activant le neurone-169 du schéma standard du fine-tuning, avant (Final-WSJ) et pendant le fine-tuning sur le dataset TweeBank.</figcaption></figure>

<figure><img src="image_12.png" /><figcaption>FIGURE 7 – Les mots top-10 activant le neurone-99 de la branche aléatoire PretRand, avant et pendant l’apprentissage.</figcaption></figure>

ce stade, le modèle est appris sur l'ensemble de données source WSJ) et *pendant le fine-tuning* sur l'ensemble de données TweeBank.

Nous pouvons observer que ce neurone est très sensible aux noms propres (par exemple, *George* et *Washington*) avant le fine-tuning, et aux mots dont la première lettre est en majuscule, que le mot soit un nom propre ou pas (par exemple, *Man* et *Father*) pendant le fine-tuning sur l'ensemble de données TweeBank. En effet, nous avons constaté que la plupart des mots dont la première lettre est en majuscule sont prédits par erreur comme des noms propres (*PROPN*) dans le schéma de fine-tuning standard. En fait, en anglais standard, à l'intérieur des phrases, seuls les noms propres commencent par une lettre majuscule, ce qui fait que le fine-tuning du modèle pré-appris ne parvient pas à éliminer ce pattern qui n'est pas toujours respecté dans les Tweets.

## Des neurones uniques émergent dans une branche aléatoire

Enfin, nous soulignons la capacité des neurones initialisées de façon aléatoire à apprendre des modèles spécifiques à l'ensemble de données cible et non appris par les neurones pré-entraînés en raison de leur problème de biais. Pour ce faire, nous visualisons des neurones uniques – *c'est-à-dire* des neurones aléatoires ayant une corrélation inférieure à 0,4 avec les neurones pré-entraînés – qui émergent dans la branche aléatoire.

Bien qu'il n'y en fait qu'un seul comme le montre la figure 7, de nombreux neurones uniques ont été appris par

la branche aléatoire de notre modèle PretRand : 37,5% des 200 neurones aléatoires ont une corrélation inférieure à 0,4 avec les neurones pré-entraînés.

En ce qui concerne le neurone 99, il est très spécifique aux mots "na", "ta" et "n't". En effet, dans TweeBank, des mots comme "gonna" (going to) sont symbolisés par deux tokens : "gon" et "na", le dernier étant annoté comme une particule et le premier comme un verbe. Il est important de noter qu'aucun neurone du schéma de fine-tuning standard n'a été trouvé spécifique à ce pattern spécifique au domaine des Tweets.

## 5 Conclusion

Dans cet article, nous avons présenté une méthode pour améliorer le fine-tuning en utilisant trois idées principales : ajouter des neurones aléatoires et les apprendre conjointement avec des neurones pré-entraînés; normaliser les activations des deux types de neurones pour équilibrer leurs différents comportements; et appliquer des poids apprenables sur les deux prédicteurs pour permettre au réseau d'apprendre lesquels des neurones aléatoires ou pré-entraînés sont les meilleurs pour chaque classe. Nous avons démontré l'efficacité de notre approche pour l'adaptation de notre modèle neuronal du domaine des News vers le domaine des Tweets sur des jeux de données couramment utilisés dans l'annotation en parties de discours. Pour nos travaux futurs, nous envisageons d'explorer plusieurs pistes. Tout d'abord, les bons résultats de PretRand sur la tâche d'étiquetage morpho-syntaxique suggèrent de l'expérimenter sur d'autres types de tâches de TAL plus sémantiques comme par exemple la désambiguïsation lexicale et l'annotation en rôles thématiques. En outre, étant donné que le transfert négatif est très important lors du transfert entre des domaines source et cible moins liés, l'impact de PretRand serait plus intéressant en transfert interlingue. Deuxièmement, dans ce travail, nous avons expérimenté le schéma d'adaptation PretRand sur des modèles pré-entraînés de manière supervisée, un pas important en avant est d'examiner son extensibilité avec d'autres méthodes de pré-apprentissage.

## Références

[1] Alexander Pak and Patrick Paroubek. Twitter as a corpus for sentiment analysis and opinion mining. In *LREC*, volume 10, pages 1320–1326, 2010.

[2] Jan Niehues and Eunah Cho. Exploiting linguistic resources for neural machine translation using multitask learning. In *Proceedings of the Second Conference on Machine Translation*, pages 80–89, 2017.

[3] Nasredine Semmar, Laib Meriama, and Christian Fluhr. A deep linguistic analysis for cross-language information retrieval. In *Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC’06)*, 2006.
[4] Nasredine Semmar, Laib Meriama, and Christian Fluhr. Evaluating a natural language processing approach in arabic information retrieval. In *ELRA Workshop on Evaluation Looking into the Future of Evaluation: When automatic metrics meet task-based and performance-based approaches*, page 24, 2008.

[5] Sara Meftah and Nasredine Semmar. A neural network model for part-of-speech tagging of social media texts. In *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*, 2018.

[6] O Zennaki, N Semmar, and Laurent Besacier. A neural approach for inducing multilingual resources and natural language processing tools for low-resource languages. *Natural Language Engineering*, 25(1):43–67, 2019.

[7] Bolei Zhou, David Bau, Aude Oliva, and Antonio Torralba. Interpreting deep visual representations via network dissection. *IEEE Transactions on Pattern Analysis and Machine Intelligence*, 2018.

[8] Bolei Zhou, Yiyou Sun, David Bau, and Antonio Torralba. Revisiting the importance of individual units in cnns via ablation. *arXiv preprint arXiv:1806.02891*, 2018.

[9] Sara Meftah, Nasredine Semmar, Fatiha Sadat, and Stephan Raaijmakers. Using neural transfer learning for morpho-syntactic tagging of south-slavic languages tweets. In *Proceedings of the Fifth Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2018)*, pages 235–243, 2018.

[10] Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In *NAACL*, volume 1, pages 2227–2237, 2018.

[11] Lili Mou, Zhao Meng, Rui Yan, Ge Li, Yan Xu, Lu Zhang, and Zhi Jin. How transferable are neural networks in nlp applications? In *EMNLP*, pages 479–489, 2016.

[12] Wei Liu, Andrew Rabinovich, and Alexander C Berg. Parsenet: Looking wider to see better. *arXiv preprint arXiv:1506.04579*, 2015.

[13] Youssef Tamaazousti, Hervé Le Borgne, Céline Hudelot, Mohamed El Amine Seddik, and Mohamed Tamaazousti. Learning more universal representations for transfer-learning. *arXiv:1712.09708*, 2018.

[14] Jeffrey Pennington, Richard Socher, and Christopher Manning. Glove: Global vectors for word representation. In *Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP)*, pages 1532–1543, 2014.

[15] Alan Ritter, Sam Clark, Oren Etzioni, et al. Named entity recognition in tweets: an experimental study. In *EMNLP*, pages 1524–1534. Association for Computational Linguistics, 2011.

[16] Olutobi Owoputi, Brendan O'Connor, Chris Dyer, Kevin Gimpel, Nathan Schneider, and Noah A Smith. Improved part-of-speech tagging for online conversational text with word clusters. In *NAACL*, pages 380–390, 2013.

[17] Yijia Liu, Yi Zhu, Wanxiang Che, Bing Qin, Nathan Schneider, and Noah A Smith. Parsing tweets into universal dependencies. In *NAACL*, volume 1, pages 965–975, 2018.

[18] Leon Derczynski, Alan Ritter, Sam Clark, and Kalina Bontcheva. Twitter part-of-speech tagging for all: Overcoming sparse and noisy data. In *RANLP 2013*, pages 198–206, 2013.

[19] Tao Gui, Qi Zhang, Haoran Huang, Minlong Peng, and Xuanjing Huang. Part-of-speech tagging for twitter with adversarial neural networks. In *EMNLP*, pages 2411–2420, 2017.

[20] Shubhanshu Mishra. Multi-dataset-multi-task neural sequence tagging for information extraction from tweets. In *Proceedings of the 30th ACM Conference on Hypertext and Social Media*, pages 283–284. ACM, 2019.

[21] Jing Gu and Zhou Yu. Data annealing for informal language understanding tasks. *arXiv preprint arXiv:2004.13833*, 2020.

[22] Youssef Tamaazousti, Hervé Le Borgne, and Céline Hudelot. Mucale-net: Multi categorical-level networks to generate more discriminating features. In *CVPR*, 2017.
[4] Nasredine Semmar, Laib Meriama, and Christian Fluhr. Evaluating a natural language processing approach in arabic information retrieval. In *ELRA Workshop on Evaluation Looking into the Future of Evaluation: When automatic metrics meet task-based and performance-based approaches*, page 24, 2008.

[5] Sara Meftah and Nasredine Semmar. A neural network model for part-of-speech tagging of social media texts. In *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*, 2018.

[6] O Zennaki, N Semmar, and Laurent Besacier. A neural approach for inducing multilingual resources and natural language processing tools for low-resource languages. *Natural Language Engineering*, 25(1):43–67, 2019.

[7] Bolei Zhou, David Bau, Aude Oliva, and Antonio Torralba. Interpreting deep visual representations via network dissection. *IEEE Transactions on Pattern Analysis and Machine Intelligence*, 2018.

[8] Bolei Zhou, Yiyou Sun, David Bau, and Antonio Torralba. Revisiting the importance of individual units in cnns via ablation. *arXiv preprint arXiv:1806.02891*, 2018.

[9] Sara Meftah, Nasredine Semmar, Fatiha Sadat, and Stephan Raaijmakers. Using neural transfer learning for morpho-syntactic tagging of south-slavic languages tweets. In *Proceedings of the Fifth Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2018)*, pages 235–243, 2018.

[10] Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In *NAACL*, volume 1, pages 2227–2237, 2018.

[11] Lili Mou, Zhao Meng, Rui Yan, Ge Li, Yan Xu, Lu Zhang, and Zhi Jin. How transferable are neural networks in nlp applications? In *EMNLP*, pages 479–489, 2016.

[12] Wei Liu, Andrew Rabinovich, and Alexander C Berg. Parsenet: Looking wider to see better. *arXiv preprint arXiv:1506.04579*, 2015.

[13] Youssef Tamaazousti, Hervé Le Borgne, Céline Hudelot, Mohamed El Amine Seddik, and Mohamed Tamaazousti. Learning more universal representations for transfer-learning. *arXiv:1712.09708*, 2018.

[14] Jeffrey Pennington, Richard Socher, and Christopher Manning. Glove: Global vectors for word representation. In *Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP)*, pages 1532–1543, 2014.

[15] Alan Ritter, Sam Clark, Oren Etzioni, et al. Named entity recognition in tweets: an experimental study. In *EMNLP*, pages 1524–1534. Association for Computational Linguistics, 2011.

[16] Olutobi Owoputi, Brendan O'Connor, Chris Dyer, Kevin Gimpel, Nathan Schneider, and Noah A Smith. Improved part-of-speech tagging for online conversational text with word clusters. In *NAACL*, pages 380–390, 2013.

[17] Yijia Liu, Yi Zhu, Wanxiang Che, Bing Qin, Nathan Schneider, and Noah A Smith. Parsing tweets into universal dependencies. In *NAACL*, volume 1, pages 965–975, 2018.

[18] Leon Derczynski, Alan Ritter, Sam Clark, and Kalina Bontcheva. Twitter part-of-speech tagging for all: Overcoming sparse and noisy data. In *RANLP 2013*, pages 198–206, 2013.

[19] Tao Gui, Qi Zhang, Haoran Huang, Minlong Peng, and Xuanjing Huang. Part-of-speech tagging for twitter with adversarial neural networks. In *EMNLP*, pages 2411–2420, 2017.

[20] Shubhanshu Mishra. Multi-dataset-multi-task neural sequence tagging for information extraction from tweets. In *Proceedings of the 30th ACM Conference on Hypertext and Social Media*, pages 283–284. ACM, 2019.

[21] Jing Gu and Zhou Yu. Data annealing for informal language understanding tasks. *arXiv preprint arXiv:2004.13833*, 2020.

[22] Youssef Tamaazousti, Hervé Le Borgne, and Céline Hudelot. Mucale-net: Multi categorical-level networks to generate more discriminating features. In *CVPR*, 2017.