add readme

.gitignore

@@ -0,0 +1 @@
+*.py

README.md

@@ -0,0 +1,91 @@
+---
+language: 
+- fr
+
+license: mit
+
+pipeline_tag: "fill-mask"
+
+widget:
+- text: <mask> tt le monde !
+- text: cc<mask> va?
+- text: <mask> la Fronce !
+
+tags:
+- fill-mask
+- convbert
+- twitch
+---
+
+## Modèle de Masking sur les données Twitch FR
+
+L'expérimentation menée au sein de Lincoln avait pour principal objectif de mettre en œuvre des techniques NLP from scratch sur un corpus de messages issus d’un chat Twitch. Ces derniers sont exprimés en français, mais sur une plateforme internet avec le vocabulaire internet que cela implique (fautes, vocabulaire communautaires, abréviations, anglicisme, emotes, ...). 
+
+Nos contraintes sont celles d’une entreprise n’ayant pas une volumétrie excessive de données et une puissance infinie de calcul.
+Il a été nécessaire de construire un nouveau tokenizer afin de mieux correspondre à notre corpus plutôt qu’un tokenizer français existant.
+
+Note corpus étant faible en volumétrie par rapport aux données habituelles pour entrainer un modèle BERT, nous avons opté pour l’entrainement d’un modèle dit « small ». Et il a été montré dans la littérature qu’un corpus de quelques giga octets peut donner de bons résultats, c’est pourquoi nous avons continué avec notre corpus.
+
+La limite de la puissance de calcul a été contourné à l’aide d’une nouvelle architecture d’apprentissage basée sur un double modèle générateur / discriminateur. 
+
+Ceci nous a permis d’entrainer un modèle de langue ConvBERT sur nos données, ainsi qu’un modèle de masking en quelques heures sur une carte GPU V100. 
+
+_Nous garantissons pas la stabilité du modèle sur le long terme. Modèle réalisé dans le cadre d'un POC._
+
+## Données
+
+| Streamer                                      | Nbr de messages | Categories notables en 2021        |
+| --------------------------------------------- | --------------- | ---------------------------------- |
+| Ponce                                         | 2 604 935       | Chatting/Mario Kart/FIFA           |
+| Domingo                           | 1 209 703       | Chatting/talk-shows/FM2O21         |
+| Mistermv                                      | 1 205 882       | Isaac/Special events/TFT           |
+| Zerator                                       | 900 894         | New World/WOW/Valorant             |
+| Blitzstream                                   | 821 585         | Chess                              |
+| Squeezie                                      | 602 148         | Chatting / Minecraft               |
+| Antoinedaniellive                             | 548 497         | Geoguessr                          |
+| Jeanmassietaccropolis/jeanmassiet | 301 387         | Talk-shows/chatting/special events |
+| Samueletienne                                 | 215 956         | chatting                           |
+
+Sur la période du 12/03/2021 au 22/07/2021. La totalité des messages comptent 9 410 987 messages sur ces neufs streamers. Ces messages sont issus du canal IRC, donc n’ont pas subi de modération
+
+Les données d'entrainement du modèle de masking contient 899 652 instances de train et 99 962 instances de test. Les données ont été formaté en concaténant les messages sur une fenêtre de 10s. Cette fenêtre correspond à une fenêtre courte qui regroupe des messages très « proches » temporellement.
+
+* 512 tokens max
+* Probabilité du « mask » : 15%
+
+ 
+## Application
+
+Voir github public [lincoln/twitchatds](https://github.com/Lincoln-France/twitchatds) pour les détails d'implémentation et les résultats.
+
+## Remarques
+
+* Expérimentation ponctuelle
+* Les métriques d'entrainement sont disponibles dans l'onglet _Training metrics_
+* Pour une meilleure stabilité, les données doivent être plus hétérogènes et volumineuse. Le modèle doit être entrainé + de 24h. 
+* Le token `<mask>` fonctionne probablement mieux sans laisser d'espace à gauche. Cela est dû au fait que `lstrip=False` pour ce token spécial.
+
+## Usage
+
+```python
+from transformers import AutoTokenizer, ConvBertForMaskedLM 
+from transformers import pipeline
+
+model_name = 'lincoln/2021twitchfr-conv-bert-small-mlm'
+tokenizer_name = 'lincoln/2021twitchfr-conv-bert-small'
+
+loaded_tokenizer = AutoTokenizer.from_pretrained(tokenizer_name)
+loaded_model = ConvBertForMaskedLM.from_pretrained(model_name)
+
+nlp = pipeline('fill-mask', model=loaded_model, tokenizer=loaded_tokenizer)
+nlp('<mask> les gens !')
+```
+
+## Modèles:
+
+* [2021twitchfr-conv-bert-small](https://huggingface.co/lincoln/2021twitchfr-conv-bert-small)
+* [2021twitchfr-conv-bert-small-mlm](https://huggingface.co/lincoln/2021twitchfr-conv-bert-small-mlm)
+* [2021twitchfr-conv-bert-small-mlm-simcse](https://huggingface.co/lincoln/2021twitchfr-conv-bert-small-mlm-simcse)
+
+
+

config.json

@@ -0,0 +1,29 @@
+{
+  "_name_or_path": "/mnt/twitchat/models/convbert-small-hf-mlm",
+  "architectures": [
+    "ConvBertForMaskedLM"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "conv_kernel_size": 9,
+  "embedding_size": 128,
+  "eos_token_id": 2,
+  "head_ratio": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 256,
+  "initializer_range": 0.02,
+  "intermediate_size": 1024,
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "convbert",
+  "num_attention_heads": 4,
+  "num_groups": 1,
+  "num_hidden_layers": 12,
+  "pad_token_id": 0,
+  "torch_dtype": "float32",
+  "transformers_version": "4.15.0",
+  "type_vocab_size": 2,
+  "vocab_size": 16361
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6e1f37e863b10c60e3980150196f11af2c280cffce88ae909be047d75434b00c
+size 45641279

runs/events.out.tfevents.1632753082.vmlgpuv100.10893.0

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:79702817bcddabdfb6dbd7af94d25a982f0c9934501ece39370aca994e8214da
+size 458586