Upload 6 files

app.py

@@ -0,0 +1,61 @@
+import streamlit as st
+from utils import get_roberta, get_gpt, get_distilbert
+import torch
+
+
+
+
+st.title('Sentence Entailment')
+col1, col2 = st.columns([1,1])
+
+with col1:
+    sentence1 = st.text_input('Premise')
+
+with col2:
+    sentence2 = st.text_input('Hypothesis')
+btn = st.button("Submit")
+
+label_dict = {
+    0 : 'entailment',
+    1 : 'neutral',
+    2 : 'contradiction'
+}
+
+if btn:
+    # Get Roberta Output
+    roberta_tokenizer, roberta_model = get_roberta()
+    roberta_input = roberta_tokenizer(
+        sentence1, 
+        sentence2, 
+        return_tensors="pt", 
+        padding=True, 
+        truncation=True, 
+        max_length=512
+    )
+    roberta_logits = roberta_model(**roberta_input)['logits']
+    st.write('ROBERTA', label_dict[roberta_logits.argmax().item()])
+
+    distilbert_tokenizer, distilbert_model = get_distilbert()
+    distilbert_input = distilbert_tokenizer(
+        sentence1, 
+        sentence2, 
+        return_tensors="pt", 
+        padding=True, 
+        truncation=True, 
+        max_length=512
+    )
+    distilbert_logits = distilbert_model(**distilbert_input)['logits']
+    st.write('DistilBERT', label_dict[distilbert_logits.argmax().item()])
+    #
+
+    gpt_tokenizer, gpt_model = get_gpt()
+    gpt_input = gpt_tokenizer(
+        sentence1 + ' [SEP] ' + sentence2,
+        truncation=True,
+        padding='max_length',
+        max_length=512,
+        return_tensors='pt'
+    )
+    
+    gpt_logits = gpt_model(**gpt_input)['logits']
+    st.write('GPT', label_dict[gpt_logits.argmax().item()])

distilbert.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c1b10cc8d1439918ae5ef54b0bb1c281a849f3bfdc4bd25cd5f5f2ebd3a1fab2
+size 267835644

gpt.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4a507a34036782f5bffa980aa816200cd116e50b8eaa6118d2baab578e00ab4d
+size 497783504

models.py

@@ -0,0 +1,27 @@
+from torch import nn
+from transformers import RobertaModel, RobertaConfig
+
+class RobertaSNLI(nn.Module):
+    def __init__(self):
+        super(RobertaSNLI, self).__init__()
+        config = RobertaConfig.from_pretrained('roberta-base')
+        config.output_attentions = True  # activer sortie des poids d'attention
+        config.max_position_embeddings = 130  # gérer la longueur des séquences
+        config.hidden_size = 256    # taille des états cachés du modèle
+        config.num_hidden_layers = 4    # nombre de couches cachées dans le transformateur
+        config.intermediate_size = 512  # taille couche intermédiaire dans modèle de transformateur
+        config.num_attention_heads = 4  # nombre de têtes d'attentions 
+
+        self.roberta = RobertaModel(config)
+        self.roberta.requires_grad = True
+        self.output = nn.Linear(256, 3) # couche de sortie linéaire. Entrée la taille des états cachées et 3 sorties
+        
+    def forward(self, input_ids, attention_mask=None):
+        outputs = self.roberta(input_ids, attention_mask=attention_mask)
+        roberta_out = outputs[0]  # séquence des états cachés à la sortie de la dernière couche
+        attentions = outputs.attentions   # poids d'attention du modèle RoBERTa
+        
+        return self.output(roberta_out[:, 0]), attentions
+    
+
+

requirements.txt

@@ -0,0 +1,4 @@
+torch
+safetensors
+transformers
+streamlit

roberta.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e4a4410d23d0fd92450aaef7f8d3e98665b1bba58601fa3561c07cd65f3e2420
+size 498615900