Update app.py

app.py

@@ -1,9 +1,10 @@
 import streamlit as st
+from annotated_text import annotated_text
 from transformers import pipeline
 from PIL import Image
 
 st.sidebar.header("**Instructions**")
-st.sidebar.markdown("Démonstrateur du modèle [QAmembert](https://huggingface.co/CATIE-AQ/QAmembert) entraîné sur plus de 220 000 contextes/questions/réponses en français. Le modèle est capable d'indiquer si la réponse se situe ou non dans le texte fourni. Il est disponible en version *base* (110M de paramètres) et *large* (335M de paramètres). Pour l'essayer, sélectionnez la version de votre choix ci-dessous, puis renseignez un texte et une question à propos de celui-ci. Enfin appuyez sur le bouton « Appliquer le modèle » pour observer la réponse trouvée par le modèle. Pour ens avoir plus sur ce modèle, vous pouvez lire l'[article de blog](https://blog.vaniila.ai/QA/) détaillant la démarche suvie.")
+st.sidebar.markdown("Démonstrateur du modèle [Camembert-NER](CATIE-AQ/Camembert-NER-base-frenchNER) entraîné sur plus de 425 000 données en français. Le modèle est capable d'étiquetter les entités LOC (Localisation), PER (Personne), ORG (Organisation) dans le texte fourni. Il est disponible en version *base* (110M de paramètres) et *large* (335M de paramètres). Pour l'essayer, sélectionnez la version de votre choix ci-dessous, puis renseignez un texte. Enfin appuyez sur le bouton « Appliquer le modèle » pour observer la réponse trouvée par le modèle. Pour en savoir plus sur ce modèle, vous pouvez lire l'[article de blog](https://blog.vaniila.ai/NER/) détaillant la démarche suvie.")
 version = st.sidebar.radio("Choix de la version du modèle :", ["version base", "version large"])
 st.sidebar.markdown("---")
 st.sidebar.markdown("Ce modèle a été entraîné via la plateforme [*Vaniila*](https://www.vaniila.ai/) du [CATIE](https://www.catie.fr/).")
@@ -15,49 +16,84 @@ st.sidebar.image(image, caption=None, width=None, use_column_width=None, clamp=F
 @st.cache_resource
 def load_model(version):
     if version == "version base":
-        return pipeline('question-answering', model='CATIE-AQ/QAmembert', tokenizer='CATIE-AQ/QAmembert')
+        return pipeline('token-classification', model='bourdoiscatie/Camembert-NER-base-frenchNER', tokenizer='bourdoiscatie/Camembert-NER-base-frenchNER', grouped_entities=True)
     else:
-        return pipeline('question-answering', model='CATIE-AQ/QAmembert-large', tokenizer='CATIE-AQ/QAmembert-large')
-        
-def results():
-    col1, col2, col3 = st.columns(3)
-    if col2.button('Appliquer le modèle'):
-        result = model(question,context)
-        st.write("Résultat")
-        if result['score'] < 0.01:
-            st.info("La réponse n'est pas dans le contexte fourni.")
-        else :
-            st.info(result['answer'])
-        with st.expander("Voir le détail :"):
-            st.write("• Score :", result['score'])
-            st.write("• Début de la réponse :", result['start'])
-            st.write("• Fin de la réponse :", result['end'])
-            st.write("• Réponse :", result['answer'])
-    pass
+        return pipeline('token-classification', model='bourdoiscatie/Camembert-NER-base-frenchNER', tokenizer='bourdoiscatie/Camembert-NER-base-frenchNER', grouped_entities=True)
+
+def getcolor(texts, labels):
+    colors = {'LOC': '#8ef', 'PER': '#faa', 'ORG': '#afa'}
+    return [(t,l,colors[l]) for t, l in zip(texts, labels)]
+
+def color_annotation(to_print,transcript) :  
+    text_ner = []
+    label_ner = []
+    for i in range(len(to_print)) :
+        text_ner.append(to_print[i]["word"])
+        label_ner.append(to_print[i]["entity_group"])
+
+    anns = getcolor(text_ner, label_ner)
+    anns = list(set(anns))
+    text_ner = list(set(text_ner))
+    text_ner = list(sorted(text_ner, key = len))
+
+    display = transcript.replace(" ",' ","')
+    for i in range(len(anns)):
+        for j in range(len(text_ner)):
+            if text_ner[j] == anns[i][0]:
+                 display = display.replace(text_ner[j].replace(" ",' ","'),str(anns[i]))
+    display = display.replace(', ","',',').replace(".","")
+    
+    for i in re.findall(r"\((.*?)\)", display) : # pour gérer les cas de mots inclus dans des n_grams
+        if "(" in i:
+            display = display.replace(i+")",i.split(",")[0].replace("('","")).replace("''","'")
             
+    # sanity check
+    display = display.replace(")",')","').replace(')","","',')","').replace("(",'","(').replace('","","(','","(')
+
+    return display
+
+
+
+
             
-st.markdown("<h2 style='text-align: center'>QAmembert", unsafe_allow_html=True)    
+st.markdown("<h2 style='text-align: center'>Camembert-NER", unsafe_allow_html=True)    
 st.markdown("<h4 style='text-align: center'>"+version, unsafe_allow_html=True)    
 model = load_model(version)
 
 option = st.selectbox(
     'Choix du mode',
-    ('Texte libre', 'Exemple 1', 'Exemple 2'))
+    ('Texte libre', 'Exemple'))
 
 if option == "Exemple 1":
-    context = st.text_area("Votre texte", value="Le français est une langue indo-européenne de la famille des langues romanes dont les locuteurs sont appelés francophones. Elle est parfois surnommée la langue de Molière.  Le français est parlé, en 2023, sur tous les continents par environ 321 millions de personnes : 235 millions l'emploient quotidiennement et 90 millions en sont des locuteurs natifs. En 2018, 80 millions d'élèves et étudiants s'instruisent en français dans le monde. Selon l'Organisation internationale de la francophonie (OIF), il pourrait y avoir 700 millions de francophones sur Terre en 2050.",height=175)
-    question = st.text_input("Votre question", value="Combien de personnes utilisent le français tous les jours ?")
-    if context and question:
-        results()
-
-elif option == "Exemple 2":
-    context = st.text_area("Votre texte", value="Le français est une langue indo-européenne de la famille des langues romanes dont les locuteurs sont appelés francophones. Elle est parfois surnommée la langue de Molière.  Le français est parlé, en 2023, sur tous les continents par environ 321 millions de personnes : 235 millions l'emploient quotidiennement et 90 millions en sont des locuteurs natifs. En 2018, 80 millions d'élèves et étudiants s'instruisent en français dans le monde. Selon l'Organisation internationale de la francophonie (OIF), il pourrait y avoir 700 millions de francophones sur Terre en 2050.",height=175)
-    question = st.text_input("Votre question", value="Quel est le meilleur vin du monde ?")
-    if context and question:
-        results()
+    text = st.text_area("Votre texte", value="Assurés de disputer l'Euro 2024 en Allemagne l'été prochain (du 14 juin au 14 juillet) depuis leur victoire aux Pays-Bas, les Bleus ont fait le nécessaire pour avoir des certitudes. Avec six victoires en six matchs officiels et un seul but encaissé, Didier Deschamps a consolidé les acquis de la dernière Coupe du monde. Les joueurs clés sont connus : Kylian Mbappé, Aurélien Tchouameni, Antoine Griezmann, Ibrahima Konaté ou encore Mike Maignan.",height=175)
+    if text:
+        display = color_annotation(pipeline_ner(text),text)[0]
+        list_to_display = [] # pour pouvoir afficher la couleur, on doit passer les mots à colorier de str en tuple
+        for i in range(len(display.split('","'))):
+            if "(" in display.split('","')[i]:
+                list_to_display.append(eval(display.split('","')[i]))
+            else :
+                list_to_display.append(display.split('","')[i])
+        annotated_text(*list_to_display)    
+         st.write("\n")
+        with st.expander("Afficher le score pour chacune des entitées trouvées :"):
+            for i in range(len(to_print)) :
+                st.write("- Score pour que ",to_print[i]["word"]," soit de type", to_print[i]["entity_group"]," : ",round(to_print[i]["score"],3))
     
 else:
-    context = st.text_area("Votre texte", value="",height=175)
-    question = st.text_input("Votre question", value="")
-    if context and question:
-        results()
+    text = st.text_area("Votre texte", value="",height=175)
+    if text:
+        col1, col2, col3 = st.columns(3)
+        if col2.button('Appliquer le modèle'):
+            display = color_annotation(pipeline_ner(text),text)[0]
+            list_to_display = [] # pour pouvoir afficher la couleur, on doit passer les mots à colorier de str en tuple
+            for i in range(len(display.split('","'))):
+                if "(" in display.split('","')[i]:
+                    list_to_display.append(eval(display.split('","')[i]))
+                else :
+                    list_to_display.append(display.split('","')[i])
+            annotated_text(*list_to_display)    
+             st.write("\n")
+            with st.expander("Afficher le score pour chacune des entitées trouvées :"):
+                for i in range(len(to_print)) :
+                    st.write("- Score pour que ",to_print[i]["word"]," soit de type", to_print[i]["entity_group"]," : ",round(to_print[i]["score"],3))