Upload 6 files

data_process.py

@@ -0,0 +1,50 @@
+import re
+from bs4 import BeautifulSoup
+import requests
+
+def nettoyer_string(mot):
+  mot_non_special = re.sub(r'[^\w\sÀ-ÿ]' , '', mot)
+  mot_ns_ne = re.sub(r'\s+', ' ', mot_non_special)
+  mot_final = mot_ns_ne.strip()
+
+
+  return mot_final
+
+
+def chercher_data(mot,titles = [], links = [] ):
+    response = requests.get("https://data.gov.ma/data/fr/dataset",  params={'q': mot})
+    if response.status_code != 200:
+        return titles, links, response.url, 0
+    soup = BeautifulSoup(response.text, features="lxml")
+    nb_text = soup.find('h1').text
+    nombre_don = re.findall(r'\d+', nb_text)
+    media = soup.find('ul', class_='dataset-list list-unstyled')
+    if media:
+      thm = media.find_all('li', class_ = 'dataset-item')
+      for m in thm:
+            link = m.find('a')['href']
+            links.append('https://data.gov.ma' + link)
+            title = m.find('h2').text.strip()
+            titles.append(title)
+    else:
+      return titles, links,  response.url, 0
+
+    if not titles:
+      return titles, links, response.url, 0
+
+    return titles, links ,response.url, nombre_don[0]
+
+
+def format_reponse(data):
+    if len(data[0]) == 1:
+          response = f"Ici le lien vers la donnée correspondant au mot recherché : {data[-2]}\n"
+          response += f"Voici le seul résultat trouvé :\n"
+          response += f"Titre : {data[0][0]}\n"
+          response += f"Lien : {data[1][0]}\n"
+          return response
+    else:
+          response = f"Ici le lien vers toutes les {data[-1]} données correspondant au mot recherché : {data[-2]}\n"
+          response += f"Voici un exemple parmi les résultats trouvés :\n"
+          response += f"Titre : {data[0][-1]}\n"
+          response += f"Lien : {data[1][-1]}\n"
+          return response

finito.py

@@ -0,0 +1,83 @@
+# -*- coding: utf-8 -*-
+"""finito.ipynb
+
+Automatically generated by Colaboratory.
+
+Original file is located at
+    https://colab.research.google.com/drive/1rNnk3xajWzVdyH2eXJ58ghLpk-zejGw-
+"""
+
+!pip install -r requirements.txt
+
+!pip install gradio
+
+from langchain.prompts import StringPromptTemplate
+import re
+import langchain
+from qa_txt import conversation_chain
+from key_extract import chain
+from bs4 import BeautifulSoup
+import requests
+from data_process import *
+from langchain.tools.base import StructuredTool
+from langchain.agents import initialize_agent
+from qa_txt import llm
+import gradio as gr
+
+def faq(query: str) -> str:
+    reponse = conversation_chain({"question": query, "chat_history": []})
+    return reponse['answer']
+
+qa_faq = StructuredTool.from_function(
+    func = faq ,
+    description="""
+    Repondre à des questions general .
+
+    Parameters :
+    - query (string) : the same input as the user input no more no less and dont translate it even if it is in another language.
+
+    Returns :
+    - string : the output as returned from the function in french.
+    """
+)
+
+def request_data(query: str) -> str:
+    request = chain.run(query)
+    mot_cle = nettoyer_string(request)
+    mots = mot_cle.split()
+    ui = mots[0]
+    rg = chercher_data(ui)
+    if len(rg[0]):
+      reponse_final = format_reponse(rg)
+      return reponse_final
+    else:
+      return "Désolé, il semble que nous n'ayons pas de données correspondant à votre demande pour le moment. Avez-vous une autre question ou avez-vous besoin d'aide sur quelque chose d'autre?"
+
+fetch_data = StructuredTool.from_function(
+    func=request_data,
+    description="""
+    Rechercher des données.
+
+    Parameters :
+    - query (string) : the same input as the user input no more no less and dont translate it even if it is in another language.
+
+    Returns :
+    - string : the output as returned from the function in french.
+    """,
+)
+
+tools_add = [
+    qa_faq,
+    fetch_data,
+]
+
+agent = initialize_agent(
+    tools = tools_add,
+    llm = llm,
+    agent = "zero-shot-react-description",
+    verbose = True
+)
+
+agent.invoke("bonjour je veux l'addresse de contact. Et donner moi les donnée de la finance")
+
+gr.ChatInterface(agent.invoke).launch()

intents_v2 (1).txt

@@ -0,0 +1,169 @@
+      "tag": "If the user say hello or hi or greet you",
+      "responses": [
+        "Bonjour! Comment puis-je vous aider aujourd'hui?",
+      ]
+    
+      "tag": "if the user the user say bye or leave or quit",
+      "responses": [
+        "Au revoir! N'hesitez pas a revenir si vous avez d'autres questions.",
+      ]
+	  
+	  "tag": "if the user ask about the date of the foundation of the website or the agency in control of it",
+      "responses": [
+        "Le portail www.data.gov.ma, qui a été initialement lancé en 2011 par le Ministère de l’Industrie, du Commerce et de l’Economie Numérique, est actuellement géré par l’Agence de Développement du Digital.",
+      ]
+    
+      "tag": "if the user say thank you or thanks",
+      "responses": [
+        "Vous etes le bienvenu! Avez-vous besoin d'aide avec autre chose?",
+      ]
+	  
+	  "tag": "if the user ask about useful links or other organizations links",
+      "responses": [
+        "Bien sûr, voici le lien vers la page contenant les liens utiles : https://data.gov.ma/fr/liens-utiles . Vous y trouverez une sélection de ressources pertinentes pour répondre à vos besoins. Si vous avez d'autres questions, n'hésitez pas à demander !",
+      ]
+	  
+	  "tag": "if the user ask about social media pages",
+      "responses": [
+        "Vous pouvez nous trouver sur LinkedIn : https://www.linkedin.com/company/agence-de-developpement-du-digital/. Suivez notre page pour rester informé de nos dernières actualités et opportunités professionnelles.",
+      ]
+	  
+	  "tag": "if the user ask about the agency localisation or the physical address",
+      "responses": [
+        "Notre agence est située à l'adresse suivante : Espace les Lauriers aile B, angle des Avenues Ennakhil et Mehdi Ben Barka, Hay Ryad - Rabat. Si vous souhaitez nous rendre visite ou avoir des indications pour venir, n'hésitez pas à nous contacter.",
+      ]
+	  
+	  "tag": "if the user ask about the phone number contact",
+      "responses": [
+        "Vous pouvez nous contacter par téléphone au : +212 (0) 5 37 56 93 00. Notre équipe est disponible pour répondre à vos questions et vous fournir toute l'aide nécessaire. N'hésitez pas à nous appeler si vous avez besoin d'assistance supplémentaire.",
+      ]
+	  
+	  "tag": "if the user ask about the contact email address",
+      "responses": [
+        "Bien entendu ! Vous pouvez nous contacter par e-mail à l'adresse suivante : opendata@add.gov.ma . Si vous avez des questions, des suggestions ou besoin d'assistance, n'hésitez pas à nous écrire. Nous serons heureux de vous aider !",
+      ]
+	  
+	  "tag": "if the user ask about news of the website or the last events",
+      "responses": [
+        "Absolument ! Pour rester au courant des actualités et des nouveaux événements, vous pouvez consulter la rubrique "Actualités" sur notre site web. Vous y trouverez toutes les informations récentes sur nos activités, événements à venir, et autres nouvelles importantes. Cliquez sur ce lien pour y accéder : https://data.gov.ma/fr/actualites. Si vous avez d'autres questions, n'hésitez pas à demander !",
+      ]
+	  
+	  "tag": "if the user ask about statistics ( number of data, ressources, producers , publishers, files downloaded, page views)",
+      "responses": [
+        "Bien sûr ! Pour obtenir des statistiques telles que le nombre de données disponibles, les tendances récentes, ou d'autres informations statistiques, vous pouvez consulter la rubrique "Statistiques" sur notre site web. Vous y trouverez des données actualisées et des analyses pertinentes. Cliquez sur ce lien pour y accéder : https://data.gov.ma/index.php/fr/node/7. Si vous avez besoin de plus de détails ou avez d'autres questions, n'hésitez pas à demander !",
+      ]
+	  
+	  
+	  
+	  "tag": "if the user ask about the methodological guide for establishing a data inventory",
+      "responses": [
+        "Ce document a pour but la gestion d’un inventaire de données ouvertes au sein de leurs structures respectives. Vous pouvez le consulter ici : https://www.data.gov.ma/sites/default/files/2023-03/guide_inventaire_1.3_Fev.%202023.pdf",
+      ]
+	  
+	  	  "tag": "if the user ask about the document that covers the key concepts of Open Data, the data lifecycle, and the responsibilities of the Open Data Manager?",
+      "responses": [
+        "Ce manuel est divisé en trois parties. La première partie présente les concepts clés de l’Open Data, la deuxième partie présente le cycle de vie de la donnée, et enfin la troisième partie présente les fonctions et activités du Responsable Open Data. Vous pouvez le telecharger ici : https://data.gov.ma/sites/default/files/docs/Open_data_manuel_ROD_Avril%202021.pdf",
+      ]
+	  
+	  "tag": "if the user ask details about the procedures manual for Data Managers (DM) that covers the key concepts of Open Data, the data lifecycle, and the responsibilities of the Open Data Manager?",
+      "responses": [
+        "Ce document est un manuel à destination des Gestionnaires de Données (GdD) au sein des structures publiques. Vous pouvez le telecharger ici : https://data.gov.ma/sites/default/files/docs/Open_data_manuel_GgD%20_vf_Avril%202021.pdf",
+      ]
+	  
+	  "tag": "if the user ask about more details about the awareness and training materials, workshops, and presentation slides regarding the key concepts of Open Data.",
+      "responses": [
+        "Bien sûr ! Nous avons organisé plusieurs ateliers et nous disposons de présentations que vous pouvez consulter. Vous pouvez trouver ces présentations dans ce lien dans la rubrique Supports de sensibilisation et formation : https://data.gov.ma/index.php/fr/documentations. Si vous avez des questions ou besoin de plus d'informations, n'hésitez pas à demander !",
+      ]
+	  
+    
+    
+      "tag": "if the user ask for the utility of the website or the service",
+      "responses": [
+        "Les donnees gouvernementales ouvertes, egalement connues sous le nom d'Open Government Data, sont des donnees accessibles a tous, librement utilisables, modifiables et partageables sans restrictions techniques ou legales. Elles sont publiees dans un format techniquement ouvert, tel que CSV ou TXT, permettant une utilisation facile par les programmes informatiques. De plus, elles sont accompagnees d'une licence ouverte qui autorise leur reutilisation a des fins commerciales et non commerciales, tout en preservant la provenance et l'accessibilite des informations."
+      ]
+    
+    
+      "tag": "if the user ask about how to use the website",
+      "responses": [
+        "Bienvenue sur data.gov.ma! Le site est organise en categories de donnees, une barre de recherche et des sections pour les dernieres mises a jour. Commencez par explorer les categories.",
+      ]
+    
+    
+      "tag": "if the user ask about the confidentiality of the data",
+      "responses": [
+        "Les informations à caractère personnel qui sont demandées à l’utilisateur via ce portail, sont nécessaires au traitement de sa demande. Les informations à caractère personnelles fournies, sont protégées conformément à la loi n°09-08 relative à la protection des personnes physiques à l'égard du traitement des données à caractère personnel."
+      ]
+    
+    
+      "tag": "if the user give a feedback",
+      "responses": [
+        "Votre avis est precieux pour nous! Vous pouvez soumettre vos commentaires ou suggestions via le formulaire de contact sur notre site."
+      ]
+    
+    
+      "tag": "if the user wanna download a dataset",
+      "responses": [
+        "Vous pouvez acceder et telecharger des jeux de donnees publiques directement depuis notre site. Utilisez la barre de recherche ou parcourez les categories pour trouver ce dont vous avez besoin."
+      ]
+    
+    
+      "tag": "if the user report a problem",
+      "responses": [
+        "Nous sommes desoles d'apprendre que vous rencontrez des problemes. Veuillez utiliser notre formulaire de contact pour signaler tout probleme ou erreur sur le site.",
+      ]
+    
+    
+      "tag": "if the user ask about the license of the data",
+      "responses": [
+        "Vous êtes libres de partager, de créer et d'adapter la base de données selon les conditions de la licence spécifiée. Cela signifie que vous pouvez copier, distribuer et utiliser la base de données, produire des créations à partir de celle-ci, et modifier, transformer et construire à partir de la base de données. Pour plus d'informations, veuillez consulter ce lein : https://data.gov.ma/fr/node/14"
+      ]
+    
+    
+      "tag": "if the user want to contribute",
+      "responses": [
+        "Votre enthousiasme a contribuer est tres apprecie! Vous pouvez participer en soumettant vos propres jeux de donnees via notre formulaire de soumission : https://data.gov.ma/node/add/feedback. N'oubliez pas de consulter les criteres de contribution.",
+      ]
+    
+    
+      "tag": "if the user ask about the update frequency",
+      "responses": [
+        "Nous nous engageons a maintenir nos donnees a jour. Les frequences de mise a jour peuvent varier selon les datasets. Verifiez la section 'derniere mise a jour' pour chaque jeu de donnees."
+      ]
+    
+    
+      "tag": "if the user reclame technical support",
+      "responses": [
+        "Si vous rencontrez des problemes techniques, n'hesitez pas a contacter notre support technique à travers les adresses de contact ici : https://data.gov.ma/fr/contact. Nous sommes la pour vous aider."
+      ]
+	  
+	  "tag": "If the user asks for the terms of use and legal notices (include link).",
+      "responses": [
+        "Vous pouvez consulter nos conditions d'utilisation et mentions légales sur cette page : https://data.gov.ma/fr/node/13. Ces documents fournissent des informations importantes sur l'utilisation de nos services et les dispositions légales. Si vous avez des questions supplémentaires, n'hésitez pas à nous contacter."
+      ]
+    
+    
+    
+      "tag": "if the user ask about the benefits of open data",
+      "responses": [
+        "L'Open Data vise a promouvoir la reutilisation des donnees publiques pour divers usages tels que repondre a des questions, prendre des decisions importantes, beneficier de services quotidiens, ou encourager la transparence des institutions. Le portail data.gov.ma est destine aux producteurs de donnees desireux de les publier de maniere ouverte, aux reutilisateurs souhaitant partager leurs travaux bases sur ces donnees, et a toute personne, association ou entreprise interessee par l'exploration et l'utilisation des donnees disponibles."
+      ]
+    
+
+	"tag':"if the user ask about the producers or  publisher of datasets in the website",
+	"responses": [ Les producteurs disponibles sont : ADD, Agence du Bassin Hydraulique de Souss Massa, 
+Agence Urbaine Safi - Youssoufia, ANRT, Archives du Maroc, Autorité de 
+Contrôle des Assurances et de la Prévoyance Sociale, Bank Al-Maghrib, 
+Centre Régional d'Investissement Drâa Tafilalet, Centre Régional 
+d'Investissement Souss Massa, Chambre de Commerce, d’Industrie et de 
+Services de la Région Marrakech – Safi (CCISRMS), CMR, CNOPS, CNSS, 
+Département de l'Agriculture, Département de la Pêche Maritime, Fondation 
+Nationale des Musées, HCP, IMANOR, INPPLC, MAECAMRE, MATNUHPV, MEF, 
+MENPS, MESRSI, MIC, MIEPEEC, Ministère de l'Equipement et de l'Eau, MJ, 
+MJCC, MSPS, MTAESS, MTNRA, Parlement, Poste Maroc, Région Béni MellalKhénifra, Région Souss Massa, Région Tanger-Tétouan-Al Hoceima, SOREAD 
+2M]
+
+	"tag": "if the user ask about the different genres or themes inthe website",
+	"responses": [Les thèmes possibles sont: agriculture, assurance, cartographie, culture, 
+economie et finance, education, emploi, equipement, habitat et urbanisme, 
+it & télécoms, justice, média, normalisation, pêche maritime, recherche 
+et développement, santé, société, tourisme, transparence.]

key_extract (1).py

@@ -0,0 +1,23 @@
+from langchain.prompts.prompt import PromptTemplate
+from langchain_community.llms import HuggingFaceEndpoint
+from langchain.chains import LLMChain
+
+llm = HuggingFaceEndpoint(
+            repo_id='mistralai/Mixtral-8x7B-Instruct-v0.1',
+            temperature = 0.2,
+            max_new_tokens = 10,
+            top_k = 30,
+            load_in_8bit = True,
+        )
+
+template = """
+
+        Vous êtes un Système d'Extraction de Mots-Clés personnalisé pour une utilisation dans un environnement WhatsApp Business. Son rôle consiste à reconnaître et isoler les mots-clés cruciaux contenus dans les demandes des utilisateurs. Il est impératif de garantir que la sortie comporte exactement un mot français, sans aucun contexte supplémentaire ni texte explicatif. Cette conformité aux directives permettra une compatibilité avec les fonctions subséquentes, telles que la recherche de sites Web contenant des sources de données publiques à l'aide du mot-clé fourni.
+        Current conversation:
+        Human: {input}
+        AI Assistant:"""
+
+prompt = PromptTemplate(input_variables=['input'], template = template)
+chain = LLMChain(llm=llm, prompt=prompt)
+
+

qa_txt (2).py

@@ -0,0 +1,62 @@
+from langchain_community.document_loaders import TextLoader
+from langchain.text_splitter import RecursiveCharacterTextSplitter
+from langchain.chains import ConversationalRetrievalChain
+from langchain_community.embeddings import HuggingFaceEmbeddings
+from langchain_community.llms import HuggingFaceEndpoint
+from langchain.prompts.prompt import PromptTemplate
+from pathlib import Path
+from unidecode import unidecode
+import tqdm
+from langchain.vectorstores import FAISS
+import accelerate
+
+def load_doc(file_path):
+    loader = TextLoader(file_path)
+    pages = loader.load()
+    text_splitter = RecursiveCharacterTextSplitter(chunk_size = 1212, chunk_overlap = 0)
+    doc_splits = text_splitter.split_documents(pages)
+    return doc_splits
+
+splt = load_doc('intents_v2.txt')
+
+
+
+llm = HuggingFaceEndpoint(
+            repo_id='mistralai/Mixtral-8x7B-Instruct-v0.1',
+            temperature = 0.2,
+            max_new_tokens = 512,
+            top_k = 30,
+            load_in_8bit = True,
+        )
+
+def process_data():
+  splt = load_doc('/content/intents_v2.txt')
+  embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
+  db = FAISS.from_documents(splt, embeddings)
+  return db
+
+db = process_data()
+
+
+prompt = """Vous êtes un formateur de modèles GPT. Vous excellez dans l'affinement des modèles GPT, la lecture et l'analyse de documents ainsi que l'association de balises aux entrées utilisateur appropriées.
+
+Mon contexte consiste en un document structuré comportant des balises et leurs réponses associées respectivement, servant de référence pour former un modèle GPT capable de produire des réponses pertinentes en fonction des entrées utilisateur.
+
+Votre tâche consiste à former un modèle GPT pour associer les entrées utilisateur aux balises adéquates et renvoyer les réponses correspondantes figurant dans le document de référence.
+
+Les étapes à suivre sont les suivantes : analyser le document et ses balises, entraîner le modèle GPT avec les exemples fournis, mapper les entrées utilisateur aux balises correspondantes et générer les réponses associées.
+
+Les caractéristiques du résultat attendu consistent en des réponses cohérentes et exactement adaptées aux balises fournies dans le document de référence.
+
+Si tout va bien, allez-y.
+        Human: {input}
+        AI Assistant:
+"""
+
+        # Set up a conversational chain to retrieve and generate responses.
+conversation_chain = ConversationalRetrievalChain.from_llm(
+            llm=llm,
+            retriever=db.as_retriever(),
+            condense_question_prompt=PromptTemplate(input_variables=['input'], template=prompt),
+        )
+

requirements (4).txt

@@ -0,0 +1,10 @@
+torch
+transformers
+sentence-transformers
+langchain
+tqdm
+accelerate
+pypdf
+chromadb
+unidecode
+faiss-cpu