datacipen commited on
Commit
326348c
1 Parent(s): 432000d

Update main.py

Browse files
Files changed (1) hide show
  1. main.py +11 -7
main.py CHANGED
@@ -67,13 +67,13 @@ def LLModel():
67
  return llm
68
 
69
  def VectorDatabase(categorie):
70
- if categorie != "year":
71
  index_name = "all-venus"
72
  embeddings = HuggingFaceEmbeddings()
73
  vectorstore = PineconeVectorStore(
74
  index_name=index_name, embedding=embeddings, pinecone_api_key=os.getenv('PINECONE_API_KEY')
75
  )
76
- else:
77
  index_name = "all-jdlp"
78
  embeddings = HuggingFaceEmbeddings()
79
  vectorstore = PineconeVectorStore(
@@ -84,11 +84,10 @@ def VectorDatabase(categorie):
84
 
85
  def Retriever(categorie):
86
  vectorstore = VectorDatabase(categorie)
87
- if categorie != "year":
88
  retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": .7, "k": 150,"filter": {'categorie': {'$eq': categorie}}})
89
- else:
90
  retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": .7, "k": 6,"filter": {'year': {'$gte': 2019}}})
91
- #search = vectorstore.similarity_search(query,k=50, filter={"categorie": {"$eq": "bibliographie-OPP-DGDIN"}, 'Source': {'$eq': 'Source : Persée'}})
92
  return retriever
93
 
94
  def Search(input, categorie):
@@ -98,7 +97,7 @@ def Search(input, categorie):
98
  sources_text = ""
99
  verbatim_text = ""
100
  count = 0
101
- if categorie != "year":
102
  search = vectorstore.similarity_search(input,k=50, filter={"categorie": {"$eq": categorie}})
103
  for i in range(0,len(search)):
104
  if search[i].metadata['Lien'] not in test:
@@ -108,7 +107,7 @@ def Search(input, categorie):
108
  sources_text = sources_text + str(count) + ". " + search[i].metadata['Titre'] + ', ' + search[i].metadata['Auteurs'] + ', ' + search[i].metadata['Lien'] + "\n"
109
  verbatim_text = verbatim_text + "<p style='font-size:0.8rem'>" + str(count) + ". " + search[i].metadata['Phrase'] + "</p><p>&nbsp;</p>"
110
 
111
- else:
112
  search = vectorstore.similarity_search(input,k=50, filter={"year": {"$gte": 2019}})
113
  for i in range(0,len(search)):
114
  if count <= 15:
@@ -129,6 +128,11 @@ async def on_chat_start():
129
  cl.Action(name="bibliographie-OPP-DGDIN", value="Pédagogie durable", label="🔥 Pédagogie durable : exemple : «quels sont les modèles d'apprentissage dans les universités?»"),
130
  cl.Action(name="bibliographie-OPP-DGDIN", value="Lieux d'apprentissage", label="🔥 Lieux d'apprentissage : exemple : «donne des exemples de lieu d'apprentissage dans les universités?»"),
131
  cl.Action(name="year", value="Journée de La Pédagogie", label="🔥 Journée de La Pédagogie : exemple : «Quelles sont les bonnes pratiques des plateformes de e-learning?»"),
 
 
 
 
 
132
  ],
133
  timeout="3600"
134
  ).send()
 
67
  return llm
68
 
69
  def VectorDatabase(categorie):
70
+ if categorie == "bibliographie-OPP-DGDIN":
71
  index_name = "all-venus"
72
  embeddings = HuggingFaceEmbeddings()
73
  vectorstore = PineconeVectorStore(
74
  index_name=index_name, embedding=embeddings, pinecone_api_key=os.getenv('PINECONE_API_KEY')
75
  )
76
+ elif categorie == "year":
77
  index_name = "all-jdlp"
78
  embeddings = HuggingFaceEmbeddings()
79
  vectorstore = PineconeVectorStore(
 
84
 
85
  def Retriever(categorie):
86
  vectorstore = VectorDatabase(categorie)
87
+ if categorie == "bibliographie-OPP-DGDIN":
88
  retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": .7, "k": 150,"filter": {'categorie': {'$eq': categorie}}})
89
+ elif categorie == "year":
90
  retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": .7, "k": 6,"filter": {'year': {'$gte': 2019}}})
 
91
  return retriever
92
 
93
  def Search(input, categorie):
 
97
  sources_text = ""
98
  verbatim_text = ""
99
  count = 0
100
+ if categorie == "bibliographie-OPP-DGDIN":
101
  search = vectorstore.similarity_search(input,k=50, filter={"categorie": {"$eq": categorie}})
102
  for i in range(0,len(search)):
103
  if search[i].metadata['Lien'] not in test:
 
107
  sources_text = sources_text + str(count) + ". " + search[i].metadata['Titre'] + ', ' + search[i].metadata['Auteurs'] + ', ' + search[i].metadata['Lien'] + "\n"
108
  verbatim_text = verbatim_text + "<p style='font-size:0.8rem'>" + str(count) + ". " + search[i].metadata['Phrase'] + "</p><p>&nbsp;</p>"
109
 
110
+ elif categorie == "year":
111
  search = vectorstore.similarity_search(input,k=50, filter={"year": {"$gte": 2019}})
112
  for i in range(0,len(search)):
113
  if count <= 15:
 
128
  cl.Action(name="bibliographie-OPP-DGDIN", value="Pédagogie durable", label="🔥 Pédagogie durable : exemple : «quels sont les modèles d'apprentissage dans les universités?»"),
129
  cl.Action(name="bibliographie-OPP-DGDIN", value="Lieux d'apprentissage", label="🔥 Lieux d'apprentissage : exemple : «donne des exemples de lieu d'apprentissage dans les universités?»"),
130
  cl.Action(name="year", value="Journée de La Pédagogie", label="🔥 Journée de La Pédagogie : exemple : «Quelles sont les bonnes pratiques des plateformes de e-learning?»"),
131
+ cl.Action(name="skills", value="Compétences du CFA Descartes", label="🔥 Les compétences du CFA Descartes : exemple : «Quelles sont les compétences en marketing dispensées au CFA?»"),
132
+ cl.Action(name="OF", value="Formations Gustave Eiffel", label="🔥 Les formations de l'université Gustave Eiffel : exemple : «Quels sont les formations et les métiers possibles si on est créatifs?»"),
133
+ cl.Action(name="videos", value="Vidéos paroles de confiné.es", label="🔥 Les vidéos paroles de confiné.es : exemple : «Quelle est la méthodologie employée avec les plateformes d'enseignement à distance?»"),
134
+ cl.Action(name="offreST", value="Offres d'emploi France Travail", label="🔥 Les offres d'emploi de France Travail : exemple : «Quels sont les types de contrat proposés par les recruteurs?»"),
135
+
136
  ],
137
  timeout="3600"
138
  ).send()