Update main.py
Browse files
main.py
CHANGED
@@ -67,13 +67,13 @@ def LLModel():
|
|
67 |
return llm
|
68 |
|
69 |
def VectorDatabase(categorie):
|
70 |
-
if categorie
|
71 |
index_name = "all-venus"
|
72 |
embeddings = HuggingFaceEmbeddings()
|
73 |
vectorstore = PineconeVectorStore(
|
74 |
index_name=index_name, embedding=embeddings, pinecone_api_key=os.getenv('PINECONE_API_KEY')
|
75 |
)
|
76 |
-
|
77 |
index_name = "all-jdlp"
|
78 |
embeddings = HuggingFaceEmbeddings()
|
79 |
vectorstore = PineconeVectorStore(
|
@@ -84,11 +84,10 @@ def VectorDatabase(categorie):
|
|
84 |
|
85 |
def Retriever(categorie):
|
86 |
vectorstore = VectorDatabase(categorie)
|
87 |
-
if categorie
|
88 |
retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": .7, "k": 150,"filter": {'categorie': {'$eq': categorie}}})
|
89 |
-
|
90 |
retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": .7, "k": 6,"filter": {'year': {'$gte': 2019}}})
|
91 |
-
#search = vectorstore.similarity_search(query,k=50, filter={"categorie": {"$eq": "bibliographie-OPP-DGDIN"}, 'Source': {'$eq': 'Source : Persée'}})
|
92 |
return retriever
|
93 |
|
94 |
def Search(input, categorie):
|
@@ -98,7 +97,7 @@ def Search(input, categorie):
|
|
98 |
sources_text = ""
|
99 |
verbatim_text = ""
|
100 |
count = 0
|
101 |
-
if categorie
|
102 |
search = vectorstore.similarity_search(input,k=50, filter={"categorie": {"$eq": categorie}})
|
103 |
for i in range(0,len(search)):
|
104 |
if search[i].metadata['Lien'] not in test:
|
@@ -108,7 +107,7 @@ def Search(input, categorie):
|
|
108 |
sources_text = sources_text + str(count) + ". " + search[i].metadata['Titre'] + ', ' + search[i].metadata['Auteurs'] + ', ' + search[i].metadata['Lien'] + "\n"
|
109 |
verbatim_text = verbatim_text + "<p style='font-size:0.8rem'>" + str(count) + ". " + search[i].metadata['Phrase'] + "</p><p> </p>"
|
110 |
|
111 |
-
|
112 |
search = vectorstore.similarity_search(input,k=50, filter={"year": {"$gte": 2019}})
|
113 |
for i in range(0,len(search)):
|
114 |
if count <= 15:
|
@@ -129,6 +128,11 @@ async def on_chat_start():
|
|
129 |
cl.Action(name="bibliographie-OPP-DGDIN", value="Pédagogie durable", label="🔥 Pédagogie durable : exemple : «quels sont les modèles d'apprentissage dans les universités?»"),
|
130 |
cl.Action(name="bibliographie-OPP-DGDIN", value="Lieux d'apprentissage", label="🔥 Lieux d'apprentissage : exemple : «donne des exemples de lieu d'apprentissage dans les universités?»"),
|
131 |
cl.Action(name="year", value="Journée de La Pédagogie", label="🔥 Journée de La Pédagogie : exemple : «Quelles sont les bonnes pratiques des plateformes de e-learning?»"),
|
|
|
|
|
|
|
|
|
|
|
132 |
],
|
133 |
timeout="3600"
|
134 |
).send()
|
|
|
67 |
return llm
|
68 |
|
69 |
def VectorDatabase(categorie):
|
70 |
+
if categorie == "bibliographie-OPP-DGDIN":
|
71 |
index_name = "all-venus"
|
72 |
embeddings = HuggingFaceEmbeddings()
|
73 |
vectorstore = PineconeVectorStore(
|
74 |
index_name=index_name, embedding=embeddings, pinecone_api_key=os.getenv('PINECONE_API_KEY')
|
75 |
)
|
76 |
+
elif categorie == "year":
|
77 |
index_name = "all-jdlp"
|
78 |
embeddings = HuggingFaceEmbeddings()
|
79 |
vectorstore = PineconeVectorStore(
|
|
|
84 |
|
85 |
def Retriever(categorie):
|
86 |
vectorstore = VectorDatabase(categorie)
|
87 |
+
if categorie == "bibliographie-OPP-DGDIN":
|
88 |
retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": .7, "k": 150,"filter": {'categorie': {'$eq': categorie}}})
|
89 |
+
elif categorie == "year":
|
90 |
retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": .7, "k": 6,"filter": {'year': {'$gte': 2019}}})
|
|
|
91 |
return retriever
|
92 |
|
93 |
def Search(input, categorie):
|
|
|
97 |
sources_text = ""
|
98 |
verbatim_text = ""
|
99 |
count = 0
|
100 |
+
if categorie == "bibliographie-OPP-DGDIN":
|
101 |
search = vectorstore.similarity_search(input,k=50, filter={"categorie": {"$eq": categorie}})
|
102 |
for i in range(0,len(search)):
|
103 |
if search[i].metadata['Lien'] not in test:
|
|
|
107 |
sources_text = sources_text + str(count) + ". " + search[i].metadata['Titre'] + ', ' + search[i].metadata['Auteurs'] + ', ' + search[i].metadata['Lien'] + "\n"
|
108 |
verbatim_text = verbatim_text + "<p style='font-size:0.8rem'>" + str(count) + ". " + search[i].metadata['Phrase'] + "</p><p> </p>"
|
109 |
|
110 |
+
elif categorie == "year":
|
111 |
search = vectorstore.similarity_search(input,k=50, filter={"year": {"$gte": 2019}})
|
112 |
for i in range(0,len(search)):
|
113 |
if count <= 15:
|
|
|
128 |
cl.Action(name="bibliographie-OPP-DGDIN", value="Pédagogie durable", label="🔥 Pédagogie durable : exemple : «quels sont les modèles d'apprentissage dans les universités?»"),
|
129 |
cl.Action(name="bibliographie-OPP-DGDIN", value="Lieux d'apprentissage", label="🔥 Lieux d'apprentissage : exemple : «donne des exemples de lieu d'apprentissage dans les universités?»"),
|
130 |
cl.Action(name="year", value="Journée de La Pédagogie", label="🔥 Journée de La Pédagogie : exemple : «Quelles sont les bonnes pratiques des plateformes de e-learning?»"),
|
131 |
+
cl.Action(name="skills", value="Compétences du CFA Descartes", label="🔥 Les compétences du CFA Descartes : exemple : «Quelles sont les compétences en marketing dispensées au CFA?»"),
|
132 |
+
cl.Action(name="OF", value="Formations Gustave Eiffel", label="🔥 Les formations de l'université Gustave Eiffel : exemple : «Quels sont les formations et les métiers possibles si on est créatifs?»"),
|
133 |
+
cl.Action(name="videos", value="Vidéos paroles de confiné.es", label="🔥 Les vidéos paroles de confiné.es : exemple : «Quelle est la méthodologie employée avec les plateformes d'enseignement à distance?»"),
|
134 |
+
cl.Action(name="offreST", value="Offres d'emploi France Travail", label="🔥 Les offres d'emploi de France Travail : exemple : «Quels sont les types de contrat proposés par les recruteurs?»"),
|
135 |
+
|
136 |
],
|
137 |
timeout="3600"
|
138 |
).send()
|