Upload 7 files

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+data2.csv filter=lfs diff=lfs merge=lfs -text

app.py

@@ -0,0 +1,38 @@
+import gradio as gr
+from functools import partial
+import os
+from get_cv import get_cv
+
+title = "CV Indexing par Intelligence Artificielle"
+desc = "Ceci est un outil qui vous aide à trouver rapidement des CV pertinents en fonction des descriptions de poste. Il suffit de taper simplement ce que vous recherchez dans la zone ci-dessous.\n\n Avec l'aide de l'IA, cet outil est conçu pour simplifier votre recherche de CV en suggérant des résultats qui correspondent le mieux à vos besoins. Vous n'avez qu'à saisir les termes pertinents qui décrivent le poste que vous recherchez et l'outil vous présentera une liste de CV adaptés à vos critères. Cela vous permettra de gagner du temps et de trouver plus facilement les candidats idéaux pour votre entreprise.\n\n"
+# warning = "Warning!"
+disclaimer = "#### Attention! La méthode utilisée est stochastique et par conséquent les résultats peuvent parfois ne pas respecter parfaitement la requête. SI CELA ARRIVE : essayez d'adapter votre demande en reformulant ou en fournissant plus d'informations, cela fonctionne mieux avec des textes plus longs (fiche de poste par exemple)"
+def iter_grid(n_rows, n_cols):
+    for _ in range(n_rows):
+        with gr.Row():
+            for _ in range(n_cols):
+                with gr.Column():
+                    yield
+with gr.Blocks(title=title) as demo:
+    gr.Markdown(f"## {title}")
+    gr.Markdown(desc)
+    gr.Markdown(disclaimer)
+    with gr.Row():
+        with gr.Column(scale=4):
+            text_area = gr.Textbox(placeholder="Écrivez ici", lines=3, label="Décrivez le type de candidat que vous chechez ou copiez collez une fiche de poste")
+        with gr.Column(scale=1):
+            number_to_display = gr.Number(value=10,label = "Nombre de candidats à afficher")        
+            submit_button = gr.Button(value="Rechercher des candidats")    
+            pass
+
+    fn = partial(get_cv)
+    
+    with gr.Accordion("Tous les résultats:"):
+        ll = gr.Markdown("Vide")
+
+
+    submit_button.click(fn=fn, inputs=[text_area,number_to_display], outputs=[ll])
+
+login = os.environ.get("login")
+pwd = os.environ.get("pwd")
+demo.launch(enable_queue=True,max_threads=40,auth=(login,pwd))

data.py

@@ -0,0 +1,4 @@
+
+
+import pandas as pd
+data = pd.read_parquet("data2.parquet")

data2.csv

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:520e7f718d0be631b6e4c8ae016775719e74070e4ac2822536ea6a09307c2227
+size 12974885

data2.parquet

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:df30f3282355e62da010f6ffb9040f5d3f99e3d180682ae4d553fbc7bab793f5
+size 4238707

get_cv.py

@@ -0,0 +1,53 @@
+import pandas as pd
+import openai
+from data import data as df
+import numpy as np
+import os
+
+openai.api_key = os.environ.get("openai")
+
+def cosine_similarity(a, b):
+    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
+
+
+def get_embedding(text, model="text-embedding-ada-002"):
+    try:
+        text = text.replace("\n", " ")
+    except:
+        None
+    return openai.Embedding.create(input = [text], model=model).data[0].embedding
+    
+def get_embedding2(text, model="text-embedding-ada-002"):
+    try:
+        text = text.replace("\n", " ")
+    except:
+        None
+    try:
+        return openai.Embedding.create(input = [text], model=model)['data'][0]['embedding']
+    except:
+        time.sleep(2)
+
+def search_cv(search, nb=3, pprint=True):
+    embedding = get_embedding(search, model='text-embedding-ada-002')
+    df_replicate = df.copy()
+    
+    def wrap_cos(x,y):
+        try:
+            res = cosine_similarity(x,y)
+        except:
+            res = 0
+        return res
+        
+    df_replicate['similarities'] = df_replicate.embedding.apply(lambda x: wrap_cos(x, embedding))
+    res = df_replicate.sort_values('similarities', ascending=False).head(int(nb))
+    return res
+
+def get_cv(text, nb):
+    result = search_cv(text,nb).to_dict(orient="records")
+    final_str = ""
+    for r in result:
+        final_str += "#### Candidat avec " + str(round(r["similarities"]*100,2)) + "% de similarité :\n"+ str(r["summary"]).replace("#","")
+        final_str += "\n\n[-> Lien vers le CV complet]("+ str(r["url"]) + ')'
+        final_str += "\n\n-----------------------------------------------------------------------------------------------------\n\n"
+    final_str = final_str.replace("`", "")
+    return  final_str

requirements.txt

@@ -0,0 +1,4 @@
+openai
+gradio
+pyarrow
+fastparquet