jobfixers create HTML table

app.py

@@ -2,81 +2,119 @@ import json
 import os
 import gradio as gr
 import requests
+from langchain.chat_models import ChatOpenAI
+
 import recruiting_assistant  # Assuming this module provides the required reversed functionality
+import skills
+import utils
+
+llm = ChatOpenAI(temperature=0.0, openai_api_key=os.environ["OPENAI"])
 
 
-def zoek_vacature(input_text):
+def search(resume):
     url = f"https://3jxjznzonb.execute-api.eu-west-1.amazonaws.com/dev/prediction"  # vervang met uw API-eindpunt
     headers = {
         "Content-Type": "application/json",
         "x-api-key": os.environ["API_KEY"],
     }  # pas headers indien nodig aan
-    response = requests.post(
-        url, headers=headers, data=json.dumps({"text": input_text})
-    )
+    response = requests.post(url, headers=headers, data=json.dumps({"text": resume, "limit":3}))
     response_data = response.json()
 
     if "prediction" in response_data:
         prediction = response_data["prediction"]
         if isinstance(prediction, list):
-            # Voeg een nieuwe regel toe na elke '.' en voeg "Vacature <volgnummer>:\n" toe voor elk item
-            updated_prediction = [
-                f"Vacature {i + 1}:\n=============================\n{s}"
-                for i, s in enumerate(prediction)
-            ]
-            updated_prediction = [s.replace(". ", ".\n") for s in updated_prediction]
-            updated_prediction = [s.replace("•", "\n - ") for s in updated_prediction]
-            return "\n\n".join(updated_prediction)
-    return "niets teruggevonden ..."
-
-examples =[[
-"""
-Naam: John Doe
-Adres: Parkstraat 123, 1000 Stadsveld
-Telefoon: +31 6 1234 5678
-E-mail: john.doe@email.com
-Geboortedatum: 15 juli 1985
-Nationaliteit: Nederlandse
-
-Profiel:
-Een toegewijde en bekwame koeltechnieker met 8 jaar ervaring in het ontwerpen, installeren, onderhouden en repareren van koelsystemen. Technisch onderlegd en bekend met verschillende koeltechnieken. Een probleemoplosser die snel storingen kan diagnosticeren en efficiënte oplossingen kan implementeren. Goed in teamverband en klantgericht.
+            # Convert prediction to HTML table
+            html_table = "<table>"
+
+            # Add table headers
+            html_table += "<tr><th>Vacancy</th><th>Score</th><th>Skills Match</th><th>Skills Missing</th></tr>"
+
+            for i, vacancy in enumerate(prediction):
+                (
+                    score,
+                    skills_intersection,
+                    skills_not_in_intersection,
+                ) = get_skills_score(vacancy=vacancy, resume=resume)
+                # Voeg een nieuwe regel toe na elke '.' en voeg "Vacature <volgnummer>:\n" toe voor elk item
+                updated_item = f"VACATURE {i + 1}: {vacancy}"
+                html_table += f"<tr><td>{updated_item}</td><td>{score}</td><td>{skills_intersection}</td><td>{skills_not_in_intersection}</td></tr>"
+            html_table += "</table>"
+            return html_table
 
-Werkervaring:
-
-Service Technicus bij KoelTech B.V. - januari 2018 tot heden
-
-Verantwoordelijk voor het installeren en onderhouden van commerciële en industriële koelsystemen.
-Diagnose stellen en repareren van storingen in koelapparatuur.
-Uitvoeren van preventief onderhoud om de prestaties van koelinstallaties te optimaliseren.
-Klantgerichte aanpak om vragen en problemen van klanten op te lossen.
-Assistent Koeltechnieker bij CoolAir Installaties - maart 2014 tot december 2017
-
-Betrokken bij het ontwerp en de installatie van nieuwe koelsystemen in residentiële gebouwen.
-Uitvoeren van druk- en temperatuurmetingen om de juiste werking van de systemen te waarborgen.
-Oplossen van technische problemen en het vervangen van defecte onderdelen.
-Het trainen van klanten in het juiste gebruik en onderhoud van koelapparatuur.
-Opleiding:
-
-MBO Koeltechniek - Technische School Stadsveld - 2014
-Certificaat Veilig werken met koelinstallaties - Koelacademie Nederland - 2014
-Vaardigheden:
+    return "niets teruggevonden ..."
 
-Uitgebreide kennis van verschillende koeltechnieken en -systemen.
-Sterk technisch inzicht en probleemoplossend vermogen.
-Bekend met veiligheidsvoorschriften en -procedures in de koeltechniek.
-Goede communicatieve vaardigheden om effectief te kunnen samenwerken met collega's en klanten.
-Bekwaamheid in het lezen van technische tekeningen en schema's.
-Talen:
 
-Nederlands: Moedertaal
-Engels: Goed
-Referenties:
-Beschikbaar op verzoek.
+def get_skills_score(vacancy, resume):
+    chain = skills.get_skills_chain(llm=llm)
+    result = chain({"vacancy": vacancy, "resume": resume})
 
-Opmerking: Dit CV bevat fictieve gegevens en dient alleen ter illustratie. Gebruik het als een sjabloon en vervang de gegevens door je eigen informatie bij het maken van een CV.
-"""
-]]
+    vacancy_skills_predicted = utils.get_json_list_from_result(
+        result, "vacancy_skills_predicted"
+    )
+    resume_skills_predicted = utils.get_json_list_from_result(
+        result, "resume_skills_predicted"
+    )
 
+    skills_intersection = utils.get_intersection(
+        vacancy_skills_predicted, resume_skills_predicted
+    )
+    skills_not_in_intersection = utils.not_in_intersection(
+        vacancy_skills_predicted, resume_skills_predicted
+    )
+    match_score = utils.match(
+        present_features=skills_intersection,
+        not_present_features=skills_not_in_intersection,
+    )
+    return match_score, skills_intersection, skills_not_in_intersection
+
+
+examples = [
+    """
+    Naam: John Doe
+    Adres: Parkstraat 123, 1000 Stadsveld
+    Telefoon: +31 6 1234 5678
+    E-mail: john.doe@email.com
+    Geboortedatum: 15 juli 1985
+    Nationaliteit: Nederlandse
+    
+    Profiel:
+    Een toegewijde en bekwame koeltechnieker met 8 jaar ervaring in het ontwerpen, installeren, onderhouden en repareren van koelsystemen. Technisch onderlegd en bekend met verschillende koeltechnieken. Een probleemoplosser die snel storingen kan diagnosticeren en efficiënte oplossingen kan implementeren. Goed in teamverband en klantgericht.
+    
+    Werkervaring:
+    
+    Service Technicus bij KoelTech B.V. - januari 2018 tot heden
+    
+    Verantwoordelijk voor het installeren en onderhouden van commerciële en industriële koelsystemen.
+    Diagnose stellen en repareren van storingen in koelapparatuur.
+    Uitvoeren van preventief onderhoud om de prestaties van koelinstallaties te optimaliseren.
+    Klantgerichte aanpak om vragen en problemen van klanten op te lossen.
+    Assistent Koeltechnieker bij CoolAir Installaties - maart 2014 tot december 2017
+    
+    Betrokken bij het ontwerp en de installatie van nieuwe koelsystemen in residentiële gebouwen.
+    Uitvoeren van druk- en temperatuurmetingen om de juiste werking van de systemen te waarborgen.
+    Oplossen van technische problemen en het vervangen van defecte onderdelen.
+    Het trainen van klanten in het juiste gebruik en onderhoud van koelapparatuur.
+    Opleiding:
+    
+    MBO Koeltechniek - Technische School Stadsveld - 2014
+    Certificaat Veilig werken met koelinstallaties - Koelacademie Nederland - 2014
+    Vaardigheden:
+    
+    Uitgebreide kennis van verschillende koeltechnieken en -systemen.
+    Sterk technisch inzicht en probleemoplossend vermogen.
+    Bekend met veiligheidsvoorschriften en -procedures in de koeltechniek.
+    Goede communicatieve vaardigheden om effectief te kunnen samenwerken met collega's en klanten.
+    Bekwaamheid in het lezen van technische tekeningen en schema's.
+    Talen:
+    
+    Nederlands: Moedertaal
+    Engels: Goed
+    Referenties:
+    Beschikbaar op verzoek.
+    
+    Opmerking: Dit CV bevat fictieve gegevens en dient alleen ter illustratie. Gebruik het als een sjabloon en vervang de gegevens door je eigen informatie bij het maken van een CV.
+    """
+]
 
 demo = gr.Blocks()
 
@@ -84,12 +122,11 @@ with demo:
     with gr.Group():
         with gr.Box():
             with gr.Row(elem_id="prompt-container").style(
-                    mobile_collapse=False, equal_height=True
+                mobile_collapse=False, equal_height=True
             ):
                 with gr.Column():
                     gr.Markdown(
                         """
-
                     ## 1. Voer een CV in en krijg relevante vacatures terug.
                     """
                     )
@@ -102,15 +139,12 @@ with demo:
                         rounded=(False, True, True, False),
                         full_width=False,
                     )
-                    text_search_result = gr.Textbox(
+                    html_search_result = gr.HTML(
                         label="Top vacatures gevonden in de database",
                     )
-                    b1.click(
-                        zoek_vacature, inputs=text_cv, outputs=text_search_result
-                    )
+                    b1.click(search, inputs=text_cv, outputs=html_search_result)
                     gr.Markdown(
                         """
-
                     ## 2. Selecteer een geschikte vacature voor deze CV, plak deze in het tekstveld en krijg een relevante intro.
                     """
                     )
@@ -124,7 +158,6 @@ with demo:
                     )
                     gr.Markdown(
                         """
-
                     ## 3. U heeft een relevante intro.
                     """
                     )
@@ -138,12 +171,10 @@ with demo:
 
                     gr.Examples(
                         examples=examples,
-                        fn=zoek_vacature,
+                        fn=search,
                         inputs=text_cv,
-                        outputs=text_search_result,
+                        outputs=html_search_result,
                         cache_examples=False,
                     )
 
-
-
 demo.launch()

recruiting_assistant.py

@@ -166,5 +166,3 @@ def create_intro(vacancy, resume):
     Not Relevant Skills: {",".join(resume_skills["skills_not_present"])}    
     """
     return result["introduction_email"], score
-
-

scripts/README.md

@@ -0,0 +1,5 @@
+# JobFixers
+
+## Code
+
+Generated from: https://chat.openai.com/share/3bc1e603-e14a-4d9a-b51b-1231e488a95f

scripts/scrape_website.py

@@ -0,0 +1,179 @@
+import os
+import openai
+import pandas as pd
+import json
+from selenium import webdriver
+from selenium.webdriver.chrome.service import Service
+from webdriver_manager.chrome import ChromeDriverManager
+from selenium.webdriver.common.by import By
+from selenium.common.exceptions import (
+    NoSuchElementException,
+    TimeoutException,
+    WebDriverException,
+)
+from selenium.webdriver.support.ui import WebDriverWait
+from selenium.webdriver.support import expected_conditions as EC
+from bs4 import BeautifulSoup
+from urllib.parse import urlparse
+import time
+
+# Set up OpenAI API
+openai.api_key = os.getenv("OPENAI")
+
+# Initialize followup number
+followup_number = 0
+
+# Start with page 1
+page_number = 4
+
+# Get the current working directory
+cwd = os.getcwd()
+
+# Path to the CSV file
+csv_file = os.path.join(cwd, "vacancies.csv")
+
+while True:
+    try:
+        # Setup webdriver
+        s = Service(ChromeDriverManager().install())
+        driver = webdriver.Chrome(service=s)
+
+        # The URL of the page with the buttons
+        url = f"https://vacatures.jobfixers.be/zoek?page={page_number}&size=50&sortBy=updated:desc&initial=true"
+
+        # Navigate to the page
+        driver.get(url)
+
+        # Wait for the page to load
+        time.sleep(5)
+
+        # Find the buttons
+        buttons = WebDriverWait(driver, 10).until(
+            EC.presence_of_all_elements_located(
+                (
+                    By.XPATH,
+                    '//button[@mat-button and contains(@class, "mat-focus-indicator mat-button mat-button-base")]',
+                )
+            )
+        )
+
+        for i in range(len(buttons)):
+            # Find the buttons again to avoid StaleElementReferenceException
+            buttons = WebDriverWait(driver, 10).until(
+                EC.presence_of_all_elements_located(
+                    (
+                        By.XPATH,
+                        '//button[@mat-button and contains(@class, "mat-focus-indicator mat-button mat-button-base")]',
+                    )
+                )
+            )
+
+            # Click the button
+            buttons[i].click()
+
+            # Wait for the new page to load
+            time.sleep(5)
+
+            # Get the page source
+            html = driver.page_source
+
+            # Parse the HTML with BeautifulSoup
+            soup = BeautifulSoup(html, "html.parser")
+
+            # Extract relevant items related to the vacancy
+            vacancy_detail = {}
+
+            # Extracting the job position
+            vacancy_detail["Position"] = soup.select_one(
+                ".vacancy-detail__content__header__position"
+            ).text.strip()
+
+            # Extracting the location
+            vacancy_detail["Location"] = soup.select_one(
+                ".vacancy-detail__content__header__location a"
+            ).text.strip()
+
+            # Extracting the description
+            description = soup.select_one(
+                ".vacancy-detail__content__body__description__details"
+            ).get_text(separator=" ")
+            vacancy_detail["Description"] = description.strip()
+
+            # Extracting the profile details
+            profile_details = soup.select(
+                ".vacancy-detail__content__body__profile__details li"
+            )
+            vacancy_detail["Profile"] = [
+                detail.text.strip() for detail in profile_details
+            ]
+
+            # Extracting the list of competences
+            competences = soup.select(
+                ".vacancy-detail__content__body__competences__details li"
+            )
+            vacancy_detail["Competences"] = [
+                competence.text.strip() for competence in competences
+            ]
+
+            # Extracting the offer details
+            offer_details = soup.select(
+                ".vacancy-detail__content__body__offer__details li"
+            )
+            vacancy_detail["Offer"] = [offer.text.strip() for offer in offer_details]
+
+            # Add the webpage and followup number
+            vacancy_detail["Webpage"] = driver.current_url
+            vacancy_detail["Followup_Number"] = followup_number
+
+            # Get the final part of the URL
+            parsed_url = urlparse(driver.current_url)
+            vacancy_detail["Vacancy_Id"] = os.path.basename(parsed_url.path)
+
+            # Add the full URL of the webpage
+            vacancy_detail["Full_URL"] = driver.current_url
+
+            # Concatenate all the vacancy details into a single string
+            vacancy_detail[
+                "Vacancy"
+            ] = f"Position: {vacancy_detail['Position']}\nLocation: {vacancy_detail['Location']}\nDescription: {vacancy_detail['Description']}\nProfile: {' '.join(vacancy_detail['Profile'])}\nCompetences: {' '.join(vacancy_detail['Competences'])}\nOffer: {' '.join(vacancy_detail['Offer'])}"
+
+            # Add the entire dictionary as a JSON string to a new key "Vacancy_JSON"
+            vacancy_detail["Vacancy_JSON"] = json.dumps(vacancy_detail)
+
+            # Increment the followup number
+            followup_number += 1
+
+            # Print the vacancy detail, page number and follow-up number
+            print(f"Page Number: {page_number}, Follow-up Number: {followup_number}")
+            print(vacancy_detail)
+
+            # Append the vacancy detail to the CSV file
+            df = pd.DataFrame([vacancy_detail])
+            df.to_csv(
+                csv_file, mode="a", header=not os.path.exists(csv_file), index=False
+            )
+
+            # Go back to the list page
+            driver.back()
+            time.sleep(5)
+
+        # Go to the next page
+        page_number += 1
+
+    except WebDriverException as e:
+        print(
+            f"WebDriverException occurred: {e}. Restarting the browser and waiting for 1 minute before trying the next page."
+        )
+        driver.quit()
+        time.sleep(60)
+        page_number += 1
+
+    except Exception as e:
+        print(
+            f"Exception occurred: {e}. Waiting for 1 minute before trying the next page."
+        )
+        time.sleep(60)
+        page_number += 1
+
+# Close the driver
+driver.quit()

skills.py

@@ -0,0 +1,97 @@
+from langchain import LLMChain
+from langchain.chains import SequentialChain
+from langchain.prompts import ChatPromptTemplate
+
+
+def get_vacancy_skills_chain(llm) -> LLMChain:
+    template_vacancy_get_skills = """
+    Given the following vacancy delimited by three backticks, retrieve the skills that are requested.
+    Return the skills as a JSON list on 1 line, do not add newlines or any other text.
+
+    ```
+    {vacancy}
+    ```
+    """
+
+    prompt_vacancy_skills = ChatPromptTemplate.from_template(
+        template=template_vacancy_get_skills
+    )
+    vacancy_skills = LLMChain(
+        llm=llm, prompt=prompt_vacancy_skills, output_key="vacancy_skills_predicted"
+    )
+    return vacancy_skills
+
+
+def get_resume_skills_chain(llm) -> LLMChain:
+    template_resume_skills = """
+    Given the following resume delimited by three backticks, retrieve the skills this data scientist possesses.
+    Return the skills as a JSON list on 1 line, do not add newlines or any other text.
+
+    ```
+    {resume}
+    ```
+    """
+
+    prompt_resume_skills = ChatPromptTemplate.from_template(
+        template=template_resume_skills
+    )
+    resume_skills = LLMChain(
+        llm=llm, prompt=prompt_resume_skills, output_key="resume_skills_predicted"
+    )
+    return resume_skills
+
+
+def get_skills_intersection_chain(llm) -> LLMChain:
+    """
+    # deprecated prompt:
+
+    # Can you return the intersection of the skills above delimited by backticks with the list of skills below delimited by backticks.
+    # Consider skills that are not exact but are close to each other in terms of meaning or usage.
+    # For example, 'Python programming' and 'Python' should be considered a match. Similarly, 'Strong problem-solving skills' and 'problem solver' should be considered the same.
+    # Please consider all skills in lowercase for matching. We're trying to match the skills of a job candidate (second list) with the requirements of a job vacancy (first list).
+    # Please keep this context in mind while performing the matching.
+    # If no skills match do not make up a response and return an empty list.
+    # Return the intersection as a JSON list on 1 line, do not add newlines or any other text.
+    """
+    template_get_skills_intersection = """
+
+    ```
+    {vacancy_skills_predicted}
+    ```
+
+    Can you return the intersection of the skills above delimited by backticks with the list of skills below delimited by backticks. 
+    Consider skills that are not exact but are close to each other in terms of meaning or usage. For example, 'Python programming' and 'Python' should be considered a match. Similarly, 'TensorFlow machine learning' and 'Machine Learning with TensorFlow' should be considered the same. Please consider all skills in lowercase for matching. We're trying to match the skills of a job candidate (second list) with the requirements of a job vacancy (first list). Please keep this context in mind while performing the matching. 
+    If no skills match do not make up a response and return an empty list.
+    Return the intersection as a JSON list on 1 line, do not add newlines or any other text.
+
+    ```
+    {resume_skills_predicted}
+    ```
+    """
+
+    prompt_get_skills_intersection = ChatPromptTemplate.from_template(
+        template=template_get_skills_intersection
+    )
+    skills_intersection = LLMChain(
+        llm=llm,
+        prompt=prompt_get_skills_intersection,
+        output_key="skills_intersection_predicted",
+    )
+    return skills_intersection
+
+
+def get_skills_chain(llm) -> SequentialChain:
+    vacancy_skills_chain = get_vacancy_skills_chain(llm=llm)
+    resume_skills_chain = get_resume_skills_chain(llm=llm)
+    intersection_skills_chain = get_skills_intersection_chain(llm=llm)
+
+    return SequentialChain(
+        chains=[vacancy_skills_chain, resume_skills_chain, intersection_skills_chain],
+        input_variables=["vacancy", "resume"],
+        output_variables=[
+            vacancy_skills_chain.output_key,
+            resume_skills_chain.output_key,
+            intersection_skills_chain.output_key,
+        ],
+        verbose=False,
+    )

utils.py

@@ -0,0 +1,31 @@
+import json
+
+
+def get_intersection(a: list, b: list) -> list:
+    a = [i.lower() for i in a]
+    b = [i.lower() for i in b]
+    return sorted(set(a).intersection(set(b)))
+
+
+def not_in_intersection(a: list, b: list) -> list:
+    return sorted(set(a).union(set(b)).difference(set(a).intersection(b)))
+
+
+def get_score(true_values: list, predicted_values: list) -> float:
+    intersection_list = get_intersection(true_values, predicted_values)
+    return len(intersection_list) / len(true_values) if len(true_values) else 0
+
+
+def match(present_features, not_present_features):
+    relevant_skills = len(present_features)
+    total_skills = len(present_features + not_present_features)
+    match = round(100.0 * (relevant_skills / total_skills), 2)
+    return match
+
+
+def get_json_list_from_result(result: dict, key: str) -> list:
+    try:
+        return json.loads(result[key].strip())
+    except json.decoder.JSONDecodeError:
+        print(key, result[key])
+        return []