major changes

app.py

@@ -10,6 +10,10 @@ from collections import Counter
 import numpy as np
 import logging
 from collections import defaultdict
+from fuzzywuzzy import fuzz
+import io
+import base64
+
 
 
 # Configurer le niveau du logger racine
@@ -53,7 +57,7 @@ def make_request_with_retry(client, model, messages, temperature=0.7, retries=3,
     logging.error("Le nombre maximal de tentatives a été atteint sans succès.")
     raise Exception("Le nombre maximal de tentatives a été atteint")
 
-def get_consistent_categories(proposal, categories, client, model, temperature, allow_multiple_categories, validation_retries, coinciding_retries_threshold, max_attempts=5):
+def get_consistent_categories(proposal, categories, client, model, temperature, allow_multiple_categories, validation_retries, coinciding_retries_threshold, max_attempts=5, max_categories=None):
     proposal_str = str(proposal)
     
     responses = []
@@ -102,30 +106,55 @@ def get_consistent_categories(proposal, categories, client, model, temperature,
         return "Aucune catégorie trouvée", model_responses
     
     if allow_multiple_categories:
-        # Retourner toutes les catégories uniques trouvées
-        selected_categories = list(set(responses))
+        # If max_categories is specified and valid, select the top N most common categories
+        if max_categories and max_categories > 0:
+            most_common_categories = category_counts.most_common(max_categories)
+            selected_categories = [category for category, count in most_common_categories]
+        else:
+            # Else, return all unique categories found
+            selected_categories = list(set(responses))
         category = ', '.join(selected_categories)
-        return category, model_responses
     else:
-        # Retourner la catégorie la plus fréquente
-        category_counts = Counter(responses)
-        most_common, _ = category_counts.most_common(1)[0]
-        return most_common, model_responses
-    
-def parse_category(response_text, categories):
+        # Return the most frequent category or handle tie situations
+        if category_counts:
+            most_common_category, count = category_counts.most_common(1)[0]
+            if count >= coinciding_retries_threshold:
+                category = most_common_category
+            else:
+                category = most_common_category
+        else:
+            category = "Aucune catégorie trouvée"
+
+def parse_category(response_text, categories, similarity_threshold=70, min_word_length=3):
     response_text_lower = response_text.lower()
     found_categories = []
 
     for category in categories:
-        category_lower = category.lower()
-        if category_lower in response_text_lower:
-            # Vérifier si la catégorie est un mot ou une phrase autonome
-            if re.search(r'\b' + re.escape(category_lower) + r'\b', response_text_lower):
-                found_categories.append(category)
-            else:
-                # Vérifier si la catégorie est une sous-chaîne d'un mot
-                if re.search(re.escape(category_lower), response_text_lower):
-                    found_categories.append(category)
+        category_lower = category.lower().strip()
+        category_words = category_lower.split()
+        
+        # Exact match
+        if category_lower == response_text_lower:
+            found_categories = [category.strip()]
+            break
+        
+        # Regular expression matching
+        pattern = re.compile(r'\b' + re.escape(category_lower) + r'\b', re.IGNORECASE)
+        if pattern.search(response_text_lower):
+            found_categories.append(category.strip())
+            continue
+        
+        # Fuzzy string matching
+        similarity_score = fuzz.token_set_ratio(category_lower, response_text_lower)
+        if similarity_score >= similarity_threshold:
+            found_categories.append(category.strip())
+            continue
+        
+        # Partial word matching
+        for word in category_words:
+            if len(word) >= min_word_length and word in response_text_lower:
+                found_categories.append(category.strip())
+                break
 
     return found_categories
 
@@ -193,7 +222,7 @@ def get_parameters(index):
     return temperature, validation_retries, coinciding_retries_threshold
 
 
-def categorize_proposals(excel_file, categories, proposal_column_index=0, index=1, allow_multiple_categories=False):
+def categorize_proposals(excel_file, categories, proposal_column_index=0, index=1, allow_multiple_categories=False, max_categories=None):
     df = pd.read_excel(excel_file, header=None)
     proposals = df.iloc[:, proposal_column_index].tolist()
     categorized_results = []
@@ -201,7 +230,7 @@ def categorize_proposals(excel_file, categories, proposal_column_index=0, index=
     temperature, validation_retries, coinciding_retries_threshold = get_parameters(index)
 
     for proposal in proposals:
-        category, model_responses = get_consistent_categories(proposal, categories, client, model, temperature, allow_multiple_categories, validation_retries, coinciding_retries_threshold)
+        category, model_responses = get_consistent_categories(proposal, categories, client, model, temperature, allow_multiple_categories, validation_retries, coinciding_retries_threshold, max_attempts=5, max_categories=max_categories)
         if ', ' in category:
             categorized_results.append((proposal, category, ', '.join(model_responses)))
         else:
@@ -211,16 +240,30 @@ def categorize_proposals(excel_file, categories, proposal_column_index=0, index=
 
 
 
-def gradio_interface(excel_file, categories, index, allow_multiple_categories):
+
+def gradio_interface(excel_file, categories, index, allow_multiple_categories, max_categories=None):
     try:
         categories_list = categories.split(',')
         temperature, validation_retries, coinciding_retries_threshold = get_parameters(index)
         
-        results_df = categorize_proposals(excel_file.name, categories_list, index=index, allow_multiple_categories=allow_multiple_categories)
-        return results_df.to_html(index=False)
+        results_df = categorize_proposals(excel_file.name, categories_list, index=index, allow_multiple_categories=allow_multiple_categories, max_categories=max_categories)
+        
+        # Create an in-memory buffer for the Excel file
+        excel_buffer = io.BytesIO()
+        
+        # Save the results DataFrame to the Excel buffer
+        results_df.to_excel(excel_buffer, index=False, sheet_name='Résultats de catégorisation')
+        
+        # Set the buffer position to the beginning
+        excel_buffer.seek(0)
+        
+        # Create a download link for the Excel file
+        excel_download_link = f'<a href="data:application/vnd.openxmlformats-officedocument.spreadsheetml.sheet;base64,{base64.b64encode(excel_buffer.getvalue()).decode()}" download="resultats_categorisation.xlsx">Télécharger les résultats en Excel</a>'
+        
+        return [results_df.to_html(index=False), excel_download_link]
     except Exception as e:
         logging.error(f"Une erreur s'est produite : {e}")
-        return "Une erreur s'est produite lors du traitement de la requête. Veuillez réessayer plus tard."
+        return ["Une erreur s'est produite lors du traitement de la requête. Veuillez réessayer plus tard.", None]
 
 iface = gr.Interface(
     fn=gradio_interface,
@@ -244,6 +287,9 @@ iface = gr.Interface(
             label="Autoriser plusieurs catégories",
             info="Cochez cette case si une proposition peut appartenir à plusieurs catégories.",
         ),
+        gr.Number(
+            label="Nombre maximum de catégories",
+        ),
     ],
     outputs=gr.HTML(label="Résultats de la catégorisation"),
     title="Outil de catégorisation des propositions",

categorization_logs.log

@@ -521,3 +521,8 @@ Traceback (most recent call last):
     raise MistralException(
 mistralai.exceptions.MistralException: Unexpected exception (RemoteProtocolError): Server disconnected without sending a response.
 2024-03-11 15:12:46,859 - ERROR - An error occurred: Unexpected exception (RemoteProtocolError): Server disconnected without sending a response.
+2024-03-12 12:53:31,589 - ERROR - Une erreur s'est produite : max() arg is an empty sequence
+2024-03-12 13:08:00,863 - ERROR - Une erreur s'est produite : name 'get_synonyms' is not defined
+2024-03-12 13:22:09,699 - ERROR - Une erreur s'est produite : name 'base64' is not defined
+2024-03-12 14:04:21,396 - ERROR - Une erreur s'est produite : categorize_proposals() got an unexpected keyword argument 'max_categories'
+2024-03-12 14:05:53,992 - ERROR - Une erreur s'est produite : get_consistent_categories() got an unexpected keyword argument 'max_categories'

requirements.txt

@@ -2,4 +2,5 @@ pandas
 gradio
 mistralai
 xlrd>=2.0.1
-openpyxl
+openpyxl
+fuzzywuzzy