Update utils.py

utils.py

@@ -117,52 +117,60 @@ documents = []
 print(df.iloc[0])
 print(df.columns)
 
-for _, row in df.iterrows():
-    try:
-        # Extraire les champs pertinents du dataframe
-        item_text = row.get('Item Text', 'Texte indisponible')
-        theme_title = row.get('Theme Title', '')
-        sous_theme_title = row.get('SousTheme Title', '')
-        liste_service_text = row.get('Liste Service Text', '')
-        signataire = row.get('Signataire', 'Signataire inconnu')
-        fonction = row.get('Fonction', '')
-        suppleant = row.get('Suppleant', '')
-        collectivite = row.get('Collectivite', '')
-        date_debut = row.get('Date Debut', '')
-        coordonnes = row.get('personneConcernee')
-
-        # Construire le texte avec les champs spécifiés
-        text = f"""
-            item: {item_text}, 
-            service: {liste_service_text}, 
-            signataire: {signataire}, 
-            fonction: {fonction}, 
-            collectivité: {collectivite}, 
-            suppléant: {suppleant}
-            coordonnes: {coordonnes}
-        """
+# for _, row in df.iterrows():
+#     try:
+#         # Extraire les champs pertinents du dataframe
+#         item_text = row.get('Item Text', 'Texte indisponible')
+#         theme_title = row.get('Theme Title', '')
+#         sous_theme_title = row.get('SousTheme Title', '')
+#         liste_service_text = row.get('Liste Service Text', '')
+#         signataire = row.get('Signataire', 'Signataire inconnu')
+#         fonction = row.get('Fonction', '')
+#         suppleant = row.get('Suppleant', '')
+#         collectivite = row.get('Collectivite', '')
+#         date_debut = row.get('Date Debut', '')
+#         coordonnes = row.get('personneConcernee')
+
+#         # Construire le texte avec les champs spécifiés
+#         text = f"""
+#             item: {item_text}, 
+#             service: {liste_service_text}, 
+#             signataire: {signataire}, 
+#             fonction: {fonction}, 
+#             collectivité: {collectivite}, 
+#             suppléant: {suppleant}
+#             coordonnes: {coordonnes}
+#         """
         
-        if suppleant:
-            text += f", suppléant: {suppleant}"
-
-        # Créer le document avec texte et seulement 'Direction DGA' dans les métadonnées
-        document = Document(
-            text=text,
-            metadata={
-                "Direction DGA": row.get('Direction DGA', 'Direction DGA inconnue'),
-                "Min":row['Min'],
-                "Max":row['Max'],
-            }
-        )
-        documents.append(document)
-    except Exception as e:
-        print(f"Erreur lors du traitement de la ligne {row['Numero']}: {e}")
-
-# Si des documents sont créés, construire l'index
-if documents:
-    index = VectorStoreIndex.from_documents(documents, show_progress=True)
-else:
-    print("Aucun document valide n'a été généré.")
+#         if suppleant:
+#             text += f", suppléant: {suppleant}"
+
+#         # Créer le document avec texte et seulement 'Direction DGA' dans les métadonnées
+#         document = Document(
+#             text=text,
+#             metadata={
+#                 "Direction DGA": row.get('Direction DGA', 'Direction DGA inconnue'),
+#                 "Min":row['Min'],
+#                 "Max":row['Max'],
+#             }
+#         )
+#         documents.append(document)
+#     except Exception as e:
+#         print(f"Erreur lors du traitement de la ligne {row['Numero']}: {e}")
+
+# # Si des documents sont créés, construire l'index
+# if documents:
+#     index = VectorStoreIndex.from_documents(documents, show_progress=True)
+# else:
+#     print("Aucun document valide n'a été généré.")
+
+from llama_index.core import StorageContext, load_index_from_storage
+
+# rebuild storage context
+storage_context = StorageContext.from_defaults(persist_dir="store")
+
+# load index
+index = load_index_from_storage(storage_context)
 
 from llama_index.core.vector_stores import (
     MetadataFilter,