Add the num_workers parameter to the load_data function to enable multiprocessing when loading documents.

Adicionado o parâmetro num_workers à função load_data para permitir o uso de multiprocessamento no carregamento de documentos. Isso também ajudará a acelerar o processamento quando um pipeline for adicionado posteriormente para validação de dados com o Pydantic. Foi observado que o tempo de carregamento dos documentos foi até 20 segundos mais rápido ao utilizar 6 'workers' (cores).

app.py

@@ -383,13 +383,14 @@ else:
 #    Caso contrário, apenas reutilizamos o que já existe.
 if "docstore" not in st.session_state:
     # Carregar documentos do diretório local
+    count_cores = os.cpu_count()
     file_extractor = {".csv": CustomPandasCSVReader()}
     documents = SimpleDirectoryReader(
         input_dir=documents_path,
         file_extractor=file_extractor,
         filename_as_id=True,
         recursive=True
-    ).load_data()
+    ).load_data(num_workers=count_cores)
 
     documents = clean_documents(documents)