Update utils.py

utils.py

@@ -270,11 +270,11 @@ def access_pdf(self, filename):
 
         # Datei aus dem Hugging Face Space herunterladen
         hf_hub_download(
-            repo_id=DATA_REPO_ID,
-            filename=os.path.join(self.directory_path, filename),
+            repo_id=STORAGE_REPO_ID,
+            filename=file_path,
             repo_type=DATA_REPO_TYPE,
             local_dir=os.path.dirname(temp_path),
-            local_dir_use_symlinks=False
+            token=hf_token
         )
 
         return temp_path
@@ -929,23 +929,35 @@ class CustomLoader:
         self.loader_func = loader_func
 
     def load(self):
-        documents = []
-        for file_path in self.file_list:
-            with tempfile.NamedTemporaryFile(delete=False, suffix=self.file_type) as temp_file:
-                temp_path = temp_file.name
-            
+    documents = []
+    for file_path in self.file_list:
+        with tempfile.NamedTemporaryFile(delete=False, suffix=self.file_type) as temp_file:
+            temp_path = temp_file.name
+
+        try:
             # Datei aus dem Hugging Face Space herunterladen
-            hf_hub_download(
+            downloaded_path = hf_hub_download(
                 repo_id=STORAGE_REPO_ID,
                 filename=file_path,
                 repo_type="space",
                 local_dir=os.path.dirname(temp_path),
-                local_dir_use_symlinks=False,
                 token=hf_token
             )
-            documents.extend(self.loader_func(temp_path))
-            os.unlink(temp_path)
-        return documents
+
+            # Überprüfen, ob die Datei leer ist
+            if os.path.getsize(downloaded_path) == 0:
+                print(f"Warnung: Die Datei {file_path} ist leer und wird übersprungen.")
+                continue
+
+            documents.extend(self.loader_func(downloaded_path))
+        except Exception as e:
+            print(f"Fehler beim Verarbeiten der Datei {file_path}: {str(e)}")
+        finally:
+            # Sicherstellen, dass die temporäre Datei gelöscht wird
+            if os.path.exists(temp_path):
+                os.unlink(temp_path)
+
+    return documents