Data loading

index.py

@@ -8,12 +8,7 @@ from utils import completion_to_prompt, messages_to_prompt
 
 
 def build_service_context():
-    return ServiceContext.from_defaults(llm=LlamaCPP(
-        model_path=None,
-        messages_to_prompt=messages_to_prompt,
-        completion_to_prompt=completion_to_prompt,
-        model_kwargs={"n_gpu_layers": 50},
-    ))
+    return ServiceContext.from_defaults(embed_model='local')
 
 def build_index(documents, context):
     index = VectorStoreIndex.from_documents(documents, service_context=context)

loader.py

@@ -1,19 +1,7 @@
-from llama_index import download_loader
-
-BeautifulSoupWebReader = download_loader("BeautifulSoupWebReader")
+from llama_index import SimpleDirectoryReader
 
 
 def load_documents():
-    loader = BeautifulSoupWebReader()
-    return loader.load_data(urls=[
-        'http://campuslife.innopolis.ru/main',
-        'http://campuslife.innopolis.ru/handbook2023',
-        'http://campuslife.innopolis.ru/clubs',
-        'http://campuslife.innopolis.ru/tech_clubs',
-        'http://campuslife.innopolis.ru/sport_clubs',
-        'http://campuslife.innopolis.ru/hobby_clubs',
-        'http://campuslife.innopolis.ru/art_clubs'
-        'http://campuslife.innopolis.ru/opportunities',
-        'http://campuslife.innopolis.ru/faq',
-        'http://campuslife.innopolis.ru/contacts'
-    ])
+    docs_dir = "./raw"
+    documents = SimpleDirectoryReader(docs_dir).load_data()
+    return documents