Update utils.py
Browse files
utils.py
CHANGED
@@ -19,7 +19,7 @@ def split_with_source(text, source):
|
|
19 |
add_start_index = True,
|
20 |
)
|
21 |
documents = splitter.create_documents([text])
|
22 |
-
print(documents)
|
23 |
for doc in documents:
|
24 |
doc.metadata["source"] = source
|
25 |
# print(doc.metadata)
|
@@ -61,7 +61,7 @@ def get_document_from_raw_text():
|
|
61 |
# # Loại bỏ khoảng trắng thừa và ký tự xuống dòng ở đầu và cuối mỗi dòng
|
62 |
# line = line.strip()
|
63 |
# documents.append(Document(page_content=line, metadata={"source": i}))
|
64 |
-
print(documents)
|
65 |
return documents
|
66 |
|
67 |
def load_the_embedding_retrieve(is_ready = False, k = 3, model= 'sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2'):
|
|
|
19 |
add_start_index = True,
|
20 |
)
|
21 |
documents = splitter.create_documents([text])
|
22 |
+
# print(documents)
|
23 |
for doc in documents:
|
24 |
doc.metadata["source"] = source
|
25 |
# print(doc.metadata)
|
|
|
61 |
# # Loại bỏ khoảng trắng thừa và ký tự xuống dòng ở đầu và cuối mỗi dòng
|
62 |
# line = line.strip()
|
63 |
# documents.append(Document(page_content=line, metadata={"source": i}))
|
64 |
+
# print(documents)
|
65 |
return documents
|
66 |
|
67 |
def load_the_embedding_retrieve(is_ready = False, k = 3, model= 'sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2'):
|