Spaces:
Sleeping
Sleeping
yanyoyo
commited on
Commit
·
4e34758
1
Parent(s):
d5c7d7b
fix
Browse files- RUN +0 -0
- Restoring +0 -0
- llamaindex_RAG.py +4 -4
- llamaindex_internlm.py +2 -2
RUN
ADDED
File without changes
|
Restoring
ADDED
File without changes
|
llamaindex_RAG.py
CHANGED
@@ -7,15 +7,15 @@ from llama_index.llms.huggingface import HuggingFaceLLM
|
|
7 |
#初始化一个HuggingFaceEmbedding对象,用于将文本转换为向量表示
|
8 |
embed_model = HuggingFaceEmbedding(
|
9 |
#指定了一个预训练的sentence-transformer模型的路径
|
10 |
-
model_name="
|
11 |
)
|
12 |
#将创建的嵌入模型赋值给全局设置的embed_model属性,
|
13 |
#这样在后续的索引构建过程中就会使用这个模型。
|
14 |
Settings.embed_model = embed_model
|
15 |
|
16 |
llm = HuggingFaceLLM(
|
17 |
-
model_name="/
|
18 |
-
tokenizer_name="/
|
19 |
model_kwargs={"trust_remote_code":True},
|
20 |
tokenizer_kwargs={"trust_remote_code":True}
|
21 |
)
|
@@ -23,7 +23,7 @@ llm = HuggingFaceLLM(
|
|
23 |
Settings.llm = llm
|
24 |
|
25 |
#从指定目录读取所有文档,并加载数据到内存中
|
26 |
-
documents = SimpleDirectoryReader("/
|
27 |
#创建一个VectorStoreIndex,并使用之前加载的文档来构建索引。
|
28 |
# 此索引将文档转换为向量,并存储这些向量以便于快速检索。
|
29 |
index = VectorStoreIndex.from_documents(documents)
|
|
|
7 |
#初始化一个HuggingFaceEmbedding对象,用于将文本转换为向量表示
|
8 |
embed_model = HuggingFaceEmbedding(
|
9 |
#指定了一个预训练的sentence-transformer模型的路径
|
10 |
+
model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
|
11 |
)
|
12 |
#将创建的嵌入模型赋值给全局设置的embed_model属性,
|
13 |
#这样在后续的索引构建过程中就会使用这个模型。
|
14 |
Settings.embed_model = embed_model
|
15 |
|
16 |
llm = HuggingFaceLLM(
|
17 |
+
model_name="internlm/internlm2_5-1_8b-chat",
|
18 |
+
tokenizer_name="internlm/internlm2_5-1_8b-chat",
|
19 |
model_kwargs={"trust_remote_code":True},
|
20 |
tokenizer_kwargs={"trust_remote_code":True}
|
21 |
)
|
|
|
23 |
Settings.llm = llm
|
24 |
|
25 |
#从指定目录读取所有文档,并加载数据到内存中
|
26 |
+
documents = SimpleDirectoryReader("Streamlit-LlamaIndex-API/data").load_data()
|
27 |
#创建一个VectorStoreIndex,并使用之前加载的文档来构建索引。
|
28 |
# 此索引将文档转换为向量,并存储这些向量以便于快速检索。
|
29 |
index = VectorStoreIndex.from_documents(documents)
|
llamaindex_internlm.py
CHANGED
@@ -1,8 +1,8 @@
|
|
1 |
from llama_index.llms.huggingface import HuggingFaceLLM
|
2 |
from llama_index.core.llms import ChatMessage
|
3 |
llm = HuggingFaceLLM(
|
4 |
-
model_name="/
|
5 |
-
tokenizer_name="/
|
6 |
model_kwargs={"trust_remote_code":True},
|
7 |
tokenizer_kwargs={"trust_remote_code":True}
|
8 |
)
|
|
|
1 |
from llama_index.llms.huggingface import HuggingFaceLLM
|
2 |
from llama_index.core.llms import ChatMessage
|
3 |
llm = HuggingFaceLLM(
|
4 |
+
model_name="internlm/internlm2_5-1_8b-chat",
|
5 |
+
tokenizer_name="internlm/internlm2_5-1_8b-chat",
|
6 |
model_kwargs={"trust_remote_code":True},
|
7 |
tokenizer_kwargs={"trust_remote_code":True}
|
8 |
)
|