Spaces:
Runtime error
Runtime error
#!/usr/bin/env python | |
# coding: utf-8 | |
#! pip install langchain openai chromadb tiktoken pypdf panel | |
# 注释1:首先,代码导入了所需的库和模块。这包括用于处理 PDF 文件、创建文本嵌入、搜索、问答等的模块。 | |
import os | |
from langchain.chains import RetrievalQA | |
from langchain.llms import OpenAI | |
from langchain.document_loaders import TextLoader | |
from langchain.document_loaders import PyPDFLoader | |
from langchain.indexes import VectorstoreIndexCreator | |
from langchain.text_splitter import CharacterTextSplitter | |
from langchain.embeddings import OpenAIEmbeddings | |
from langchain.vectorstores import Chroma | |
import panel as pn | |
import tempfile | |
# In[ ]: | |
pn.extension('texteditor', template="bootstrap", sizing_mode='stretch_width') | |
pn.state.template.param.update( | |
main_max_width="690px", | |
header_background="#F08080", | |
) | |
# 注释2:然后,代码设置了一些 Panel 库的参数和小部件,用于创建用户界面。这些小部件包括文件输入框、密码输入框、文本编辑器、按钮、滑块等。这些小部件被组织在一个列中,方便用户输入。 | |
file_input = pn.widgets.FileInput(width=300) | |
openaikey = pn.widgets.PasswordInput( | |
value="", placeholder="Enter your OpenAI API Key here...", width=300 | |
) | |
prompt = pn.widgets.TextEditor( | |
value="", placeholder="Enter your questions here...", height=160, toolbar=False | |
) | |
run_button = pn.widgets.Button(name="Run!") | |
select_k = pn.widgets.IntSlider( | |
name="Number of relevant chunks", start=1, end=5, step=1, value=2 | |
) | |
select_chain_type = pn.widgets.RadioButtonGroup( | |
name='Chain type', | |
options=['stuff', 'map_reduce', "refine", "map_rerank"] | |
) | |
widgets = pn.Row( | |
pn.Column(prompt, run_button, margin=5), | |
pn.Card( | |
"Chain type:", | |
pn.Column(select_chain_type, select_k), | |
title="Advanced settings", margin=10 | |
), width=600 | |
) | |
#注释3:qa 函数定义了处理 PDF 文件、创建向量嵌入、执行搜索和返回答案的主要逻辑。它接受一个 PDF 文件、查询问题、搜索类型和返回的结果数量作为输入。 | |
#然后,使用 OpenAI 的模型为每个文本块创建一个向量嵌入,这些嵌入被用来创建一个向量存储,用于后续的搜索。接着,使用这个向量存储创建一个检索器,然后使用这个检索器和 OpenAI 的模型创建一个问答链来回答问题。 | |
#最后,函数打印出结果并返回。 | |
def qa(file, query, chain_type, k): | |
# load document 加载PDF文件 | |
loader = PyPDFLoader(file) | |
documents = loader.load() | |
# split the documents into chunks 将PDF文件分割成小块。 | |
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0) | |
texts = text_splitter.split_documents(documents) | |
# select which embeddings we want to use 使用 OpenAI 的embeddings模型为每个文本块创建一个向量嵌入 | |
embeddings = OpenAIEmbeddings() | |
# create the VectorStore to use as the index 这些嵌入被用来创建一个向量存储VectorStore,用于后续的搜索。 | |
db = Chroma.from_documents(texts, embeddings) | |
# expose this index in a retriever interface 接着,使用这个向量存储创建一个检索器retriever | |
retriever = db.as_retriever( | |
search_type="similarity", search_kwargs={"k": k}) | |
# create a chain to answer questions 然后使用这个检索器和 OpenAI 的模型创建一个问答链来回答问题。 | |
qa = RetrievalQA.from_chain_type( | |
llm=OpenAI(), chain_type=chain_type, retriever=retriever, return_source_documents=True) | |
result = qa({"query": query}) | |
# 最后,函数打印出结果并返回。 | |
print(result['result']) | |
return result | |
# In[6]: | |
convos = [] # store all panel objects in a list convos是对话列表的意思 | |
#qa_result 函数是用于处理用户界面输入和调用 qa 函数的函数。它首先从环境变量中获取 OpenAI 的 API 密钥,然后保存用户上传的 PDF 文件。如果用户输入了问题,函数将调用 qa 函数,并将结果添加到对话列表中。 | |
def qa_result(_): | |
#首先从环境变量中获取 OpenAI 的 API 密钥 | |
os.environ["OPENAI_API_KEY"] = openaikey.value | |
# save pdf file to a temp file 保存用户上传的 PDF文件为temp.pdf | |
if file_input.value is not None: | |
file_input.save("/.cache/temp.pdf") | |
prompt_text = prompt.value | |
if prompt_text: | |
result = qa(file="/.cache/temp.pdf", query=prompt_text, | |
chain_type=select_chain_type.value, k=select_k.value) | |
convos.extend([ | |
pn.Row( | |
pn.panel("\U0001F60A", width=10), | |
prompt_text, | |
width=600 | |
), | |
pn.Row( | |
pn.panel("\U0001F916", width=10), | |
pn.Column( | |
result["result"], | |
"Relevant source text:", | |
pn.pane.Markdown('\n--------------------------------------------------------------------\n'.join( | |
doc.page_content for doc in result["source_documents"])) | |
) | |
) | |
]) | |
# return convos | |
return pn.Column(*convos, margin=15, width=575, min_height=400) | |
# In[7]:创建了一个交互式的 Panel 小部件,当用户点击运行按钮时,会调用 qa_result 函数。 | |
qa_interactive = pn.panel( | |
pn.bind(qa_result, run_button), | |
loading_indicator=True, | |
) | |
# In[8]:创建输出框 | |
output = pn.WidgetBox('*Output will show up here:*', | |
qa_interactive, width=630, scroll=True) | |
# 界面设计 | |
pn.Column( | |
pn.panel.Markdown(""" | |
##你可以问我关于你上传的PDF文件的任何信息! | |
1) 上传一个PDF文件. 2)输入你的OpenAI API key.这将产生费用 3) 输入问题然后点击"Run". | |
"""), | |
pn.Row(file_input, openaikey), | |
output, | |
widgets | |
).servable() | |