Spaces:

phisinger
/

ElectionProgramChatbot

Runtime error

App Files Files Community

phisinger commited on Jan 11

Commit

7910a4d

•

1 Parent(s): 7c99e3e

initial commit

Browse files

Files changed (22) hide show

README.md +1 -1
Vectorstore.py +74 -0
app.py +81 -0
data/clean/afd_2013.txt +1 -0
data/clean/afd_2017.txt +0 -0
data/clean/afd_2021.txt +0 -0
data/clean/cdu_2013.txt +0 -0
data/clean/cdu_2017.txt +0 -0
data/clean/cdu_2021.txt +0 -0
data/clean/fdp_2013.txt +0 -0
data/clean/fdp_2017.txt +0 -0
data/clean/fdp_2021.txt +0 -0
data/clean/gruene_2013.txt +0 -0
data/clean/gruene_2017.txt +0 -0
data/clean/gruene_2021.txt +0 -0
data/clean/linke_2013.txt +0 -0
data/clean/linke_2017.txt +0 -0
data/clean/linke_2021.txt +0 -0
data/clean/spd_2013.txt +0 -0
data/clean/spd_2017.txt +0 -0
data/clean/spd_2021.txt +0 -0
requirements.txt +161 -0

README.md CHANGED Viewed

@@ -4,7 +4,7 @@ emoji: 😻
 colorFrom: green
 colorTo: indigo
 sdk: gradio
-sdk_version: 4.14.0
 app_file: app.py
 pinned: false
 license: apache-2.0

 colorFrom: green
 colorTo: indigo
 sdk: gradio
+sdk_version: 4.12.0
 app_file: app.py
 pinned: false
 license: apache-2.0

Vectorstore.py ADDED Viewed

	@@ -0,0 +1,74 @@

+from langchain.embeddings import GPT4AllEmbeddings
+from langchain.document_loaders import TextLoader, DirectoryLoader
+from langchain.text_splitter import RecursiveCharacterTextSplitter
+from langchain.embeddings import GPT4AllEmbeddings
+from langchain.vectorstores import Chroma
+import chromadb
+class Vectorstore_client:
+    def __init__(self):
+        self.persist_directory = "/home/phisinger/Programmieren/wahlprogramm_analyse/data/vectorstore"
+        self.client = chromadb.PersistentClient(path=self.persist_directory)
+        elections = ["2013", "2017", "2021"]
+        for election in elections:
+            # load all files from cleaned data set
+            glob = "*" + election + ".txt"
+            loader = DirectoryLoader(
+                '/home/phisinger/Programmieren/wahlprogramm_analyse/data/clean/', glob=glob, use_multithreading=True, loader_cls=TextLoader)
+            docs_list = loader.load()
+            # split documents
+            text_splitter = RecursiveCharacterTextSplitter(
+                chunk_size=1000, chunk_overlap=200)
+            all_splits = text_splitter.split_documents(docs_list)
+            all_texts = [text.page_content for text in all_splits]
+            # generate ids for all documents
+            ids_list = ["id{}".format(i)
+                        for i in range(1, len(all_texts) + 1)]
+            # Store splits in database
+            collection = self.client.get_or_create_collection(
+                name=election)
+            if collection.count() == 0:
+                collection.add(
+                    documents=all_texts,
+                    ids=ids_list
+                )
+        return
+    def get_client(self):
+        return self.client
+# class Vectorstore:
+#     def __init__(self) -> None:
+#         self.persist_directory = "/home/phisinger/Programmieren/wahlprogramm_analyse/data/vectorstore"
+#         if False:
+#             # load data from data persist_directory
+#             print("use persisted db.")
+#             self.vectordb = Chroma(persist_directory=persist_directory,
+#                                    embedding_function=GPT4AllEmbeddings())
+#         else:
+#             print("Build new vector DB")
+#             self.build_vectorstore()
+#         return self.vectordb
+#     def build_vectorstore(self):
+#         elections = ["2013", "2017", "2021"]
+#         for election in elections:
+#             # load all files from cleaned data set
+#             glob = "*" + election + ".txt"
+#             loader = DirectoryLoader(
+#                 '../data/clean/', glob=glob, use_multithreading=True, loader_cls=TextLoader)
+#             docs_list = loader.load()
+#             # split documents
+#             text_splitter = RecursiveCharacterTextSplitter(
+#                 chunk_size=1000, chunk_overlap=200)
+#             all_splits = text_splitter.split_documents(docs_list)
+#             # store documents in vector store
+#             self.vectordb = Chroma.from_documents(
+#                 documents=all_splits, embedding=GPT4AllEmbeddings(), persist_directory=self.persist_directory)
+#             self.vectordb.persist()
+#         def get(self):
+#             return self.vectordb

app.py ADDED Viewed

	@@ -0,0 +1,81 @@

+from langchain.prompts import PromptTemplate
+from langchain.chains import RetrievalQA
+from langchain.embeddings import GPT4AllEmbeddings
+from langchain.vectorstores import Chroma
+from Vectorstore import Vectorstore_client
+import gradio as gr
+# Load Model
+from langchain.llms import GPT4All
+llm = GPT4All(
+    model="/home/phisinger/Programmieren/wahlprogramm_analyse/models/mistral-7b-openorca.Q4_0.gguf",
+    max_tokens=2048,
+)
+# establish connection to vector store chroma
+db_client = Vectorstore_client()
+db_client = db_client.get_client()
+collection_name = ""
+with gr.Blocks() as demo:
+    gr.Markdown("# Election Program Chatbot")
+    def set_collection(year):
+        global collection_name
+        collection_name = year
+    # Dropdown to select the year to ask
+    gr.Interface(
+        fn=set_collection,
+        inputs=gr.Dropdown(
+            ["2013", "2017", "2021"], label="Election Year", info="Select the election year you want to chat with"),
+        outputs=None,
+    )
+    # Explain chatbot
+    gr.Markdown(
+        """The chatbot has access to all election programs of the selected year. You may ask questions in German. As this is a demo, you should be warned that the generation can take several minutes (up to 600 secs). <br/>
+        Be also aware that the chatbot doesn't take into account the history of the chat. It answers every question independently.""")
+    def generate_answer(message, history):
+        global collection_name
+        if collection_name == "":
+            gr.Warning(
+                "No election year is selected! The default year '2021' is used.")
+            collection_name = "2021"
+        # integrate vector store into langchain chroma version
+        langchain_chroma = Chroma(
+            client=db_client,
+            collection_name=collection_name,
+            embedding_function=GPT4AllEmbeddings(),
+        )
+        # Prepare chain to ask questions
+        # german default prompt
+        german_prompt = """Beantworten Sie die Frage am Ende des Textes anhand der folgenden Informationen. Wenn Sie die Antwort nicht wissen, sagen Sie einfach, dass Sie es nicht wissen, versuchen Sie nicht, eine Antwort zu erfinden.
+        {context}
+        Frage: {question}
+        Hilfreiche Antwort:"""
+        german_prompt = PromptTemplate(
+            template=german_prompt, input_variables=["context", "question"]
+        )
+        # TODO: Make Prompt for Wahlomat-like usage
+        # create Q & A chain for the chatbot
+        qa_chain = RetrievalQA.from_chain_type(
+            llm,
+            retriever=langchain_chroma.as_retriever(),
+            chain_type_kwargs={"prompt": german_prompt},
+        )
+        return qa_chain({"query": message})["result"]
+    gr.ChatInterface(generate_answer)
+demo.launch()

data/clean/afd_2013.txt ADDED Viewed

	@@ -0,0 +1 @@

+ wahlprogramm parteitagsbeschluss vom 14.04.2013 währungspolitik wir fordern eine geordnete auflösung des euro-währungsgebietes. deutschland braucht den euro nicht. anderen ländern schadet der euro. wir fordern die wiedereinführung nationaler währungen oder die schaffung kleinerer und stabilerer währungsverbünde. die wiedereinführung der dm darf kein tabu sein. wir fordern eine änderung der europäischen verträge, um jedem staat ein ausscheiden aus dem euro zu ermöglichen. jedes volk muss demokratisch über seine währung entscheiden dürfen. wir fordern, dass deutschland dieses austrittsrecht aus dem euro erzwingt, indem es weitere hilfskredite des esm mit seinem veto blockiert. wir fordern, dass die kosten der sogenannten rettungs-politik nicht vom steuerzahler getragen werden. banken, hedge-fonds und private großanleger sind die nutznießer dieser politik. sie müssen zuerst dafür geradestehen. wir fordern, dass hoffnungslos überschuldete staaten durch einen schuldenschnitt entschuldet werden. in der schuldenkrise müssen banken ihre verluste selbst tragen oder zu lasten ihrer privaten großgläubiger stabilisiert werden. wir fordern ein sofortiges verbot des ankaufs von schrottpapieren durch die europäische zentralbank. inflation darf nicht die ersparnisse der bürger aufzehren. europapolitik wir bejahen ein europa souveräner staaten mit einem gemeinsamen binnenmarkt. wir wollen in freundschaft und guter wir werden dafür sorgen, dass gesetzgebungskompetenzen zurück zu den nationalen parlamenten verlagert werden. wir werden uns für eine reform der eu stark machen, um die brüssele bürokratie abzubauen und transparenz und bürgernähe zu fördern. das europäische parlament hat bei der kontrolle brüssels versagt. wir unterstützen nachdrücklich die positionen david camerons, die eu durch mehr wettbewerb und eigenverantwortung zu verschlanken. rechtsstaatlichkeit und demokratie wir fordern, den rechtsstaat uneingeschränkt zu achten. staatliche organe dürfen sich selbst in einzelfällen nicht über gesetze und verträge hinwegsetzen. vielmehr sind diese nach ihrem buchstaben und nach ihrem geist zu respektieren. das handeln jeder deutschen regierung findet seine beschränkungen im völkerrecht, im grundgesetz und in den europäischen verträgen. diese sind für unsere gesellschaft von fundamentaler bedeutung und strikt zu befolgen. wir fordern eine stärkung der demokratie und der demokratischen bürgerrechte. wir wollen volksabstimmungen und -initiativen nach schweizer vorbild einführen. das gilt insbesondere für die abtretung wichtiger befugnisse an die eu. parteien sollen am politischen system mitwirken, es aber nicht beherrschen. wir fordern mehr direkte demokratie auch in den parteien. das volk soll den willen der parteien bestimmen, nicht umgekehrt. wir fordern, dass bundestagsabgeordnete ihre volle arbeitskraft der parlamentarischen arbeit widmen. das mandat darf nicht unter bezahlten nebentätigkeiten leiden. wir setzen uns dafür ein, dass auch unkonventionelle meinungen im öffentlichen diskurs ergebnisoffen diskutiert werden, solange die meinungen nicht gegen die werte des grundgesetzes verstoßen. staatsfinanzen und steuern wir fordern, die schuldenbremse zu achten und die schuldenberge abzubauen. auch deutschland hat viel mehr schulden als zulässig. wir fordern, dass die haftungsrisiken aus der euro-rettungs-politik endlich in der finanzplanung berücksichtigt werden. derzeit wird den bürgern bewusst sand in die augen gestreut. wir fordern eine drastische vereinfachung des steuerrechts in anlehnung an das progressiv wirkende kirchhofsche steuermodell. der bürger muss verstehen können, warum er in welcher höhe besteuert wird. alterssicherung und familie die eurokrise gefährdet alle formen der altersvorsorge durch überschuldung und minimale zinsen. die schulden der eurokrise dürfen nicht zu einer rente nach kassenlage führen. wir fordern, kinder stärker bei der rentenberechnung zu berücksichtigen. deutschland hat zu wenige kinder. renten- und krankenversicherung stehen deshalb auf tönernen füßen. deutschland muss kinder- und familienfreundlicher werden. wir stehen für den schutz der familie als keimzelle der gesellschaft. eine solidarische förderung der familien ist eine investition in unsere gemeinsame zukunft und wesentlicher teil des generationenvertrages. bildung wir fordern bundesweit einheitliche bildungsstandards orientiert an den besten schulsystemen deutschlands. wir fordern, bildung als kernaufgabe der familie zu fördern. kitas und schulen müssen dies sinnvoll ergänzen. nichts ist für unsere zukunft wichtiger als die bildung unserer kinder. wir fordern ein qualitativ hochwertiges universitätssystem, das den studenten angemessene betreuungs- und fördermöglichkeiten bietet. auch eine rückkehr zu bewährten diplom- und staatsexamensstudiengängen muss möglich sein. energiepolitik wir fordern ein nachhaltiges energiekonzept für bezahlbare energie. es ist unzumutbar, dass die bevölkerung mit drastisch steigenden preisen für die kopf- und konzeptionslose politik der bundesregierung büßen muss. wir fordern eine reform des erneuerbaren-energien-gesetzes (eeg). es ist unsozial, subventionen für sonnen- und windenergie durch die strompreise zu finanzieren. wir fordern, dass subventionen für erneuerbare energien stattdessen aus dem allgemeinen steueraufkommen finanziert werden. es muss offengelegt werden, welche energieart wie stark subventioniert wird. integrationspolitik wir fordern eine neuordnung des einwanderungsrechts. deutschland braucht qualifizierte und integrationswillige zuwanderung. wir fordern ein einwanderungsgesetz nach kanadischem vorbild. eine ungeordnete zuwanderung in unsere sozialsysteme muss unbedingt unterbunden werden. ernsthaft politisch verfolgte müssen in deutschland asyl finden können. zu einer menschenwürdigen behandlung gehört auch, dass asylbewerber hier arbeiten können.

data/clean/afd_2017.txt ADDED Viewed