jaczad commited on
Commit
ee5d3c7
1 Parent(s): 6102f5b

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +69 -60
app.py CHANGED
@@ -1,63 +1,72 @@
 
 
 
 
 
1
  import gradio as gr
2
- from huggingface_hub import InferenceClient
3
-
4
- """
5
- For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
6
- """
7
- client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
8
-
9
-
10
- def respond(
11
- message,
12
- history: list[tuple[str, str]],
13
- system_message,
14
- max_tokens,
15
- temperature,
16
- top_p,
17
- ):
18
- messages = [{"role": "system", "content": system_message}]
19
-
20
- for val in history:
21
- if val[0]:
22
- messages.append({"role": "user", "content": val[0]})
23
- if val[1]:
24
- messages.append({"role": "assistant", "content": val[1]})
25
-
26
- messages.append({"role": "user", "content": message})
27
-
28
- response = ""
29
-
30
- for message in client.chat_completion(
31
- messages,
32
- max_tokens=max_tokens,
33
- stream=True,
34
- temperature=temperature,
35
- top_p=top_p,
36
- ):
37
- token = message.choices[0].delta.content
38
-
39
- response += token
40
- yield response
41
-
42
- """
43
- For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
44
- """
45
- demo = gr.ChatInterface(
46
- respond,
47
- additional_inputs=[
48
- gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
49
- gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
50
- gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
51
- gr.Slider(
52
- minimum=0.1,
53
- maximum=1.0,
54
- value=0.95,
55
- step=0.05,
56
- label="Top-p (nucleus sampling)",
57
- ),
58
- ],
59
- )
60
 
 
 
 
 
61
 
62
- if __name__ == "__main__":
63
- demo.launch()
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import pandas as pd
2
+ from sklearn.metrics.pairwise import cosine_similarity
3
+ import numpy as np
4
+ from openai import OpenAI
5
+ import ast
6
  import gradio as gr
7
+ # Inicjalizuj klienta API
8
+ client = OpenAI()
9
+
10
+ # Wczytaj plik CSV
11
+ df = pd.read_csv('ally.csv')
12
+
13
+
14
+ # Przekształć stringi z powrotem do list
15
+ df['embedding'] = df['embedding'].apply(ast.literal_eval)
16
+
17
+ # Następnie przekształć listy na tablice numpy
18
+ df['embedding'] = df['embedding'].apply(np.array)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
19
 
20
+ def znajdz_najblizsze_teksty(tekst_wejsciowy, df, client, top_n=2):
21
+ # Wygeneruj embedding dla tekstu wejściowego
22
+ response = client.embeddings.create(input=tekst_wejsciowy, model="text-embedding-3-large")
23
+ embedding_wejsciowy = response.data[0].embedding
24
 
25
+ # Oblicz podobieństwo kosinusowe między embeddingiem wejściowym a wszystkimi innymi embeddingami
26
+ df['podobienstwo'] = df['embedding'].apply(lambda x: cosine_similarity([x], [embedding_wejsciowy])[0][0])
27
+
28
+ # Posortuj DataFrame według podobieństwa i zwróć top_n najbardziej podobnych tekstów
29
+ return df.sort_values('podobienstwo', ascending=False).head(top_n)['text']
30
+
31
+
32
+ # Użyj funkcji do znalezienia najbardziej podobnych tekstów
33
+ def answer(tekst_wejsciowy, history):
34
+ najblizsze_teksty = znajdz_najblizsze_teksty(tekst_wejsciowy, df, client)
35
+ kontekst = "\n".join(najblizsze_teksty)
36
+ prompt = f"Kontekst: {kontekst}\n Pytanie: {tekst_wejsciowy}"
37
+ response = client.chat.completions.create(
38
+ model="gpt-4-turbo",
39
+ messages=[
40
+ {
41
+ "role": "system",
42
+ "content": "Jesteś asystentką koordynatorów i koordynatorek dostępności. Odpowiadasz uprzejmie i konkretnie. Czasem możesz poflirtować. Do odpowiedzi wykorzystujesz dostarczony kontekst. Odpowiedź sformatuj w Markdown"
43
+ },
44
+ {
45
+ "role": "user",
46
+ "content": prompt
47
+ }
48
+ ],
49
+ temperature=0.1,
50
+ max_tokens=512,
51
+ top_p=1,
52
+ frequency_penalty=0,
53
+ presence_penalty=0)
54
+ odp = response.choices[0].message.content
55
+ return(odp)
56
+
57
+ demo = gr.ChatInterface(
58
+ fn = answer,
59
+ title = "Ally - asystentka koordynatorów dostępności",
60
+ description= "Ally jest asystentką, która odpowie na pytania dotyczące dostępności. Dużo się nauczyła i wciąż się uczy, ale może jednak popełniać błędy.",
61
+ clear_btn= None,
62
+ submit_btn= "Zapytaj",
63
+ retry_btn=None,
64
+ undo_btn=None,
65
+ examples=[
66
+ "Jestem zupełnie świeżym koordynatorem dostępności i nie wiem, od czego zacząć.",
67
+ "Za co odpowiada koordynator do spraw dostępności?",
68
+ "Jakie wymiary powinna mieć kabina windy?",
69
+ "Co to jest plan wdrażania dostępności?",
70
+ "Czym jest deklaracja dostępności?"
71
+ ]
72
+ ).launch()