ABANDA-OMGBA-Ulrich-Michel commited on
Commit
f1f3030
1 Parent(s): cf07379

Create App.py

Browse files
Files changed (1) hide show
  1. App.py +274 -0
App.py ADDED
@@ -0,0 +1,274 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import streamlit as st
2
+ from streamlit_option_menu import option_menu
3
+ from dotenv import load_dotenv
4
+ load_dotenv()
5
+ import os
6
+ import google.generativeai as genai
7
+ import requests
8
+
9
+
10
+ from PIL import Image
11
+ from io import BytesIO
12
+ import numpy as np
13
+ import base64
14
+
15
+ from dataclasses import dataclass
16
+
17
+ st.set_page_config(page_title="Q&A Demo",layout="wide")
18
+
19
+
20
+
21
+
22
+ # 1. as sidebar menu
23
+ with st.sidebar:
24
+ selected = option_menu("Main Menu", ["Home", 'A Propos'],
25
+ icons=['house', 'info'], menu_icon="app-indicator", default_index=1)
26
+ selected
27
+
28
+
29
+ if selected == 'Home':
30
+ # 2. horizontal menu
31
+ st.title(":green[TechVerse]: Explorez l'Infini")
32
+ st.write("Bienvenue dans notre monde d'innovation et de découverte, où l'IA et l'ingéniosité humaine fusionnent pour vous offrir une expérience unique. Plongez dans une aventure où les mots prennent vie grâce à notre chatbot intelligent, prêt à répondre à vos questions et à vous guider à travers une multitude de sujets passionnants. Transformez vos idées en une symphonie numérique avec notre conversion texte en parole, donnant une voix à votre créativité. Explorez le monde visuel qui vous entoure avec notre incroyable capacité de classification d'images en un instant. Quelle que soit votre curiosité, notre application est là pour stimuler votre imagination et ouvrir de nouvelles perspectives passionnantes. Bienvenue dans notre monde d'intelligence infinie !")
33
+
34
+ # Création du select box pour choisir l'application
35
+
36
+
37
+
38
+ selected2 = option_menu(None, ['Chatbot Intelligent', 'Text to Speech', 'Zero Shot Image Classification', 'Image to Text']
39
+ ,
40
+ icons=['chat-left-quote', 'music-note-list', "images", 'pencil-square'],
41
+ menu_icon="cast", default_index=0, orientation="horizontal")
42
+
43
+ if selected2 == "Chatbot Intelligent":
44
+
45
+
46
+ @dataclass
47
+ class Message:
48
+ actor: str
49
+ payload: str
50
+
51
+ USER = "user"
52
+ ASSISTANT = "ai"
53
+ MESSAGES = "messages"
54
+
55
+ def initialize_chat():
56
+ if MESSAGES not in st.session_state:
57
+ st.session_state[MESSAGES] = [Message(actor=ASSISTANT, payload="Salut! Comment puis-je t'etre utile?")]
58
+
59
+
60
+ def process_user_input(prompt):
61
+ if prompt:
62
+ st.session_state[MESSAGES].append(Message(actor=USER, payload=prompt))
63
+ st.chat_message(USER).write(prompt)
64
+ response = get_gemini_response(prompt)
65
+ st.session_state[MESSAGES].append(Message(actor=ASSISTANT, payload=response))
66
+ st.chat_message(ASSISTANT).write(response)
67
+
68
+ def get_gemini_response(question):
69
+ response = chat.send_message(question, stream=True)
70
+ return "\n".join([chunk.text for chunk in response])
71
+
72
+ genai.configure(api_key=st.secrests['TechVerse_T'])
73
+ model = genai.GenerativeModel("gemini-pro")
74
+ chat = model.start_chat(history=[])
75
+
76
+ initialize_chat()
77
+
78
+ prompt = st.chat_input("Enter a prompt here")
79
+
80
+ if prompt:
81
+ process_user_input(prompt)
82
+
83
+
84
+
85
+
86
+
87
+
88
+
89
+ elif selected2 == 'Text to Speech':
90
+
91
+
92
+
93
+
94
+
95
+ API_URL = "https://api-inference.huggingface.co/models/facebook/mms-tts-spa"
96
+ headers = {"Authorization": "Bearer "+st.secrets['TechVerse_T']}
97
+
98
+ def query(payload):
99
+ response = requests.post(API_URL, headers=headers, json=payload)
100
+ return response.content
101
+
102
+ genai.configure(api_key=st.secrets['TechVerse_T'])
103
+ model = genai.GenerativeModel("gemini-pro")
104
+ chat = model.start_chat(history=[])
105
+
106
+
107
+ def get_gemini_response(question):
108
+ response = chat.send_message(question, stream=True)
109
+ return response
110
+
111
+ def get_gemini_answer(question):
112
+ question = "translate in spanish :" + question
113
+ response = chat.send_message(question, stream=True)
114
+ return response
115
+
116
+ def get_gemini_answerss(question):
117
+ question = "translate in spanish :" + question
118
+ response = chat.send_message(question, stream=True)
119
+ return response
120
+
121
+
122
+
123
+ service_selected = st.radio("Select Service:", ("Speech Translation in Spanish Only", "Speech Conversation in Spanish"))
124
+
125
+ if service_selected == "Speech Translation in Spanish Only":
126
+
127
+ input1 = st.text_input('Ecris un texte en la langue souhaitée ici 👇 pour traduction vocale en espagnole:', key='input1')
128
+
129
+ if input1:
130
+ T_active = ""
131
+ answer = get_gemini_answer(input1)
132
+ for yes in answer:
133
+
134
+ T_active += yes.text
135
+
136
+ audio_bytes = query({"inputs": T_active})
137
+
138
+ st.markdown("#### retranscription vocale espagnole")
139
+ st.audio(audio_bytes)
140
+
141
+ elif service_selected == "Speech Conversation in Spanish":
142
+ input2 = st.text_input('Ecris un texte en la langue souhaitée ici 👇 pour entamer la conversation:', key='input2')
143
+
144
+ if input2:
145
+ response = get_gemini_response(input2)
146
+ talk = ""
147
+ for chunk in response:
148
+
149
+ talk += chunk.text
150
+
151
+ T_active = ""
152
+ answer = get_gemini_answer(talk)
153
+ for yes in answer:
154
+
155
+ T_active += yes.text
156
+
157
+ audio = query({"inputs": T_active})
158
+ st.markdown("#### Reponse vocale en espagnole")
159
+ st.audio(audio)
160
+ st.markdown("### Traduction ecrite")
161
+ st.info(talk)
162
+
163
+
164
+
165
+
166
+
167
+ elif selected2 =="Zero Shot Image Classification":
168
+
169
+
170
+ API_URL = "https://api-inference.huggingface.co/models/openai/clip-vit-large-patch14"
171
+ headers = {"Authorization": "Bearer "+st.secrets['TechVerse_T']}
172
+
173
+ def load_image(image):
174
+ if isinstance(image, str): # Si l'entrée est une URL
175
+ response = requests.get(image)
176
+ image = Image.open(BytesIO(response.content))
177
+ elif isinstance(image, np.ndarray): # Si l'entrée est un tableau numpy
178
+ image = Image.fromarray(image)
179
+ else: # Si l'entrée est un fichier local
180
+ image = Image.open(image)
181
+ return image
182
+
183
+ def query(image, parameters):
184
+ image = load_image(image)
185
+ img_buffer = BytesIO()
186
+ image.save(img_buffer, format="PNG")
187
+ img_base64 = base64.b64encode(img_buffer.getvalue()).decode("utf-8")
188
+
189
+ payload = {
190
+ "parameters": {"candidate_labels": parameters},
191
+ "inputs": img_base64
192
+ }
193
+
194
+ response = requests.post(API_URL, headers=headers, json=payload)
195
+ return response.json()
196
+
197
+ images = st.file_uploader("",type=["jpg", "png"])
198
+
199
+ if images is None:
200
+ st.text("")
201
+ else:
202
+ st.image(images, width=500,use_column_width='always')
203
+
204
+ parametres = st.text_input("Entrez les classes séparées par des virgules")
205
+
206
+ if parametres == "":
207
+ st.warning("Veuillez renseigner au moins deux classe séparées par une virgule.",icon="⚠️")
208
+ else:
209
+ classes = [item.strip() for item in parametres.split(",")]
210
+ if len(classes)< 2:
211
+ st.warning("Veuillez renseigner au moins deux classe séparées par une virgule.",icon="⚠️")
212
+ else :
213
+ try:
214
+ result = query(images, classes)
215
+ if result:
216
+ max_score_label = max(result, key=lambda x: x["score"])
217
+
218
+
219
+
220
+ st.info(f"nous sommes à {max_score_label['score']*100}% certains que l'image que vous avez renseigné est une " + max_score_label["label"])
221
+ except Exception as e:
222
+ st.error("Une erreur s'est produite lors de la requête API : {}".format(str(e)))
223
+
224
+
225
+
226
+
227
+
228
+
229
+ else:
230
+ API_URL = "https://api-inference.huggingface.co/models/Salesforce/blip-image-captioning-large"
231
+ headers = {"Authorization": "Bearer "+st.secrets['TechVerse_T']}
232
+
233
+ def load_image(image):
234
+ if isinstance(image, str): # Si l'entrée est une URL
235
+ response = requests.get(image)
236
+ image = Image.open(BytesIO(response.content))
237
+ elif isinstance(image, np.ndarray): # Si l'entrée est un tableau numpy
238
+ image = Image.fromarray(image)
239
+ else: # Si l'entrée est un fichier local
240
+ image = Image.open(image)
241
+ return image
242
+
243
+ def query(image):
244
+ if image is None:
245
+ raise ValueError("Aucune image n'a été fournie.")
246
+
247
+ try:
248
+ image = load_image(image)
249
+ img_buffer = BytesIO()
250
+ image.save(img_buffer, format="PNG")
251
+ img_data = img_buffer.getvalue()
252
+
253
+ response = requests.post(API_URL, headers=headers, data=img_data)
254
+ response.raise_for_status() # Gérer les erreurs HTTP
255
+
256
+ return response.json()
257
+ except Exception as e:
258
+ raise RuntimeError("Une erreur s'est produite lors du traitement de l'image : {}".format(str(e)))
259
+
260
+ images = st.file_uploader("Uploader une image", type=["jpg", "png"])
261
+ if images is None:
262
+ st.text("Veuillez charger une image.")
263
+ else:
264
+ st.image(images, width=500,use_column_width='always')
265
+
266
+ try:
267
+ output = query(images)
268
+ st.markdown(output[0]["generated_text"])
269
+ except Exception as e:
270
+ st.error("Une erreur s'est produite : {}".format(str(e)))
271
+
272
+ else:
273
+ pass
274
+