Update app.py

app.py

@@ -7,28 +7,23 @@ from sentence_transformers import SentenceTransformer
 import requests
 from langchain_community.vectorstores import Chroma
 from langchain_community.embeddings import HuggingFaceEmbeddings 
+import json
 
 load_dotenv()
 URL_APP_SCRIPT = os.getenv('URL_APP_SCRIPT')
-
-CHAT_BOTS = {"Mixtral 8x7B v0.1" :"mistralai/Mixtral-8x7B-Instruct-v0.1"}
+URL_PROMPT = URL_APP_SCRIPT + '?IdFoglio=1cLw9q70BsPmxMBj9PIzgXtq6sm3X-GVBVnOB5wE8jr8'
+URL_DOCUMENTI = URL_APP_SCRIPT + '?IdSecondoFoglio=1cLw9q70BsPmxMBj9PIzgXtq6sm3X-GVBVnOB5wE8jr8'
 SYSTEM_PROMPT = ["Sei BonsiAI e mi aiuterai nelle mie richieste (Parla in ITALIANO)", "Esatto, sono BonsiAI. Di cosa hai bisogno?"]
-options_old = {
-    'Email Genitori': {'systemRole': 'Tu sei un esperto scrittore di email. Attieniti allo stile che ti ho fornito nelle instruction e inserici il contenuto richiesto. Genera il testo di una mail a partire da questo contenuto, con lo stile ricevuto in precedenza: ', 
-                       'systemStyle': 'Utilizza lo stile fornito come esempio e parla in ITALIANO e firmati sempre come il Signor Preside', 
-                       'instruction': URL_APP_SCRIPT + '1IxE0ic0hsWrxQod2rfh4hnKNqMC-lGT4', 
-                       'RAG': False},
-    'Email Colleghi': {'systemRole': 'Tu sei un esperto scrittore di email. Attieniti allo stile che ti ho fornito nelle instruction e inserici il contenuto richiesto. Genera il testo di una mail a partire da questo contenuto, con lo stile ricevuto in precedenza: ', 
-                       'systemStyle': 'Utilizza lo stile fornito come esempio e parla in ITALIANO e firmati sempre come il vostro collega Preside', 
-                       'instruction': URL_APP_SCRIPT + '1tEMxG0zJmmyh5PlAofKDkhbi1QGMOwPH', 
-                       'RAG': False},
-    'Decreti': {'systemRole': 'Tu sei il mio assistente per la ricerca documentale! Ti ho fornito una lista di documenti, devi cercare quello che ti chiedo nei documenti', 
-                'systemStyle': 'Sii molto formale, sintetico e parla in ITALIANO', 
-                'instruction': '',
-                'RAG': True}
-}
-
-st.set_page_config(page_title="BonsiAI", page_icon="🤖")
+CHAT_BOTS = {"Mixtral 8x7B v0.1" :"mistralai/Mixtral-8x7B-Instruct-v0.1"}
+option_personalizzata = {'Personalizzata': {'systemRole': 'Tu sei BONSI AI, il mio assistente personale della scuola superiore del Bonsignori. Aiutami in base alle mie esigenze', 
+                       'systemStyle': 'Firmati sempre come BONSI AI. (scrivi in italiano)', 
+                       'instruction': '', 
+                       'tipo': '', 
+                       'RAG': False}
+                        }
+
+# ----------------------------------------------------------- Interfaccia --------------------------------------------------------------------
+st.set_page_config(page_title="Bonsi AI", page_icon="🏫")
 
 def init_state() :
     if "messages" not in st.session_state:
@@ -52,25 +47,48 @@ def init_state() :
     if 'loaded_data' not in st.session_state:
         st.session_state.loaded_data = False
         
+    if "split" not in st.session_state:
+        st.session_state.split = 30
+
+    if "enable_history" not in st.session_state:
+        st.session_state.enable_history = False
+
+    if "numero_generazioni" not in st.session_state:
+        st.session_state.numero_generazioni = 1
+
     if not st.session_state.loaded_data:
-        with st.spinner('Caricamento in corso...'):
-            options = requests.get(URL_APP_SCRIPT).json()
-            st.session_state.options = options
+        with st.status("Caricamento in corso...", expanded=True) as status:
+            st.write("Inizializzazione Ambiente")
+            time.sleep(1)
+            st.write("Inizializzazione Prompt")
+            options = requests.get(URL_PROMPT).json()
+            st.write("Inizializzazione Documenti")
+            documenti = requests.get(URL_DOCUMENTI).json()
+            st.session_state.options = {**option_personalizzata, **options} 
+            st.session_state.documenti = documenti
             st.session_state.loaded_data = True
+            status.update(label="Caricamento Completato", state="complete", expanded=False)
 
 def sidebar():
     def retrieval_settings() :
         st.markdown("# Impostazioni Prompt")
-        st.session_state.selected_option_key = st.selectbox('Azione', list(st.session_state.options.keys()) + ['Personalizzata'])
+        st.session_state.selected_option_key = st.selectbox('Azione', list(st.session_state.options.keys()))
         st.session_state.selected_option = st.session_state.options.get(st.session_state.selected_option_key, {})
+        
+        if st.session_state.options.get(st.session_state.selected_option_key, {})["tipo"]=='DOCUMENTO':
+            st.session_state.selected_documento_key = st.selectbox('Documento', list(st.session_state.documenti.keys()))
+            st.session_state.selected_documento = st.session_state.documenti.get(st.session_state.selected_documento_key, {})
+            st.session_state.instruction = st.session_state.selected_documento.get('instruction', '')['Testo']
+            st.session_state.split = st.slider(label="Pagine Suddivisione", min_value=1, max_value=30, value=30, help='Se il documento ha 100 pagine e suddivido per 20 pagine elaborerà la risposta 5 volte. Più alto è il numero e meno volte elaborerà ma la risposta sarà più imprecisa')            
+        else:
+            st.session_state.instruction = st.session_state.selected_option.get('instruction', '')
+        
         st.session_state.systemRole = st.session_state.selected_option.get('systemRole', '')
         st.session_state.systemRole = st.text_area("Descrizione", st.session_state.systemRole, help='Ruolo del chatbot e descrizione dell\'azione che deve svolgere')
         st.session_state.systemStyle = st.session_state.selected_option.get('systemStyle', '')
         st.session_state.systemStyle = st.text_area("Stile", st.session_state.systemStyle, help='Descrizione dello stile utilizzato per generare il testo')
-        st.session_state.instruction = st.session_state.selected_option.get('instruction', '')
-        #st.session_state.instruction = st.text_area("Istruzioni", st.session_state.instruction, help='Testo di riferimento sul quale il modello si basa per generare il testo')
-        
         st.session_state.rag_enabled = st.session_state.selected_option.get('tipo', '')=='RAG'
+        
         if st.session_state.selected_option_key == 'Decreti':
             st.session_state.top_k = st.slider(label="Documenti da ricercare", min_value=1, max_value=20, value=4, disabled=not st.session_state.rag_enabled)
             st.session_state.decreti_escludere = st.multiselect(
@@ -81,9 +99,11 @@ def sidebar():
     
     def model_settings() :
         st.markdown("# Impostazioni Modello")
-        st.session_state.chat_bot = st.sidebar.radio('Seleziona Modello:', [key for key, value in CHAT_BOTS.items() ])
+        st.session_state.chat_bot = st.sidebar.radio('Modello:', [key for key, value in CHAT_BOTS.items() ])
+        st.session_state.numero_generazioni = st.slider(label="Generazioni", min_value = 1, max_value=10, value=1)
         st.session_state.temp = st.slider(label="Creatività", min_value=0.0, max_value=1.0, step=0.1, value=0.9)
         st.session_state.max_tokens = st.slider(label="Lunghezza Output", min_value = 64, max_value=2048, step= 32, value=1024)
+        st.session_state.enable_history = st.toggle("Storico Messaggi", value=False)
 
     with st.sidebar:
         retrieval_settings()
@@ -102,6 +122,12 @@ def chat_box() :
         with st.chat_message(message["role"]):
             st.markdown(message["content"])
 
+init_state()
+sidebar()
+header()
+chat_box()
+            
+# ----------------------------------------------------------- Funzioni Varie --------------------------------------------------------------------
 def formattaPrompt(prompt, systemRole, systemStyle, instruction):
     input_text = f'''
     {{
@@ -140,29 +166,24 @@ def gen_augmented_prompt(prompt, top_k) :
         links.append((reference, testo))
     generated_prompt = f"""
     A PARTIRE DAL SEGUENTE CONTESTO: {docs},
-
     ----
     RISPONDI ALLA SEGUENTE RICHIESTA: {prompt}
     """
     return context, links
 
-def generate_chat_stream(prompt) :
+def generate_chat_stream(prompt, prompt_originale, inst) :
     links = []
-    prompt_originale = prompt
     if st.session_state.rag_enabled :
         with st.spinner("Ricerca nei Decreti...."):
             time.sleep(1)
             st.session_state.instruction, links = gen_augmented_prompt(prompt=prompt_originale, top_k=st.session_state.top_k)        
-    prompt = formattaPrompt(prompt, st.session_state.systemRole, st.session_state.systemStyle, st.session_state.instruction) 
-    print(prompt)
     with st.spinner("Generazione in corso...") :
         time.sleep(1)
         chat_stream = chat(prompt, st.session_state.history,chat_client=CHAT_BOTS[st.session_state.chat_bot] ,
                        temperature=st.session_state.temp, max_new_tokens=st.session_state.max_tokens)    
-    return chat_stream, links
+    return chat_stream, links, inst
 
 def stream_handler(chat_stream, placeholder) :
-    start_time = time.time()
     full_response = ''
     for chunk in chat_stream :
         if chunk.token.text!='</s>' :
@@ -177,24 +198,49 @@ def show_source(links) :
             reference, testo = link
             st.info('##### ' + reference.replace('_', ' ') + '\n\n'+ testo)
 
-init_state()
-sidebar()
-header()
-chat_box()
-
-if prompt := st.chat_input("Chatta con BonsiAI..."):
-    st.chat_message("user").markdown(prompt)
-    st.session_state.messages.append({"role": "user", "content": prompt})
-
-    chat_stream, links = generate_chat_stream(prompt)
-
+def split_text(text, chunk_size):
+    testo_suddiviso = []
+    if text == '': 
+        text = '     '
+    if chunk_size < 100:
+        chunk_size = 60000
+    for i in range(0, len(text), chunk_size):
+        testo_suddiviso.append(text[i:i+chunk_size])
+    return testo_suddiviso
     
-    with st.chat_message("assistant"):
-        placeholder = st.empty()
-        full_response = stream_handler(chat_stream, placeholder)
-        if st.session_state.rag_enabled :
-            show_source(links)
-
-    st.session_state.history.append([prompt, full_response])
-    st.session_state.messages.append({"role": "assistant", "content": full_response})
-    st.success('Generazione Completata')
+# -------------------------------------------------------------- Gestione Chat -----------------------------------------------------------------------
+if prompt := st.chat_input("Chatta con BonsiAI..."):
+    instruction_suddivise = split_text(st.session_state.instruction, st.session_state.split*2000)
+    prompt_originale = prompt
+    ruolo_originale = st.session_state.systemRole
+    ruoli_divisi = ruolo_originale.split("&&")
+    parte = 1           
+    i = 1 
+    risposta_completa = ''
+    for ruolo_singolo in ruoli_divisi:
+        for instruction_singola in instruction_suddivise:
+            for numgen in range(1, st.session_state.numero_generazioni+1):
+                prompt = formattaPrompt(prompt_originale, ruolo_singolo, st.session_state.systemStyle, instruction_singola)
+                if i==1:
+                    st.chat_message("user").markdown(prompt_originale + (': Parte ' + str(parte) if i > 1 else ''))
+                i+=1   
+                st.session_state.messages.append({"role": "user", "content": prompt_originale})
+                chat_stream, links, inst = generate_chat_stream(prompt, prompt_originale, instruction_singola)
+                with st.chat_message("assistant"):
+                    placeholder = st.empty()
+                    full_response = stream_handler(chat_stream, placeholder)
+                    if st.session_state.rag_enabled:
+                        show_source(links)  
+                    if st.session_state.options.get(st.session_state.selected_option_key, {})["tipo"]=='DOCUMENTO':
+                        with st.expander("Mostra Documento") :
+                            st.info('##### ' + st.session_state.selected_documento_key + ' (Parte ' + str(parte) +')'+ '\n\n\n' + inst)
+                            parte+=1
+                st.session_state.messages.append({"role": "assistant", "content": full_response})
+                risposta_completa = risposta_completa + '\n' + full_response
+
+    if st.session_state.enable_history:
+        st.session_state.history.append([prompt, full_response])
+    st.success('Generazione Completata')
+    payload = {"domanda": prompt_originale, "risposta": risposta_completa}
+    json_payload = json.dumps(payload)
+    response = requests.post(URL_APP_SCRIPT, data=json_payload)