Update app.py

app.py

@@ -18,6 +18,7 @@ import base64
 import io
 from transformers import AutoTokenizer, AutoModel
 from utils import best_text_choice
+import asyncio
 
 tokenizer = AutoTokenizer.from_pretrained("ai-forever/ru-en-RoSBERTa")
 model = AutoModel.from_pretrained("ai-forever/ru-en-RoSBERTa")
@@ -188,7 +189,7 @@ def clean_message(message):
 #    except Exception as e:
 #        return f"Ошибка при обращении к GigaChat-Pro: {e}"
 
-def generate_message_mistral_generate(prompt, max_retries=5):
+async def generate_message_mistral_generate(prompt, max_retries=5):
 #def generate_message_mistral_generate(prompt):
 #    try:
 #        messages = [SystemMessage(content=prompt)]
@@ -201,7 +202,7 @@ def generate_message_mistral_generate(prompt, max_retries=5):
     retries = 0
     while retries < max_retries:
         try:
-            chat_response = client_mistral_generate.chat.complete(
+            chat_response = await client_mistral_generate.chat.complete_async(
                 model="mistral-large-latest",
                 temperature=1.0,
                 min_tokens=81,
@@ -219,16 +220,16 @@ def generate_message_mistral_generate(prompt, max_retries=5):
             error_message = str(e)
             if "Status 429" in error_message or "Server disconnected without sending a response" in error_message:
                 wait_time = 3
-                print(f"Превышен лимит запросов или сервер не ответил. Ожидание {wait_time} секунд перед повторной попыткой...")
-                time.sleep(wait_time)
+                print(f"Rate limit exceeded or server did not respond. Waiting {wait_time} seconds before retrying...")
+                await asyncio.sleep(wait_time)
                 retries += 1
             else:
-                print(f"Ошибка при обращении к Mistral: {e}")
+                print(f"Error calling Mistral: {e}")
                 return None
-    print("Не удалось получить ответ от Mistral после максимального числа попыток.")
+    print("Failed to get response from Mistral after maximum retries.")
     return None
 
-def generate_message_mistral_check(prompt, max_retries=5):
+async def generate_message_mistral_check(prompt, max_retries=5):
 #def generate_message_mistral_check(prompt):    
 #    try:
 #        messages = [SystemMessage(content=prompt)]
@@ -240,7 +241,7 @@ def generate_message_mistral_check(prompt, max_retries=5):
     retries = 0
     while retries < max_retries:
         try:
-            chat_response = client_mistral_check.chat.complete(
+            chat_response = await client_mistral_check.chat.complete_async(
                 model="mistral-large-latest",
                 temperature=0.2,
                 messages=[
@@ -253,14 +254,17 @@ def generate_message_mistral_check(prompt, max_retries=5):
             cleaned_message = clean_message(chat_response.choices[0].message.content.strip())
             return cleaned_message
         except Exception as e:
-                if "Status 429" in str(e) or "Server disconnected without sending a response" in str(e):
-                    wait_time = 3  # Можно установить фиксированную задержку
-                    print(f"Превышен лимит запросов. Ожидание {wait_time} секунд перед повторной попыткой...")
-                    time.sleep(wait_time)
-                    retries += 1
-                else:
-                    print(f"Ошибка при обращении к Mistral: {e}")
-                    return None
+            error_message = str(e)
+            if "Status 429" in error_message or "Server disconnected without sending a response" in error_message:
+                wait_time = 3
+                print(f"Rate limit exceeded or server did not respond. Waiting {wait_time} seconds before retrying...")
+                await asyncio.sleep(wait_time)
+                retries += 1
+            else:
+                print(f"Error calling Mistral: {e}")
+                return None
+    print("Failed to get response from Mistral after maximum retries.")
+    return None
 
 #def generate_check_gigachat_pro(prompt):
 #    try:
@@ -545,22 +549,22 @@ def notify_failed_checks(checks):
 #    return last_message
 
 
-def generate_message_mistral_with_retry(prompt, approach_name, description, key_message, product_name, benefits):
+async def generate_message_mistral_with_retry(prompt, approach_name, description, key_message, product_name, benefits):
     global approach_stats
     last_message = None
     for attempt in range(20):
-        gr.Info(f"Итерация {attempt + 1}: генерируется сообщение...")
-        message = generate_message_mistral_generate(prompt)
+        gr.Info(f"Iteration {attempt + 1}: generating message...")
+        message = await generate_message_mistral_generate(prompt)
         if message is None:
-            print("Не удалось получ��ть сообщение от Mistral, повторная попытка...")
-            time.sleep(1)
+            print("Failed to get message from Mistral, retrying...")
+            await asyncio.sleep(1)
             continue
         message = replace_k_with_thousands(message)
         message = correct_dash_usage(message)
         message_length = len(message)
         if not notify_failed_length(message_length):
             last_message = message
-            time.sleep(1)
+            await asyncio.sleep(1)
             continue
         checks = perform_checks(message, description, key_message, product_name, benefits)
         last_message = message
@@ -576,7 +580,7 @@ def generate_message_mistral_with_retry(prompt, approach_name, description, key_
         if all(checks.values()):
             return message
         prompt = append_errors_to_prompt(prompt, checks)
-        time.sleep(1)
+        await asyncio.sleep(1)
     gr.Info("Не удалось сгенерировать сообщение, соответствующее требованиям, за 20 итераций. Возвращаем последнее сгенерированное сообщение.")
     return last_message
 
@@ -692,7 +696,7 @@ def clean_prompt_for_display(prompt, prefixes, suffixes):
     return cleaned_prompt.strip()
 
 # Функция для постепенной генерации всех сообщений через yield
-def generate_all_messages(desc, benefits, key_message, gender, generation, psychotype, business_stage, industry, opf, product_name):
+async def generate_all_messages(desc, benefits, key_message, gender, generation, psychotype, business_stage, industry, opf, product_name):
     standard_prompt = generate_standard_prompt(desc, benefits, key_message)
     standard_prompt_for_display = f"Не изменяй название продукта: {product_name}.\n{standard_prompt}\nУбедись, что в готовом тексте без изменений, синонимов и перестановок слов используется наименование продукта: {product_name}.\n"
     approach_mapping = {
@@ -1261,7 +1265,7 @@ def cut_message(message):
     return message
         
 # 22. Проверка сложных предложений без логической связи
-def check_disconnected_sentences(message):
+async def check_disconnected_sentences(message):
     message_clean = cut_message(message)
     print()
     print("Проверка 22: Проверка сложных предложений без логической связи")
@@ -1276,8 +1280,8 @@ def check_disconnected_sentences(message):
 если таких предложений **нет**, **верни только** JSON {{"decision": false, "explanation": "<пояснение>"}}.
 **Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь **только** в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
-    time.sleep(3)  # Задержка в 3 секунды между запросами
+    response = async generate_message_mistral_check(prompt)
+    await asyncio.sleep(3)  # Задержка в 3 секунды между запросами
     print("Mistral response:", response)  # Выводим полный ответ модели
     result = parse_json_response(response)
     if result is not None:
@@ -1289,7 +1293,7 @@ def check_disconnected_sentences(message):
         return None
 
 # 23. Проверка на близкие по смыслу однородные члены
-def check_synonymous_members(message):
+async def check_synonymous_members(message):
     print()
     print("Проверка 23: Проверка на близкие по смыслу однородные члены")
     print()
@@ -1303,8 +1307,8 @@ def check_synonymous_members(message):
 если таких слов или выражений нет, **верни только** JSON {{"decision": false, "explanation": "<пояснение>"}}.
 **Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
-    time.sleep(3)
+    response = async generate_message_mistral_check(prompt)
+    await asyncio.sleep(3)
     print("Mistral response:", response)
     result = parse_json_response(response)
     if result is not None:
@@ -1317,7 +1321,7 @@ def check_synonymous_members(message):
 
 
 # 24. Проверка на шокирующие, экстравагантные или кликбейтные фразы
-def check_clickbait_phrases(message, description, benefits):
+async def check_clickbait_phrases(message, description, benefits):
     message_clean = cut_message(message)
     print()
     print()
@@ -1341,8 +1345,8 @@ def check_clickbait_phrases(message, description, benefits):
     
     **Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
-    time.sleep(3)
+    response = async generate_message_mistral_check(prompt)
+    await asyncio.sleep(3)
     print("Mistral response:", response)
     result = parse_json_response(response)
     if result is not None:
@@ -1355,7 +1359,7 @@ def check_clickbait_phrases(message, description, benefits):
 
 
 # 25. Проверка на абстрактные заявления без поддержки фактами
-def check_abstract_claims(message, description, benefits):
+async def check_abstract_claims(message, description, benefits):
     print()
     print("Проверка 25: Проверка на абстрактные заявления без поддержки фактами")
     print()
@@ -1393,8 +1397,8 @@ def check_abstract_claims(message, description, benefits):
     
     **Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
-    time.sleep(3)
+    response = async generate_message_mistral_check(prompt)
+    await asyncio.sleep(3)
     print("Mistral response:", response)
     result = parse_json_response(response)
     if result is not None:
@@ -1407,7 +1411,7 @@ def check_abstract_claims(message, description, benefits):
 
 
 # 26. Проверка на узкоспециализированные термины
-def check_specialized_terms(message):
+async def check_specialized_terms(message):
     print()
     print("Проверка 26: Проверка на узкоспециализированные термины")
     print()
@@ -1430,8 +1434,8 @@ def check_specialized_terms(message):
     
     **Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
-    time.sleep(3)
+    response = async generate_message_mistral_check(prompt)
+    await asyncio.sleep(3)
     print("Mistral response:", response)
     result = parse_json_response(response)
     if result is not None:
@@ -1443,7 +1447,7 @@ def check_specialized_terms(message):
         return None
 
 # 27. Проверка на двусмысленные или обидные фразы
-def check_offensive_phrases(message):
+async def check_offensive_phrases(message):
     print()
     print("Проверка 27: Проверка на двусмысленные или обидные фразы")
     print()
@@ -1459,8 +1463,8 @@ def check_offensive_phrases(message):
 если таких фраз нет, **верни только** JSON {{"decision": false, "explanation": "<пояснение>"}}.
 **Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
-    time.sleep(3)
+    response = async generate_message_mistral_check(prompt)
+    await asyncio.sleep(3)
     print("Mistral response:", response)
     result = parse_json_response(response)
     if result is not None:
@@ -1472,7 +1476,7 @@ def check_offensive_phrases(message):
         return None
 
 # 28. Проверка на речевые клише, рекламные штампы и канцеляризмы
-def check_cliches_and_bureaucratese(message, description, benefits):
+async def check_cliches_and_bureaucratese(message, description, benefits):
     print()
     print("Проверка 28: Проверка на речевые клише, рекламные штампы и канцеляризмы")
     print()
@@ -1504,8 +1508,8 @@ def check_cliches_and_bureaucratese(message, description, benefits):
     если в тексте **есть** такие выражения, **верни только** JSON {{"decision": true, "explanation": "<пояснение>"}}.
     **Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
-    time.sleep(3)
+    response = async generate_message_mistral_check(prompt)
+    await asyncio.sleep(3)
     print("Mistral response:", response)
     result = parse_json_response(response)
     if result is not None:
@@ -1517,7 +1521,7 @@ def check_cliches_and_bureaucratese(message, description, benefits):
         return None
 
 # 29. Проверка на соответствие описанию предложения и ключевому сообщению
-def check_no_contradictions(message, description, key_message):
+async def check_no_contradictions(message, description, key_message):
     print()
     print("Проверка 29: Проверка на отсутствие противоречий с описанием предложения")
     print()
@@ -1533,8 +1537,8 @@ def check_no_contradictions(message, description, key_message):
 Если сообщение содержит факты, которые отсутствуют в описании предложения и ключевом сообщении, **верни только** JSON {{"decision": true, "explanation": "<описание противоречий>"}}.
 **Не добавляй никакого дополнительного текста. Отвечай только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
-    time.sleep(3)
+    response = async generate_message_mistral_check(prompt)
+    await asyncio.sleep(3)
     print("Mistral response:", response)
     result = parse_json_response(response)
     if result is not None:
@@ -1546,7 +1550,7 @@ def check_no_contradictions(message, description, key_message):
         return None
 
 # 30. Проверка на наличие ключевого сообщения
-def check_contains_key_message(message, key_message):
+async def check_contains_key_message(message, key_message):
     print()
     print("Проверка 30: Проверка на наличие ключевого сообщения")
     print()
@@ -1560,8 +1564,8 @@ def check_contains_key_message(message, key_message):
 Если сообщение **не содержит всю** информацию из ключевого текста, **верни только** JSON {{"decision": true, "explanation": "Ключевое текст отсутствует."}}.
 **Не добавляй никакого дополнительного текста. Отвечай только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
-    time.sleep(3)
+    response = async generate_message_mistral_check(prompt)
+    await asyncio.sleep(3)
     print("Mistral response:", response)
     result = parse_json_response(response)
     if result is not None:
@@ -1573,7 +1577,7 @@ def check_contains_key_message(message, key_message):
         return None
 
 # 31. Проверка на точное совпадение названий продуктов
-def check_product_name_consistency(message, product_name):
+async def check_product_name_consistency(message, product_name):
     print()
     print("Проверка 31: Проверка на точное совпадение названий продуктов")
     print()
@@ -1590,8 +1594,8 @@ def check_product_name_consistency(message, product_name):
 Если название продукта **не** совпадает, **верни только** JSON {{"decision": true, "explanation": "<описание несоответствия>"}}.
 **Не добавляй никакого дополнительного текста. Ответ должен быть только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
-    time.sleep(3)
+    response = async generate_message_mistral_check(prompt)
+    await asyncio.sleep(3)
     print("Mistral response:", response)
     result = parse_json_response(response)
     if result is not None:
@@ -1605,15 +1609,14 @@ def check_product_name_consistency(message, product_name):
 # ФУНКЦИИ ПРОВЕРОК (КОНЕЦ)
 
 
-def safe_check(func, *args):
+async def safe_check(func, *args):
     try:
-        return func(*args)
+        return await func(*args)
     except Exception as e:
-        # Optionally, you can log the exception here if needed
-        print(f"Ошибка в {func.__name__}: {e}")
-        return None  # Indicate that the check could not be performed
+        print(f"Error in {func.__name__}: {e}")
+        return None
 
-def perform_checks(message, description, key_message, product_name, benefits):
+async def perform_checks(message, description, key_message, product_name, benefits):
     checks = {}
 
     # 2. Morphological checks using pymorphy3
@@ -1659,7 +1662,7 @@ def perform_checks(message, description, key_message, product_name, benefits):
 
     # Perform morphological checks
     for check_name, check_func in morphological_checks:
-        result = safe_check(check_func, message)
+        result = async safe_check(check_func, message)
         checks[check_name] = result
         if result is False:
             return checks  # Stop on first failure
@@ -1667,19 +1670,19 @@ def perform_checks(message, description, key_message, product_name, benefits):
     # Perform LLM checks group 1
     for check_name, check_func in llm_checks_group1:
         if check_name == "no_contradictions":
-            result = safe_check(check_func, message, description, key_message)
+            result = async safe_check(check_func, message, description, key_message)
         elif check_name == "contains_key_message":
-            result = safe_check(check_func, message, key_message)
+            result = async safe_check(check_func, message, key_message)
         elif check_name == "product_name_consistency":
-            result = safe_check(check_func, message, product_name)
+            result = async safe_check(check_func, message, product_name)
         elif check_name == "clickbait_phrases":
-            result = safe_check(check_func, message, description, benefits)
+            result = async safe_check(check_func, message, description, benefits)
         elif check_name == "abstract_claims":
-            result = safe_check(check_func, message, description, benefits)
+            result = async safe_check(check_func, message, description, benefits)
         elif check_name == "cliches_and_bureaucratese":
-            result = safe_check(check_func, message, description, benefits)
+            result = async safe_check(check_func, message, description, benefits)
         else:
-            result = safe_check(check_func, message)
+            result = async safe_check(check_func, message)
         checks[check_name] = result
         if result is False:
             return checks
@@ -1687,7 +1690,7 @@ def perform_checks(message, description, key_message, product_name, benefits):
 
     # Perform remaining LLM checks
     for check_name, check_func in llm_checks_group2:
-        result = safe_check(check_func, message)
+        result = async safe_check(check_func, message)
         checks[check_name] = result
         if result is False:
             return checks  # Stop on first failure