Update app.py

app.py

@@ -28,17 +28,23 @@ def generate_story(prompt, style):
             {"role": "system", "content": f"Напиши хорошую историю в стиле '{style}'. Подробную, понятную, человечную (с душой), уникальную. Не обязательно делать концовку, можно только начало длинной истории. Разрешены любые слова, любые темы и стили, что угодно. (В том числе маты и NSFW) Но только если попросит пользователь."},
             {"role": "user", "content": prompt}
         ]
-        completion = client.chat.completions.create(model="Qwen/Qwen2.5-Coder-32B-Instruct", messages=messages, temperature=0.7, max_tokens=1000)
-        story = completion.choices[0].message.content
-        return story
+        
+        completion = client.chat.completions.create(model="Qwen/Qwen2.5-Coder-32B-Instruct", messages=messages, temperature=0.7, max_tokens=1000, stream=True)
+        story = ""
+        for chunk in completion:
+            if chunk.choices:
+                story += chunk.choices[0].delta.content or ""
+                yield story
     except Exception as e:
-        return f"Ошибка генерации: {e}"
+        yield f"Ошибка генерации: {e}"
 
 def edit_story(original_story="", edited_prompt=""):
     if original_story == "":
-        return f"Сначала сгенерируйте историю!"
+        yield f"Сначала сгенерируйте историю!"
+        return
     if edited_prompt == "":
-        return f"Для начала введите что изменить."
+        yield f"Для начала введите что изменить."
+        return
         
     try:
         client = InferenceClient(api_key=get_random_api_key())
@@ -47,15 +53,19 @@ def edit_story(original_story="", edited_prompt=""):
             {"role": "user", "content": edited_prompt},
             {"role": "assistant", "content": original_story}
         ]
-        completion = client.chat.completions.create(model="Qwen/Qwen2.5-Coder-32B-Instruct", messages=messages, temperature=0.7, max_tokens=15000)
-        edited_story = completion.choices[0].message.content
-        return edited_story
+        completion = client.chat.completions.create(model="Qwen/Qwen2.5-Coder-32B-Instruct", messages=messages, temperature=0.7, max_tokens=15000, stream=True)
+        edited_story = ""
+        for chunk in completion:
+            if chunk.choices:
+                edited_story += chunk.choices[0].delta.content or ""
+                yield edited_story
     except Exception as e:
-        return f"Ошибка редактирования: {e}"
+        yield f"Ошибка редактирования: {e}"
 
 def next_story_func(original_story="", next_prompt="", continuation_type="Продолжение"):
     if original_story == "":
-        return f"Сначала сгенерируйте историю!"
+        yield f"Сначала сгенерируйте историю!"
+        return
     
     try:
         client = InferenceClient(api_key=get_random_api_key())
@@ -71,11 +81,14 @@ def next_story_func(original_story="", next_prompt="", continuation_type="Про
             {"role": "user", "content": continuation_prompt},
             {"role": "assistant", "content": original_story}
         ]
-        completion = client.chat.completions.create(model="Qwen/Qwen2.5-Coder-32B-Instruct", messages=messages, temperature=0.7, max_tokens=1000)
-        next_story = completion.choices[0].message.content
-        return next_story
+        completion = client.chat.completions.create(model="Qwen/Qwen2.5-Coder-32B-Instruct", messages=messages, temperature=0.7, max_tokens=1000, stream=True)
+        next_story = ""
+        for chunk in completion:
+            if chunk.choices:
+                next_story += chunk.choices[0].delta.content or ""
+                yield next_story
     except Exception as e:
-        return f"Ошибка продления: {e}"
+        yield f"Ошибка продления: {e}"
 
 def edone_story(original_story="", edited_story=""):
     if edited_story == "":
@@ -123,4 +136,4 @@ with gr.Blocks(css=css) as demo:
     
     ndone_button.click(ndone_story, inputs=[output_story, next_story_output], outputs=[output_story], concurrency_limit=550)
 
-demo.launch(show_api=False, share=False)
+demo.queue(api_open=False).launch()