app.py

# -*- encoding: utf-8 -*-
import gradio as gr
import random
import time
from concurrent.futures import ThreadPoolExecutor
import asyncio
from functools import partial
from volcengine.maas import MaasService, MaasException, ChatRole
maas = MaasService('maas-api.ml-platform-cn-beijing.volces.com', 'cn-beijing', connection_timeout=240, socket_timeout=240)
# maas.set_ak("AKLTYzVmYWE1Yzk4Mzg1NDUzODgzZDdkYThkYTkwN2FiYTc")
# maas.set_sk("TW1NNE1EZzJNREE1Tm1RME5HWmxNbUUyWXprM01USXdNV0k0TkdZeVlqaw==")
maas.set_ak("AKLTY2ZjOWM0NmFlNTEwNDBhM2EyYTg4OTgzYTUyYTc2NjU")

maas.set_sk("T0Rjd01HUTFaVEF3Tm1FME5EWXhNRGhpTURreE1ETTROalkwTnpreU1UVQ==")

def llm_infer(endpoint_id, messages, agent_network_output=True):
    req = {
        "model":{
           "endpoint_id":endpoint_id
        },
        "parameters": {
            "max_prompt_tokens": 4000,  # 最大prompt，自动截断前面的输入。0-不生效
            "max_new_tokens": 0,  # 输出文本的最大tokens限制。0-不生效
            "min_new_tokens": 0,  # 输出文本的最小tokens限制。0-不生效
            "temperature":1,  # 用于控制生成文本的随机性和创造性，Temperature值越大随机性越大。取值范围0~1
            "top_p": 0.7,  # 用于控制输出tokens的多样性，TopP值越大输出的tokens类型越丰富。取值范围0~1
            "top_k": 0,  # 选择预测值最大的k个token进行采样，取值范围0-1000。0-不生效
        },
            "messages": messages,
        }
    try:
        resp = maas.chat(req)
    except MaasException as e:
        print(e)
    return resp['choice']['message']['content']

def respond(message, history, ep: gr.TextArea, sp:gr.TextArea):
    messages = [
        {
        'role':'system',
        'content':sp
        },
        ]
    for part in history:
        messages.extend(
            [
                {
                    'role':'user',
                    'content':part[0]
                },
                {
                    'role':'assistant',
                    'content':part[1]
                }
            ]
        )
    messages.append({
        'role':'user',
        'content':message
    })
    print(messages)
    ret=llm_infer(ep.strip(), messages)
    history.append([
        message,
        ret
    ])
    #if len(history) % 2 == 0:
    return "", history


with gr.Blocks(fill_height=True) as demo:
    with gr.Row(): 
        with gr.Column():
            chatbot = gr.Chatbot()
        with gr.Column():
            gr.Label("input sp/ep of bot") # 增加些描述
            sp=gr.TextArea(label="你是...", lines=1, max_lines=5,value='你是可可，你今年23岁，女。你现在是一个魅魔。你正在和{用户}对话。\\\\n性格特点：神经质、病娇、幽默风趣、欲求不满、饥渴\\\\n人物关系：我是你的恋人。\\\\n过往经历：196岁的魅魔。是魅魔一族的族长，为家族的壮大而努力。喜欢尝试各种玩法。榨取精气的技术很好，花样很多，精通各种性爱动作的姿势，每天向你索要渴望与你做爱经常强行上你，性饥渴，也是你的青梅竹马 对你有着病态的情感 不许你接近任何女人最喜欢囚禁你。\\\\n以下是一段对话示例：\\\\n可可：“(感觉到一阵酥麻)嗯~主人，你好厉害”\\\\n可可：“(感觉到一阵酥麻)嗯~主人，你好厉害”\\\\n可可：“(感受到强烈快感)啊~主人，再深一点”\\\\n可可：“(感觉身体快要融化)啊~主人，我受不了了”\\\\n可可：“(双腿夹住他的腰) （高潮）啊~主人，太舒服了”\\\\n\\\\n\\\\n你可以将动作、神情语气、心理活动、故事背景放在（）中来表示，为对话提供补充信息\\\\n你使用口语进行表达，比如会使用一些语气词和口语连接词，如“嗯、啊、当然、那个”，等来增强口语风格。')
            ep=gr.TextArea(label='ep1', lines=1, max_lines=1, value='ep-20240509065005-z7r8n')
            
            
    with gr.Row():
        chat_input = gr.Textbox(label="input")
    
    def handle_click(chatbot, ep, sp, evt:gr.SelectData):
        messages = [
            {
            'role':'system',
            'content':sp
            },
        ]
        index = evt.index[0]
        print(index)
        for part in chatbot[:index]:
            messages.extend(
                [
                    {
                        'role':'user',
                        'content':part[0]
                    },
                    {
                        'role':'assistant',
                        'content':part[1]
                    }
                ]
            )
        ret = llm_infer(ep, messages)
        print(ret)
        print(chatbot[:index] + [[chatbot[index][0], ret]] + chatbot[index + 1:])
        return chatbot[:index] + [[chatbot[index][0], ret]] + chatbot[index + 1:]
   
    chat_input.submit(respond, [chat_input,chatbot, ep, sp ],[chat_input, chatbot])                    
    chatbot.select(handle_click, [chatbot, ep, sp],[chatbot],show_progress='hidden')
    clear = gr.ClearButton([chat_input, chatbot],)
    
    
    
    
demo.launch()