app.py

import streamlit as st
import requests
from enum import Enum


st.header("WeLM Demo 初体验")


class Task(str, Enum):
    DIALOG_JOURNAL = "对话-采访"
    READING_COMPREHENSION = "阅读理解"
    TRANSLATE = "翻译"   
    REWRITE = "改写"
    COMPLETION = "续写"
    FREE = "自由任务"


task_value2type = {v.value: v.name for v in Task}

task_type = st.selectbox(
    "任务示例",
    [v.value for v in Task]
)
task_type = task_value2type[task_type]

task2prompt = {
    Task.READING_COMPREHENSION: """在这个关于“故意伤害罪”的案例：
    “经审理查明，被告人张××、杜×、杨2某均为辽宁省辽阳第一监狱五监区服刑人员。2015年11月3日13时许，被告人张××、杜×因无事便跟随去催要生产材料的被告人杨2某一同前往六监区，在六监区生产车间门外，被告人杨2某与六监区送料员于×因送料问题发生争执，被告人杨2某上前拽住被害人于×胳膊并用手击打被害人后脖颈两下，被告人张××、杜×见杨2某动手后，先后上前分别对被害人于×面部、头部及腹部进行殴打，后被赶到的干警制止。被害人于×被打造成面部受伤，鼻子流血，当日下午14时许，到监区内医院就诊，诊断为：鼻部中段向左侧畸形，11月5日经监狱医院X光诊断为鼻骨骨折。2015年11月18日，经辽阳襄平法医司法鉴定所法医鉴定：被害人于×身体损伤程度为轻伤二级。被告人张××、杜×、杨2某共同赔偿被害人于×人民币7000元，被害人于×对被告人的行为表示谅解。”
问题: “被害人于×11月5日经监狱医院X光诊断后的诊断结果为？”
答案：""",
    Task.TRANSLATE: """“I had a good time”的中文翻译是：我玩得很开心。
“The pandemic has triggered more demand for online shopping”的中文翻译是：疫情引发了更多的网购需求
“I am a programmer in Tencent”的中文翻译是：""",
    Task.DIALOG_JOURNAL: """Elon Musk 是 SpaceX 和特斯拉汽⻋公司的首席执行官。
我：今天我们有 Elon Musk。欢迎加入我们。
Elon Musk：谢谢你邀请我。
我：你认为 OpenAI 会如何发展？
Elon Musk：我认为进展非常顺利。我认为我们在 OpenAI 有一个非常有才华的团队。
我：你现在是怎么进行时间分配？
Elon Musk：我每周都会尝试将部分时间花在 OpenAI 上，但除此之外，其他时间是 SpaceX 和特斯拉。
我：你如何看待自动驾驶技术？
Elon Musk：""",
    Task.REWRITE: """有这样一段文本，{医生微笑着递给小明棒棒糖，同时让小明服下了药。}
改写这段话让它变得更加惊悚。{医生眼露凶光让小明服药，小明感到非常害怕}。
有这样一段文本，{雨下得很大}
改写这段话让它变得更加具体。{一霎时，雨点连成了线，大雨就像天塌了似的铺天盖地从空中倾泻下来。}。
有这样一段文本，{王老师离开了电影院，外面已经天黑了}
改写这段话让它包含更多电影信息。{这部电影比小王预想的时间要长，虽然口碑很好，但离开电影院时，小王还是有些失望。}
有这样一段文本，{男人站在超市外面打电话}
改写这段话来描述小丑。{男人站在马戏团外一边拿着气球一边打电话}
有这样一段文本，{风铃声响起}
改写这段话写的更加丰富。{我对这个风铃的感情是由它的铃声引起的。每当风吹来时，风铃发出非常动听的声音，听起来是那么乐观、豁达，像一个小女孩格格的笑声。}
有这样一段文本，{我想家了}
改写这段话包含更多悲伤的感情。{""",
    Task.COMPLETION: """“八月十八潮，壮观天下无。”这是北宋大诗人苏东坡咏赞钱塘秋潮的千古名句。千百年来，钱塘江以其奇特卓绝的江潮，不知倾倒了多少游人看客。
每年的农历八月十八前后，是观潮的最佳时节。这期间，秋阳朗照，金风宜人，钱塘江口的海塘上，游客群集，兴致盎然，争睹奇景。
""",
    Task.FREE: ""
}

prompt = task2prompt[Task[task_type]]
all_input = st.text_area('模型输入', value=prompt, height=400)


with st.expander("配置"):
    stop_tokens = []
    def cut_message(answer: str):
        end = []
        for etk in stop_tokens:
            offset = answer.find(etk)
            if offset > 0:
                end.append(offset)
        if len(end) > 0:
            answer = answer[:min(end)]
        return answer.rstrip()

    if task_type == 'READING_COMPREHENSION':
        default_top_p, default_temperature, default_n, default_tokens = 0.0, 0.0, 1, 15
    elif task_type == 'TRANSLATE':
        default_top_p, default_temperature, default_n, default_tokens = 0.0, 0.0, 1, 60       
    elif task_type == 'COMPLETION':
        default_top_p, default_temperature, default_n, default_tokens = 0.95, 0.85, 1, 150
    else:
        default_top_p, default_temperature, default_n, default_tokens = 0.95, 0.85, 5, 85
    
    model = st.selectbox("model", ["medium", "large", "xl"])
    top_p = st.slider('top p', 0.0, 1.0, default_top_p)
    top_k = st.slider('top k', 0, 100, 0)
    temperature = st.slider('temperature', 0.0, 1.0, default_temperature)
    n = st.slider('n', 1, 30, default_n)
    max_tokens = st.slider('max tokens', 4, 1500, default_tokens)
    
    if st.checkbox("使用换行符作为截断", value=True):
        stop_tokens.append("\n")

def completion():
    resp = requests.post("https://welm.weixin.qq.com/v1/completions", json={
        'prompt': all_input,
        'max_tokens': max_tokens,
        'temperature': temperature,
        'top_p': top_p,
        'top_k': top_k,
        'n': n,
        'model': model
    }, headers={"Authorization": f"Bearer {st.secrets['token']}"})
    answer = resp.json()
    for idx, choice in enumerate(answer['choices']):
        st.success(f'生成结果#{idx}: {cut_message(choice["text"])}')
    if task_type == 'COMPLETION':
        st.text('Tips: 可多次生成后复制你认为的最好结果拼接于原文后，让WeLM继续生成。')

if st.button('立即生成'):
    completion()