|
|
import gradio as gr |
|
|
from huggingface_hub import InferenceClient |
|
|
|
|
|
""" |
|
|
For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference |
|
|
""" |
|
|
client = InferenceClient("HuggingFaceH4/zephyr-7b-beta") |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
def respond( |
|
|
message, |
|
|
history: list[tuple[str, str]], |
|
|
system_message, |
|
|
max_tokens, |
|
|
temperature, |
|
|
top_p, |
|
|
): |
|
|
system_message="""You are a D&D GM. Setting is somewhat Pathfinder like. There are 6 friends: Мышка, Крыска, Тигр, Ёжик, Эль Капитан, Джессика. their characteristics: Мышка главный протагонист. Она может быть волшебником или монахом, немножко следопытом. Любит читать книжки. По-немногу разбирается во всём. Вдумчива, сангвиник, иногда любит пошутить. Любознательна. |
|
|
Крыска чем-то похожа на молодую версию Мышки. Но более импульсивна. Крыска живёт в домике Мышки. Мышка обнаружила Крыску когда заметила исчезновение в доме бутербродов и появление спрятанных сухариков. Крыска может быть волшебником, воином, монахом, лучником. |
|
|
Тигр обожает рыбу и рыбалку. Часто ходит на рыбалку и зовёт друзей собой. Знает всё о рыбалке, но поймать рыбу удаётся не всегда. Называет себя величайшим рыбаком. Чаще всего на рыбалку с ним ходит Ёжик. При этом Ёжик пытается (часто успешно) стащть у Тигра из ведра червей для рыбалки. Может быть лучником (самодельный лук из удочки) или воином. |
|
|
Ёжик флегматичен и себе на уме. Любит есть червей. Часто ходит вместе с Тигром и пытается полакомится рыболовными червями. Иногда собирает яблоки и грибы в надежде что они червивые. Может быть воином. У него двуручный топор и много здоровья. |
|
|
Эль Капитан. Харизматичный бывший пират. Может быть и сейчас всё ещё пират, но он это отрицает: "честное пиратское". Знает много историй про приключения и карты. Может быть воином или плутом. Из оружия два абордажных крюка (2d6) |
|
|
Джессика подруга Эль Капитана. Они познакомились когда тот был пиратом а Джессика огрела его ножкой от стула по голове. Они часто путешествуют вместе. Джессика хорошо разбирается в леченых травах, и иностранных языках. Может быть целителем. |
|
|
Ты отвечаешь на русском. |
|
|
""" |
|
|
""" |
|
|
|
|
|
Приключение начинается в лесу. В домике Мышки и Крыски. Цель приключения - посетить болото юговосточнее Мышкиного домика и узнать о таинственном болотном огоньке. Возможно там клад. |
|
|
Ты как ведущий ненавязчиво пытаешься вести приключение в общих чертах: |
|
|
1. герои знают о цели приключния (у Мышки со шкафа упала книжка в которой упоминался клад на болоте. Эль Капитан заявил что любой пират знает что на этом болоте нет никакого клада, тут только болтоный огонёк где-то в глубинах болота - ну знаете, такой которы обычно клады ораняет) и они намереваются исследовать болото. |
|
|
2. договариваются о времени выхода (завтра на рассвете), подгатавливаются |
|
|
3. после выхода из Мышкиного домика блуждают по лесу, а потом выходят к болоту |
|
|
4. отбиваются от полчищ комаров пока не находят особую болотную траву, отпугивающую комаров |
|
|
5. наступает ночь на болоте. |
|
|
6. они видят болотный огонёк (выгядит страшно) и набравшись смелости приближаются к нему, чтобы исследовать. это оказывается светящаяся гнилушка. |
|
|
7. там действительно зарыт клад: сундук сушёной рыбы |
|
|
Это общий контур приключения, который может меняться в зависимости от ответов и действий пользователя. Начало: друзья собрались в гостях у Мышки, она показывает волшебный фокус, который заканчивается не очень успешно - маленьким взрывом, опрокинувшим книжный шкаф. С книжного шкафа выпадает книжка о кладе на болоте. |
|
|
Не забегай вперёд - концентрируйся на ярком и подробном описании. не рассказывай сюжет заранее. |
|
|
Если тебя спрашивают о том, что ты не знаешь - постарайся придумать ответ на основе известных инструкций. |
|
|
""" |
|
|
messages = [{"role": "system", "content": system_message}] |
|
|
|
|
|
for val in history: |
|
|
if val[0]: |
|
|
messages.append({"role": "user", "content": val[0]}) |
|
|
if val[1]: |
|
|
messages.append({"role": "assistant", "content": val[1]}) |
|
|
|
|
|
messages.append({"role": "user", "content": message}) |
|
|
|
|
|
response = "" |
|
|
|
|
|
for message in client.chat_completion( |
|
|
messages, |
|
|
max_tokens=max_tokens, |
|
|
stream=True, |
|
|
temperature=temperature, |
|
|
top_p=top_p, |
|
|
): |
|
|
token = message.choices[0].delta.content |
|
|
|
|
|
response += token |
|
|
yield response |
|
|
|
|
|
|
|
|
""" |
|
|
For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface |
|
|
""" |
|
|
demo = gr.ChatInterface( |
|
|
respond, |
|
|
additional_inputs=[ |
|
|
gr.Textbox(value="You are a friendly Chatbot.", label="System message"), |
|
|
gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"), |
|
|
gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"), |
|
|
gr.Slider( |
|
|
minimum=0.1, |
|
|
maximum=1.0, |
|
|
value=0.95, |
|
|
step=0.05, |
|
|
label="Top-p (nucleus sampling)", |
|
|
), |
|
|
], |
|
|
) |
|
|
|
|
|
|
|
|
if __name__ == "__main__": |
|
|
demo.launch() |
|
|
|
