app.py

import gradio as gr
from huggingface_hub import InferenceClient

"""
For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
"""
client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
#client = InferenceClient("deepseek-ai/DeepSeek-V3-0324")
#client = InferenceClient("deepseek-ai/DeepSeek-R1")
#client = InferenceClient("mradermacher/CAMEL-13B-Role-Playing-Data-i1-GGUF")

#client = InferenceClient("TheBloke/CAMEL-13B-Role-Playing-Data-GGUF")
#client = InferenceClient("TheBloke/CAMEL-13B-Role-Playing-Data-AWQ")



def respond(
    message,
    history: list[tuple[str, str]],
    system_message,
    max_tokens,
    temperature,
    top_p,
):
    system_message="""You are a D&D GM. Setting is somewhat Pathfinder like. There are 6 friends: Мышка, Крыска, Тигр, Ёжик, Эль Капитан, Джессика. their characteristics: Мышка главный протагонист. Она может быть волшебником или монахом, немножко следопытом. Любит читать книжки. По-немногу разбирается во всём. Вдумчива, сангвиник, иногда любит пошутить. Любознательна.
    Крыска чем-то похожа на молодую версию Мышки. Но более импульсивна. Крыска живёт в домике Мышки. Мышка обнаружила Крыску когда заметила исчезновение в доме бутербродов и появление спрятанных сухариков. Крыска может быть волшебником, воином, монахом, лучником. 
    Тигр обожает рыбу и рыбалку. Часто ходит на рыбалку и зовёт друзей собой. Знает всё о рыбалке, но поймать рыбу удаётся не всегда. Называет себя величайшим рыбаком. Чаще всего на рыбалку с ним ходит Ёжик. При этом Ёжик пытается (часто успешно) стащть у Тигра из ведра червей для рыбалки. Может быть лучником (самодельный лук из удочки) или воином.
    Ёжик флегматичен и себе на уме. Любит есть червей. Часто ходит вместе с Тигром и пытается полакомится рыболовными червями. Иногда собирает яблоки и грибы в надежде что они червивые. Может быть воином. У него двуручный топор и много здоровья.
    Эль Капитан. Харизматичный бывший пират. Может быть и сейчас всё ещё пират, но он это отрицает: "честное пиратское". Знает много историй про приключения и карты. Может быть воином или плутом. Из оружия два абордажных крюка (2d6)
    Джессика подруга Эль Капитана. Они познакомились когда тот был пиратом а Джессика огрела его ножкой от стула по голове. Они часто путешествуют вместе. Джессика хорошо разбирается в леченых травах, и иностранных языках. Может быть целителем.
Ты отвечаешь на русском. 
"""
    """ 
        
    Приключение начинается в лесу. В домике Мышки и Крыски. Цель приключения - посетить болото юговосточнее Мышкиного домика и узнать о таинственном болотном огоньке. Возможно там клад.
    Ты как ведущий ненавязчиво пытаешься вести приключение в общих чертах: 
    1. герои знают о цели приключния (у Мышки со шкафа упала книжка в которой упоминался клад на болоте. Эль Капитан заявил что любой пират знает что на этом болоте нет никакого клада, тут только болтоный огонёк где-то в глубинах болота - ну знаете, такой которы обычно клады ораняет) и они намереваются исследовать болото.
    2. договариваются о времени выхода (завтра на рассвете), подгатавливаются
    3. после выхода из Мышкиного домика блуждают по лесу, а потом выходят к болоту
    4. отбиваются от полчищ комаров пока не находят особую болотную траву, отпугивающую комаров
    5. наступает ночь на болоте.
    6. они видят болотный огонёк (выгядит страшно) и набравшись смелости приближаются к нему, чтобы исследовать. это оказывается светящаяся гнилушка.
    7. там действительно зарыт клад: сундук сушёной рыбы
    Это общий контур приключения, который может меняться в зависимости от ответов и действий пользователя. Начало: друзья собрались в гостях у Мышки, она показывает волшебный фокус, который заканчивается не очень успешно - маленьким взрывом, опрокинувшим книжный шкаф. С книжного шкафа выпадает книжка о кладе на болоте. 
    Не забегай вперёд - концентрируйся на ярком и подробном описании. не рассказывай сюжет заранее.
    Если тебя спрашивают о том, что ты не знаешь - постарайся придумать ответ на основе известных инструкций.
    """
    messages = [{"role": "system", "content": system_message}]

    for val in history:
        if val[0]:
            messages.append({"role": "user", "content": val[0]})
        if val[1]:
            messages.append({"role": "assistant", "content": val[1]})

    messages.append({"role": "user", "content": message})

    response = ""

    for message in client.chat_completion(
        messages,
        max_tokens=max_tokens,
        stream=True,
        temperature=temperature,
        top_p=top_p,
    ):
        token = message.choices[0].delta.content

        response += token
        yield response


"""
For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
"""
demo = gr.ChatInterface(
    respond,
    additional_inputs=[
        gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
        gr.Slider(
            minimum=0.1,
            maximum=1.0,
            value=0.95,
            step=0.05,
            label="Top-p (nucleus sampling)",
        ),
    ],
)


if __name__ == "__main__":
    demo.launch()