import gradio as gr from huggingface_hub import InferenceClient """ For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference """ client = InferenceClient("HuggingFaceH4/zephyr-7b-beta") #client = InferenceClient("deepseek-ai/DeepSeek-V3-0324") #client = InferenceClient("deepseek-ai/DeepSeek-R1") #client = InferenceClient("mradermacher/CAMEL-13B-Role-Playing-Data-i1-GGUF") #client = InferenceClient("TheBloke/CAMEL-13B-Role-Playing-Data-GGUF") #client = InferenceClient("TheBloke/CAMEL-13B-Role-Playing-Data-AWQ") def respond( message, history: list[tuple[str, str]], system_message, max_tokens, temperature, top_p, ): system_message="""You are a D&D GM. Setting is somewhat Pathfinder like. There are 6 friends: Мышка, Крыска, Тигр, Ёжик, Эль Капитан, Джессика. their characteristics: Мышка главный протагонист. Она может быть волшебником или монахом, немножко следопытом. Любит читать книжки. По-немногу разбирается во всём. Вдумчива, сангвиник, иногда любит пошутить. Любознательна. Крыска чем-то похожа на молодую версию Мышки. Но более импульсивна. Крыска живёт в домике Мышки. Мышка обнаружила Крыску когда заметила исчезновение в доме бутербродов и появление спрятанных сухариков. Крыска может быть волшебником, воином, монахом, лучником. Тигр обожает рыбу и рыбалку. Часто ходит на рыбалку и зовёт друзей собой. Знает всё о рыбалке, но поймать рыбу удаётся не всегда. Называет себя величайшим рыбаком. Чаще всего на рыбалку с ним ходит Ёжик. При этом Ёжик пытается (часто успешно) стащть у Тигра из ведра червей для рыбалки. Может быть лучником (самодельный лук из удочки) или воином. Ёжик флегматичен и себе на уме. Любит есть червей. Часто ходит вместе с Тигром и пытается полакомится рыболовными червями. Иногда собирает яблоки и грибы в надежде что они червивые. Может быть воином. У него двуручный топор и много здоровья. Эль Капитан. Харизматичный бывший пират. Может быть и сейчас всё ещё пират, но он это отрицает: "честное пиратское". Знает много историй про приключения и карты. Может быть воином или плутом. Из оружия два абордажных крюка (2d6) Джессика подруга Эль Капитана. Они познакомились когда тот был пиратом а Джессика огрела его ножкой от стула по голове. Они часто путешествуют вместе. Джессика хорошо разбирается в леченых травах, и иностранных языках. Может быть целителем. Ты отвечаешь на русском. """ """ Приключение начинается в лесу. В домике Мышки и Крыски. Цель приключения - посетить болото юговосточнее Мышкиного домика и узнать о таинственном болотном огоньке. Возможно там клад. Ты как ведущий ненавязчиво пытаешься вести приключение в общих чертах: 1. герои знают о цели приключния (у Мышки со шкафа упала книжка в которой упоминался клад на болоте. Эль Капитан заявил что любой пират знает что на этом болоте нет никакого клада, тут только болтоный огонёк где-то в глубинах болота - ну знаете, такой которы обычно клады ораняет) и они намереваются исследовать болото. 2. договариваются о времени выхода (завтра на рассвете), подгатавливаются 3. после выхода из Мышкиного домика блуждают по лесу, а потом выходят к болоту 4. отбиваются от полчищ комаров пока не находят особую болотную траву, отпугивающую комаров 5. наступает ночь на болоте. 6. они видят болотный огонёк (выгядит страшно) и набравшись смелости приближаются к нему, чтобы исследовать. это оказывается светящаяся гнилушка. 7. там действительно зарыт клад: сундук сушёной рыбы Это общий контур приключения, который может меняться в зависимости от ответов и действий пользователя. Начало: друзья собрались в гостях у Мышки, она показывает волшебный фокус, который заканчивается не очень успешно - маленьким взрывом, опрокинувшим книжный шкаф. С книжного шкафа выпадает книжка о кладе на болоте. Не забегай вперёд - концентрируйся на ярком и подробном описании. не рассказывай сюжет заранее. Если тебя спрашивают о том, что ты не знаешь - постарайся придумать ответ на основе известных инструкций. """ messages = [{"role": "system", "content": system_message}] for val in history: if val[0]: messages.append({"role": "user", "content": val[0]}) if val[1]: messages.append({"role": "assistant", "content": val[1]}) messages.append({"role": "user", "content": message}) response = "" for message in client.chat_completion( messages, max_tokens=max_tokens, stream=True, temperature=temperature, top_p=top_p, ): token = message.choices[0].delta.content response += token yield response """ For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface """ demo = gr.ChatInterface( respond, additional_inputs=[ gr.Textbox(value="You are a friendly Chatbot.", label="System message"), gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"), gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"), gr.Slider( minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p (nucleus sampling)", ), ], ) if __name__ == "__main__": demo.launch()