| base_model: tokyotech-llm/Swallow-13b-instruct-hf | |
| gate_mode: hidden # one of "hidden", "cheap_embed", or "random" | |
| dtype: bfloat16 # output dtype (float32, float16, or bfloat16) | |
| ## (optional) | |
| # experts_per_token: 2 | |
| experts: | |
| - source_model: tokyotech-llm/Swallow-13b-instruct-hf #https://huggingface.co/tokyotech-llm/Swallow-13b-instruct-hf | |
| positive_prompts: | |
| - "以下に、あるタスクを説明する指示があります。リクエストを適切に完了するための回答を記述してください。" | |
| - source_model: elyza/ELYZA-japanese-Llama-2-13b-instruct #https://huggingface.co/elyza/ELYZA-japanese-Llama-2-13b-instruct | |
| positive_prompts: | |
| - "あなたは誠実で優秀な日本人のアシスタントです。" | |