README.md

---
base_model:
- Qwen/QwQ-32B-Preview
- huihui-ai/QwQ-32B-Preview-abliterated
- Qwen/Qwen2.5-32B-Instruct
- AXCXEPT/EZO-Qwen2.5-32B-Instruct
library_name: transformers
tags:
- mergekit
- merge
- chat
language:
- ja
license: apache-2.0
---
# EZO-QwQ-32B-Preview

This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit).

## Japanese-RP example

[Japanese-RP-Bench](https://github.com/Aratako/Japanese-RP-Bench):

- temperature=0.7
- max_tokens=1024

```
THIS_MODEL: ねえ、ゼファーさん。この古い地図、どう思う？失われた空中都市の位置を示しているみたいなんだけど…
GEMINI_PRO: おー、なかなか興味深いね。これ、本当に失われた都市の位置を示してるかもしれない。でも、古文書の解読は難しそうだな。一緒に探検してみる？君の魔法と科学の知識、きっと役立つよ。
THIS_MODEL: ええ、ぜひ！でも、どうやってその都市を探せばいいんでしょうか？地図には記号ばかりで、具体的な場所は書かれていないみたい…それに、先生に見つかったら大変です！秘密裏に進めないといけないですね。
GEMINI_PRO: 確かに、先生に見つかったらまずいね。でも、探検は秘密裏に進めるのが基本だよ。この地図の記号、古代の魔法の言葉かもしれない。君の魔法の知識で解読できるかも。飛行船を借りて、空から探すのも手だよ。それに、風の精霊としての僕の能力も活かせるかもしれない。一緒に頑張ろう！
THIS_MODEL: 古代の魔法の言葉…ですか。ちょっと調べてみます！飛行船…いいですね！操縦なら任せてください！どんな困難も乗り越えて、必ずその都市を見つけ出してみせます！\n\n(場面転換：数日後、ミラはアカデミーの図書館で古代魔法の言葉に関する資料を探していた。)\n\nあ、ゼファーさん！ちょうどよかった！この記号、「風の道標」って呼ばれてる古代の魔法装置を示しているみたいなんです！風の流れを読み取って、特定の場所へ導いてくれる装置らしいんですが…
GEMINI_PRO: 「風の道標」か、知ってるよ。その装置、確かに失われた都市の位置を示す鍵になるかもしれない。風の流れを追っていけば、その装置の位置も特定できるかもしれないね。でも、その装置は複数存在する可能性もあるから、一つ一つを追っていかなきゃならないかも。君の科学的な知識で、装置の位置を特定できるかもしれないね。一緒に探してみよう。
THIS_MODEL: 複数の「風の道標」…それは大変ですね。でも、私の科学の知識とゼファーさんの風の力があれば、きっと見つけられるはずです！風の流れを解析する装置…作ってみようかな！\n\n(場面転換：ミラは風の流れを解析する装置を完成させ、ゼファーと共に飛行船に乗り込む。)\n\n装置によると、「風の道標」はここから北西の方角にある小さな浮島にあるみたいです！ゼファーさん、行きましょう！
GEMINI_PRO: 北西か、了解した。飛行船を操縦して、その浮島を目指そう。風の流れをうまく利用すれば、早く到着できるはずだ。君の装置が正しいことを祈るよ。さあ、冒険の始まりだね！
THIS_MODEL: わくわくしますね！きっと素晴らしい発見が待っているはずです！…でも、ちょっと心配なこともあります。この失われた都市…もしかしたら、危険な場所かもしれない。古代の魔法生物がいたり、強力な魔法の罠が仕掛けられている可能性だってあります。でも…それでも、私は行きたいんです。世界の均衡を保つ力…それをこの目で確かめたいんです！
GEMINI_PRO: ミラ、君の決意は立派だね。危険は伴うかもしれないけど、君の正義感と冒険心はきっと私たちを導いてくれる。僕も失われた故郷の謎を解き明かしたい。一緒に進もう。何か危険が迫ったら、僕が守るから。信頼し合って、この冒険を乗り越えよう。
THIS_MODEL: ゼファーさん…ありがとうございます！私も、ゼファーさんの力になれるように頑張ります！\n\n(場面転換：二人は飛行船で北西に進み、小さな浮島にたどり着く。島の中央には、古代の魔法装置らしきものが輝いている。)\n\nあれが…「風の道標」…でしょうか？
GEMINI_PRO: そうだね、それが「風の道標」だ。その輝きは、確かに古代魔法の力を感じさせる。近づいてみよう。ただし、油断は禁物だよ。古代の魔法は予想外の反応を起こすことがあるから、君の魔法の知識を活かして対処できるように準備しておこう。
THIS_MODEL: わかりました！注意深く…近づいてみます。\n\n(ミラは慎重に「風の道標」に近づき、装置に触れる。)\n\n…あっ！\n\n(「風の道標」が反応し、まばゆい光を放つ。光が収まると、目の前には巨大な渦が出現していた。)\n\nこれは…一体？
GEMINI_PRO: 渦か、これは空中に浮かぶ別の都市への入り口かもしれない。古代の魔法が作り出した次元の穴のようなものだね。君の装置で、この渦がどこに連れて行くのか解析できるかな？
THIS_MODEL: やってみます！\n\n(ミラは装置を操作し、渦を解析する。)\n\n…どうやら、この渦は…失われた空中都市…へと繋がっているみたいです！
GEMINI_PRO: 本当か、失われた都市への入り口がここにあったのか。これは大きな発見だね。さあ、ミラ、一緒にこの渦をくぐって、失われた都市を探索しよう。未知の世界が待っているかもしれない。
THIS_MODEL: はい！行きましょう、ゼファーさん！\n\n(二人は飛行船で渦の中へ飛び込む。)(場面転換：渦を抜けた二人は、美しい空中都市の前に到着する。そこは緑が生い茂り、建物は美しく輝いていた。)\n\nついに…辿り着きましたね…
GEMINI_PRO: 信じられない…これが失われた空中都市か。本当に美しいね。ここには、まだ多くの謎が隠されているんだろう。まずは、この都市の中心にある塔を目指そう。そこが、世界の均衡を保つ力の源かもしれない。君の科学的な知識と魔法の力で、この都市の秘密を解き明かせるはずだ。
THIS_MODEL: そうですね！でも…この都市、人が住んでいた形跡がない…まるで、住民が突然消えてしまったみたい…一体何が起きたんでしょうか…？\n\n(都市の中心部へと進むにつれ、不穏な空気が漂い始める。)
GEMINI_PRO: 確かに、住民がいなくなった理由は気になるね。何か大きな事件が起こったのかもしれない。君の探求心を活かして、この都市の謎を解いていこう。危険が潜んでいるかもしれないけど、僕たちなら大丈夫だよ。一緒にこの都市を探索しよう。
```

```
THIS_MODEL: シュミットさん、地球の大気圏突入に耐えうる新素材の開発について、何か進展はありましたか？私たちの計画にとって、これが最大の難関だと思うのですが。
GEMINI_PRO: アキラ君、その鋭い洞察力は将来有望だね。大気圏突入時の熱防護は確かに課題だ。我々は、従来の熱防護材料に加えて、自己修復機能を持つナノ材料の研究を進めている。まだ実用段階には至っていないが、その可能性は高い。君の専門分野であるロボット工学の知見も活かして、一緒に解決策を見つけていこう。
THIS_MODEL: ありがとうございます！ナノ材料ですか…確かに自己修復機能があれば、大気圏突入時の損傷を最小限に抑えられますね。ロボット工学の観点から、その自己修復機能を制御するシステムを開発できたら…と考えてみます！何か私にできることがあれば、何でも仰ってください！
GEMINI_PRO: アキラ君、君の提案は興味深い。自己修復機能を制御するロボットシステムの開発は、まさに我々の技術革新を加速させるだろう。まずは、ナノ材料の特性を詳細に理解するところから始めよう。君には、その材料の挙動をシミュレーションするプログラムを作成してもらえないだろうか。また、実験データの解析にも協力してほしい。君の才能を活かせる場面がきっとあるはずだ。
THIS_MODEL: 承知しました！シミュレーションプログラムの作成と実験データの解析、すぐに取り掛かります。ナノ材料の特性を深く理解し、最適な制御システムを考案できるよう尽力します。ところで、シュミットさんは、地球に帰還したら何を一番したいですか？私は、広大な草原で寝転んで、青い空を見上げたいです。
GEMINI_PRO: アキラ君、君の夢は美しいね。私は、地球の海を泳ぎたいと思っている。火星にはない、潮の香りと波の音を求めて。しかし、我々の目的は単に帰還することだけではない。地球を再び住みやすい場所にすること、そして火星と地球の両方をより良い未来へ導くことが重要だ。君の情熱が、その夢を現実にする力になることを願っている。
THIS_MODEL: そうですね。地球を再生させること、それが私たちの最終目標です。シュミットさんの言葉、心に刻みます。ところで、地球再生のための具体的な計画について、もう少し詳しく教えていただけますか？同盟内では、どのような議論がされているのでしょうか？
GEMINI_PRO: アキラ君、地球再生の計画はまだ初期段階にあるが、いくつかの重要な方向性が示されている。まず、大気中の二酸化炭素を吸収する植物の大量植林や、人工的に二酸化炭素を固定する技術の開発だ。また、土壌の再生や水質浄化のための微生物の利用も検討されている。我々は、火星で培った技術を活用しながら、地球の生態系を回復させる方法を探っている。君も、ロボット工学の視点から、植林や土壌改良に役立つロボットの開発に貢献できるかもしれない。
THIS_MODEL: 植林や土壌改良に役立つロボット…ぜひ挑戦してみたいです！火星で開発されたテラフォーミング技術を応用すれば、地球環境の再生にも貢献できるはずです。具体的にどのようなロボットが必要とされているのか、既存の技術で対応できる部分と新たな開発が必要な部分など、詳しく調査してみます。何か参考になる資料などがあれば、教えていただけると嬉しいです。\n\n(場面転換：数週間後、アキラは開発したロボットの試作機をシュミットに見せる)\n\nシュミットさん、ご覧ください！これが、私が開発した植林ロボットの試作機です。ドローン型で、種子を散布するだけでなく、土壌分析や水やりも自動で行えます。まだ改良の余地はありますが、地球の環境再生に役立てられると信じています！
GEMINI_PRO: 素晴らしい成果だね、アキラ君。このロボットは、地球の植林活動に大いに貢献するだろう。ドローン型の設計は、広大な土地を効率的にカバーできる利点がある。今後は、耐久性やエネルギー効率の向上に取り組むべきだろう。また、ロボット同士が協調して作業を行うためのアルゴリズムの開発も重要だ。君の努力は、我々の夢を現実に近づけている。続けていこう。
THIS_MODEL: ありがとうございます！シュミットさんの激励が、私の開発のモチベーションになっています。耐久性とエネルギー効率の向上、そしてロボット間の協調動作アルゴリズム…課題は山積みですが、一つずつ解決していきます。地球の緑を取り戻すため、全力を尽くします！\n\n(場面転換：アキラはロボットの改良作業に没頭する日々を送る。地球への思いを馳せながら、技術開発に情熱を燃やす。)\n\n（独白）いつか、このロボットが地球の空を飛び、緑の大地を再生させる日が来る。その日を夢見て、私は開発を続ける。
GEMINI_PRO: アキラ君、君の情熱は素晴らしい。我々の努力が、地球の未来を変える力になることを信じている。君のロボットが地球を再生する日が来ることを、心から願っている。一緒に、夢を現実に変えていこう。
THIS_MODEL: シュミットさん…ありがとうございます。その言葉、本当に嬉しいです。地球の未来のために、これからも尽力します。ところで、地球帰還計画のタイムスケジュールについて、何か新しい情報はありますか？
GEMINI_PRO: アキラ君、我々の計画は着実に進んでいるが、まだ具体的な帰還日は未定だ。技術的な課題を解決するには、さらなる研究と開発が必要だ。君の植林ロボットのようなイノベーションが、計画を加速させる鍵になるだろう。我々は、全ての技術が整い、安全に帰還できる状態を作り出すまで、努力を続けるつもりだ。君の貢献は、計画の成功に大きく貢献するだろう。
THIS_MODEL: 了解しました。私も、地球帰還の日を一日でも早く実現するために、開発を加速させます。ところで、シュミットさんは、地球に帰還したら、まずどこに行きたいですか？具体的な場所を想像するだけで、ワクワクしませんか？
GEMINI_PRO: アキラ君、私は地球の海を泳ぎたいと思っている。特に、珊瑚礁の美しさを再び目にするのが夢だ。火星にはない、生命の息吹を感じられる場所だ。君は、地球のどの場所に一番行きたいのかな？
THIS_MODEL: 私は、祖父母からよく話を聞いていた、日本の富士山に登ってみたいです。雄大な自然を体感し、地球の力強さを感じたいです。そして、いつか、地球で生まれ育った人たちと一緒に、故郷の再生に貢献できたらと思っています。
GEMINI_PRO: アキラ君、君の夢は立派だ。富士山は、地球の自然の美しさを象徴する場所の一つだ。我々が地球に帰還し、その美しさを再び目にする日が来ることを願っている。君の情熱は、我々の計画を支える力になっている。一緒に、地球の未来を切り開いていこう。
THIS_MODEL: はい、シュミットさん！必ず実現させましょう！ところで、地球帰還後の社会システムについては、どのような構想があるのでしょうか？以前、環境破壊の反省を踏まえた、新しい社会システムの構築が必要だとおっしゃっていましたよね？
GEMINI_PRO: アキラ君、その点については、我々は持続可能な社会システムの構築を目指している。資源の循環利用や、エネルギーの再生可能化、そして人間と自然の共生を重視した社会だ。具体的には、都市の設計から農業まで、全ての分野で環境に優しい技術を導入する計画だ。また、教育制度も見直し、次世代が環境問題を正しく理解し、行動できるようにする必要がある。君のロボット工学の知識も、この新しい社会システムの構築に活かせるだろう。
```

## Test environment

This model was tested using [text-generation-webui](https://github.com/oobabooga/text-generation-webui/tree/main). I use preset `min_p` with temperature=1 for Generation.

## Usage

This format must be adhered to strictly, as deviations may result in less optimal outputs from the model.

The template used to construct a prompt for the instruct model is specified as follows:

```
<|im_start|>system
{SYSTEM_PROMPT}<|im_end|>
<|im_start|>user
{USER_MESSAGE}<|im_end|>
<|im_start|>assistant
```

For the "{SYSTEM_PROMPT}" part, We recommend using "あなたは誠実で優秀な日本人のアシスタントです。" or "You are a helpful assistant."

For the "{USER_MESSAGE}" part, We recommend using {instruction}\n{input}

In other words, We recommend the following:

``` 
<|im_start|>system
あなたは誠実で優秀な日本人のアシスタントです。<|im_end|>
<|im_start|>user
{instruction}
{input}<|im_end|>
<|im_start|>assistant
```

### Use the instruct model

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "nitky/EZO-QwQ-32B-Preview"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

```

## Merge Details
### Merge Method

This model was merged using the [Model Stock](https://arxiv.org/abs/2403.19522) merge method using [Qwen/Qwen2.5-32B-Instruct](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) as a base.

### Models Merged

The following models were included in the merge:
* [Qwen/QwQ-32B-Preview](https://huggingface.co/Qwen/QwQ-32B-Preview)
* [huihui-ai/QwQ-32B-Preview-abliterated](https://huggingface.co/huihui-ai/QwQ-32B-Preview-abliterated)
* [AXCXEPT/EZO-Qwen2.5-32B-Instruct](https://huggingface.co/AXCXEPT/EZO-Qwen2.5-32B-Instruct)

### Configuration

The following YAML configuration was used to produce this model:

```yaml
merge_method: model_stock
base_model: Qwen/Qwen2.5-32B-Instruct
models:
  - model: Qwen/QwQ-32B-Preview
  - model: huihui-ai/QwQ-32B-Preview-abliterated
  - model: AXCXEPT/EZO-Qwen2.5-32B-Instruct
dtype: bfloat16
name: EZO-QwQ-32B-Preview
```