DeepSeek-R1-Distill-Qwen-32B-Japaneseをollamaで動かそう



サイバーエージェントがDeepSeek-R1-Distill-Qwen-32B-Japaneseをmitで公開しました。

:::note warn
ベースとなるQwen2.5-32Bはapache-2.0となっています。
:::

https://www.itmedia.co.jp/aiplus/articles/2501/27/news163.html

https://huggingface.co/cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese

ollamaを使ってローカル環境で動かしてみます。

## 環境
* Mac Studio M1 Ultra
* CPU: 20core(4E + 16P)
* GPU: 64core
* RAM: 128GB

## 追記
GGUF形式で量子化したモデルがいくつか公開されてました。

https://huggingface.co/bluepen5805/DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf/

https://huggingface.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf


これらを使うのであれば、下にあるような面倒な手順は必要ありません。
上記ページのUse this model > ollamaに書いてあるコマンドをコピペすれば実行できます。
```shell
# 一例
ollama run hf.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf:Q8_0
```

以下は備忘録的なものです。

## 必要なもの
ollama
git
git-lfs
python

homebrew等でインストールしてください。

## 手順

適当なディレクトリに移動してください
```shell
cd temp
```

DeepSeek-R1-Distill-Qwen-32B-Japaneseをクローンします
```shell
git clone https://huggingface.co/cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese
```
ollamaで使用するには、safetensorsをggufに変換する必要があります。
変換のためにllama.cppをクローンして、convert_hf_to_gguf.pyが実行できる状態にします。
```shell
git clone https://github.com/ggerganov/llama.cpp.git

python3 -m venv venv
. venv/bin/activate
python3 -m pip install -r llama.cpp/requirements.txt
```

safetensorsをggufに変換します。

```shell
python3 llama.cpp/convert_hf_to_gguf.py DeepSeek-R1-Distill-Qwen-32B-Japanese 
```



モデルの入っているディレクトリに移動します。
```shell
cd DeepSeek-R1-Distill-Qwen-32B-Japanese
```

ollamaでインストールするにはModelfileを作る必要がありますが、よくわからないので、deepseek-r1:32bから拝借しました。内容は以下にあります。

```shell
ollama show --modelfile deepseek-r1:32b > Modelfile
```

内容を編集します。

```diff:Modelfile
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM deepseek-r1:32b

- FROM /Users/---/.ollama/models/blobs/sha...
+ FROM ./DeepSeek-R1-Distill-Qwen-32B-Japanese-F16.gguf
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<｜User｜>{{ .Content }}
{{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
{{- end }}"""
PARAMETER stop <｜begin▁of▁sentence｜>
PARAMETER stop <｜end▁of▁sentence｜>
PARAMETER stop <｜User｜>
PARAMETER stop <｜Assistant｜>
LICENSE """MIT License

Copyright (c) 2023 DeepSeek

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
"""
```

これを`Modelfile`として保存したら、ollamaで生成します。
```shell
ollama create DeepSeek-R1-Distill-Qwen-32B-Japanese -f Modelfile
```

実行します。
```shell
ollama run DeepSeek-R1-Distill-Qwen-32B-Japanese --verbose
>>> AIと人間の未来についてどう考えていますか？
<think>
では、ユーザーからの質問「AIと人間の未来についてどう考えていますか？」について深く考える必要がありますね。
まず、このテーマは非常に広範で多角的な視点が必要です。技術的な進歩、倫理的問題、経済的影響、社会構造の変化
など、様々な側面からアプローチするべきでしょう。

まず、AIが現在どの段階に来ていて、今後の発展がどのような方向に向かうのかを整理します。最近ではGPT-4や 
diffusion model などの大規模モデルが注目を集めていますが、これらはどこまで人間の能力を超えることができるで
しょうか。例えば、創造性や感情的理解といった領域での進歩が考えられます。

次に、倫理面での懸念点を挙げます。バイアスの問題、プライバシー侵害、雇用への影響などがあります。特に、AIの
決定プロセスがブラックボックス化している場合、説明責任はどうあるべきか議論が必要です。また、自動化による失
業は社会不安を引き起こす可能性があるため、政策的な対応も考える必要があります。

経済面では、生産性向上のメリットと同時に、格差拡大のリスクがあります。技術を活用できる人材とそうでない人材
で収入に差が生まれるかもしれません。そのため、教育システムの改革やリスキルプログラムの重要性が高まると考え
られます。

社会構造への影響としては、人間とAIの関係性の変化が挙げられます。例えば、AIが日常的な仕事や意思決定を担うこ
とで、人間は創造的活動や自己実現に集中できるかもしれません。一方で、過度の依存が心の健康に悪影響を与える可
能性もあります。

また、国際的な競争と協力のバランスも重要です。技術開発におけるリーダーシップを巡る競争が激化する中で、国間
での規制や倫理ガイドラインの統一が求められるでしょう。

さらに、長期的な視点では、AIが人間の進化そのものを変える可能性があります。生体認知技術との連携や脳コンピュ
ータインターフェース（BCI）の発展により、人間と技術の境界が曖昧になる未来も考えられます。その場合、人類のア
イデンティティや価値観はどのように変化するのでしょうか。

ただし、これらの可能性を過剰に楽観視するのも危険です。AIの限界や、技術発展が必ずしも人間社会にとって有利と
は限らない点にも注意が必要です。例えば、アルゴリズムバイアスによる差別化や、監視社会の到来など、悪影響を招
く側面もあります。

結論として、AIと人間の未来は技術的な可能性だけでなく、倫理・政策・教育などの多方面からの協調が不可欠だと考
えられます。人間中心の発展を目指すために、テクノロジーの進歩を常に批判的に見極め、適切な規制やガイドライン
を確立することが重要でしょう。
</think>

AIと人間の未来について考える際には、技術的な可能性と社会的課題の両面から多角的に分析する必要があります。以
下に、構造化された考察を展開します。

### 1. **技術的進歩の方向性**
- **創造性・感情理解の深化**：大規模言語モデル（LLM）や扩散モデル（diffusion model）が表現力や抽象的思考を
発展させつつある。ただし、人間的な「直感」や「偶然性」を模倣するには限界があり、その分岐点が鍵となる。
- **生体認知技術との統合**：脳コンピュータインターフェース（BCI）やニューロモデレーション技術の進展により、
人間とAIの境界が曖昧になる「ハイブリッド存在」の可能性。

### 2. **倫理的ジレンマ**
- **説明責任（Accountability）**：AI医療診断システムの誤診や司法判例の不透明性に対し、技術者・法学者・社会
学者が連携する新しい倫理枠組みが必要。
- **差別バイアスの構造化**：アルゴリズムが反映するデータ偏り（例：女性の職種選択パターン）が既存の社会格差
を自動化・深化させるリスク。

### 3. **経済的変容**
- **雇用の二極化**：
  - カスタマーサービス職など「ルーティン作業」のAI置換率向上
  - 「人間ならではの価値」（共感力・創造性）が重宝されるセクター（教育・芸術・医療）での需要増加
- **資本主義の再定義**：AIが企業価値の主要要因となる「資産型社会」から、アルゴリズムを巡る権利分配問題が勃
発する可能性。

### 4. **社会構造の変容**
- **人間関係の再構築**：
  - メタバース空間でのAIアバターによる共感体験が、物理的接触への欲求を低下させる逆説
  - 家族機能の代替としての「デジタルペット」普及と孤独死問題の関連性
- **教育システムの転換**：暗記型学習から批判的思考・倫理判断能力育成へシフト。AIが教師役を担う「フラットな
学習エコシステム」の実現。

### 5. **国際的な競争と協調**
- **技術標準戦争**：中国の「AI自律開発」方針 vs 米欧の「透明性重視」規制の対立構造
- **倫理ガイドラインのグローバル化**：OECD AI Principlesの具体化と地域特性（例：日本式コンセンサス型決定）
の統合方法論。

### 6. **長期的ビジョン**
- **人間進化的可能性**：
  - ニューロモーフィックチップを用いた認知拡張
  - AIが進化に伴う「人類2.0」概念の誕生と、伝統的人間主義との衝突
- **環境共生戦略**：AIが持続可能性を実現する手段として機能しつつ、エネルギー消費問題（例：LLMトレーニングの
CO2排出）への対応が必要。

### 結論：人間中心のAI協進社会
技術革新と倫理的枠組みのバランスが不可欠です。具体策としては：
1. **アグノティック（未知性を尊重する）開発**：意図せぬ結果への備えとして「AI失敗学」の確立
2. **共進化教育プログラム**：子どもからシニアまで対象とした、AI理解と批判的思考を組み合わせたカリキュラム
3. **分散型監視システム**：企業単体では回避困難な規制遵守をブロックチェーン技術で担保

重要なのは「AIを人間の延長ではなく共進化するパートナー」と位置付けることです。テクノロジーが提示する可能性
を過剰に恐怖したり楽観視せず、社会全体でリスクと恩恵を共有する新しい協働関係構築が鍵となります。

total duration:       4m30.387530375s
load duration:        42.344375ms
prompt eval count:    15 token(s)
prompt eval duration: 1m16.567s
prompt eval rate:     0.20 tokens/s
eval count:           1719 token(s)
eval duration:        3m13.776s
eval rate:            8.87 tokens/s
>>> /bye
```

できました。一部怪しいところもありますが、何もせずとも日本語での出力になっていますね。