ABEJA-Qwen2.5-32b-Japanese-v0.1-AWQ

ABEJA 様が公開されている ABEJA-Qwen2.5-32b-Japanese-v0.1 の AWQ 4bit 量子化版になります。

キャリブレーション用データセットは izumi-lab/wikipedia-ja-20230720 を使用しました。
※TFMC/imatrix-dataset-for-japanese-llm ではございません。

量子化の設定

quant_config = {
  "zero_point": True,
  "q_group_size": 128,
  "w_bit": 4,
  "version": "GEMM"
}

私が使用しているシステムプロンプト

あなたはとても賢いAIアシスタントです。

使用しているハイパーパラメータ

params = {
  "temperature": 0.6,
  "frequency_penalty": 1.2
}

サンプル

user:

# 指示
以下の文章を重要な点を踏まえて分かりやすく要約してください。

# 文章
メタ、DeepSeekのために「ウォールーム」を設置
メタは、業界のリーダーであるChatGPTをわずかなコストで上回り、市場のダイナミクスを混乱させ、AI分野における市場の動揺やテック大手間の競争の再燃を含む大きな変化を引き起こしたDeepSeekの画期的なR1モデルを分析するために、4つの専門的な「戦略室」を設置したと報じられています。

メタの戦略的対応
メタの「ウォールーム」戦略は、DeepSeekのAIブレークスルーに対する同社の迅速な対応を示しています。4つの専任チームが以下の具体的な目標に取り組んでいます：
AI開発とトレーニングにおけるDeepSeekのコスト削減技術の分析12
DeepSeekのモデルをトレーニングするために使用されたデータソースの調査2
中国のAI技術と競争するためのLlamaアーキテクチャの再設計の可能性を探る3
得られた洞察を活用して、特に次期Llama 4を含むメタ独自のAI製品を改善する12
この戦略的アプローチは、AI分野で競争力を維持するというメタのコミットメントを強調しており、特にコスト効率とパフォーマンス最適化に焦点を当てています4。同社の積極的な姿勢は、テクノロジー業界におけるAIイノベーションの重要性が高まっていること、そして予期しないソースからの破壊的な進展の可能性を反映しています

DeepSeekのR1モデルのブレークスルー
DeepSeekのR1モデルは、業界のリーダーであるChatGPTのような存在を凌駕しながら、コストの一部で動作するという驚異的な能力を示しました12。この中国のスタートアップ企業のAIチャットボットアプリは急速に注目を集め、ChatGPTを追い越してAppleのApp Storeでトップの無料アプリとなりました34。この突然の成功は、小規模なAI企業がテックジャイアントと競争できないという認識を打ち砕き、OpenAIのCEOであるサム・アルトマンが「絶望的」と述べたそのような競争が誤りであることを証明しました5。DeepSeekのブレークスルーは、よりコスト効率が高く効率的なAI開発の可能性を浮き彫りにし、AI技術の広範な普及を加速させる可能性を秘めています。

assistant:

メタは、DeepSeekのR1モデルという低コストで高パフォーマンスのAIチャットボットが業界をリードするChatGPTを上回る成功を受けて、4つの専門チーム「ウォールーム」を設置しました。これらのチームは、DeepSeekのコスト効率の高い技術の分析、データソースの調査、Llamaアーキテクチャの再設計の可能性を探し、メタのAI製品改善に活用することを目指しています。この戦略は、メタがAI分野での競争力を維持し、急速に変化する市場に対応する意図を示しています。DeepSeekの成功は、小規模企業でも大手テック企業と競争できる可能性を示し、AI技術の進展と普及の新たな道を切り開く可能性があります。

---

user:

# 指示
以下の文章を日本語訳してください。

# 文章
Iwate Prefecture held an event to promote its foodstuffs in New York on Monday, serving specialties from the northeastern Japan prefecture to people in the food and restaurant industry.
Dishes including "wanko soba" noodles and box-pressed sushi made from Iwate's "Ginga no Shizuku" rice and Iwate beef were served up, along with sake.
Kosuke Kuji, 52, chairman of an association of sake makers in Iwate Prefecture, is keen to expand sales channels, saying that more people are drinking sake since sake brewing became more widely known in the United States.
Christopher Gomez, who works at a sushi restaurant, said that the beef he tried at the event was "smooth" and had an umami flavor.
Gomez, 39, showed an interest in sake from Kikunotsukasa brewery in the town of Shizukuishi in Iwate. He wants to offer it at the restaurant, opining that it will likely go well with scallops and squid.

assistant:

岩手県は月曜日、ニューヨークで地元の食品を紹介するイベントを開催し、東北地方の岩手県の特産品を食業界やレストラン業界の人々に提供しました。提供された料理には、「わんこそば」や岩手県の「銀河の雫」米と岩手牛を使用した箱押し寿司、そして日本酒がありました。

岩手県酒造組合の会長を務める52歳の久慈幸介さんは、日本酒の醸造がアメリカで広く知られるようになり、日本酒を飲む人が増えていることから、販売チャネルの拡大に意欲的です。

寿司店で働いているクリストファー・ゴメスさん（39歳）は、イベントで試した岩手牛が「滑らかで、旨味がある」と述べました。また、岩手県水沢町の菊の蔵酒造所の日本酒にも興味を持ち、店で提供したいと考えており、ホタテやイカとの相性が良さそうだとしています。