名前がユニークなLLM

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/986141/c0cae121-9d2e-4a0b-b6b5-830252e45414.png)

Meta 社の [**Llama**](https://www.llama.com/) のように LLM はネーミングも面白いものが多いです。
この記事ではそんなユニークな名前のLLMを3つ紹介します。

[1. SNOOPI](##SNOOPI)
[2. Jurassic](##Jurassic)
[3. ChatHaruhi](##ChatHaruhi)


## SNOOPI
### SNOOPI: Supercharged One-step Diffusion Distillation with Proper Guidance

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/986141/5a39e4e5-9181-b0ee-ccbf-b5a041927b10.png)

SNOOPI はより高性能な拡散モデルをつくる方法で、**Proper Guidance- SwiftBrush (PG-SB)** と **NASA (Negative-Away Steer Attention)** という2つの手法を組み合わせています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/986141/18c58d9f-2c0c-4e29-73e0-ed46e8a26b90.png)

2つの方法の特徴は以下の通り。

:::note
1. **PG-SB: 安定性の向上**
教師モデルのガイダンススケールをランダムに変動させることで、出力分布を広げます。
これにより、Variational Score Distillation (VSD) 損失の頑健性が向上し、マルチステップの拡散モデルで課題だった、異なるバックボーンでの安定性の確保が可能になります。


2. **NASA: ネガティブプロンプト対応**
クロスアテンションを活用し、ネガティブプロンプトを反映する訓練の不要な手法です。望まない要素を生成画像から抑制することが可能になります。
:::

なお SNOOPI は論文のタイトル通り、**S**upercharged **O**ne-step diffusi**O**n distillati**O**n with **P**roper gu**I**dance から来ている。かなり無理がある...。

## Jurassic
### MRKL Systems

実はこの **Jurassic** ですが、`Jurassic-2`というモデルが2024年11月14日を持って[終了しました](https://docs.ai21.com/docs/jurassic-2-models)。今は [**Jamba**](https://docs.ai21.com/docs/jamba-15-models) というモデルに引き継がれており、**Jamba** は世界初の量産グレードの **Mamba** ベースのモデルと言われています。**Mamba** はアーキテクチャの名称で Attention ブロックや MLP(多重パーセプトロン) ブロックを持たないシンプルなアーキテクチャです。ちなみにマンバという蛇から来ています。

さて、**Jurassic** はイスラエルの [AI21 Labs](https://www.ai21.com/) が開発したLLMで、スペイン語、フランス語、ポルトガル語、イタリア語、オランダ語、ドイツ語に対応しており、Jambaと共にAWSのBedrockでも提供されています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/986141/78938e0f-a525-8727-dc64-10b9c63b568e.png)

::: note alert
Regionは北米などに限ります
:::

論文が出たのは2022年で、ナレッジと推論の個別モジュールを組み合わせた複数のモデルを持つ柔軟なアーキテクチャが特徴的でこれをMRKL(Modular Reasoning, Knowledge and Language)、「ミラクル」という名前を付けました。

## ChatHaruhi
### ChatHaruhi: Reviving Anime Character in Reality via Large Language Model
よりキャラクターとの会話の再現度を上げるために、**ChatHaruhi**というデータセットを構築し、キャラクターとの模擬対話を行います。キャラクターの設定を記述したシステムプロンプトと、脚本から抽出したキャラクターの文脈情報をモデルに与えることで、キャラクターの自然な会話を生成できるようにしています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/986141/9e0e0d92-9ef3-e651-ba82-9d1888b891af.png)

開発者の愛が伝わるリポジトリです。

https://github.com/LC1332/Chat-Haruhi-Suzumiya/tree/main

私も過去に海馬社長のボットをつくりましたが、文脈によってはキャラクターが崩壊することがあり、頑健なモデルをプロンプトのみでつくることは難しいと感じました。

https://qiita.com/yutowac/items/102d119ab583a8ab930c

こちらのデヴィ夫人ボットぐらいプロンプトにこだわる必要がありますね。


<iframe width="560" height="315" src="https://www.youtube.com/embed/7daXDLOc7sY?si=kQxyffAx9oHtiWDU" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>

## 参考
### 各arXiv論文はこちらです。

- SNOOPI: Supercharged One-step Diffusion Distillation with Proper Guidance

https://arxiv.org/abs/2412.02687

- MRKL Systems

https://arxiv.org/pdf/2205.00445

- ChatHaruhi: Reviving Anime Character in Reality via Large Language Model

https://arxiv.org/abs/2308.09597