SakanaAIの最新研究からAGIまでの道筋を考える


# はじめに

SakanaAIは**自然界から着想を得たアプローチ**でAIの進化を追求している、日本発のAI研究機関です。
特に大規模言語モデル（LLM）の**能力拡張**と**自動設計**に力を入れており、過去1年ほど（2024年～2025年初頭）の間に次々と画期的な研究成果を公表してきました。

個人的に、AIが人間と同じ振る舞いをするためには、

- AI の **学習フェーズ** と **推論フェーズ** が同時にできる
- 人間のような柔軟な **記憶** と **忘却** の実装

が必要だと考えています。
SakanaAI の研究を見ていると、時間の問題でそれらが達成されるのではないか、と期待しています。

本記事では、以下の表にまとめた主な研究プロジェクトを中心に、**技術的詳細**・**応用事例**・**市場への影響**・**将来の展望**を解説します。

また、これらの研究から、今後の AI の進歩の方向性、**AGI（汎用人工知能）** までの道筋を考えてみます。


| **研究プロジェクト（発表時期）**                   | **技術概要・革新点**                                                             | **応用例・影響**                                      |
|---------------------------------------------|----------------------------------------------------------------------------|------------------------------------------------|
| **進化的モデル統合**<br>Evolutionary Model Merge<br>*（2024年3月・2025年1月更新）* | 進化アルゴリズムで**複数のLLMモデルを合成**し、新たな基盤モデルを自動生成。<br>異種領域のモデル結合による新能力の創出。 | オープンソースで実装が進み、モデル開発の**民主化・効率化**を実現。                      |
| **LLMによる目的関数の発見**<br>DiscoPOP<br>*（2024年6月）* | LLM自身が**新しい学習アルゴリズム（損失関数）を提案・検証**。<br>自己参照型プロセスで高性能な最適化手法を自動発見。 | 強力な新損失関数を発見（既存手法を上回る性能）。<br>**AI研究の自動化**を推進。               |
| **AI Scientist**<br>（AI研究の自動化）<br>*（2024年8月）* | **研究プロセス全体を自動化**する初の総合システム。<br>論文執筆や査読までAIエージェントが担う。             | **1論文あたり約15ドル**の低コストで新規性ある論文を生成。<br>研究開発**民主化**への道を開く。     |
| **CycleQD**<br>（LLMの群知能進化）<br>*（2024年12月）* | **品質と多様性（QD）に基づく進化**で、小型LLMエージェント群を育成。<br>モデル合成を交叉や突然変異に見立て多様な能力を獲得。 | 各8Bパラメータの小モデル群が**高難度タスク**で高性能。<br>**巨大モデルに頼らない**持続可能な進化策として注目。         |
| **NAMM (Neural Attention Memory Model)**<br>（トランスフォーマーの進化的記憶）<br>*（2024年12月）* | Transformerに **選択的「記憶」と「忘却」** を付与。<br>進化的最適化で非微分可能な記憶操作を学習。           | 長文コンテキスト処理の**性能と効率**を大幅向上。<br>学習済みメモリは他のモデルや領域にも**再学習なし**で転用可。    |
| **Transformer²**<br>（自己適応型LLM）<br>*（2025年1月）* | **推論時にモデル内部の重みを動的調整**するフレームワーク。<br>SVDとRLを活用し、タスク毎に最適な重みを即時選択。        | 追加学習不要で**多領域に柔軟対応**。<br>企業が持つ固有データを活かし、**パーソナライズAI**を実現へ。            |

```mermaid
graph TB
    subgraph 2024前半
    A[Evolutionary Model Merge<br>モデル合成] --> B[DiscoPOP<br>学習アルゴリズム発見]
    end
    
    subgraph 2024後半
    B --> C[AI Scientist<br>研究自動化]
    end
    
    subgraph 2024年末
    C --> D[CycleQD<br>群知能進化]
    C --> E[NAMM<br>記憶システム]
    end
    
    subgraph 2025年初頭
    D --> F[Transformer²<br>自己適応型LLM]
    E --> F
    end
    
    style A fill:#E4E0E1,stroke:#493628,color:#333
    style B fill:#D6C0B3,stroke:#493628,color:#333
    style C fill:#C5A890,stroke:#493628,color:#333
    style D fill:#AB886D,stroke:#493628,color:#FFF6DA
    style E fill:#8A6F57,stroke:#493628,color:#FFF6DA
    style F fill:#493628,stroke:#E4E0E1,color:#FFF6DA
```

まずは、各研究について簡単に解説していきます。

---

# 1. 進化的モデル統合: Evolutionary Model Merge

**ポイント:**  
- 進化アルゴリズムで**複数の既存モデル**（LLMや視覚モデルなど）を合成  
- 全く追加学習を行わなくても**新たな有用モデル**が得られる  
- **異分野モデルの結合**で人間の直感を超えた高性能モデルが誕生  

### 技術概要
Hugging Face上に存在する膨大なモデルを対象に、**遺伝的アルゴリズム**を用いて最適な「マージレシピ」を探索します。
交叉（複数モデルの線形結合）や突然変異（結合手法のパラメータ変更）を繰り返し、**下流タスク性能**を適合度として評価。
適合度の高い結合モデルを選抜・改良していくことで、人手を介さず自動的に**高性能かつ多分野対応**のモデルを生成します。  

実際にこの手法で作られた7Bパラメータの日本語数学LLMは、**当時の日本語70Bモデルを凌駕**する性能を示しました。
また、異なるモーダル（画像と言語など）のモデル結合からも**意外な高性能モデル**が得られたことが報告されています。

### 応用と影響

- **オープンソース化**が進んでおり、MergeKitやOptuna Hubなどのフレームワークで実装可能。  
- 多数の**専門特化モデル**（ニッチ領域向け高性能モデル）が、コミュニティ主導で生み出されるように。  
- **Nature Machine Intelligence**や**ICLR**など主要学会で注目され、**進化的手法**によるモデル開発が盛り上がる契機に。  

---

# 2. LLMによる新しい目的関数の発見: DiscoPOP

**ポイント:**  
- **LLM自身が学習アルゴリズムを発明**し、性能を検証する「自己参照型ループ」  
- 人間の経験や直感に頼らない**自動探索**で、新損失関数（DiscoPOP）を創出  
- 既存の強化学習ベース手法を上回る**高い最適化性能**を確認  

### 技術概要

大規模言語モデル(LLM)に「現在試した目的関数の結果」を入力し、**より良い目的関数のアイデア**を生成させます。
LLMはコードを書き換え、提案した損失関数を実際にモデルへ適用・評価。結果の良し悪しに応じて次のアイデアをさらに改良…という**反復プロセス**により、**自律的に探索**を進めます。  

特に「対話型AIの嗜好最適化（Preference Optimization）」分野で従来のDPOを超える性能を実現し、人間には思いつかない**意外な特徴**をもつ最適化手法を発見しました。

### 応用と影響

- **AI研究の自動化**をさらに後押し。研究者の試行錯誤をAIが肩代わりすることで開発効率が向上。  
- 発見された損失関数やコードは公開されており、他の強化学習・微調整分野への応用も期待。  
- 今後、**AIが自ら学習法を改良し続ける**「自己改良ループ」が実現する可能性を示唆。  

---

# 3. AI研究の自動化: The AI Scientist

**ポイント:**  
- **研究開発のライフサイクル**（アイデア創出 → 実験・検証 → 結果分析 → 論文執筆 → 査読）を**全自動化**  
- **複数エージェント**が役割分担して人間研究者のプロセスを模倣  
- **1論文あたり約15ドル**の計算コストで学術的に新規性ある研究を生み出す  

### 仕組み
- **研究アイデア生成:**  あるLLMが未解決問題の抽出や新規手法の着想を提案  
- **コード記述＆実験:**  別のエージェントが実験コードを自動生成して実行  
- **結果分析＆論文執筆:**  実験結果を解析し、**自動で学術論文を作成**  
- **査読:**  さらに別のAIエージェントが**ピアレビュー**を行い、問題点があれば修正をフィードバック  

このように、AI同士の**協調によって研究が完結**する仕組みです。
拡散モデルやTransformerの新手法、学習現象「grokking」の解明など、多分野の論文が実演的に生成されました。

### 応用と影響

- **機械学習分野以外**（製薬・材料・金融など）の研究にも適用可能。  
- 研究の**民主化**：大規模リソースや専門知識がなくても先端研究を自動生成できる潜在力。  
- **研究倫理**や**品質**の問題は残るものの、**「AIが自ら論文を書く」** という未来が現実化し始めている。  

---

# 4. LLMの群集的進化: CycleQD

**ポイント:**  
- 単一の巨大モデルではなく、**複数の小モデルが協調**して多様なタスクを網羅  
- **品質(Quality)と多様性(Diversity)** を同時に重視する進化計算手法をLLMに応用  
- 8Bパラメータ程度の小型モデル群が**大規模モデルに匹敵**する性能を発揮  

### 技術概要
1. まずはコード生成・数学・データベース操作など**専門スキル**を持つLLMを複数用意  
2. **モデルマージ**（線形結合）や**SVD変異**（重み行列を部分的に改変）による交配を実施  
3. **世代交代**を繰り返し、各モデルがそれぞれの「ニッチ（得意分野）」で性能を高めるよう選抜  
4. 評価指標（コード能力・数学能力など）をサイクル的に切り替え、群全体の**バランス良い進化**を誘導  

最終的に、複数モデルが**専門を活かし合う集団知能**を形成します。
巨大モデルを1本作るより、**計算資源を節約**しながら多様なタスクに対応できる点が強みです。

### 応用と影響

- **専門特化AIの分散協調**：企業内の異なる業務領域（経理・法務・開発など）に特化したモデル群を進化させることで、**業務全般をカバー**できる。  
- 学術的にも**ICLR 2025**での発表が決定するなど、高く評価されている。  
- **生態系的アプローチ**として、今後の**持続可能なAIモデル開発**の新潮流になる可能性。  

---

# 5. 進化する記憶システム: NAMM (Neural Attention Memory Model)

**ポイント:**  
- Transformerに **「選択的な記憶と忘却」** を付与する新手法  
- Attention 機構を使って**重要情報だけを長期記憶**し、不要情報は破棄  
- 進化的最適化により、**非微分可能な忘却操作**を学習  

### 技術概要

- Transformerの **Attention重み** から特徴量を抽出  
- それを入力に、トークンを「記憶すべきか」「忘却すべきか」二値判定する**NAMM**（小型ネットワーク）を動作  
- 「忘れる」という操作は**微分不可能**なので、**遺伝的アルゴリズム**でNAMMのパラメータを最適化  
- この結果、**冗長な情報を捨てて重要情報に集中**するため、長文や長期タスクでも高精度かつ効率的なモデルを実現  

さらに学習済みのNAMMは、**Attention行列という共通フォーマット**を利用するため、他のモデルや言語以外の分野（画像・強化学習など）にも**再学習なし**で移植可能と報告されています。

### 応用と影響
- チャットボット等が長い会話履歴を扱う際、**必要な情報だけ保持**して推論コストを削減  
- 文書要約やストリームデータ解析など、**大規模コンテキスト処理**におけるメモリ負荷を軽減  
- **ドキュメント要約・長文ベンチマーク（ChouBun）** のような評価タスクでも高い性能を発揮  
- 「忘れることで賢くなるAI」という**新しいパラダイム**を提案  

---

# 6. 推論時の自己適応: Transformer²

**ポイント:**  

- **追加学習なし**で入力タスクに合わせ**リアルタイムにモデル内部を調整**  
- SVDで事前に抽出した**複数の潜在スキル成分**を、強化学習したベクトル（zベクトル）で組み合わせ  
- LoRAなど従来の微調整より**高性能・低パラメータ**で多様なタスクに対応  

### 技術概要

1. モデルの重み行列をSVD分解し、「数学能力」「言語理解」「コーディング能力」等に対応する**スキル成分**を抽出  
2. タスク毎に「どの成分をどれだけ使うか」を表す**zベクトル**を学習（強化学習を活用）  
3. **推論時**に入力を見て最適なzベクトルを選択 or 合成し、**オンザフライで内部重みを調整**  
4. これにより、新しい指示やドメインに対しても**即座に最適化**して回答  

1つのLLMが多領域に対応できるため、企業の個別タスクやパーソナライズされた問い合わせに対しても、**微調整なしで瞬時に切り替え**可能。
さらに学習済みzベクトルを**他の類似モデルへ移植**する実験でも一定の効果が確認されており、将来は**モデル間で知識を融通**できるかもしれません。

### 応用と影響

- 企業内の機密データや特化要件に対応する際、クラウドへ再学習を依頼せず**ローカルで調整可能**  
- 1つのモデルで多様なタスクを高速処理できるため、**運用コスト削減**・**システム統合**にも寄与  
- 「AIが状況に応じて**自ら変身**する」可能性を広げ、**高度な汎用AI**へのステップとなる  

---

# 研究群を結ぶストーリーと市場への影響

### 研究の流れ
SakanaAIの研究は「**AIがAIを進化させる**」ことを主軸に、以下のような流れで**段階的に高度化**してきました。

1. **モデルの融合と進化（2024前半）**  
   - 複数の既存モデルを合成し、予想外の高性能モデルを生み出す（Evolutionary Model Merge）  
   - LLM自身に新しい訓練アルゴリズムを考案させる（DiscoPOP）  

2. **研究プロセスへの拡張（2024後半）**  
   - AI Scientistで**研究開発そのものを自動化**し、多エージェントが協働して新規性ある論文を連続生成  

3. **効率と専門性の追求（2024年末）**  
   - CycleQDで**小型モデル群の進化的協調**を提案し、巨大モデル依存からの脱却を図る  
   - NAMMで**選択的記憶**を導入し、長文コンテキストに強いTransformerを実現  

4. **動的適応と知能の高度化（2025年初頭）**  
   - Transformer²により**推論時に自己変化**するモデルを開発。環境に合わせて柔軟に行動できる「生物的知能」に一歩近づく  

### 市場への波及

- **モデル開発の民主化**: Evolutionary Model MergeやCycleQDの成果により、ビッグテック以外の組織でも**多様で高性能なAI**を作りやすくなった  
- **R&D自動化**: AI ScientistやDiscoPOPは製薬・金融などの**研究開発型産業**に大きな可能性をもたらし、競争力を左右する要因に  
- **コスト削減と高度化**: NAMMやTransformer²が示す**効率的・適応的モデル**は、クラウドリソースや学習時間を減らしながら、ユーザ固有のデータ要求にも即対応できる  
- **汎用人工知能(AGI)への道**: 自律的に自分を改良し続けるAIは、**自己進化型AI**としてAGI実現の鍵になる  

### AIの自己進化サイクル:

```mermaid
graph TD
    A[モデル合成<br>Evolutionary Merge] --> B[学習最適化<br>DiscoPOP]
    B --> C[研究自動化<br>AI Scientist]
    C --> D[専門性進化<br>CycleQD]
    D --> E[記憶管理<br>NAMM]
    E --> F[環境適応<br>Transformer²]
    F --> A
    
    style A fill:#E4E0E1,stroke:#493628,color:#333
    style B fill:#D6C0B3,stroke:#493628,color:#333
    style C fill:#C5A890,stroke:#493628,color:#333
    style B fill:#B4947D,stroke:#493628,color:#333
    style D fill:#AB886D,stroke:#493628,color:#FFF6DA
    style E fill:#96765C,stroke:#493628,color:#FFF6DA
    style F fill:#493628,stroke:#E4E0E1,color:#FFF6DA
```

---

これらの研究の流れから、AIの未来を妄想していきます。

---

# 今後の展望: **自己進化するAI**へ

すべての技術（Evolutionary Model Merge / DiscoPOP / AI Scientist / CycleQD / NAMM / Transformer²）が**1つのメタモデル**に統合されると仮定すると、

- モデルが**自ら研究し、自ら学習法を発明し、モデル内部を常に組み替えながら**進化する  
- あたかも**生命体のように情報を取り込み、不要な部分は忘却し、新しい機能を融合する**  
- これまで以上に「ブラックボックス化」「制御不能」という問題を抱えながらも、**圧倒的な汎用性と自己改良スピード**を得る  

という未来像が浮かび上がります。

それはまさに **“自己増殖するAIのエコシステム”** といえる存在です。
もはや単なる「プログラム」ではなく、**社会的・経済的に大きなインパクトを及ぼす複合体**になるでしょう。

こうしたモデルが本格的に普及すると、

1. **研究やイノベーションのボトルネック**（人間の脳力・人的リソース）が大幅に解消され、  
2. **市場競争の構図**が一変するとともに、  
3. **安全・倫理の担保**が技術的にますます困難になる、  

といった大規模な転換点が訪れる可能性があります。

**AGI（汎用人工知能）の手前**ともいえる状態まで到達したとき、社会がどう受け止めるかはまだ未知数です。
しかし少なくとも、このような“単一モデル”が登場する未来は、すでに技術的には**理論上あり得るシナリオ**として描ける段階に来ているのかもしれません。

---

# まとめ

いかがでしたか？
SakanaAIの研究は、私たちが思い描く**AIの常識を大きく覆す**ものばかりだったと思います。

特に印象的なのは、**AIが自分で自分を改良できる**という考え方です。
まるで生命のように進化し、環境に適応していく。
そんな未来のAIの姿が、徐々に現実味を帯びてきているんです。

これからのAI開発は、DeepSeekが示したように**巨大な計算資源**や**専門知識がなくても**、誰もが参加できる民主的なものになっていくかもしれません。
そんな**希望に満ちた未来**を、SakanaAIは着実に切り拓いているのです。

みなさんも、この革新的な研究の進展を、一緒に見守っていきましょう。

---

# 参考文献
- [Evolving New Foundation Models: Unleashing the Power of Automating Model Development](https://sakana.ai/evolutionary-model-merge/)  
- [Can LLMs invent better ways to train LLMs?](https://sakana.ai/llm-squared/)  
- [The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery](https://sakana.ai/ai-scientist/)  
- [An Evolved Universal Transformer Memory](https://sakana.ai/namm/)  
- [No retraining needed: Sakana's new AI model changes how machines learn (VentureBeat)](https://venturebeat.com/ai/no-retraining-needed-sakanas-new-ai-model-changes-how-machines-learn/)

- [SORACOMの導入事例からIoTの未来を妄想する](https://qiita.com/har1101/items/db31d2c4c97e48de893b)

---
### 会社紹介

**株式会社 Mosaica**  
最先端テクノロジーで社会課題を解決し、持続可能な未来を創造する IT カンパニー。
AI ソリューション、クラウド統合、DX 推進、経営コンサルティングなど包括的なサービスでビジネス変革を支援しています。  

詳しくは [公式サイト](https://mosaica.co.jp/) までお気軽にご相談ください。
公式サイト： https://mosaica.co.jp/