光インターコネクト

インパッケージ光インターコネクトで新たな生成 AI アーキテクチュアが実現
ウラジミール・ストヤノヴィッチ
情報スーパーハイウェイとも言える「インパッケージ光 I/O」は、AI トラフィッに大きな負荷がかかる。この相互接続クを高速かつ効率的に処理できる。

を、ある場所から別の場所へデータを移動させる高速道路だと想像された2022 年 7 月に「インパッケージ光 I/

者の 79％が日常生活や職場で生成 AI

い。従来のネットワークは単純な路面

O で AI の可能性を最大限に牽引」といをある程度利用していると回答し、22％道路のようなもので、今日の大量のう記事が職場で定期的に利用していると回答

AI トラフィック負荷を高速では移動さしている（図 1 ） 。

せられない。そこで解決策となるのが、を執筆して以来、多大な変化（1）があった。2022 年 11 月に米オープン（3）

AI 社（ OpenAI ）はチャット GPT（ Chat

しかし、次のような落とし穴がある。

AI トラフィックを高速かつ効率的に移GPT）を公開し、それ以来、生成 AI（ジ

誰もが生成 AI に飛びつく中、これら動させ続けられる、いわばスーパーハェネレーティブ AI ）はテクノロジーとのモデルをトレーニングし、クエリーイウェイとも言える「インパッケージビジネスの分野で注目されている。組をすべて処理するには、GPU、TPU、光 I/O 」だ。

織が AI で課題を解決し、世界を再構

ASIC などの高性能なハードウエアと、これらの相互接続は、生成 AI モデ築できる可能性が明確になるにつれ、大容量のメモリやストレージが必要にルのパフォーマンスを決定する上で重AI は人々の関心を集めている。

なる。さらに、テクノロジーのデータ要な役割を果たしている。モデルの処

最近の調査でもこの傾向を裏付けて処理への飽くなき欲求は増大し続けて理速度、効率性、スケーラビリティ、いる。例えば、2023 年 7 月に米ベンチいる。AI のデータ渇望を満たすために変化する需要やユーザーニーズに適応ャー・ビート社（ VentureBeat ）が実施は、効率的なデータ転送とリソースのする能力に直接影響する。では、生成した調査では、組織の 55％が自社の割り当てを維持することが鍵となる。

AI アーキテクチュアの世界に飛び込ニーズに合うかどうかを確認するため

生成 AI の場合、大規模なモデルをみ、それらがもたらすネットワーキンに、小規模ながら生成 AI を試行して使用するため、多数の GPU を 1 つの巨

グの課題、従来の相互接続技術の限界、いることが判明した。また、2023

大な GPU として機能させる必要があ

インパッケージ光 I/O のそういった課

年 8 月に米マッキンゼー社（McKinsey）る。このため、GPU 間の相互接続には、題への対処方法について、さらに深くが実施したグローバル調査では、回答従来のネットワークで処理できる以上考察していく。

（2）

業界別 生成AIツールの利用状況報告（回答者の割合）
仕事で定期的に利用
少なくとも一度は試したことがある

仕事でも仕事以外でも定期的に利用利用したことはない

仕事以外で定期的に利用わからない

先進産業
ビジネス、法律、専門サービス

生成 AI 拡大の課題への対応
大規模言語モデル（ LLM ）は、大規模なデータセットを使用してテキストを認識、要約、翻訳、予測、生成できる深層学習アルゴリズムである。LLM

消費財小売は生成 AI の中核を成し、急速なペーエネルギーおよび素材スで成長し続けている。LLM は言語金融サービス

構文を認識することに優れており、検医療、製薬、医療製品
テクノロジー、メディア、通信
出典：マッキンゼー社による「AIに関するグローバル調査」（あらゆる組織階層から回答者1684人、2023年4月11日〜25日に実施）

図１

業界別 生成 AI ツールの利用状況

242024.5 Laser Focus World Japan

索や視覚技術など他のアプリケーションの基盤となっている（図 2 ）。
DECODER の最近のレポートによると、オープン AI 社の最新の GPT-4 言

信には、GPU 間で低テイテンシかつ高AIとメモリウォール

パラメータ数
〔10億〕

10000
1000

帯域幅の相互接続が必要になる。この10TB Baidu RecSys

Transformerサイズ： 2年ごとに410倍AI用ハードウエアメモリ： 2年ごとに2倍ような接続により、多数のラック間でSwitch Transformer
GShardMegatron-Turing

高速かつ効率的にデータ転送が可能に

GPT-3

100
101

V100 (32GB)
TPUv3 (32GB)
P100 (12GB)
TPUv2 (16GB)

Microsoft T-NLG
A100-80 (80GB)
Megatron LM
GPT-2

なるのだ。

H100 (80GB)

A100 (40GB)

低レイテンシ自体も重要だが、シス

BERT

テム内の GPU 台数を増加させるのとGPT-1
0.1 Inception V4 ResNext101 Transformer
DenseNetResNet50

0.01

2016

2017

2018

2019

2020

2021

同様に、レイテンシを均一にすること2022も重要だ。レイテンシが均一でない場

年

図２ SOTA（最先端）モデルのパラメータ数の経年進化と AI アクセラレーターのメモリ容量（緑色の点）。大規模なトランスフォーマー（ Transformer ）モデルのパラメータ数は 2 年ごとに 410 倍の割合で指数関数的に増加しているが、単一の GPU メモリは 2 年ごとに 2 倍の割合でしか増大していない（画像提供：https://medium.com/riselab/ai-and-memory-wall-2cb4265cb0b8 ）合、一部の GPU が通信のボトルネックになったり、他の GPU が効率的に動作しているのにアイドル状態になったりすることで、システムのスケーラ語モデルは合計 1 兆 7600 億個のパラメ論は最も一般的なタスクであり、これビリティが制限される。システム全体ータを有しており、同モデルはそれぞらの制限下では、最大 1 万台× 10 またでレイテンシを均一に維持することれ 2200 億個のパラメータを有する 8 つは 1000 台× 100 の GPU 推論システム

は、スケーラビリティと効率性の両面のモデルで構成されている、と報告さが利用可能だ。一方、ファインチューで極めて重要であり、最終的にはソフれている。比較してみると、2020 年

ニングには、1 システムあたり 100 台

トウエアやプログラミングモデルの性の GPT-3 のパラメータは 1750 億個であから 1000 台の GPU が必要である。そ能を左右することになるのだ。

るが、2019 年の GPT-2 のパラメータはの結果、10 万台の GPU の占有面積内

このようなパフォーマンスの課題のわずか 15 億 4000 万個であった。パラに収められるシステム数に限界が生じ根底には、GPT-3 などの AI モデルをメータ数が増加し続けるにつれて、高る。生成 AI アーキテクチュアの計算要

トレーニングする際に、1.287GWh のスループットがますます重要になる。こ

件としては、さまざまなタスクへさらエネルギーを消費し、552 トンの CO2

れは、ノードを追加するか、各ノードに柔軟にリソースを割り当てるためにを排出するという事実があり（図 3 ）、の速度を上げることで実現可能だ。

ディスアグリゲーション（分割）が必要

その費用は約 19 万 3000 ドルにも上る。

この規模の生成 AI モデルは、大量のとされている。つまり、システムが必従って、このような LLM の高速コンリソースを必要とする。推論には数十要に応じて GPU を動的に割り当てる

ピューティング・アーキテクチュアのエ

台の GPU、ファインチューニング（微調ことが可能になる、ということだ。

ネルギー要件をどのように管理するか（4）整）には数百台の GPU、トレーニングにこのようなシステム機能するためには数千台の GPU が必要だ。モデルの大は、生成 AI システム全体における通が問題となる。
米エヌビディア社（ NVIDIA ）の創業

規模化と複雑化が加速するにつれて、GPU の必要台数はさらに急増加し、ますます効率性が要求されるだろう。
データセンター事業者は、規模や電アクセラレーター年数

エネルギー消費量
（MWh）

1500

正味CO2e排出量（メートルトン）

1,287

力面で限界があるため、戦略的に検討しなければならない。100MW のデー

1000

タセンターを例に挙げよう。GPU の台数は限られている（ GPU1 台あたり約 1552500
232キロワットと仮定すると、1 データセ
ンターあたりおよそ 10 万台）ため、その GPU が担うべき特定のタスクに応じて、運用上の決定が左右される。推405
84096

Meena
(TPUv3)288647

T6 (TPUv3)

9 24 476179

59

GTP - 3

Gshard-600b

Switch(V100)(TPUv3)

Transformer

図３ 5種類の大規模自然言語処理（ NLP ）ディープ・ニューラル・ネットワーク（ DNN ）のアクセラレーターの稼働年数、エネルギー
消 費 量、CO2e 排 出量（ 画 像 提 供：
https://arxiv.org/ftp/arxiv/papers/
2104/2104.10
350.pdf ）(TPUv3)

Laser Focus World Japan 2024.5

25

光インターコネクト

図４ プラグ着脱可能な光学系の消費電力

プラグ着脱可能な光学系の消費電力
3025

込まれる 200G リンクにおいてさえ、単一のシャシー内でしか機能しない。接2015

続性の要求がシャシーを超えてクロス電気GPU

10ラック規模に、さらにはマルチラック規プラグ着脱可能な光学系

50

現在の 100G リンク、さらには今後見模に拡大するにつれてプラグ着脱可能

光I/O
プラグ着脱可能な光学系の総消費電力＝30pJ/b

光I/Oの総消費電力＝5pJ/bな光接続が不可欠となってくる。
つまり、すべての GPU から他のすべて者 兼 CEOであるジェンセン・フアン氏

く、データセンターであると指摘した。のデバイスでシステム全体における通（Jensen Huang）
は、COMPUTEX 2023

彼は効率性について言及していたが、信を試行する場合、従来の相互接続は、の基調講演にてこの課題について言及相互接続の必要性も強調している。

ラック内の電気的相互接続とクロスラした。フアン氏の指摘によると、例（6）相互接続の帯域幅密度とスケーラビリティのハードルを乗り越えてえ ば 1000 万 ド ル あ れ ば、960 台 のCPU サーバ を 購 入 で き る が、1 台 のLLM をトレーニングするには 11GWhックのプラグ着脱可能な光接続で構成されていた。
しかし、ここで本質的な問題に目を向ける必要がある。システムが大規模ものエネルギーが必要となる。一方、組織は現在、従来の相互接続による化するにつれ、システムファブリック

同じ 1000 万ドルで 48 台の GPU サーバ

システム上で、プラグ着脱可能な光学を介 し、 ある GPU から別 の GPU へ、を購入すると、わずか 3.2GWh のエネ系を組み込んだ電気的 I/O を使用してさらに多大な高帯域幅の接続を構築しルギーで 44 台もの LLM をトレーニン生成AIタスクを実行している。しかし、なければならない。一方、従来の相互グできるのだ。言い換えると、40 万ド

この接続技術ではレイテンシと帯域幅接続では、プラグ着脱可能な光学系がルで 2 台の GPU サーバを購入すると、のボトルネックが発生し、実用的かつ消費するエネルギーと物理的な占有面

1 台の LLM をトレーニングするのに必効率的な次世代の生成 AI タスクを実積が膨大であるため、そのような接続要なエネルギーはわずか 0.13GWh だ。

現できなくなる。そのため、このようは実現的ではない。生成 AI の高速性

つまり、GPU は、同じトレーニング性な相互接続ソリューションは時代遅れとニーズを十分に満たすまでには、効能に対してコスト効率が 25 倍、エネになりつつある。

率的に拡大させるのは困難なのだ。

電気的相互接続において、距離はいまた、プラグ着脱可能な GPU 間の興味深いことに、フアン氏は、GPUわばアキレス腱のようなものである。

リンクは 1 ビットあたり 30 ピコジュー

サーバはもはやコンピューターではな

距離が長くなるほど信号劣化が発生し、ル（ pJ/b ）を消費するため、プラグ着ルギー効率が 85 倍も優れている。

脱可能な GPU にとって電力消費が弊害となる。一方、パッケージに直接接ハードウエアのピークFLOPSとメモリ／相互接続の帯域幅の規模の拡大

続するインパッケージ光 I/O ソリュー

正規化スケーリング

1000000

ション（これについては別途詳述する）の場合、消費電力はわずか 5pJ/b 未満

10000だ。しかしそれには費用面の課題もある。現在のプラグ着脱可能な GPU の100コストは、1Gbit 毎秒につき 1 ～ 2 ドル程度もかかり、生成 A の費用対効果

10.01
1996

を高めるには、およそ 10 分の 1 にコストを削減する必要がある（図 4 ）。
1999

2002

2005

2008

2011

2014

2017

2020

2023

図 5 さまざまな世代製品の相互接続およびメモリの帯域幅と、スケーリングと、ピーク FLOPSの規模の拡大。本図に見られるように、帯域幅は非常にゆっくりと増加している（画像提供：
https://medium.com/riselab/ai-and-memory-wall-2cb4265cb0b8 ）262024.5 Laser Focus World Japan

もう1 つの欠点は、プラグ着脱可能な光学系が大型であることだ。そのエッジ帯域幅密度はインパッケージ光 I/OGen（世代）＝アヤール・ラボ社製 TeraPHY 光 I/O チップレットの世代 * は現在の製品世代を示す
I/F ＝インタフェース
Mod ＝モジュール
電気インタフェース（先端パッケージ）

Gen
I/F

Mod

光インタフェース
（ CW-WDM ）ステムにもたらす影響は革新的であり、注目に値する。過去 20 年間にピークFLOPS（演算性能）が 6 万倍に急増したのに対し、オフパッケージ相互接続のデータ速度［1光送受信I/O あI/O 数たりのGbit 毎秒］

オフパッケージ オフパッ
データ 光チップ
光 I/O 帯域幅
ケージ基
1 ポー
レット帯速度［1（ 1 パッケージあ数
トあた域幅
ポー
波長あたり 4 ～ 8 チッ （ポートりの波（送受信）
ト数たりのプレット）数）
長Gbit 毎［λ ］数秒］

していない。生成 AI の性能を引き出す

続の帯域幅におけるボトルネックの課

1AIB

2420/2028816

2 Tbps

8-16 Tbps

32-642*AIB

1680/80

288324 Tbps

16-32 Tbps

32-643UCIe

1632/328816328 Tbps

32-65 Tbps

32-64

4UCIe

1664/64

816163216 Tbps

65-131 Tbps

64-1285UCIe

1664/64

16161664

32 Tbps131-262 Tbps 64-128

光 I/O チップレットの世代ロードマップ

帯域幅はその間にわずか 30 倍しか増加ために不可欠な、真にスケーラブルな分散システムを実現するには、相互接題に取り組む必要がある（図 5 ）。
生成 AI は近年、最も破格的な技術開発の 1 つとして台頭しているが、これには十分な理由がある。数々の点において、その使いやすさと多用途性はインターネットの導入に匹敵する。そして今日、多くの組織の将来は、最先のわずか 10 分の1であり、その面積密はまた、パッケージレベルの指標に影端を維持するために、生成 AI を大胆度は 100 分の 1 未満にすぎない。この

響を与え、コンピュートソケット帯域かつ創造的に、新たな方法で組み込むため、GPU からシステムの残りの部分幅の拡大を可能にする性能を有していことにかかっている。

への利用可能な帯域幅が制限され、将る。UCIe、CW-WDM MSA、マイク

残念ながら、従来の相互接続は、生来の高パラメータの生成 AI タスクを実ロリングベースの光 I/O 技術に基づく成 AI アーキテクチュアのニーズに応え行不可能にするボトルネックとなってアーキテクチュアを活用することによるには不十分だ。しかし、インパッケしまう。

り、毎秒 100Tbit 超のオフパッケージ

ージ光I/Oは、高帯域幅、低レイテンシ、つまり、物理的なスペースと消費電光 I/O 帯域幅を利用可能にし、1 パッ

高スループット、エネルギー効率とい力の制約に、スケーラビリティの低さ

ケージあたり最大 128 ポートの接続にう差し迫ったニーズに応える有望なテが相まると、特に生成 AI モデルのニ対応できるのだ（下記の表を参照）。

クノロジーである。最も重要なのは、この高基数とポートあたりの高帯域

光 I/O を導入して、生成 AI のスケー

幅 に、 光 I/O リンクの低レイテンシラビリティを実現し、かつてない規模

生成 AI のデータ集約的な側面、つ[10nm 未満＋ ToF（飛行時間）]の効果

で産業を革新する新たな可能性への扉

まり大規模なデータセットとさらに大が加わることで、システム全体を光フを開くことだ。

規模なパラメータセットに対処するにァブリックで接続して設計する場合、は、そのタスクに見合う相互接続が要前例のないレベルの柔軟性が実現す求される。光 I/O の場合、GPU 間で必る。この柔軟性は、生成 AI の将来を要とされる高帯域幅容量を実現でき支える大規模分散コンピューティングる。米アヤール・ラボ社（ Ayar Labs ）システムのファブリックネットワークの光 I/O ソリューションは、高度な光には不可欠である。このような機能に源技術と組み合わせたインパッケージ

より、低く均一なレイテンシと高スル光 I/O チップレットで構成され、毎秒ープットを特徴とする大規模システム4Tbit の双方向帯域幅を実現することのファブリックネットワークが設計可で、この需要に応えられる。

能になり、コンピュートノードを最大ーズに応える場合、プラグ着脱可能な光学系の実装は困難を極める。

しかし、光 I/O の利点は帯域幅の高性能化だけにはとどまらない。光 I/O限に活用した状態を維持できる。
光 I/O 相互接続の高帯域幅が分散シ

参考文献
 ee www.laserfocusworld.com/14278346.
（ 1 ）S（ 2 ）See http://tinyurl.com/yc3vt76h.
（ 3 ）See http://tinyurl.com/2w6wbxez.
（ 4 ）See http://tinyurl.com/4a8wjs2z.
（ 5 ）D. Patterson et al., arXiv:2104.10350v3[cs.LG] （ Apr. 2 3 , 2 0 2 1 ）; https://doi.
org/10.48550/arXiv.2104.10350.
（ 6 ）See https://youtu.be/i-wpzS9ZsCs.
著者紹介
ウラジミール・ストヤノヴィッチ（ VladimirStojanovic ）は、米アヤール・ラボ社（ AyarLabs ）の 最 高 技 術 責 任 者（ CTO ）。e-mail:info@ayarlabs.com https://ayarlabs.com

LFWJ
Laser Focus World Japan 2024.527