2022年2月10日(木)「超低消費電力型光エレクトロニクス実装システム技術開発プロジェクト最終成果報告会」
東京會舘

超低消費電力型光エレクトロニクス実装システム技術開発プロジェクト「システム化技術」～光電子融合サーバボード実装技術の開発～
2022年 2月10日
技術研究組合光電子融合基盤技術研究所
田中 有
超低消費電力型光エレクトロニクス実装システム技術開発 最終成果報告会 (2022年2月10日)

1Copyright2022 PETRA
1

10Tbps伝送を実現する光電子集積インターポーザ◼ 構造の特長◼ シリフォトとガラス基板を用いた光電子集積インターポーザ構造◼ 10Tbps伝送に向けたフィジビリティ◼ Lane speed : 112 Gbps/lane◼ 波長多重：16波長

Power & control board
CPU package◼ サーバシステムへ実装可能な構造であることが重要→ スパコン試作システムへの実装

6 x EIC/PIC

LGA socket
Server board

CPU/メモリチップ
シリコンフォトニクス光I/Oチップ（112Gbps×16λ）

HBM
HBM

CPU/GPU

HBM
HBM

HBMCPU/GPU

HBM
HBM

ガラス基板光電子集積インターポーザ（112Gbps電気伝送）

HBM

超低消費電力型光エレクトロニクス実装システム技術開発 最終成果報告会 (2022年2月10日)

22

Copyright 2022 PETRA

スーパーコンピュータ 28年の性能推移
スーパーコンピュータ「富岳」© RIKEN

1EF

1.E+09

K computer

1.E+08100PF

442,010,000

1.E+0710PF
NWT: Numerical Wind Tunnel
Developed with NAL

1.E+061PF
1.E+05
100TF
1.E+0410TFⒸ JAXA

1.E+03
1TF
1.E+02
100GF
1.E+0110GF

60

1.E+00
1GF◼ 28年間で性能は700万倍◼ 大きな伸びを牽引する需要と、それを実現した技術革新◼ 近年は性能の伸びが鈍化、消費電力が課題に

1.E-01
100MF

https://www.top500.org/
超低消費電力型光エレクトロニクス実装システム技術開発 最終成果報告会 (2022年2月10日)

3

Copyright 2022 PETRA

スーパーコンピュータの更なる高性能化に向けた技術の方向性• チップレット、マルチチップ化– 半導体プロセスが微細化してもコストが下がらない– プロセッサと複数のチップレット（小さいダイ）で構成し、歩留まり改善– ヘテロジーニアス・インテグレーション技術

HBM
CPU/GPU

CPU/GPU

CPU/GPU
CPU/GPU

CPU/GPUマルチチップ構成• 高密度実装による省電力、大容量化– 光モジュールのパッケージへの統合• 光をCPU近傍に設置し、省電力で大容量化を図る• 100Gbps/レーンに向けてCo-Packaged
Optics(CPO), Near Packaged Optics(NPO)の開発/標準化が進む
https://ranovus.com/odincpo-2-0-architecture/

Co-packaged optics
CPUTRxNear-packaged optics
CPU

超低消費電力型光エレクトロニクス実装システム技術開発 最終成果報告会 (2022年2月10日)

https://ayarlabs.com/teraphy/

https://newsroom.intel.com/
news/intel-demonstratesindustry-first-co-packagedoptics-ethernetswitch/#gs.nbp8hw

TRx4

Copyright 2022 PETRA

光電子集積インターポーザを用いた光電子融合サーバボード技術
光電子集積インターポーザ• 既存の有機基板を用いたインターポーザの課題– ＣPU/システム高性能化で実装部品の大型化が進み、反りが増大しマルチチップ実装が困難– 大きい誘電正接、表面粗さによる伝送損失が大きく、高速伝送が困難

HBM

CPU/メモリチップ

HBM

CPU/GPU

HBM• ガラス基板による課題の解決

HBM– 熱膨張率が低く、寸法安定性が高い→ 反りが小さく安定した実装プロセス
CPU近傍へチップを多数搭載した高密度マルチチップ実装– 小さい誘電率と誘電正接 → 非常に小さい誘電損失による高速伝送が可能

HBM

CPU/GPU

HBM
HBM

HBM

シリコンフォトニクス
光I/Oチップ

マルチチップ・高速伝送が可能に• 本プロジェクトの目的ガラス基板光電子集積インターポーザを搭載した光電子融合サーバボードを試作、サーバ試作システムへ実装して高速動作実証を行うⓒRIKEN

CPUボードBoB

シェルフ

超低消費電力型光エレクトロニクス実装システム技術開発 最終成果報告会 (2022年2月10日)

ラック
5

スパコンシステム
Copyright 2022 PETRA

ガラス基板を用いた光電子集積インターポーザ• ガラス基板上に高速光素子、富岳採用CPUをマルチチップ実装– シリフォト光エンジン(光IOコア)を変換基板を介して高密度に実装– ガラス基板はLGAソケットによりサーバボードに接続

シリフォト光エンジン
CPU PKG
Glass Interposer
LGA socket• ガラス基板光電子集積インターポーザの開発

サーバボード– ガラス4層構成：• 上２層が既存サーバボード動作(25Gbps/レーン x 4 チャネル) 実証用、下２層が112Gbps/レーン高速動作実証用– 試作上の課題解決：ガラスへの銅めっき密着改善、ガラスとガラスの層間接続、ビア用の穴をあけるためのエッチング加工技術改良– 周波数特性評価：樹脂と比較して超高速伝送(112Gbps/レーン）が可能なことを確認
ガラス基板インターポーザ断面模式図

ガラス基板インターポーザ上面

高速特性評価ガラスインターポーザ 112G PAM4

電気配線

101 mmガラス
樹脂

サーバ実証用パッケージ領域

ガラス25Gbps NRZ

樹脂インターポーザ
56 Gbps NRZ
112 Gbps PAM4

樹脂62 mm

ガラス
樹脂

高速動作実証用

光素子領域

ガラス

超低消費電力型光エレクトロニクス実装システム技術開発 最終成果報告会 (2022年2月10日)

6

Copyright 2022 PETRA

光電子融合サーバボードの実装

光エンジン
ヒートシンク

加圧スタックコネクタで着脱
PKGアダプタ基板高速信号

スタンドオフを用いたソルダレジストが無いBGA実装

ガラス基板光電子集積インターポーザ
LGAソケット

ガラス基板外形を利用した
LGAソケット位置合わせサーバボード
ボルスタープレート
超低消費電力型光エレクトロニクス実装システム技術開発 最終成果報告会 (2022年2月10日)

7

Copyright 2022 PETRA

試作した光電子融合サーバボード• 高密度光電子変換ボード
光電子変換ボード– 高密度シリコンフォトニクス技術光IOコア(100Gbps=25Gbps x 4 チャネル)を5台搭載– 200Gbps/cm2の高密度で実装• 光電子集積インターポーザ

光電子集積インターポーザ– 富岳採用CPUと光IOコアを集積光インタポーザ上に近接搭載– CPUパッケージサイズ：60 mm x 60 mm– CPUと光IOコア間距離: ~２cm → NPO技術の実現

ヒートシンクガラスインタポーザ• 光電子融合サーバボードの試作– 多ピン・大型LGAソケットを介して光電子集積インターポーザをサーバボードに実装– サイズ：20 cm x 30 cm
光電子融合サーバボード
超低消費電力型光エレクトロニクス実装システム技術開発 最終成果報告会 (2022年2月10日)

8

Copyright 2022 PETRA

サーバシステムによる光電子融合サーバボード伝送• 光電子融合サーバボードをサーバ試作システムのシェルフへ実装

光電子融合サーバボード• 二つの光電子融合サーバボードによる対向伝送– 富岳採用CPUからの25G電気信号を光信号に変換し、対向疎通を実現– 100Gbps (25Gbps x 4 ch) 動作を確認
ch 1ch 2ch 3ch 4光電子融合サーバの既存システム実装技術の確立
超低消費電力型光エレクトロニクス実装システム技術開発 最終成果報告会 (2022年2月10日)

9Copyright 2022 PETRA

10Tbpsサーバボードに向けたWDMスケーラビリティ技術• 温度無依存WDM合分波技術による64波スケーラビリティを実証
4波分波器

制御IC

9.4 mm

クロストーク<-49dB

4.3 mm0.8

l1 l4 l3 l2

Transmissivity

チップの開発64波分波器1分波光強度（10dB/div）

モニタ受光器と制御ICによる自動制御型WDM合分波

16/32波長分波器

0.6

制御IC

0.4

制御IC

0.2
01545

1547

1549

1551

1553

1555

Wavelength
波長(nm)(nm)1

10.8~50dBの超低クロストークを実現

Transmissivity

シリフォトWDMチップ(5mm x 7mm)Transmissivity

0.81304 1308 1312 1316
波長 (nm)

0.6
0.4

0.6
0.4
0.2

0.2
01540

1545

1550

1555

1560

Wavelength(nm)波長 (nm)T. Akiyama et. al OFC2021

制御IC

01530

1540

1550

1560

1570

Wavelength (nm)

波長 (nm)T. Akiyama et. al Optics Express (2021)
動作確認済 OFC2022のPD投稿予定

112Gbps×16波WDMチップをガラス基板光電子集積インターポーザ上にマルチチップ実装 ⇒ 10Tbps伝送が実現
超低消費電力型光エレクトロニクス実装システム技術開発 最終成果報告会 (2022年2月10日)

10Copyright 2022 PETRA

光電子融合サーバボード実装技術の開発• CPU/システム化の高性能化によるモジュール大型化は必須のトレンドであり既存の有機基板では高密度実装・高速伝送に課題• ガラス基板光電子集積インターポーザを用いた高密度実装・高速伝送を可能とする
光電子融合サーバボードの試作• ガラス基板の112Gbps高速特性を確認• サーバ試作システムに2つの光電子融合サーバボードを実装し100Gbps（25Gbps x 4ch）伝送を確認• WDMスケーラビリティ技術を融合することで10Tbps光電子融合サーバボードの実現が可能

超低消費電力型光エレクトロニクス実装システム技術開発 最終成果報告会 (2022年2月10日)

11

Copyright 2022 PETRA

超低消費電力型光エレクトロニクス実装システム技術開発 最終成果報告会 (2022年2月10日)

12

Copyright 2022 PETRA