InfiniBand
Channel: 宇宙のすべての知識 プリンシピア
Date: 31/07/2021

InfiniBand, by Wikipedia https://ja.wikipedia.org/wiki?curid=478156 / CC BY SA 3.0

#コンピュータバス
#並列コンピューティング
#スーパーコンピュータ
InfiniBand スイッチのポート InfiniBand（インフィニバンド）とは、非常に高いRAS（信頼性・可用性・保守性）を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと。
システム間インターコネクト機構としては、RAS機能の他、他機構に比較して、低レイテンシである点も特徴である。
 InfiniBandは、ファイバーチャネル、PCI Express, Serial ATA等の最近のインターコネクトと同様、ポイント・ツー・ポイントの双方向シリアル接続である。
複数のプロセッサとHDD等の高速外部デバイス間の接続に利用される。
複数の転送レートをサポートする他、PCI Expressのように複数のチャネルを束ねて利用することで高速な帯域を実現することができる。
 Single Data Rate (SDR)のInfiniBand レーン一本は最大2.5 Gbps双方向の転送速度を持つ。
Double Data Rate (DDR)およびQuad Data Rate (QDR)は、1レーンあたりそれぞれ 5 Gbps, 10 Gbps双方向の転送速度を実現する。
エンコーディングの変更されたFourteen Data Rate (FDR)は、1レーンあたり14.0625Gbps双方向の転送速度を実現する。
 SDR，DDR，QDRには8b/10b変換が用いられ、8bitのデータが10bit化され転送されるため、実効転送レートは上記の値の80%となる。
よって実効転送レートはそれぞれ 2 Gbps, 4 Gbps, 8 Gbpsとなる。
一方、FDRには64b/66b変換が用いられ、64bitのデータが66bit化され転送されるため、実効転送レートは上記の値の約97%となる。
よって実効転送レートは 13.6 Gbpsとなる。
 InfiniBandの接続を4本 (4X)もしくは12本 (12X)束ねて高い転送速度を実現することができる。
12X においてHDRでデータ転送を行った場合、618.75 Gbps (raw)あるいは600 Gbps（データ転送）となる。
2018年11月現在、HDRに対応した製品が入手可能である。
12Xは主に、コンピュータ・クラスターやスーパーコンピュータのノード間接続やネットワークスイッチ間接続に用いられる。
 また，複数のベンダから構成された業界団体「InfiniBand Trade Association」によるロードマップでは今後，2020年後半にHDRのさらに2倍の性能となるNext Data Rate (NDR)が登場する予定であり，その後さらにXDR（名称不明）が提供される計画がある。
 レイテンシはSDR スイッチでは200ナノ秒, DDRスイッチでは140ナノ秒, QDRスイッチでは100ナノ秒程度である。
エンド・ツー・エンドでは、Mellanox社のHCA（Host Channel Adapter）である ConnectX を用いた場合のMPIレイテンシで1.07 マイクロ秒、Qlogic社の InfiniPath HTX を用いた1.29マイクロ秒、Mellanox社 InfiniHost IIIでは2.6マイクロ秒が観測されている。
現在市場には多様な InfiniBand 用HCAがあり、製品によって特性は異なっている。
 InfiniBand は RDMA（Remote Direct Memory Access）をサポートしており、CPU オーバヘッドを低く抑えることが可能である。
RDMA 命令のレイテンシは、1マイクロ秒以下である（Mellanox 社 ConnectX の場合）。
参考までに、DDR3 SDRAM のメモリレイテンシは0.1マイクロ秒（100ナノ秒）程度である。
 InfiniBandにおけるネットワーク構成は、Ethernetのような階層型ネットワークではなく、スイッチ型ファブリック接続を採用している。
 多くのメインフレームのチャネル・モデルのように、すべての転送はChannel Adapter間で行われる。
各プロセッサノードはHost Channel Adapter (HCA)を持ち、各外部デバイスはTarget Channel Adapter (TCA)を持つ。
これらのChannel Adapterはまたセキュリティ情報、QoS情報のやり取りが可能で...