Compute Express Link

Compute Express Link（CXL）は、高性能なデータセンターコンピューター向けに設計された、CPU-デバイス間およびCPU-メモリ間を高速に接続するためのオープンスタンダードである。 CXLは、PCI Express（PCIe）の物理的・電気的インターフェイス上に構築されており、PCIeベースのブロック入出力プロトコル（CXL.io）、システムメモリ（CXL.cache）およびデバイスメモリ（英語版）（CXL.mem）にアクセスするための新しいキャッシュコヒーレントプロトコルから構成される。 この標準は、主にIntelによって開発された。CXL Consortiumは、2019年3月にAlibaba Group、Cisco、Dell EMC、Facebook、Google、HewlettPackard Enterprise（HPE）、Huawei、Intel、Microsoftからなる創設メンバーによって立ち上げられ、2019年9月に正式に設立された。2022年1月の時点で、取締役会の創設者にAMD、NVidia、Samsung、Xilinxが加わり、contributing memberとしてARM、Broadcom、Ericsson、IBM、Keysight、Kioxia、Marvell、Mellanox（英語版）、Microchip、Micron、Oracle、Qualcomm、Rambus、Renesas、Seagate、SK Hynix、Synopsys、WesternDigitalなどが参加した。業界パートナーには、PCI-SIG（英語版）、Gen-Z（英語版）、SNIA、DMTFが参加している。 2020年4月2日、Compute Express LinkとGen-Zコンソーシアムは、両者のテクノロジー間の相互運用性を実装する計画を発表し、最初の成果が2021年1月に発表された。2021年11月10日、単一の業界標準の開発に注力するため、Gen-Zの仕様と資産がCXLに移管された。この発表の時点で、Gen-Zメンバーの70％はすでにCXLコンソーシアムに参加していた。このコンソーシアムに参加していた企業には、OpenCAPI（英語版）（IBM）、CCIX（英語版）（Xilinx）、Gen-Z（HPE）オープンスタンダードなどのメモリコヒーレント相互接続テクノロジー、プロプライエタリのInfiniBand/RoCE（英語版）（Mellanox）、Infinity Fabric（AMD）、Omni-Path（英語版）およびQuickPath/Ultra Path（英語版）（Intel）、NVLink/NVSwitch（Nvidia）プロトコルの背後にある企業がある。 2019年3月11日、PCIe 5.0をベースにしたCXL Specification 1.0が公開された。この仕様により、ホストCPUは、キャッシュコヒーレントプロトコルを使用して、アクセラレータデバイス上の共有メモリにアクセスできるようになった。 CXL Specification 1.1は、2019年6月に公開された。 2020年11月10日、CXL Specification 2.0が公開された。新しいバージョンでは、CXLスイッチングのサポートが追加され、分散共有メモリおよびdisaggregated storage（英語版）構成で、複数のCXL1.xおよび2.0デバイスをCXL2.0ホストプロセッサに接続したり、各デバイスを複数のホストプロセッサにプールしたりできるようになった。また、デバイス整合性とデータ暗号化も実装している。CXL 2.0は引き続きPCIe 5.0 PHYを使用するため、CXL 1.xからの帯域幅の増加はない。 次のバージョンのCXL仕様は2022年上半期に予定されており、PCIe 6.0 PHYをベースとしたものになる予定である。 2019年4月2日、IntelはCXLを搭載したAgilex FPGAファミリを発表した。 2021年5月11日、Samsungは128 GByte DDR5ベースのメモリ拡張モジュールを発表した。これを利用すると、データセンターや潜在的な次世代のPCに適した、テラバイトレベルのメモリ拡張が可能になる。2022年5月10日には、プロプライエタリなメモリコントローラーを利用した、更新版の512 GByteバージョンがリリースされた。 2021年には、IntelのSapphire Rapidsプロセッサ、AMDのZen 4 EPYC「Genoa」および「Bergamo」プロセッサでのCXL1.1のサポートが発表された。 CXLデバイスは、Intel、Astera、Rambus、Synopsys、Samsung、Teledyne LeCroyなどにより、SC21 Conferenceで展示された。 2023年8月7日(米国時間)、マイクロンがサンプル出荷を開始。 CXLの標準では、3種類の独立したプロトコルが定義されている。 CXL.io - いくつかの拡張機能を備えたPCIe 5.0に基づいており、コンフィギュレーション、リンクの初期化と管理、デバイスの検出と列挙、割り込み、DMA、非コヒーレントなロード/ストアを使用したレジスタI/Oアクセスを提供する。 CXL.cache - 周辺機器が低遅延のリクエスト/レスポンスインターフェイスでホストCPUメモリにコヒーレントにアクセス・キャッシュできるようにする。 CXL.mem - ホストCPUが、揮発性（RAM）ストレージと永続的な不揮発性（フラッシュメモリ）ストレージ両方のロード/ストアコマンドを使用して、キャッシュされたデバイスメモリにコヒーレントにアクセスできるようにする。 CXL.cacheとCXL.memプロトコルは、CXL.ioプロトコルリンクとトランザクションレイヤーとは別の共通のリンク/トランザクションレイヤーで動作する。これらのプロトコル/レイヤーは、Arbitration and Multiplexing（ARB/MUX）ブロックによって多重化されてから、4つの16バイトデータslotsと2バイトの巡回冗長検査（CRC）値からなる固定幅528ビット（66バイト）のフロー制御ユニット（英語版）（Flow Control Unit、FLIT）ブロックを使用して標準のPCIe 5.0 PHYで転送される。CXL FLITは、PCIe標準のトランザクション層パケット（TLP）とデータリンク層パケット（DLLP）データを可変フレームサイズ形式でカプセル化する。 CXLは、次の3種類の主要なデバイスタイプをサポートするように設計されている。 Type 1（CXL.io、CXL.cache）- ローカルメモリのない特殊なアクセラレータ（スマートNICなど）。このタイプのデバイスは、ホストCPUメモリへのコヒーレントアクセスに依存している。 Type 2（CXL.io、CXL.cache、CXL.mem）- 高性能GDDRやHBMローカルメモリを備えた汎用アクセラレータ（GPU、ASIC、FPGA）。このタイプのデバイスは、ホストCPUのメモリにコヒーレントにアクセスしたり、ホストCPUからデバイスのローカルメモリへのコヒーレントまたは非コヒーレントアクセスを提供できる。 Type 3（CXL.io、CXL.mem）- メモリ拡張ボードやストレージクラスメモリ。このタイプのデバイスは、ホストCPUにローカルのDRAMや不揮発性ストレージへの低遅延アクセスを提供する。 Type 2のデバイスは、デバイスドライバーが管理する2つのメモリコヒーレンスモードを実装する。デバイスバイアスモードでは、デバイスはローカルメモリに直接アクセスし、CPUによるキャッシュは実行されない。ホストバイアスモードでは、ホストCPUのキャッシュコントローラーがデバイスメモリへのすべてのアクセスを処理する。コヒーレンスモードは、4 KBページごとに個別に設定でき、Type 2のデバイスのローカルメモリの変換テーブルに保存される。他のCPU間メモリコヒーレンシプロトコルとは異なり、この配置では、ホストCPUメモリコントローラがキャッシュエージェントを実装するだけで済む。このような非対称的なアプローチにより、実装の複雑さが軽減され、待ち時間が短縮される。 Cache coherent interconnect for accelerators（英語版） (CCIX) Coherent Accelerator Processor Interface（英語版） (CAPI) Gen-Z（英語版） Omni-Path（英語版） UCIe（英語版） ^ “ABOUT CXL” (英語). Compute Express Link. 2019年8月9日閲覧。 ^ “Synopsys Delivers Industry's First Compute Express Link (CXL) IP Solution for Breakthrough Performance in Data-Intensive SoCs”. finance.yahoo.com. Yahoo! Finance. 2019年11月9日閲覧。 ^ “A Milestone in Moving Data”. Intel Newsroom. Intel. 2019年11月9日閲覧。 ^ “Compute Express Link Consortium (CXL) Officially Incorporates; Announces Expanded Board of Directors” (英語). www.businesswire.com. Business Wire (2019年9月17日). 2019年11月9日閲覧。 ^ Comment. Intel, Google and others join forces for CXL interconnect www.datacenterdynamics.com. ^ a b Cutress. “CXL Specification 1.0 Released: New Industry High-Speed Interconnect From Intel”. Anandtech. 2019年8月9日閲覧。 ^ “Compute Express Link Consortium (CXL) Officially Incorporates; Announces Expanded Board of Directors”. www.businesswire.com (September 17, 2019). 2022年7月29日閲覧。 ^ “Compute Express Link: Our Members”. CXL Consortium (2020年). 2020年9月25日閲覧。 ^ Papermaster (July 18, 2019). “AMD Joins Consortia to Advance CXL, a New High-Speed Interconnect for Breakthrough Performance”. Community.AMD. 2020年9月25日閲覧。 ^ “CXL™ Consortium and PCI-SIG® Announce Marketing MOU Agreement” (23 September 2021). 2022年7月31日閲覧。 ^ “Industry Liaisons”. 2022年7月31日閲覧。 ^ “SNIA and CXL™ Consortium Form Strategic Alliance” (3 November 2020). 2022年7月31日閲覧。 ^ “DMTF and CXL™ Consortium Establish Work Register” (14 April 2020). 2022年7月31日閲覧。 ^ “CXL Consortium and Gen-Z Consortium Announce MOU Agreement”. Beaverton, Oregon. (April 2, 2020). https://b373eaf2-67af-4a29-b28c-3aae9e644f30.filesusr.com/ugd/0c1418_efb1cff3f41d486ea85d50ec638ea715.pdf September 25, 2020閲覧。  ^ “CXL Consortium and Gen-Z Consortium Announce MOU Agreement”. (April 2, 2020). https://genzconsortium.org/cxl-consortium-and-gen-z-consortium-announce-mou-agreement/ April 11, 2020閲覧。  ^ “CXL™ Consortium and Gen-Z Consortium™ MoU Update: A Path to Protocol” (24 June 2021). 2022年7月31日閲覧。 ^ Consortium (November 10, 2021). “Exploring the Future”. Compute Express Link. 2022年7月31日閲覧。 ^ Morgan (November 23, 2021). “Finally, A Coherent Interconnect Strategy: CXL Absorbs Gen-Z”. The Next Platform. 2022年7月31日閲覧。 ^ a b Leopold, George (2021年12月9日). “CXL Will Absorb Gen-Z”. EETimes. 2022年7月31日閲覧。 ^ a b c “Compute Express Link (CXL): All you need to know”. Rambus. 2022年7月31日閲覧。 ^ “Rambus in two deals for datacentre interface eeNews Europe” (16 June 2021). 2022年7月31日閲覧。 ^ “How do the new Intel Agilex FPGA family and the CXL coherent interconnect fabric intersect?” (英語). PSG@Intel (2019年5月3日). 2019年8月9日閲覧。 ^ “Samsung Unveils Industry-First Memory Module Incorporating New CXL Interconnect Standard” (英語). Samsung (2021年5月11日). 2021年5月11日閲覧。 ^ “Samsung Electronics Introduces Industry's First 512GB CXL Memory Module”. 2022年7月31日閲覧。 ^ “Intel Architecture Day 2021”. Intel. 2022年7月31日閲覧。 ^ Paul Alcorn (November 8, 2021). “AMD Unveils Zen 4 CPU Roadmap: 96-Core 5nm Genoa in 2022, 128-Core Bergamo in 2023”. Tom's Hardware. 2022年7月31日閲覧。 ^ “Intel Sapphire Rapids CXL with Emmitsburg PCH Shown at SC21” (December 7, 2021). 2022年7月31日閲覧。 ^ https://www.eetimes.com/cxl-put-through-its-paces/ ^ “CXL Consortium Showcases First Public Demonstrations of Compute Express Link Technology at SC21”. HPCwire. 2022年7月31日閲覧。 ^ Consortium (December 16, 2021). “CXL Consortium Makes a Splash at Supercomputing 2021 (SC21)”. Compute Express Link. 2022年7月31日閲覧。 ^ 株式会社インプレス (2023年8月24日). “PCIe接続でメモリを拡張する「CXLメモリ」、Micronがサンプル出荷”. PC Watch. 2023年11月14日閲覧。 ^ a b c “Compute Express Link Standard | DesignWare IP | Synopsys”. www.synopsys.com. 2022年7月31日閲覧。 ^ Consortium (September 23, 2019). “Introduction to Compute Express Link (CXL): The CPU-To-Device Interconnect Breakthrough”. Compute Express Link. 2022年7月31日閲覧。 ^ Compute Express Link® (CXL): A Coherent Interface for Ultra-High-Speed Transfers 公式ウェブサイト