LLM推論チップ市場の競争状況（2024年以降）

この記事は、OpenAIの[DeepResearch](https://openai.com/index/introducing-deep-research)を使って作成されました。
もともと興味のあった推論チップの市場調査をしてもらいました。
以下は全てAIが生成した文章です。

## はじめに  
2024年以降、生成AIブームに伴い**大規模言語モデル（LLM）向け推論チップ**の市場競争が激化しています。従来はNVIDIAのGPUが市場を支配してきましたが、近年は**専用設計のASIC**や**新興企業のアクセラレータ**が台頭し、LLM推論の性能・効率向上を競っています [^1]  [^2] 本レポートでは主要プレイヤー（NVIDIA、Cerebras、Groq、Etched、AMD、その他）の**技術的差異**・**市場戦略**・**コスト戦略**・**将来ロードマップ**を比較し、最新の市場トレンドを整理します。

---

## NVIDIA  
NVIDIAは依然としてAIハードウェア市場の**主導的地位**にありますが、LLM推論需要の拡大に合わせて製品を強化しています。

- **技術的な差異（アーキテクチャ・性能）**: 最新GPU「H100 (Hopper)」はTransformerエンジンや高帯域メモリを搭載し、従来世代比で数倍のLLM推論性能を発揮します [^3] さらに2024年末に発表された次世代**Blackwell**アーキテクチャでは、**2080億トランジスタ**を集積した2ダイ統合GPUを採用し、LLM推論を大幅強化しました [^4] Blackwell搭載のクラスタ「GB200 NVL72」は、同数のH100クラスタと比べ**LLM推論性能30倍、コスト・消費電力25分の1**を実現するとされています [^5]  [^6] 各Blackwell GPUは最大1.4エクサFLOPSのAI性能・30TBの高速メモリを備え、**10兆パラメータ級モデル**のリアルタイム推論も視野に入れています [^7]  [^8] これらの尖端技術により、NVIDIAは柔軟性と高性能を両立し汎用GPUで広範なAIモデルに対応します。  

- **市場戦略（ターゲット・競争優位・顧客）**: NVIDIAはクラウドからエッジまで幅広い市場をターゲットとし、**圧倒的なソフトウェアエコシステム**（CUDAやTensorRTなど）と実績により競争優位を維持しています。主要クラウド事業者（AWS, Azure, Google等）は最新GPUの採用を表明しており [^9]  [^10] OpenAIやMetaといった先端AI企業も引き続きNVIDIAと協業しています [^11]  [^12] 自社DGXシステムやスーパーコンピュータ向けソリューションを通じ、**データセンター向け統合プラットフォーム**（Grace CPUとのスーパーチップなど）も提供しています。豊富なソフトウェア資産と各業界リーダーとの連携が、市場戦略上の大きな強みです。

- **コスト・価格戦略**: NVIDIAのハイエンドGPUは性能に見合った**高価格帯**で提供されます。H100は1基あたり数万ドル規模とされますが、その性能とエコシステムにより依然高い需要があります。Blackwell世代では**性能あたりの効率改善**（同規模H100比で推論コスト最大**25分の1** [^5] を打ち出し、**TCO（総保有コスト）の削減**を強調しています。さらに「DGX Cloud」など**サービス型の提供**も進めており、大規模モデル開発企業向けに初期投資不要でNVIDIAインフラを利用できるようにしています [^13] 価格戦略は“絶対性能と包括的サポート”によるプレミアム路線ですが、スケール効果とサービス提供でコスト効率面も改善する方向です。

- **将来のロードマップ**: 2024年末にBlackwellアーキテクチャ（B100シリーズ）を発表し、**次世代GPUの出荷を2025年前半**から開始する計画です [^14] BlackwellはTransformer性能のさらなる強化（新TensorコアやLLMコンパイラにより推論あたり消費エネルギー25倍効率化 [^15] が図られています。今後はBlackwell搭載システムの普及と、GPUとCPU・DPUを組み合わせた**垂直統合プラットフォーム**（Grace-Blackwellスーパーチップ等）の展開が市場をリードすると見られます [^16] その先もNVIDIAは2年程度のサイクルでアーキテクチャ刷新を続ける見通しであり、ソフトウェア最適化（TensorRT-LLMコンパイラ等）やメモリ技術の進歩と合わせてLLM向け性能向上を継続する計画です [^15] 

---

## Cerebras Systems  
Cerebrasは**ウエハスケールAIプロセッサ**で知られるスタートアップで、近年はLLM推論分野にも本格参入しています。

- **技術的な差異**: Cerebrasのチップは直径30cmのシリコンウエハ全体を1つのプロセッサとした「WSE（Wafer-Scale Engine）」シリーズです。最新の**WSE-3**は**2.6兆トランジスタ・900,000コア**を1チップに集積し、オンチップに**44GBのSRAM**を備えます圧倒的コア数と**21PB/秒**もの内部帯域幅により、GPUクラスタを凌駕するスループットを発揮しますLLM推論においても、複数のWSE-3を相互接続することでNVIDIAのH100クラスタを上回る性能を実証しています [^17] 例えばMetaの70億パラメータモデル(Llama 3.2 70B)を用いた比較では、Cerebrasシステムは8枚のH100搭載ノードを凌駕し**平均13.2倍高速**で、**モデルの密度（パラメータ数）も23倍超の大規模モデルまで実行可能**と報告されています推論性能全体ではGPU比で**308倍**の優位性になるとの分析もありますこうした性能は**大容量オンチップメモリ**と**専用ハードウェアによる並列処理**によるものです。ただし巨大モデル（例: 4,050億パラメータ級）の実行には多数のWSEを並列動作させる必要があり、メモリ容量がボトルネックになる場面も指摘されています

- **市場戦略**: Cerebrasは当初、研究機関や政府など**超大規模モデルのトレーニング**ニーズに訴求してきましたが、現在は**推論クラウドサービス**にも注力していますUAEのG42社との提携で「**Condor Galaxy**」と呼ばれる大規模AIスーパーコンピュータ網（合計36エクサFLOPS規模）を構築中でその一部をクラウド経由で商用提供しています。Cerebrasは**「最高性能かつ低コストのAI推論基盤」**として自社システムを位置づけ、モデルを訓練する資源を持たない多数の企業に対し、高性能な推論インフラをサービス提供する戦略です主要顧客には先述のG42（中東諸国の大型プロジェクト）や、米国エネルギー省傘下の研究所等が含まれます。競争優位性としては、GPUでは扱いにくい**超大規模モデル**を簡易にデプロイできる点や、スケールアウト時の効率（データ並列の容易さ）をアピールしています [^18] また他社新興企業（GroqやSambaNova）のように**ファブレス半導体＋クラウドサービス**の垂直統合モデルも採用しつつあり、自社の専用ハードによるクラウドAPI提供を拡大しています

- **コスト・価格戦略**: Cerebrasシステムは1ノード（CS-3サーバ）あたり約156万ドルといった**超高額**なハードウェアですが性能あたりのコスト優位性を強調しています。自社クラウドでの推論**トークン単価**は、同等性能のNVIDIA H100クラウドより**約5.2倍低廉**と試算されていますハードウェア購入ベースでも**2.75倍の価格性能比**の優位があるとされますもっとも、この優位は現在Cerebras側が積極的に価格を抑えて提供している面もあり、持続可能性は今後の量産効果にかかっています「大量のユーザに短期的な損失覚悟で使ってもらい、出荷量増加でコストを下げる」戦略で市場開拓を目指しており他の新興AIチップ各社と同様に**初期の赤字覚悟のクラウド提供**を行っている状況ですCerebrasのコスト戦略は、自社の製造コスト低減（大量生産と成熟ノード活用）とサービス提供によるスケールメリットで、長期的に利益性を確保する構想です。

- **将来のロードマップ**: Cerebrasは今後もウエハスケールのアプローチを継続すると見られます。現在のWSE-3は16nmプロセスですが、将来的な**WSE-4**では**メモリ技術の強化**（例えばSRAMの3D積層など）による性能向上が検討されています創業者らは「4050億パラメータ級モデル（Llama 3.2 405B）の推論も恐れていない」と発言しており、現行システムでこれに挑戦しつつ、新世代での改善も視野に入れているようです事業面では、提携先G42と**全9システムのCondor Galaxy構想**を進めており、2025年までに大規模クラウドAIインフラを完成させる計画ですまた2023年に**米国IPOを申請**しており調達資金でR&Dと事業拡大を図る見通しです。こうしたロードマップから、Cerebrasは**「最大規模モデルへの対応力」**を武器に、市場での存在感を高めていくと予想されます。

---

## Groq  
Groqは元Google TPU開発者が創業したスタートアップで、**LLM推論の低レイテンシ高速化**に特化したユニークなチップアーキテクチャを提供しています。

- **技術的な差異**: Groqのチップは**「Language Processing Unit (LPU)」**と呼ばれ、**決定論的でシンプルなデザイン**が特徴です。1クロック毎に逐次命令を実行するストリーミング型アーキテクチャで、**分岐予測やキャッシュを排し**、コンパイル時に実行を定めることで大規模並列を実現していますこのため、LLMのようなシーケンシャル処理（単語列を線形に処理するタスク）で抜群の効率を発揮します実際、Groqは2024年2月に当時**インターネット最速のチャットボット**を披露し、ユーザ入力に対し**瞬時に応答（ほぼリアルタイム生成）**する性能を示しましたこれはGroq LPUの超低レイテンシ性能の一例です。ただし第1世代チップは2016年の設計開始後、**2020年に14nmプロセス**でテープアウトされたもので [^19] 単体のメモリ容量が限られ大規模モデル対応には多数チップを要します（推定では4050億パラメータモデルに約3,300基のLPUが必要） [^20] とはいえ、線形処理に極振りした設計で**スループットあたりのエネルギー効率はGPUの10倍**とされ特定条件下ではNVIDIAを凌駕するパフォーマンスを発揮します。  

- **市場戦略**: Groqは当初ハードウェア販売を試みましたが、市場参入のハードルを下げるため**推論APIサービスモデル**へ転換しました [^21] 自社開発チップを用いたクラウドAPI「GroqWare」を提供し、開発者はAPIキーで超高速推論を利用できますこの**垂直統合**（シリコンからデータセンターまで自社所有）のモデルにより、中間マージンを排除し**コスト競争力**も確保できているといいます [^22]  [^23] 特に「他社はGPUを買うため待ち行列や流通マージンが発生するが、当社は全スタックを所有し電力以外の中間コストがない」ため収益性も確保できると述べています [^24]  [^25] ターゲット市場は**リアルタイム性が求められるLLM推論**（例: 対話AI、エージェント）で、低遅延を武器に**大規模サービスのバックエンド**需要を狙っています [^26] 実際、Groq APIはMetaのLlamaなど**公開大規模モデル**を高速実行する用途で注目され [^27] 2024年にはLlama 70Bのチャットで高スループットを示すデモも行われました。Groq自身も大規模データセンターを運営し、信頼性を高める戦略です。

- **コスト・価格戦略**: Groqのビジネスモデルは**サブスクリプション型の推論トークン課金**に近い形をとっています。具体的な料金は公表されていませんが、前述の垂直統合により「GPUのような80%ものハードウェアマージンも不要」だと強調しています [^28] また自社サービス開始の背景には、初期顧客獲得に苦戦した事情もあり「**Teslaが直販に切り替えたように、自前でやる**」決断をしたと述べており [^25] 利益率よりもまず市場シェア獲得を優先している様子が伺えます。その結果、**顧客は初期投資なしに高速推論を利用**でき、Groq側は安定収入を得るモデルとなっています [^29] **電力コスト**が主要経費であるとも言及しており [^30] エネルギー効率の高さがそのまま利益に直結する構造です。こうしたモデルは他のAIチップ新興企業（SambaNovaやCerebras）も追随しており、専用チップをクラウド経由で提供する流れの一翼を担っています [^21] 

- **将来のロードマップ**: Groqは**第2世代チップ**を開発中で、**2024年末～2025年初頭に4nmプロセスでテープアウト**予定と報じられています [^31] 新チップではプロセス世代飛躍により性能・容量が大幅に向上する見込みです。創業者のJonathan Ross氏は**Samsungテキサス工場での製造**に合意済みであることを明かしており、今後数年内にVersion 2を投入予定ですこれにより、現在は小規模モデルで威力を発揮するGroq LPUの適用範囲が拡大し、より大きなLLMやマルチモーダル処理にも対応していくと見られますまた既存のコンパイラ資産を活用し、将来的なモデルアーキテクチャ変化（例: 生成AI以外の線形処理タスク）にも対応可能としています事業面では、引き続き**自社クラウド拡充**と並行しつつ、将来的にはハードウェア直接販売にも復帰する可能性があります（現行APIは将来のハード提供へのリード獲得も目的と示唆 [^32] 。8年越しで開発した技術が2024年に花開いたとされ**「まだ始まりに過ぎない」**という姿勢で今後も差別化を図る方針です。

---

## Etched  
Etchedは2022年創業のスタートアップで、**特定用途（LLM変換器向け）に特化したASIC**でNVIDIAへの挑戦を掲げています。

- **技術的な差異**: Etchedの開発中チップ「**Sohu**」は**変換器（Transformer）モデル専用**に設計された世界初のASICです [^33] 汎用性を犠牲にし、**Transformer以外のモデル（CNNやRNN等）は一切動作不可**という極端な割り切りを行うことで、GPUを遥かに上回る性能を目指しています [^34]  [^35] 同社によればSohuチップは**「1つのこと（Transformer推論）しかできないが、その分20倍速い」**とされ、MetaのLlama 70Bモデルで**500,000トークン/秒**という驚異的スループットを達成すると主張しています [^1]  [^36] これは**8基のSohuサーバで160基のH100 GPUクラスタに相当**する性能であり [^36] 現行最高峰GPUを**オーダー1桁凌駕**するインパクトがあります [^37] この高速化の鍵は、Transformer計算のパイプラインをハードウェアに焼き付け**極大の並列バッチ処理**を可能にする点です。Sohuは**6スタックのHBM3（計144GB, 帯域4TB/s級）**を搭載予定で、GPU（H100後継のH200やAMD MI300Xなど）の帯域より見劣りするものの**極端な大規模バッチ処理でも性能低下しない**設計により1チップで数千スレッドの同時推論をこなせます [^38] これはChatGPTや生成AIAPIのように**並行リクエストが多いサービス向き**の特性です [^38] 一方で**柔軟性はゼロ**のため、もし将来Transformer以外の新機軸AIモデル（例: SSMや新アーキテクチャ）が主流になれば**「我々のチップは無用の長物になる」**と自社も認めています [^39] いわばTransformer継続を賭けた**大胆な一本勝負**の技術戦略です。

- **市場戦略**: Etchedは大型言語モデルの**推論需要が爆発的に伸びる**と見ており、そこで使われる基盤インフラを置き換えることを狙っています。同社は**「ハードウェアによる超知能実現」**を掲げまずはクラウドデータセンターのGPU需要に食い込む戦略です。Sohuは**「LLM推論におけるNVIDIA Blackwell (B200)すら凌駕する性能/コスト」**をうたい [^37] 大手クラウドプロバイダやAIサービス提供企業を主要ターゲットとしています。現時点で製品が存在しないため顧客事例はありませんが、2024年に**1.2億ドルのシリーズA資金**を調達し [^40] VC（Primary Venture Partners等）の支援を受けています。これは、チャットボットや生成AIのインフラコストが産業界で大きな課題となっている中、**「推論コストを劇的に下げられるチップ」**への期待を反映するものです [^40] Etched自体はファブレス設計企業であり、おそらく製造は外部ファウンドリに委託し、**完成チップまたはサーバ装置を販売**するモデルになると見られます。**特定用途ASIC**のためクラウド事業者との深い協業が鍵となりそうです。また競合他社（NVIDIA等）が対応困難なほどの**大規模需要（大規模推論サービス）**に照準を合わせることで、ニッチではなく主流市場への浸透を目指しています。

- **コスト・価格戦略**: **「1桁安価に」**を標榜しており [^37] 性能だけでなく**費用効率でも10倍以上**の優位を目指しています [^41] Sohuが160基のGPU置換という主張は、単に性能だけでなくその分の**設備投資・運用コスト削減**（例えばGPU160基分→8基のSohuサーバに圧縮）を意味します [^36] 具体的な価格帯は未定ですが、HBM3を多数搭載するなど部品コストは高いものの、**用途特化によるシリコン面積削減**や**量産効果**でコストを抑える計画でしょう。Etched幹部は「AI推論コストを劇的に下げられる可能性が大きな資金調達の理由」と述べており [^40] クラウド提供者にとっては**電力効率・設備コスト面での大幅な節約**が魅力となります。実際、「もしAIモデルの推論が20倍高速・安価になれば何が起きるか？」と問題提起し [^42] 現在数十秒かかる応答や高額な推論費用が劇的に改善される未来を示唆しています。そのため価格戦略としては**既存GPU比での圧倒的な費用対効果**を前面に押し出し、多少高価な初期価格設定であっても**長期運用コストで優位**という訴求になると考えられます。

- **将来のロードマップ**: Sohuチップは**2024年中にテープアウト**予定と推測され、2025年に初出荷を目指す段階です同社ブログでも「過去2年間Sohuの開発に注力し、今後それが世界を変える」と述べており [^43]  [^44] まずは**初代製品の成功**が最重要です。将来的にはモデルサイズの拡大や新技術への対応も課題となります。現状で1サーバあたりHBM3が約1.1TB搭載可能ですが、さらなる巨大モデルではメモリ不足となるため、**より多くのHBMや外部メモリ拡張**が求められるでしょう [^45] また供給面ではHBMの確保もボトルネックになり得ると指摘されています [^46] Etched自身も「賭けが当たれば世界が変わる」と述べており [^47] まずはTransformerが今後も主流アーキテクチャであり続ける間に市場を席巻する狙いです。その後は製品ラインナップを増やす可能性もありますが、当面は**Sohu一本に資源を集中**している状況です。

---

## AMD  
AMDはGPU市場でNVIDIAに次ぐ大手であり、近年はLLM向けにメモリ容量を強化した製品で差別化を図っています。

- **技術的な差異**: AMDの最新データセンターGPU**「MI300X」**（CDNA3アーキテクチャ）は、LLM推論に焦点を当て**大容量メモリと高帯域幅**を備えたアクセラレータです。1基のMI300Xに**192GBのHBM3**（8スタック）を搭載し、メモリ帯域は**5.3TB/s**に達します [^48]  [^48] これはNVIDIA H100の80～94GB・3.3～3.9TB/sを上回り、単一GPUでより大きなモデルを格納・実行できる点が特徴です [^48] 実際ベンチマークでは、MI300XはH100に比べ**推論スループットが約2倍、レイテンシ大幅減**と報告されており、特にモデル全体が1枚に収まる場合に強みを示します [^48]  [^49] 例えば70億パラメータ級のLlama 3モデル(fp16精度)はMI300X 1枚で完結しますが、H100だと2枚に分散が必要になるケースがあり [^50] この**マルチGPU分割の手間とオーバーヘッドを省ける**のがAMDの訴求点です [^51] またMI300シリーズはGPUとCPUを統合したAPU版（MI300A）も展開しており、HPC用途とのシナジーがあります。AMDはXilinx買収によりFPGA系AIエンジンも保有しており、将来的に**FPGAベース推論**や**AI専用エンジン（XDNAアーキテクチャ）**との融合も技術的オプションです。ただ現時点ではHBM大容量路線で**大規模LLMに余裕を持って対応**する戦略が際立っています [^52] 

- **市場戦略**: AMDは長年CPU/GPUの**セカンドソース**として存在感を示してきましたが、AI時代に向けて**トップ企業との協業**を強めています。特にMicrosoftはAMDと協力してGPU調達の多様化を図るとの報道があり、クラウド大手による採用が進みつつあります。AWSもMIシリーズGPUを搭載したインスタンス提供を予告するなど、**ハイパースケーラーの採用**が増加傾向です。AMDの競争優位は「**より大きなモデルを扱える**」「**オープンなソフトウェア環境（ROCmなど）**」といった点で、NVIDIA依存からの脱却を目指す顧客層にアピールしています。主要顧客はHPC分野（El Capitanスパコンなど）や一部クラウド事業者ですが、生成AI需要の高まりで**AIスタートアップ各社への供給**も模索しています。例えばメタ社は独自AI計算にAMD GPUを試験的に活用とも報じられました。AMD自身は「最も要求の厳しいAI/HPCワークロードに最適」 [^53] 位置付け、NVIDIA一強状態の緩和を狙うマーケット戦略です。またソフトウェア面では主要フレームワーク(PyTorch等)との連携を強化し、**移行の容易さ**を訴求しています。総じて、AMDは**高性能GPUの代替品提供**から出発しつつ、独自の強み（大メモリ等）でシェア拡大を図る方針です。

- **コスト・価格戦略**: AMDは価格面で**競争力ある提案**を行う傾向があります。過去の製品では同等性能でNVIDIAより低価格に設定し市場浸透を図った例もあり、MI300Xでも**性能あたりの価格優位**を打ち出す可能性が高いです。特にH100が供給不足もありプレミアム価格化している中、AMDは比較的**入手性と価格安定**をアピールしています。さらに、前述のように**1枚で済む=必要GPU枚数を削減**できる点はユーザのコスト削減に直結します [^51] 例えば140億パラメータ級モデルを動かすのにH100二枚が必要なところをMI300X一枚で済ませれば、**機材コスト・電力コストの節約**になります。AMDはこの種の**TCOメリット**を前面に出し、潜在顧客に訴求しています [^54] 価格戦略として、絶対額での値下げ競争よりも**「少ないGPUで済む」「データ並列不要で簡素」**といった間接的コスト優位を強調し、市場での選好を高める狙いです。

- **将来のロードマップ**: AMDは2023～2024年にかけMI300シリーズを投入しましたが、その次のアーキテクチャも開発中です。具体名は未発表なものの、業界では仮称**MI400**世代の2025年後半以降の登場が予想されています。AMDは3D積層やChiplet技術で先行しており、将来はGPUコアの微細化とHBMのさらなる高速化、Infinity Fabricの強化に注力するとみられます [^55] 実際、NVIDIAの次世代（Blackwell）に対抗すべく、リーク情報では**MI300Xの強化版（MI325X）**が検討されているとの指摘もあります [^55] またCPU側では汎用プロセッサへのAIエンジン統合（Xilinx由来技術）が予定されており、データセンター全体での**AI処理効率向上**を目指す戦略です。AMDのロードマップはNVIDIAにやや追随する形ながら、**メモリ容量や先端パッケージ技術で先んじる**ことで差別化を図り、2025年以降も継続してAI計算向けGPUを強化していくでしょう。

---

## その他の競合企業・動向  

- **SambaNova Systems**: Reconfigurable Dataflow Unit(RDU)アーキテクチャを持つスタートアップです。2024年5月、独自チップSN40Lを用いたクラウドサービスで**Llama 3 (8B)モデルの推論速度1000トークン/秒**を達成し、同条件下でGroq（800トークン/秒）やNVIDIAを上回る記録を打ち立てました [^2]  [^56] RDUはコンパイラで各ニューラルネット層を最適化できる柔軟性を持ち、**ソフト・ハード一体で性能を引き出す**戦略です [^57]  [^58] SambaNovaも**ハードウェア＋大規模言語モデル（Samba-1 1兆パラメータのMixture-of-Expertsモデル）**を統合提供し、企業向けに「自社専用の高速LLMシステム」を売り込んでいます [^59] コスト面でも「各企業に低コストでカスタムAIを届ける」がモットーとされ [^60] 高速化がそのまま**コスト削減（少ないハードでより多くのトークン生成）**につながると強調します [^61] SambaNovaは推論サービス「SambaNova Cloud」を展開し、ソフト資産を含めた**包括ソリューション**で差別化しています。今後もソフトウェア更新で既存ハードの性能を引き上げつつ、新世代チップ開発も進めると見られます。

- **Graphcore**: 英国発のGraphcoreもIPUという独自アーキテクチャのAIチップを開発しましたが、近年はNVIDIAや新興ASIC勢との競争で苦戦しています [^62] IPUは大量の小演算ユニットと内部メモリで高い並列性能を持ちますが、**LLMの大規模化に伴うメモリ容量課題**に直面しました。2021年～2022年に発表したBow IPUシステムでは訓練用途での実績はあるものの、推論専用市場では目立った存在感を示せていません。Graphcoreは研究者コミュニティで**量子化やスパース化による効率化**手法の情報発信を行うなど [^63]  [^64] ソフト面での巻き返しを図っていますが、商業面では資金難もうわさされ [^62] 現状ではトップ層の競合から一歩後退しています。

- **大手クラウド事業者の自社チップ**: 競争環境には、AWSやGoogleといったクラウド巨頭の**自社開発AIチップ**も含まれます。**AWS Inferentia**はAmazonが設計した推論向けASICで、最新世代Inferentia2は少ない電力で高スループット推論を実現し、自社サービス（Bedrockなど）でLLM推論コストを削減しています。また**Google TPU v4/v5**は訓練のみならず推論でも利用され、Googleのサービス（例えばBard）を支える他、一部クラウド顧客にも提供されています。これら縦統合型企業は、自社用途に特化したチップでNVIDIA依存度を下げつつ、将来的には市場にも影響を与える可能性があります。ただし現時点では**自社クラウド内限定**の利用が中心で、本報告の主対象である汎用市場には直接は供給されていません。

---

## 競合比較サマリーテーブル（2024年以降）  

各社のLLM推論向けチップについて、**技術特徴・市場戦略・コスト戦略・ロードマップ**をまとめた比較表を以下に示します。

| **企業** | **技術的特徴・アーキテクチャ** | **市場戦略（ターゲット & 強み）** | **コスト・価格戦略** | **将来ロードマップ** |
| --- | --- | --- | --- | --- |
| **NVIDIA** | *GPU (H100/Blackwell)* – 汎用性の高いTensorコアGPU。最新Blackwellは**2080億トランジスタ**・TSMC 4Nプロセス。 [^4] ransformer Engine強化で**リアルタイム推論10兆パラメータ級**に対応 [^7] NVLinkやGrace CPU統合でスケーラビリティ追求。 | *幅広い市場を網羅* – クラウド大手（AWS, Azure等）やAI研究企業に採用 [^9]  [^12] 豊富なソフト資産(CUDA, TensorRT)と実績で依然トップ。DGXシステムやクラウドサービス提供で**エコシステム支配**。 | *高価格プレミアム路線* – 性能リーダーゆえGPU単価は非常に高価。ただBlackwell世代で**推論コスト25分の1改善**を訴求 [^5] DGX Cloudなどサブスクリプション提供も拡充 [^13] 高性能ゆえ**TCOでの価値**をアピール。 | *次世代Blackwell開始* – 2024年末にBlackwell GPU発表、’25より展開。性能4倍・メモリ統合など大幅進化 [^65] その後も2年毎にアーキ刷新予想。CPUやDPUとの統合深化、ソフト最適化で**AI計算を全面強化**。 |
| **Cerebras** | *Wafer-Scale Engine (CS-3)* – **ウエハ1枚=1チップ**の巨大ASIC。900kコア・44GBオンチップSRAMSwarmXで多チップ接続。LLM推論で**GPUクラスタを凌駕**する並列性能（70BモデルでGPU比8～22倍速。 | *大規模モデル特化* – **超大規模LLM向けインフラ**を提供。G42と提携し数十エクサFLOPS級AIスーパーコンピュータ構築クラウド経由で高性能をサービス提供し、訓練リソース不足の企業を開拓 | *性能あたり低コスト* – ハードは高額だが**トークンあたり費用がGPU比5倍安**とアピール初期は自社クラウドで低価格提供し市場浸透図る量産でコスト低減目指し、中長期で利益化へ。 | *WSE次世代とIPO* – 次世代**WSE-4**でメモリ強化模索。05Bモデル対応も視野に入れるG42と**Condor Galaxy全9基**展開～’25IPOで資金調達し事業拡大・製造増強へ |
| **Groq** | *LPU (GroqChip)* – **決定論型ストリーミング**アーキテクチャ。14nm・キャッシュなし設計で超低レイテンシ実現線形計算に特化し**LLM推論のリアルタイム応答**を可能に第二世代で4nmへ飛躍予定 [^66]  | *垂直統合サービス* – ハード販売から転換し**クラウドAPI提供**。社データセンターでホスティングし、中間業者排除で効率化 [^67] リアルタイム対話など**低遅延需要**にフォーカス。 | *トークン課金型・直販* – 顧客はAPI利用で初期投資ゼロ。自社スタックで運営し**GPU調達待ちやマージン無し** [^67]  [^28] 電力以外コスト圧縮し収益確保 [^30] 価格は非公開だが**GPUクラウドより低価格**と主張。 | *4nmチップ開発中* – **第2世代LPU**を2024～25年にテープアウト予定 [^66] Samsungと提携し米国生産計画容量・性能拡大でより大規模モデル対応へ。サービス継続しつつ将来ハード販売再開の可能性。 |
| **Etched** | *Transformer ASIC (Sohu)* – **Transformer専用**に論理回路を最適化したASIC。 [^34] *CNN等非対応**だがLLM推論でGPU比20倍速を謳う [^1] 6×HBM3搭載で500k token/s (Llama70B)達成目標 [^36] 大規模バッチで性能劣化なし [^38]  | *クラウドAIインフラ狙い* – GPUの汎用性に対し**特定用途で凌駕**する性能を武器にデータセンター市場を攻略。大型LLMサービス運営企業がターゲット。Transformer主流の限り幅広い生成AIサービスで置換を狙う。 | *劇的な費用削減* – **「GPUより桁違いに安い」**をアピール [^37] 160×H100相当を8×Sohuで置換＝設備・電力費を大幅減 [^36] 部品コストは高いが**性能/コスト比で>10倍改善** [^37] 資金力ある顧客に**TCOメリット**で売り込み。 | *初代テープアウトへ* – 2024年に$1.2億調達し量産準備 [^40] **2025年の製品化**目標。将来は需要次第で派生製品もあり得るが、当面はTransformer一本に集中 [^39] 新AIアーキ出現には対応課題。 |
| **AMD** | *MI300X GPU* – **192GB HBM3**搭載GPUで大規模LLMに強み [^48] 5.3TB/s帯域 [^48] 高メモリ性能で単一GPUでのモデル実行性向上。Chiplet設計・Infinity Fabricで拡張性確保。FP8対応等AI最適化も搭載。 | *セカンドソース&差別化* – クラウドやHPCで**NVIDIA代替**として採用拡大。特に**メモリ容量重視顧客**に訴求 [^50] Microsoftなど大手と協業強化。ソフト互換性整備し移行を促進。 | *コスト柔軟性* – 過去に競合比で価格優位設定の実績。**1枚で済む→必要GPU減**で顧客コスト減を強調 [^51] H100供給難の中、**安定供給**と適正価格をPR。TCOメリット訴求し市場シェア拡大狙う。 | *次世代開発中* – MI300シリーズ後継（仮称MI400）を準備中。プロセス微細化とHBM強化でNVIDIA新世代に対抗。CPUへのAIエンジン統合も計画中。2025年以降も**メモリ最重視路線**でLLM性能追求。 |

 [^4]  [^5] どを見ると、NVIDIAのBlackwell世代が大規模言語モデル推論向けに大きく性能向上し競争をリードしていることが分かります。一方、 [^1]  [^37] 示されるように、新興企業EtchedはTransformer専用ASICで桁違いの性能・効率を目指しています。またようにCerebrasはウエハスケールでGPUクラスタを凌駕する推論性能をアピールし、 [^2] ようにSambaNovaやGroqも独自アーキテクチャで高速化を競っています。表から、市場各社がそれぞれ**異なるアプローチでLLM推論の性能と効率を追求**している状況が読み取れます。

---

## おわりに（最新トレンドの考察）  
2024年以降のLLM推論チップ市場は、**GPU一強体制から多様な競合がしのぎを削る局面**へ移行しています。NVIDIAは新アーキテクチャBlackwellで性能飛躍とシステム統合を進め、**ソフトウェアとエコシステムの強み**で依然有力です。他方、CerebrasやGroq、SambaNovaといったスタートアップ勢は**用途特化型の革新的アーキテクチャ**で差別化し、クラウドサービス提供など**ビジネスモデルの工夫**も凝らしています [^21]  [^23] 特に**Transformer専用ASIC**のEtched登場は、「汎用 vs 特化」の構図を象徴するトレンドです [^34]  [^1] また**メモリ容量・帯域**がLLM性能の鍵と再認識されており、各社がオンチップSRAMの大容量化（Cerebras）やHBMスタック増加（AMD、Etched）で対応しています [^48] さらに、ほぼ全ての新規プレイヤーが初期には**クラウド経由でのサービス提供**を行い、市場参入障壁を下げつつ利用実績を積もうとする傾向があります [^21] 総じて、**「より高速に、より安価に」LLMを動かす**という共通目標に向けて多角的なアプローチが取られており、競争の結果として推論コストの低減と性能の飛躍が急速に進んでいます。今後も新世代GPUや専用ASICが次々登場し、**LLM推論のための専用ハードウェア市場はさらなる進化**を遂げるでしょう。



### 参考文献
[^1]: [Etched scores $120M for an ASIC built for transformer models • The Register](https://www.theregister.com/2024/06/26/etched_asic_ai/#:~:text=,an%20interview%20with%20The%20Register)
[^2]: [SambaNova breaks Llama 3 speed record with 1,000 tokens per second | VentureBeat](https://venturebeat.com/ai/sambanova-breaks-llama-3-speed-record-with-1000-tokens-per-second/#:~:text=Today%2C%20SambaNova%20Systems%20announced%20that,hardware%20utilization%20and%20lower%20costs)
[^3]: [NVIDIA Blackwell vs NVIDIA Hopper: A Detailed Comparison](https://www.nexgencloud.com/blog/performance-benchmarks/nvidia-blackwell-vs-nvidia-hopper-a-detailed-comparison#:~:text=Comparison%20www,the%20NVIDIA%20A100%20and)
[^4]: [NVIDIA Blackwell Platform Arrives to Power a New Era of Computing | NVIDIA Newsroom](https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing#:~:text=include%3A)
[^5]: [NVIDIA Blackwell Platform Arrives to Power a New Era of Computing | NVIDIA Newsroom](https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing#:~:text=processing%20units%20to%20enable%20cloud,consumption%20by%20up%20to%2025x)
[^6]: [NVIDIA Blackwell Platform Arrives to Power a New Era of Computing | NVIDIA Newsroom](https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing#:~:text=trust%20security%20and%20GPU%20compute,consumption%20by%20up%20to%2025x)
[^7]: [NVIDIA Blackwell Platform Arrives to Power a New Era of Computing | NVIDIA Newsroom](https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing#:~:text=match%20at%20L188%20and%20real,to%2010%20trillion%20parameters%2C%20include)
[^8]: [NVIDIA Blackwell Platform Arrives to Power a New Era of Computing | NVIDIA Newsroom](https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing#:~:text=Blackwell%20Innovations%20to%20Fuel%20Accelerated,to%2010%20trillion%20parameters%2C%20include)
[^9]: [NVIDIA Blackwell Platform Arrives to Power a New Era of Computing | NVIDIA Newsroom](https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing#:~:text=look%20forward%20to%20bringing%20the,%E2%80%9D)
[^10]: [NVIDIA Blackwell Platform Arrives to Power a New Era of Computing | NVIDIA Newsroom](https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing#:~:text=year)
[^11]: [NVIDIA Blackwell Platform Arrives to Power a New Era of Computing | NVIDIA Newsroom](https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing#:~:text=Sam%20Altman%2C%20CEO%20of%20OpenAI%3A%C2%A0%E2%80%9CBlackwell,%E2%80%9D)
[^12]: [NVIDIA Blackwell Platform Arrives to Power a New Era of Computing | NVIDIA Newsroom](https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing#:~:text=Mark%20Zuckerberg%2C%20founder%20and%20CEO,%E2%80%9D)
[^13]: [NVIDIA Blackwell Platform Arrives to Power a New Era of Computing | NVIDIA Newsroom](https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing#:~:text=GB200%20will%20also%20be%20available,based%20instances%20later%20this%20year)
[^14]: [NVIDIA Blackwell Platform Arrives to Power a New Era of Computing | NVIDIA Newsroom](https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing#:~:text=Global%20Network%20of%20Blackwell%20Partners,partners%20starting%20later%20this%20year)
[^15]: [NVIDIA Blackwell Platform Arrives to Power a New Era of Computing | NVIDIA Newsroom](https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing#:~:text=,Aided%20Drug%20Design%20and%20Quantum)
[^16]: [NVIDIA Blackwell Platform Arrives to Power a New Era of Computing | NVIDIA Newsroom](https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing#:~:text=NVIDIA%E2%80%99s%20next,%E2%80%9D)
[^17]: [Cerebras Trains Llama Models To Leap Over GPUs](https://www.nextplatform.com/2024/10/25/cerebras-trains-llama-models-to-leap-over-gpus/#:~:text=rivals%20Groq%20and%20SambaNova%20Systems%2C,in%20the%20AI%20inference%20race)
[^18]: [[PDF] Cerebras Wafer-Scale AI - Hot Chips 2024 -](https://hc2024.hotchips.org/assets/program/conference/day2/72_HC2024.Cerebras.Sean.v03.final.pdf#:~:text=Co,models%20on%20a%20single%20chip)
[^19]: [The Rise of Groq: Slow, then Fast - Chipstrat](https://www.chipstrat.com/p/the-rise-of-groq-slow-then-fast#:~:text=Groq%27s%20only%20tapeout%20was%20four,on%204nm%20with%20Samsung)
[^20]: [Groq’s Business Model, Part 1: Inference API](https://www.chipstrat.com/p/groqs-business-model-part-1-inference#:~:text=yet%20listed%20on%20the%20pricing,make%20for%20an%20expensive%20offering)
[^21]: [Groq’s Business Model, Part 1: Inference API](https://www.chipstrat.com/p/groqs-business-model-part-1-inference#:~:text=different%2C%20though%E2%80%94it%E2%80%99s%20a%20fabless%20semiconductor,and%20Cerebras%20have%20followed%20suit)
[^22]: [Groq’s Business Model, Part 1: Inference API](https://www.chipstrat.com/p/groqs-business-model-part-1-inference#:~:text=,thing%20that%20everybody%20fights%20for)
[^23]: [Groq’s Business Model, Part 1: Inference API](https://www.chipstrat.com/p/groqs-business-model-part-1-inference#:~:text=,Electricity%20is)
[^24]: [Groq’s Business Model, Part 1: Inference API](https://www.chipstrat.com/p/groqs-business-model-part-1-inference#:~:text=,)
[^25]: [Groq’s Business Model, Part 1: Inference API](https://www.chipstrat.com/p/groqs-business-model-part-1-inference#:~:text=,today%20and%20not%20lose%20money)
[^26]: [SambaNova breaks Llama 3 speed record with 1,000 tokens per second | VentureBeat](https://venturebeat.com/ai/sambanova-breaks-llama-3-speed-record-with-1000-tokens-per-second/#:~:text=%E2%80%9CWe%20are%20seeing%20the%20AI,%E2%80%9D)
[^27]: [Groq’s Business Model, Part 1: Inference API](https://www.chipstrat.com/p/groqs-business-model-part-1-inference#:~:text=Groq%20is%20vertically%20integrated%2C%20from,lower%20throughput%20and%20higher%20latency)
[^28]: [Groq’s Business Model, Part 1: Inference API](https://www.chipstrat.com/p/groqs-business-model-part-1-inference#:~:text=we%27ll%20just%20do%20this%20direct,else%20you%27re%20paying%20to%20host)
[^29]: [Groq’s Business Model, Part 1: Inference API](https://www.chipstrat.com/p/groqs-business-model-part-1-inference#:~:text=Groq%E2%80%99s%20inference%20API%20is%20the,barrier%20to%20entry%20regardless%20of)
[^30]: [Groq’s Business Model, Part 1: Inference API](https://www.chipstrat.com/p/groqs-business-model-part-1-inference#:~:text=they%27re%20brokering%20their%20compute%20from,thing%20that%20everybody%20fights%20for)
[^31]: [Groq’s Business Model, Part 1: Inference API](https://www.chipstrat.com/p/groqs-business-model-part-1-inference#:~:text=inference%20API%20right%20now%20is,generation%20for%20future%20hardware%20sales)
[^32]: [Groq’s Business Model, Part 1: Inference API](https://www.chipstrat.com/p/groqs-business-model-part-1-inference#:~:text=Finally%2C%20Groq%20is%20making%20some,generation%20for%20future%20hardware%20sales)
[^33]: [Etched scores $120M for an ASIC built for transformer models • The Register](https://www.theregister.com/2024/06/26/etched_asic_ai/#:~:text=However%2C%20given%20the%20scale%20at,and%20efficiency%20than%20existing%20accelerators)
[^34]: [Etched scores $120M for an ASIC built for transformer models • The Register](https://www.theregister.com/2024/06/26/etched_asic_ai/#:~:text=This%20is%20the%20bet%20that,up%20transformer%20models%2C%20like%20LLMs)
[^35]: [Etched scores $120M for an ASIC built for transformer models • The Register](https://www.theregister.com/2024/06/26/etched_asic_ai/#:~:text=The%20part%20can%27t%20run%20convolutional,performance%20advantage%20over%20Nvidia%27s%20H100)
[^36]: [Etched scores $120M for an ASIC built for transformer models • The Register](https://www.theregister.com/2024/06/26/etched_asic_ai/#:~:text=COO%20Robert%20Wachen%20boasted%20in,an%20interview%20with%20The%20Register)
[^37]: [Etched is Making the Biggest Bet in AI](https://www.etched.com/announcing-etched#:~:text=But%20for%20transformers%2C%20Sohu%20is,It%E2%80%99s%20not%20even%20close)
[^38]: [Etched scores $120M for an ASIC built for transformer models • The Register](https://www.theregister.com/2024/06/26/etched_asic_ai/#:~:text=As%20we%20understand%20it%2C%20the,%E2%80%93%20of%20requests%20every%20second)
[^39]: [Etched is Making the Biggest Bet in AI](https://www.etched.com/announcing-etched#:~:text=Today%2C%20every%20state,our%20chips%20will%20be%20useless)
[^40]: [Etched scores $120M for an ASIC built for transformer models • The Register](https://www.theregister.com/2024/06/26/etched_asic_ai/#:~:text=More%20important%20for%20the%C2%A0two,Partners%20and%20Positive%20Sum%20Ventures)
[^41]: [Meet Sohu, the fastest AI chip of all time. : r/LocalLLaMA - Reddit](https://www.reddit.com/r/LocalLLaMA/comments/1dobzcs/meet_sohu_the_fastest_ai_chip_of_all_time/#:~:text=Reddit%20www,a%20new%20standard%20in%20AI)
[^42]: [Etched is Making the Biggest Bet in AI](https://www.etched.com/announcing-etched#:~:text=match%20at%20L321%20What%20would,20x%20faster%20and%20cheaper%20overnight)
[^43]: [Etched is Making the Biggest Bet in AI](https://www.etched.com/announcing-etched#:~:text=In%202022%2C%20we%20made%20a,would%20take%20over%20the%20world)
[^44]: [Etched is Making the Biggest Bet in AI](https://www.etched.com/announcing-etched#:~:text=With%20over%20500%2C000%20tokens%20per,generation%20Blackwell%20%28B200%29%20GPUs)
[^45]: [Etched scores $120M for an ASIC built for transformer models • The Register](https://www.theregister.com/2024/06/26/etched_asic_ai/#:~:text=If%20true%2C%20that%20could%20give,Nvidia%27s%20current%20crop%20of%20GPUs)
[^46]: [Etched scores $120M for an ASIC built for transformer models • The Register](https://www.theregister.com/2024/06/26/etched_asic_ai/#:~:text=However%2C%20it%27s%20worth%20noting%20that,is%20ultimately%20able%20to%20serve)
[^47]: [Etched is Making the Biggest Bet in AI](https://www.etched.com/announcing-etched#:~:text=Stable%20Diffusion%203%2C%20and%20more,our%20chips%20will%20be%20useless)
[^48]: [AMD GPU Performance for LLM Inference: A Deep Dive](https://valohai.com/blog/amd-gpu-performance-for-llm-inference/#:~:text=AMD%27s%20MI300X%20GPU%20outperforms%20Nvidia%27s,in%20the%20AI%20hardware%20space)
[^49]: [AMD GPU Performance for LLM Inference: A Deep Dive](https://valohai.com/blog/amd-gpu-performance-for-llm-inference/#:~:text=its%20larger%20memory%20,in%20the%20AI%20hardware%20space)
[^50]: [AMD GPU Performance for LLM Inference: A Deep Dive](https://valohai.com/blog/amd-gpu-performance-for-llm-inference/#:~:text=Models%20like%20Mistral%E2%80%99s%20Mixtral%20and,single%20GPU%20with%20limited%20memory)
[^51]: [AMD GPU Performance for LLM Inference: A Deep Dive](https://valohai.com/blog/amd-gpu-performance-for-llm-inference/#:~:text=2%20H100%29%20%2A%20Mixtral,MI300x%2C%20would%20require%204%20H100)
[^52]: [AMD GPU Performance for LLM Inference: A Deep Dive](https://valohai.com/blog/amd-gpu-performance-for-llm-inference/#:~:text=Why%20Single)
[^53]: [AMD Instinct™ MI300 Series Accelerators](https://www.amd.com/en/products/accelerators/instinct/mi300.html#:~:text=AMD%20Instinct%20MI300%20Series%20accelerators,workloads%2C%20offering%20exceptional%20compute%20performance)
[^54]: [AMD GPU Performance for LLM Inference: A Deep Dive](https://valohai.com/blog/amd-gpu-performance-for-llm-inference/#:~:text=Dealing%20with%20multiple%20GPUs%20can,changer)
[^55]: [Etched scores $120M for an ASIC built for transformer models • The Register](https://www.theregister.com/2024/06/26/etched_asic_ai/#:~:text=However%2C%20raw%20compute%20is%20only,be%20the%20bottlenecks%20to%20beat)
[^56]: [SambaNova breaks Llama 3 speed record with 1,000 tokens per second | VentureBeat](https://venturebeat.com/ai/sambanova-breaks-llama-3-speed-record-with-1000-tokens-per-second/#:~:text=second%20with%20the%20Llama%203,hardware%20utilization%20and%20lower%20costs)
[^57]: [SambaNova breaks Llama 3 speed record with 1,000 tokens per second | VentureBeat](https://venturebeat.com/ai/sambanova-breaks-llama-3-speed-record-with-1000-tokens-per-second/#:~:text=On%20the%20hardware%20side%2C%20the,2023)
[^58]: [SambaNova breaks Llama 3 speed record with 1,000 tokens per second | VentureBeat](https://venturebeat.com/ai/sambanova-breaks-llama-3-speed-record-with-1000-tokens-per-second/#:~:text=The%20key%20to%20SambaNova%E2%80%99s%20performance,the%20company%E2%80%99s%20RDU%20silicon%20technology)
[^59]: [SambaNova breaks Llama 3 speed record with 1,000 tokens per second | VentureBeat](https://venturebeat.com/ai/sambanova-breaks-llama-3-speed-record-with-1000-tokens-per-second/#:~:text=On%20top%20of%20the%20silicon%2C,and%20trained%20on%20corporate%20data)
[^60]: [SambaNova Scorches NVIDIA In New Speed Test](https://sambanova.ai/press/sambanova-scorches-nvidia-in-new-speed-test#:~:text=winner%20of%20the%20latest%20large,for%20Llama%203%208B%20performance)
[^61]: [SambaNova Scorches NVIDIA In New Speed Test](https://sambanova.ai/press/sambanova-scorches-nvidia-in-new-speed-test#:~:text=Micah%20Hill,recent%20benchmarking%20by%20Artificial%20Analysis)
[^62]: [Graphcore is struggling — what's gone wrong for the once 'NVIDIA ...](https://sifted.eu/articles/graphcore-finances#:~:text=Graphcore%20is%20struggling%20%E2%80%94%20what%27s,on%20commercial%20and%20tech%20strategy)
[^63]: [TriForce, QuaRot, Mixture-of-Depths: Papers of the Month (Apr 2024)](https://www.graphcore.ai/posts/triforce-quarot-mixture-of-depths-papers-of-the-month-apr-2024#:~:text=2024%29%20www,decoding%20and%20sparse%20KV%20techniques)
[^64]: [Sparser llamas run faster — speed up LLM inference with SparQ ...](https://graphcore-research.github.io/posts/sparq/#:~:text=Sparser%20llamas%20run%20faster%20%E2%80%94,trained%20LLMs)
[^65]: [NVIDIA Blackwell Platform Sets New LLM Inference Records in ...](https://developer.nvidia.com/blog/nvidia-blackwell-platform-sets-new-llm-inference-records-in-mlperf-inference-v4-1/#:~:text=NVIDIA%20Blackwell%20Platform%20Sets%20New,compared%20to%20the%20H100%20GPU)
[^66]: [Groq’s Business Model, Part 1: Inference API](https://www.chipstrat.com/p/groqs-business-model-part-1-inference#:~:text=Time%20will%20tell%21%20The%20second,2024%20or%20very%20early%202025)
[^67]: [Groq’s Business Model, Part 1: Inference API](https://www.chipstrat.com/p/groqs-business-model-part-1-inference#:~:text=they%27re%20brokering%20their%20compute%20from,equate%20this%20to%20what%20Tesla)