GPGPU

GPGPUは、GPUが持つベクトル計算機としての特性を活かした汎用的なストリーム・プロセッシングの一形態である。GPUはコンピュータゲームで多用されるリアルタイム画像処理向けのデータ並列計算とパイプライン処理に特化した命令発行形態を持ち、またGPUとメインメモリ間の帯域幅は通例狭く、固定長レジスタしか扱えない（後述）ものの、GPUと直結されるVRAM間には十分広い帯域幅を備えておりSIMDやSIMTによる並列計算も行える。

GPGPUは制約はあるもののHPCの分野で注目される応用技術である。伝統的に構築されてきた、カスタムCPU型のベクトルプロセッサを搭載するスーパーコンピュータと比較して、疎行列で計算効率が低下する、可変長ベクトル命令が利用できずレジスタ長で割り切れない要素を別途考慮する必要があるという欠点はあるものの、GPUを主体として計算機システムを構成する方がコストパフォーマンスが大幅に高くなることからHPC分野での導入が進んでいる。

しかし、GPU特有の制約は無くなりつつある。2023年現在ではプログラマブルシェーダーの発展によりCPUと同程度のプログラマビリティが実現されており、OpenCLなどを用いることでCPUとGPUでの相互で互換性を持ったプログラムを作成することも可能であることから、疎行列で計算効率が低下する、可変長ベクトル命令が利用できないという原理的な欠点以外については改善されてきている。

 GPGPUブームまでの略史 
最初の実験から一般的に使えるAPIが完成するまでに10年の歳月を要した。

 1998年: SGIのグラフィックスワークステーションを用いた実験 
GPUという製品カテゴリが登場する前年でプログラマブルシェーダーも存在しない1998年に、Ian Buckにより R5000と R4400 Maximum IMPACTのグラフィックスアクセラレータで、OpenGLのフレームバッファを漸化式の各計算ステップ用に2枚用いた単純な流体計算の高速化が試みられ、実際に数倍程度は高速化された。この当時のSGIのグラフィックスワークステーションにはジオメトリエンジンが独立したLSIチップとして搭載されており、後のGPUの原型とも言える構成となっていた。しかし固定機能シェーダーしか存在しなかったため非常に簡単なモデルしか計算できず、実用には程遠かった。

固定機能シェーダーを用いて流体計算を高速化する方法はGPGPUの着想時に試みられたのみであり、今日的なGPGPUの観点からすると極めて特殊でイメージが付きづらいため、下記にその研究で実行されたコードの引用と各行の説明を示す。概要としてはOpenGLの標準機能の1つである2次元畳み込みフィルタを漸化式の各計算ステップにおける拡散の操作として転用することで、各領域の拡散の計算がハードウェアで並列化されるというアイデアとなっていた。下記のコードを見れば分かる通り、ブラックボックスとして作られた固定機能シェーダーに並列計算を任せるしかないために物理モデルを2次元畳み込みフィルタとして実装して標準機能に渡すことしかできず、今日的なGPGPUと比較すれば全く自由が利かないことが分かる。またフレームバッファの各ピクセルにおけるRGBの各色8bitを数値に割り当てるため、計算精度が重要な科学技術計算として8bitを超える精度で計算するためにはRGBの各色間での桁の繰り上がりも実装する必要があったが、大きなオーバーヘッドが生じて計算が非常に遅くなってしまうという問題があった。当時はIan Buck自身も、これらの実用に当たって許容できない制約を緩和するためには今後のグラフィックスハードウェアの進歩が必要であると述べている。#define k .2 // 拡散係数の定義
/* 畳み込みフィルタの定義 */
float filter[] = {
    0.0, k, 0.0,
    k, 1-4*k, k,
    0.0, k, 0.0
};

glConvolutionFilter2D(filter)  // 畳み込みフィルタを設定
glEnable(GL_CONVOLUTION)       // 畳み込みフィルタを有効化
glReadBuffer(GL_FRONT)         // 読み込み側のフレームバッファ（1ステップの畳み込み計算における現ステップ(例えばtと置く)の値を保存するバッファ）
glDrawBuffer(GL_BACK)          // 書き込み側のフレームバッファ（1ステップの畳み込み計算における次ステップ(例えばt+1と置く)の値を保存するバッファ）

... Draw any initial conditions ... // 任意の初期条件の描画

glRasterPos(1,1);  // ピクセル操作のラスター位置を(x,y)=(1,1)に設定
/* 畳み込み計算の繰り返し実行 */
while(1) {
    glCopyPixels(0, 0, Width, Height, GL_COLOR);
    glxSwapbuffers(dspy, wnd);
}

 1999年-2000年: GPUとプログラマブルシェーダーの登場 
続いて1999年のGeForce 256の発売によってジオメトリエンジンをグラフィックスアクセラレータに統合した「GPU」という製品カテゴリが登場し、2000年11月9日にはアセンブリ言語で128個の命令のみ記述可能な原始的なプログラマブルシェーダー（シェーダーモデル1.x）が登場した。2002年、GPUの固定機能シェーダーがプログラマブルシェーダーに置き換わったことでブレイクスルーが起きたと主張し、ムーアの法則を超える速度で進化するGPUのストリーム・プロセッサとしての未来を予感したIan Buckにより、再度GPUによるレイトレーシング計算の高速化についての論文が発表された。

 2002年: シェーダーモデル2.0への進化 
2002年12月20日のシェーダーモデル2.0の登場により、GPUのプログラマブルシェーダーで従来より遥かに長い命令長と浮動小数点演算が扱えるようになった直後の2003年頃からGPGPUが大々的に試みられ始め、2004年8月には世界初のGPGPU学会「GP2」（Workshop on General Purpose Computing on Graphics Processors）が開催された。登壇者の発表は「今のGPUってGPGPUには使いにくいよね」という内容が殆どであった。

 2007年: CUDAの提供開始 
その後、2005年にIan BuckらのチームがグラフィックスAPIを経由せずC言語ライクにGPGPUの処理を記述できるCUDAの開発に着手し、2006年11月8日にCUDAとSIMTを採用した初対応のGeForce 8 シリーズ（G8x）を発表しNVIDIA Unveils CUDA™-The GPU Computing Revolution Begins | Press Release | NVIDIA、2007年2月16日に最初のCUDA SDKのβ版をリリースし、2007年7月17日にCUDA 1.0を提供開始したNVIDIA CUDA 1.0、GPUコンピューティング向けに機能を強化 | NVIDIAことで、以降2008年頃からGPGPUが普及して行った。CUDAが有名になったことで、NVIDIAはGPGPUでトップランナーの地位を占めることになった。GPGPUは2012年畳み込みニューラルネットワークを参照。始まりはAlexNetの優勝。からのディープラーニングブーム、2010年代からの仮想通貨ブームを下支えする存在となり、2020年代には新型コロナウイルスの蔓延などによる半導体供給不足もありRaspberry Piも供給不足になった。詳細はRaspberry Piを参照。ブームのあまりの過熱ぶりにGPU製品の供給が不足する事態まで発生した。

 概要 

GPUは一般的に画像処理を専門とする演算装置であり、多くの場合、CPUと呼ばれる主演算装置の制御の下で用いられる動画信号生成専用の補助演算用ICである。動画像の実時間内での生成は高速な演算が要求されるが、その多くが定式化された単純な演算の繰り返しであるためハードウェア化に向いており、GPUを設計している数社からは、高速なメモリ・インタフェース機能と高い画像演算能力を備えたIC製品のシリーズがいくつもリリースされている。GPUは民生用に大量生産されているため、スーパーコンピュータに用いられるベクトル型のカスタムCPUからすれば非常に安価である。また、x86等の一般的なCPUのSIMD命令と比較して大幅に高い並列度を誇りスループットが高い。但し、GPGPUのベクトル計算機能には制限があり、まず可変長ベクトル命令が利用できず固定長レジスタの長さを別途考慮する必要があることや、拡張バス経由のメモリアクセスのために帯域に制限がありレイテンシも大きくなることが欠点となる。従って、メモリへのランダムアクセスが多発する疎行列の計算や、ネットワークのパケット処理といった多数の小さいデータの各々に対して個別に処理を行う場合では効率は劇的に悪化する。結論としては、GPGPUではデータを途切れないように流し込み続けながら計算させる利用形態（ストリーム・プロセッシング）が基本となる。

特に1990年代中盤以降は3D描画性能が劇的に向上し、それに伴いベクトル・行列演算を中心としたSIMD演算機の色彩が強くなってきた。2000年代に入ると、表現力の向上を求めて固定機能シェーダーからプログラマブルシェーダーへの移行が進み、演算の自由度・柔軟性（プログラマビリティ）が飛躍的に増した。そこでこれをグラフィックス・レンダリングのみならず、他の数値演算にも利用しようというのがGPGPUのコンセプトである。GPGPUのコンセプトは2000年代の実験期を経て、入力データをテクスチャデータに変換して画像用のシェーダーに処理させるという回りくどい工夫が必要ない汎用計算用の言語やコンピュートシェーダーが開発された後、2010年頃のビッグデータブームの波に乗り産業応用が開始され、2010年代半ばには一般化した。

+ 最高のシングル理論演算性能を持つGPU・MIC・CPU(2015年8月現在) 種別  単精度 倍精度 TFLOPS TFLOPS GPU 8.6(AMD Radeon R9 Fury X)AMD Radeon™ R9シリーズ・グラフィックス・カード, 2 ops/cycle × 1050 MHz × 4096 cores.  2.62(AMD FirePro S9170)AMD FirePro™ S9170サーバーGPU MIC 2.416(Xeon Phi 7120P)  1.208(Xeon Phi 7120P) CPU 1.325(Xeon E5-2699 v3)  0.662(Xeon E5-2699 v3)

上記の表は 1CPU, 1MIC, 1GPU に限定した表である。なおAMD Radeon R9 295X2やAMD FirePro S10000、NVIDIA GeForce GTX TITAN ZやNVIDIA Tesla K80のようなデュアルGPUソリューションは除外されている。

2015年現在、GPUの浮動小数点演算能力は単精度で8TFLOPSをオーバーした一方で、CPUはサーバー向けでも単精度は1TFLOPS台に留まっている。GPUは構成が単純であるためにCPUよりも集積化の点で有利であることから浮動小数点演算での効率がよく、またGPU専用にローカル接続されたメモリIC (VRAM) とのバンド幅を広く備えるために、CPUと比べて性能比で安価かつ成長の伸び率が高いGPGPUのキラーアプリケーションは「グラフィックス」 － ＠IT。さらにCPUよりも電力あたりの理論演算性能（ワットパフォーマンス、Performance per Watt）が高いのもGPUの特徴である。またGPUの主な使途がゲーム（PCゲーム）と動画再生で、ゲームをしないユーザーにとって余り気味の資源ということもあって注目されている。

2015年現在におけるGPGPU対応のグラフィックスカード（グラフィックスチップ）単体製品すなわちディスクリートGPU (discrete GPU, dGPU) としては、NVIDIAのGeForceおよびQuadroシリーズや、AMDのRadeonおよびFireProシリーズなどが代表として挙げられる（ただし後述するGPGPU対応APIをサポートするのはDirectX 10世代以降の製品となる）。CPU統合型GPU (integrated GPU, iGPU) に関しては、NVIDIAのTegraシリーズ、AMDのAPUシリーズ、そしてインテルのHD GraphicsシリーズなどがGPGPUに対応している。一方、GPGPU専用製品としては、NVIDIAのTeslaシリーズ、そしてAMDのFirePro Sシリーズ（旧FireStreamシリーズ）が挙げられ、こちらは科学技術分野のHPC市場向けにも投入されるなど、製品展開が行なわれている。

GPGPUアプリケーション開発の環境およびAPIとしては、ハードウェア内部構造自体が汎用性を増したDirectX 10世代の統合型シェーダーアーキテクチャGPUの登場以降、NVIDIAによるGPGPU専用の統合開発環境「CUDA」や、AMDによるGPGPU基盤「AMD Stream」（旧称ATI Stream）、そしてクロノス・グループによる標準規格「OpenCL」が現われ、GPGPU活用の幅が広がりつつある。

なお、DirectX (Direct3D/HLSL) はバージョン11でGPUによる汎用演算用のステージであるコンピュートシェーダー（DirectCompute）を、またOpenGL/GLSLはバージョン4.3で同様のコンピュートシェーダーを導入する4Gamer.net ― OpenGLはDirectX 11を超え，OpenGL ESは据え置き型ゲーム機と同等以上に。Khronosの最新動向レポートなど、グラフィックスAPIのほうにも従来のグラフィックスパイプラインに加えてGPGPU機能を活用するための変化が現れつつある。MetalやVulkanといった後発のローレベルグラフィックスAPIにも、コンピュートシェーダーが搭載されている。

その他、マイクロソフトの「C++ AMP」や、PGIの「OpenACC」PGI GPU用アクセラレータコンパイラ 情報サイト　－　GPU / GPGPU / CUDA 対応、CUDA Fortranなど、DirectCompute/OpenCL/CUDAといったローレベルAPIをバックエンドとしながら、従来のC/C++やFortranにおけるOpenMPに近い高レベル並列プログラミング環境を提供するアクセラレータ系ライブラリ・言語拡張も出現している。

 特徴と課題 
GPUはメモリにシーケンシャルにアクセスし、かつ条件分岐の無い計算（演算密度の高い処理）に強い。そのような例に行列計算がある。苦手な物の代表として二分探索がある。二分探索は条件分岐だらけなうえ、メモリにランダムアクセスする。ポインタをたどる操作もメモリにランダムアクセスするため、連結リストや木構造なども苦手である。密行列は得意だが、疎行列は苦手で、東京大学情報基盤センターによると100倍遅いこれからの並列計算のためのGPGPU連載講座(V) 疎行列ベクトル積を題材としたCUDA最適化プログラミング。グラフ計算においては、例えば最短経路問題では、完全グラフのような密グラフに対しては高速に計算できるが、頂点から数本しか辺が出ていないような疎グラフに対しては遅い。

 条件分岐 
GPUはシェーダープロセッサ（ストリームプロセッサ【レビュー】549ドルのGeForce GTX TITAN対抗馬「Radeon R9 290X」をベンチマーク - PC Watch、ストリーミングプロセッサ【4Gamer.net】［特集］「GeForce 8800」のポイントをブロックダイアグラムから探るとも）と呼ばれる演算ユニットを多数持ち、複数のシェーダープロセッサをまとめてクラスタとしている。これらの演算器に命令を与えるインストラクション・ユニットはクラスタごとに1台しか無く、クラスタを構成するシェーダープロセッサはそれぞれ異なるデータを与えられ、そのデータに対して同じ命令内容を一度に実行する。このようなSIMD型データ処理は3次元演算やマルチメディア処理に効果を発揮する一方で、命令中に条件分岐による分岐が入るとオーバーヘッドがかさみ、途端に効率を落としてしまう。今日のCPUでは、このようなペナルティを最小限にするためにプリフェッチ／プリデコードや投機実行／レジスタ・リネーミングといった機能を備えているが、GPUでは備えていない（限定的な条件付きで投機的実行を行なえるものもある。GPUでの動的分岐はDirectX 9.0c世代以降でようやく現実的になった【4Gamer.net】 － 西川善司の3Dゲームエクスタシー － ATI, Radeon X1000シリーズ発表でSM3.0世代に突入【後藤弘茂のWeekly海外ニュース】GTCの目玉の1つ「Tegra 4/4i」のCPUアーキテクチャ）。またPC向けのGPUではシェーダープロセッサごとに分岐するためのプログラムカウンターを持たないため、条件分岐の際は個別に異なる命令を発行するのではなく、実際に命令を実行するか否かを分けるためのマスクレジスタを使って分岐する手法が採用されているKepler GPUアーキテクチャとプログラム最適化 (2) GPUはどうやって命令を処理しているのか | マイナビニュース 【後藤弘茂のWeekly海外ニュース】PlayStation 4で採用されたAMDのGCNアーキテクチャ。

また、シェーダープロセッサ間でデータをやりとりする場合、遠くのデータバスを経由することになり、それがボトルネックとなってしまう。この点に関しては、DirectX 10世代の統合型シェーダーアーキテクチャ以降のハードウェアに搭載されている、小容量だがプロセッサグループ内で共有することのできる高速なキャッシュメモリ（共有メモリ）を介することで、プロセッサグループ内でのデータ交換やメモリI/Oの効率を高めることができるコンピュータアーキテクチャの話 (322) GPUが用いるメモリのアクセス時間の短縮方法 | マイナビニュース 第５回　GPUの構造 | G-DEP。

一般的なアプリケーションで条件分岐が存在しないものは珍しいため、GPUはオフィススイートのようなアプリケーションの実行には不向きである。GPGPUの進歩においては効率を落とさず条件分岐を行なう方法が1つの課題となっている。原理的にはシンプルなアルゴリズムを実装したプログラムによって、並列データ処理に最適化することがGPGPUの特長を最大限引き出すことにつながるといえる。

 浮動小数点演算 
 単精度と倍精度 
単精度浮動小数点演算に関してはCPUをはるかに上回る理論演算性能とスケーラビリティを持つGPUだが、倍精度浮動小数点演算に関しては様相が異なる。もともとGPUが扱う多くの画像演算（特にリアルタイム3Dグラフィックス）では、整数演算や単精度の浮動小数点演算で足りてしまうために浮動小数点演算器は仮数部が24ビット程度とそれほど広くなく、単精度の演算器で倍精度の浮動小数点演算を行なうには、分割して幾度も演算器を使う必要があり、性能を大きく落とす要因となる。なお倍精度対応が必須とされる科学技術計算分野を含めたHPC向けに設計された製品では、倍精度専用の演算器を搭載・有効化しているものもある4Gamer.net ― 「GeForce GTX TITAN」登場。500円玉より大きなモンスターGPUの“性能以外”を徹底解説。

AMDは2006年に自社のGPU「R580」をベースとした、単精度浮動小数点演算対応のストリームプロセッシング向け製品「AMD Stream Processor」（第1世代FireStream）を発表AMD、R580コアをベースにしたHPC専用プロセッサ「Stream Processor」 | マイナビニュース、続いて2007年にR6xxコアを使用した業界初の倍精度浮動小数点演算対応HPC向けGPUである「FireStream 9170」（第2世代FireStream）を発売AMDのGPGPU戦略は新章へ - ATI Streamの展望、DirectX Compute Shaderの衝撃 (1) Radeon HD 4000シリーズでネイティブGPGPU | マイナビニュースした（ただし倍精度の理論演算性能は単精度の場合の1/5となるAMD's RV670 does double-precision at half the speed | TG Daily）。また2008年に発売されたRADEON HD 4850は1チップでは世界初の1TFLOPS（単精度）を達成し、このRADEON HD 4850にも使用されたR7xxコアを使用して低価格かつ高性能を売りに、HPC分野向けに第3世代FireStreamを発売AMD FireStream™9250 - FirePro Server - 製品情報 - 株式会社エーキューブすることになった。2010年には、さらに高性能化した第4世代FireStreamを発売している。2014年に発売されたAMD FirePro S9100/S9150では倍精度演算性能が強化され、倍精度の理論演算性能は単精度の場合の1/2になっているAMD FirePro S9100 - FirePro Server - 製品情報 - 株式会社エーキューブ AMD FirePro S9150 - FirePro Server - 製品情報 - 株式会社エーキューブ。

NVIDIAも、自社のGPU「」をベースとした、単精度浮動小数点演算対応のHPC向け製品「Tesla C870」を2007年に投入、さらに2008年に発売されたNVIDIA Tesla C1060で倍精度に対応したが、単精度933GFLOPSに比べて倍精度は1/12の78GFLOPSとなっておりNVIDIA Tesla C1060 - 株式会社 日本コンピューティングシステム、倍精度演算性能が極端に低かった。2010年に発売された世代のTesla 20シリーズTesla C2050 / C2070 GPUコンピューティングプロセッサ NVIDIA TESLA C2050 - 株式会社 エルザ ジャパンでは倍精度演算性能が強化され、倍精度の理論演算性能は単精度の場合の1/2になったが、2012年に発売された世代のTesla K20シリーズ4Gamer.net ― NVIDIA，Keplerベースの新世代Teslaを発表。「GK110」コア採用の「Tesla K20」が年内に登場予定 NVIDIA Tesla K20 | 株式会社 エルザ ジャパン、2013年に発表されたK40NVIDIA、最上位GPUアクセラレータ「Tesla K40」を発表 | マイナビニュース、2014年に発表されたK80SC14 - NVIDIAが最上位の科学技術計算用GPU「Tesla K80」を発表 | マイナビニュース では倍精度の理論演算性能は単精度の場合の1/3となっている。

2020年現在でも、GPUにおける倍精度演算に関してはHPC向けを除き、省電力性能やゲーミング性能を重視・維持するために必要最低限の性能しか用意されないことが多い。また倍精度専用の演算ユニットでは単精度の演算を行なうことはできないため、単精度を優先するか、それとも倍精度を優先するかはチップ設計段階におけるトレードオフとなる。実際、NVIDIAのアーキテクチャのGPUでは前世代に存在した倍精度演算器が省略され、単精度演算器を使って倍精度演算を行なうため、倍精度演算のピーク性能は単精度演算の1/32となる。このため、HPC向け以外のGPUは倍精度の浮動小数点演算が不得意であると言える。

 半精度 
深層学習の計算においては計算精度が求められないことから、半精度（16ビット）の演算を高速で行えるようにハードウェア側の対応も進みつつある。深層学習においては仮数部の細かさよりも値がオーバーフローしないほうが使いやすいというメリットのため、指数部を増やしたBF16()と呼ばれるフォーマットが考案され、一部のGPUでサポートされている。

GPUから派生した分野特化型のプロセッサとして、ディープラーニングなどのAI計算能力に対して既存のGPUでは消費電力の大きさが問題になることから、計算精度を8ビットに抑えて、積和演算に特化したTPU（テンソル・プロセッシング・ユニット）というプロセッサが実現されており、人工知能のアクセラレーターとして活用されている。バッテリー駆動が基本となるスマートフォンのSoCにも電力効率向上の必要性からAIアクセラレータが搭載されている。

 IEEE 754サポートおよびFMA命令 
DirectX 11対応となるEvergreen世代以降のAMD GPU、およびFermi世代以降のNVIDIA GPUでは、浮動小数点の演算精度はIEEE 754規格に準拠したものとなっている。なおNVIDIA GPUおよびAMD GPUでは融合積和演算命令 (FMA) をサポートしているが、CPUで同じ内容の処理をFMAを使わず実行した場合と比べて、GPUによる演算結果が異なることもある後藤弘茂のWeekly海外ニュース: GeForce GTX 280の倍精度浮動小数点演算 4Gamer.net ― AMD，世界初のDX11 GPU「ATI Radeon HD 5800」を発表。HD 4800の大幅な進化形 4Gamer.net ― 「ATI Radeon HD 5800」徹底分析（3）～3Dグラフィックスに特化したAMD 科学技術計算向け演算能力が引き上げられたGPUアーキテクチャ「Fermi」 (2) 科学技術計算向けのさまざまな工夫 | マイナビニュース GTC 2014 - GPUの浮動小数点演算の精度:理論と実践(前編) | マイナビニュース。

 メモリ 

メモリ環境についても、演算入力は、演算出力は画像1枚程度の大きさのピクセルごとにのデータを保持しながら順次それらを送り出すだけで済むため、外部の半導体メモリ（グラフィックスメモリ／ビデオメモリ／デバイスメモリ／VRAM）とメモリバンド幅による接続で十分に対応しており、演算対象データの局所性が高いのでグラフィックスメモリと内部キャッシュによってデータの読み書き性能が向上すると同時に演算も途切れずに順次行える傾向が強い。

基本的にGPUは、配列構造の単純なデータを半精度／単精度程度の浮動小数点演算によって順番に処理することで2次元の動画像データを実時間内に生成することに特化しているため、それ以外の用途ではあまり高い性能は期待できない。リアルタイム画像処理専用ICの流用では、科学技術計算でも倍精度以上の浮動小数点演算（拡張倍精度・四倍精度など）を必要とするものや、演算の局所性が低いものではそれほど高い性能は得られない。リアルタイム画像処理専用ではなく、GPUから派生して新たに開発されたGPGPU用のICでは、倍精度浮動小数点演算やより広いメモリ空間に対応したものがあり、これらは広範な科学技術計算への利用が期待される。なお、コンシューマー向けの画像処理分野ではほとんど必要とされないメモリの冗長機構であるECCがHPC分野では必須とされるため、ICを共用する場合に制約となるハイブリッドアーキテクチャでスパコン市場に挑むNVIDIA - 後藤弘茂のWeekly海外ニュース（PC Watch, Impress社、2012年4月16日配信、2012年4月16日閲覧）。

 共有メモリ 
GPUによるVRAMへのアクセスは、複数のプロセッサ群によって並列的に発生するため、連続したメモリ領域に対するコアレスアクセス（coalesce access、≒シーケンシャルアクセス）を行なうことで効率化・高速化できるHow to Access Global Memory Efficiently in CUDA C/C++ Kernels | Parallel Forall。NVIDIA GPUでは32のハードウェアスレッドを束ねるバッチ単位をWarp【後藤弘茂のWeekly海外ニュース】NVIDIA新世代GPU「Maxwell」のSMアーキテクチャ - PC Watchと呼び、AMD GPUでは64のハードウェアスレッドを束ねるバッチ単位をWavefront【後藤弘茂のWeekly海外ニュース】 AMDの新GPUアーキテクチャ「Graphics Core Next」の秘密と呼んでいるが、これらのユニット内ではプロセッサが完全に同期して動作するため、バッチ単位ごとにまとめて連続領域にアクセス（コアレスアクセス）することで効率が良くなる。逆に言えば、バッチ単位内のスレッドがそれぞれ遠く離れたばらばらのアドレスにアクセスするような非コアレスアクセス（≒ランダムアクセス）は効率が悪くなる。

GPGPUの本質は、大量の演算器によって実現されるハードウェアマルチスレッド集合を用いたデータ並列演算により性能を稼ぐ点にある。例えばNVIDIA GPUのFermi/Keplerマイクロアーキテクチャでは、演算器の最小単位をCUDAコア (SP, streaming processor) と呼び、また複数のCUDAコアを束ねる単位をSMX (SM, streaming multiprocessor) と呼んでいるが、GPUでの演算は、複数のSMXに対して同一の命令を発行していき、各々のハードウェアスレッドに割り当てられたデータに対して並列的に演算を行なうスタイルとなる。またWarp単位内における各スレッドはすべて同一の命令を実行する（SIMT）NVIDIA GPUの構造とCUDAスレッディングモデル。基本概念としてはAMDのVLIWやGraphics Core NextといったGPUアーキテクチャにおいても同様である。

しかし、このGPGPUプログラミングが特に従来型のCPUプログラミングと異なる点は、共有メモリ（shared memory、シェアードメモリ）の存在である。共有メモリは小容量だが高速で、ユーザープログラマーが明示的に管理できるキャッシュメモリ（≒L1キャッシュ）の仕組みを果たし、複数のコアでデータを共有・交換する目的に使用できる。なお各APIにおいては、CUDAは共有メモリ、OpenCLはローカルメモリ、DirectComputeはグループ共有メモリVariable Syntax (Windows)、そしてC++ AMPはタイル静的メモリtile_static Keywordという名称で、それぞれ同等機能を備えている。

例えばFermi/Keplerマイクロアーキテクチャでは、1SMXあたり最大の共有メモリを使用できるが高速演算記 第25回 「Kepler解説その2 〜Kepler世代の新機能〜」 | G-DEP、外部にあるDRAMにキャッシュなしでアクセスする場合と比べて、共有メモリのレイテンシは（スレッド間のバンクコンフリクトがないかぎり）100倍小さくなる。そのため、複数のスレッドから参照されるデータの一時書き込み場所として共有メモリを活用することにより、高速な並列アルゴリズム（たとえば高速に総和を求める並列リダクションなど）や、GPUプログラミングにおける高速化に必要なコアレスアクセス（≒シーケンシャルアクセス）を実現することができるとNVIDIAは説明しているUsing Shared Memory in CUDA C/C++ | Parallel Forall。しかしながら、最大でもしかない共有メモリというハードウェア制約がアルゴリズムの幅に制限をかけるため、共有メモリの存在はGPUプログラミングの難しさにもつながってしまう。また、共有メモリに読み書きする際、スレッド間の同期をとるための処理もプログラマーが明示的に記述する必要がある。

なお、インテルCPUのL2キャッシュメモリはL1キャッシュメモリに比べて容量が大きく、またプロセッサコア側に直結されているが、NVIDIA GPUのL2キャッシュメモリはL1キャッシュメモリに比べて容量がほとんど変わらず、またメモリ側に直結されているなど、データアクセス傾向の違いがハードウェア設計思想の違いにも反映されており、単純にキャッシュメモリの容量だけを比較して性能の優劣を決めることはできないコンピュータアーキテクチャの話 (336) CPUと異なるGPUにおけるコアと2次キャッシュの関係性 | マイナビニュース コンピュータアーキテクチャの話 (337) 実はそれほど速くはないGPUのメモリアクセス時間 | マイナビニュース 「Skylake-K」とはいかなるCPUなのか。「Core i7-6700K」ベンチマークで新世代マイクロアーキテクチャの実態を探る - 4Gamer.net。

 接続バスの速度 
コンピュータのマザーボードとdGPUを接続するPCI Express規格は、CPU-システムメモリ間やGPU-ビデオメモリ間と比べてはるかに帯域幅が狭く、安易にGPGPUを導入しようとするとデータ転送がボトルネックとなって逆に性能の低下を招いてしまう可能性もありうる【1カ月集中講座】骨まで理解するPCアーキテクチャ(GPU編) 第4回 ～GPGPU性能引き上げのカギとなるCPUとGPUの連携 - PC Watch。この点に関しては、NVIDIAが開発した独自のインターコネクト技術であるNVLink【後藤弘茂のWeekly海外ニュース】NVIDIAの次期GPU「Pascal」の概要 - PC Watch ［GTC 2016］西川善司の3DGE：Teslaとして登場した新世代GPU「Pascal」，その詳細に迫る - 4Gamer.netなどの解決策が模索されている。

 開発およびチューニングの難しさと移植性 
2015年現在、GPGPU対応プログラムの開発環境・APIとして代表的なものはCUDA、OpenCL、およびDirectComputeであり、GPGPU黎明期の開発環境に比べればはるかに開発しやすくなっている» アクセラレータプログラミングの未来ものの、依然としてアクセラレーターとなるハードウェアを意識したGPGPU特有のプログラミング知識が不可欠である。また、規格によってある程度標準化・抽象化されているとはいえ、いずれもデバイスとの通信を行なうローレベルのAPIを使いこなさなければならないなど、通常のC/C++やFortranを用いたソフトウェア開発とは次元の異なる難しさがあり、導入のハードルが高い。特にOpenCLとDirectComputeはハードウェアに共通にアクセスできるAPIを規定しているだけであり、CUDAよりもさらにローレベルの抽象度である。この点に関しては、アクセラレーターの存在を抽象化し、従来のCPUベース並列プログラミング用の共通規格OpenMPに近い高レベルプログラミング環境を提供するOpenACCやC++ AMPといった規格も徐々に整備されつつある4Gamer.net ― 見えてきたAMDの次世代GPUアーキテクチャ。なぜAMDはVLIWを捨てるのか。

CPU上で動作するプログラムは組み込み環境を除き、ライブラリも含めて高レベルに洗練された開発環境が整っていることが多い。例えばC++、Java、C#言語などの代表的な高級言語では、単純な連続メモリの配列構造だけでなく、リンクリスト・二分探索木・ハッシュテーブルといった基本的なデータ構造はプログラミング言語標準ライブラリで提供されていることがほとんどだが、GPUプログラミングの場合は基本的には配列構造しか用意されていない。フォトンマッピング手法の開発者であるWann Jensen博士によると、複雑なデータ構造をGPU上で扱おうとするとCPUよりもはるかに困難となる場合が多いと評されているレンダリング手法について-CPU or GPU? | KeyShot™総合サイト。他にも、GPUプログラミング言語であるHLSL、GLSL、およびOpenCL CではC++テンプレートのようなジェネリックプログラミング機能がサポートされないため、生産性が低い。なおBLASやFFTに関しては、NVIDIAによるCUDA実装のcuBLAScuBLAS - NVIDIA CUDA ZONEやcuFFTcuFFT - NVIDIA CUDA ZONE、およびAMDによるOpenCL実装のclMath (clBLAS, clFFT) clMath - AMDが存在する。そのほか、二分探索、ソート、リダクション、スキャンといったよく使われるアルゴリズムに関しては、NVIDIAによるCUDA実装のC++テンプレートベース並列アルゴリズムライブラリThrustThrust - NVIDIA CUDA ZONEや、AMDによるOpenCL/C++ AMP実装の同等ライブラリBoltBolt C++ Template Library - AMDが存在するが、両者に互換性はない。

また、GPUで演算した結果をCPUで読み出して利用する場合、従来アーキテクチャではGPUメモリからCPUメモリへのデータ転送が必要となる。その逆もまた然りである。こうしたCPU-GPU間のメモリ転送にかかる処理時間およびプログラミング上の手間が、性能のボトルネックやソフトウェア開発の難しさにつながるという問題も抱えている。これは物理的にメモリが分離されているdGPUとCPUによる構成だけでなく、従来型のオンボードグラフィックスやCPU内蔵GPUといった、物理メモリを共有する構成においても同様である。CUDAスパコン最大の学会「SC13」に見る先端技術 (5) SC13 - CPU-GPU統一メモリを実現したCUDA 6(後編) | マイナビニュースやOpenCLOpenCL* 1.2 の活用: インテル® プロセッサー・グラフィックスでバッファーコピーを最小限に抑えてパフォーマンスを向上する方法 | iSUSにはソフトウェア（ドライバー）レベルでこの転送の手間を解決する仕組みとして統合メモリ (unified memory) 機能や共有仮想メモリ (shared virtual memory) 機能が用意されてはいるが、あくまでメモリ空間のアドレッシングを仮想化して転送処理を自動化するだけの仕組みであり、アプリケーションプログラマーが明示的に転送処理を記述してチューニング・最適化する場合と比べてパフォーマンス上の問題もあるNVIDIA CUDA 6.0 Unified Memory Performance | Acceleware Ltd.。この点に関しては、AMDが推進しているHSA (Heterogeneous System Architecture)【後藤弘茂のWeekly海外ニュース】AMD、新GPU「Tonga」がHSAの最終形であることを明らかに - PC Watch におけるhUMA (heterogeneous Uniform Memory Access) といった解決策が模索されている。

GPGPUプログラムの移植性に関しては、CUDAはNVIDIAハードウェア専用であり、また DirectCompute (DirectX) はMicrosoftプラットフォーム（Microsoft Windows、Xbox Oneなど）専用という制約がある。一方でOpenCLは、GPUだけでなく対応するあらゆるハードウェア・あらゆるプラットフォームへ展開できる高い移植性を持っているが、性能に関するポータビリティは必ずしも確保・保証されず、場合によってはデバイスやチップごとにコードをチューニングする必要がある» コンパイラ、そしてもっと：アクセラレーター・プログラミングKAKEN - GPUによるFFT計算の自動チューニング手法の研究(22680002) - 2011年度研究実績報告書GPUとXeon Phi、どちらが計算処理アクセラレータに最適か? - 実際の実行性能を比較するワークショップを首都大学東京が開催 (4) アクセラレータの課題と問題点が語られたパネルディスカッション | マイナビニュースGPU移行：GPU移行に関するポータルサイト（JCAHPC)。

 適合分野 
GPGPUで性能が向上するアプリケーションの例として、下記が挙げられる。
 数値計算
 シミュレーション
 分子動力学法、格子ボルツマン法
 物理シミュレーション
 流体計算・気候シミュレーション
 天体シミュレーション
 暗号解読
 暗号通貨の採掘
 音声処理
 CT再構築
 データベース処理
 市況分析
 機械学習（ニューラルネットワークなど行列計算によるもの）
 ディープラーニング
 最適化問題（DRAMにコアレスアクセスするもの）
 グラフィックス用途での汎用計算
実際の演算内容としては、行列演算、配列のリダクション、およびフーリエ変換などが挙げられる。

変わった例ではカスペルスキー・ラボがRadeon HD 2900で行っている実証試験として、GPUのパワーを使ってセキュリティソフトによる大まかなセキュリティチェックを行う機能を開発している。これによりCPUへの負担を減らすことができるとしている。

一方で、大量の条件分岐が伴う創薬研究や遺伝子解析のような用途にはスカラー計算機が適しており、ベクトル計算機やGPGPUベースの計算機には向かないとされているベクトル型スパコンの存在意義――地球シミュレータのいま (1/2) - ITmedia エンタープライズ。

 実用ソフトウェアの登場 
GPGPU技術の話題は、コンピュータ（特に資源やスペースの制約が強いパーソナルコンピュータ）の進化において2000年代中盤までのトレンドであり課題であった。しかし、デモンストレーションばかりが先行し、実際に活用できるソフトウェアが発売されることはなかった。そもそも、CUDAやOpenCLなどの汎用APIや、それらに対応するDirectX 10世代の統合型シェーダーアーキテクチャGPUが出現するまでは、GPGPU開発環境は制約の強いリアルタイムグラフィックス向けのAPIやシェーディング言語を直接利用したものか、もしくは研究機関が独自開発した固有のプログラミング言語基盤であり、ハードルも高く、決して開発効率や再利用性が良いとは言えなかった"これからの並列計算のためのGPGPU連載講座(I) GPUとGPGPUの歴史と特徴", 東京大学情報基盤センター, 大島聡史 SIGGRAPH 2005 - GPUをCPU的に活用するGPGPUの可能性 (5) GPGPU向けプログラミング言語の登場が始まる | マイナビニュース。

2008年秋から、S3がGPUを利用したGPGPU用写真修正ソフトウェア「S3FotoPro」を発表S3、GPGPU用フォトレタッチソフト「S3FotoPro」 - PC Watch（2008年10月20日）、また動画編集加工ソフトでは動画エンコードソフトの代表格であるTMPGEncがCUDAに対応したペガシス、「TMPGEnc 4.0 XPress」の“CUDA”テクノロジー対応版を正式公開 - 窓の杜（2008年10月30日）ことを皮切りに、サイバーリンクのPowerDirector 7がCUDAとATI Streamに対応したCyberLink、動画編集ソフト「PowerDirector 7」をCUDAに対応 - PC Watch（2008年11月10日）。さらに、2009年にはSuper LoiLoScope (Pixel Shader 2.0を活用) が発売LoiLo、GPGPU対応の高速動画編集ソフト - PC Watch（2008年10月17日）、サイバーリンクがMediaShow Espresso (CUDAとATI Streamに対応) を発売している。GPGPUを利用した無料で利用可能な動画エンコードソフトとして、AMDのATI AVIVO (完全無料) やNvidiaのBadaboom (30日間無料体験版) 、MediacoderのCUDAエンコーダが挙げられる。

米アドビはCreative Suite 4 (CS4) の一部製品においてCUDAベースのGPUアクセラレーションをサポートしていたが4Gamer.net ― NVIDIA製GPUが「Photoshop」「After Effects」「Premiere Pro」の最新版「CS4」アクセラレーションをサポート。ムービーでその効果をチェック、2010年5月28日に発売したCreative Suite 5 (CS5) において。CS5はOpenCLベースで開発されており、GPGPUによる演算を行うことができる。本来GPUは画像処理を得意とするため、画像処理を主体とする同社のアプリケーションへの適性は高い。また、After Effects CCでは、レイトレーシングエンジンにを採用しているGPU changes (for CUDA and OpenGL) in After Effects CC (12.1)  |  After Effects region of interest。その他にも、V-Rayなど、レイトレーシングのアクセラレータとしてGPUを活用しているレンダラーが存在するGPUレイトレーシング | NVIDIA。AMDもOpenCLベースのレイトレーシングエンジンとして、Radeon ProRender (旧称AMD FireRender) を開発・公開している［SIGGRAPH 2014］NVIDIAがゲーム向けのリアルタイム大局照明，IntelはHaswell用DX12ドライバのデモを一般展示セクションで披露 - 4Gamer.net AMDは新GPU「Radeon Pro」を，NVIDIAは360度ビデオ用SDKをアピール。プロセッサメーカーによる「SIGGRAPH 2016」の展示をレポート - 4Gamer.net Radeon ProRender Technology - AMD。

オープンソースの統合型3DCG作成ソフトウェアBlenderでは、GIレンダリングエンジンであるCyclesにおいてNVIDIA CUDAによるGPUレンダリングが可能となっている。なお、バージョン2.6時点ではOpenCLによるGPUレンダリングも試験的に実装が進められているDoc:JA/2.6/Manual/Render/Cycles/GPU Rendering - BlenderWiki。また、Autodesk 3ds Maxサブスクリプションなどに搭載されている物理ベースのGIレンダリングエンジンであるNVIDIA Irayでは、CUDAベースのGPUアクセラレーションが行なわれるNVIDIA iray | NVIDIA NVIDIA iray - Design Rendering with CUDA Parallel Processing | NVIDIA NVIDIA Advanced Rendering: NVIDIA Iray。

その他、ビットコインをはじめとした暗号通貨の採掘処理にもGPUが使われているBitcoinマイニングはまさに軍拡競争、素人お断りの現状とは？ - GIGAZINE。

このように、学術・研究目的や産業用途以外にも、一般的なプロダクション向け・コンシューマー向けに関してもGPGPU技術を利用したソフトウェアが登場しており、GPGPUを一般のアプリケーション利用者が活用できる環境が整ってきたといえる。しかし、万能に処理をこなすCPUと比較して、GPUは並列計算に特化しており、ソフトウェア開発においてはパイプライン処理や並列計算等の知識だけでなく、ハードウェア仕様およびAPIの知識も必要になるため、未だにGPGPUを活用する開発ノウハウが一般化したとは言い難い面もある。しかし、そうした特別な専門知識を要求される実装についてはライブラリ、フレームワーク、処理連携先となるソフトウェアの背後に隠蔽するなどして、アプリケーションを開発するソフトウェア技術者が内部の詳細を意識することなくGPGPUによる高速化を利用できるような配慮も行われている。

 脚注 

 注釈 

 出典 

 参考文献 



 関連項目 
 代表的なGPGPU対応ハードウェア
 NVIDIA GeForce
 NVIDIA Quadro
 NVIDIA Tesla
 NVIDIA Tegra
 AMD Radeon
 AMD Instinct
 AMD FirePro
 AMD FireStream
 AMD APU
 Intel HD Graphics
 GPGPU基盤・プログラミング言語・APIなど
 CUDA (Nvidia社)
 OpenMP
 OpenACC (ほぼNvidia社)
 HIP (AMD社)
 oneAPI (Intel社)
 OpenCL
 AMD Stream (ATI Stream)
 DirectCompute
 HLSL
 GLSL

 C++ AMP
 採用事例
 Folding@home - GPGPUを利用した分散コンピューティングプロジェクト
 BOINC - 地球外知的生命体探査 (SETI@home) やGPUGRIDなどのプロジェクトがGPU (CUDA) に対応
 その他
 濱田剛

*
Category:CPU
Category:グラフィックカード
Category:並列コンピューティング