超並列マシン
超並列マシン (ちょうへいれつマシン、Massively parallel machine) は1990年代から台頭してきた、並列計算機の中で規模の大きなもの(CPU数の多いもの)を言う。大規模クラスターマシン、大規模ワークステーションクラスター、地球シミュレーターなども超並列マシンの範疇に入れることができる。時代と共に並列度は大きくなり、CPU性能は向上するため、何個以上のCPU数(或いは性能)で超並列であるというはっきりとした定義はない。
超並列マシンは分散メモリ型のコンピュータシステムであり、多数のノードから構成され、各ノードは基本的に独立したコンピュータとなっている。本来の超並列マシンはnCUBEやコネクションマシンなどのように、ほとんどのノードがCPUとメモリとノード間接続用の通信ポートのみで構成されるものであった。ノード間通信にはMPIのような標準的なプロトコルを使用してメッセージをやり取りする。2005年現在のスーパーコンピュータはほとんどが超並列マシンである。超並列マシンの性能は、実行しようとするアプリケーションの並列性と、スレッド間の通信量に左右される。アプリケーションの並列性が高ければ多くのノードに展開して並列実行できるため、性能向上が期待できる。しかし、共有メモリ型と異なり、あるスレッドの実行結果をメモリに置くだけでは他のスレッドからは見えないため、通信が必要となる。したがって、計算途中に他のスレッドの結果を待ち合わせなければならないようなアプリケーションではノード数に比例した性能向上は期待できない。超並列マシンでの計算性能の向上は研究の活発な領域である。