真の並列性 (MIMD) という概念の起源は、イタリア人数学者ルイジ・メナブレアの "Sketch of the Analytic Engine Invented by Charles Babbage" に遡る。1954年、IBMが IBM 704 をリリースしたが、この開発プロジェクトにはジーン・アムダールもアーキテクトとして参加していた。このコンピュータは完全自動浮動小数点演算が行える初の商用マシンとなった。1958年、IBMの研究者ジョン・コックと Daniel Slotnick は数値計算における並列性の利用について初めて話し合っている。1962年、バロース社は4プロセッサのコンピュータ D825 を発表した。これは、クロスバースイッチ経由で最大16個のメモリモジュールにアクセス可能であった。1967年、アムダールと Slotnick は、アメリカ情報処理学会連合会の会議で並列処理の可能性について公開討論を行った。アムダールはこのとき、後に「アムダールの法則」と呼ばれる考え方に基づいて、並列性の限界について述べた。1969年、ハネウェルが最初の Multics システムを発表した。これは、最大8プロセッサまでが並列に動作可能な対称型マルチプロセッサシステムであった。カーネギーメロン大学では1970年代に C.mmp というマルチプロセッサ開発プロジェクトが行われ、大規模と言える初のマルチプロセッサであった。同期機能を持ったキャッシュ（MESIプロトコル参照）を持ったプロセッサ群をバスで接続する形態のマルチプロセッサ機としては、1984年の Synapse N+1 が最初である。SIMD型並列コンピュータの起源は1970年代に遡る。初期のSIMD型コンピュータは、命令列を実行するときのプロセッサの制御装置におけるゲート遅延への対策という意味合いが強かった。1964年、Slotnick はローレンス・リバモア国立研究所向けの超並列コンピュータ構築を提案している。その提案に対してアメリカ空軍が資金を提供し、それが最初のSIMD並列マシン ILLIAC IV となった。設計の鍵となったのは、最大256プロセッサによる高い並列性であり、それらプロセッサが後にベクトル計算機と呼ばれる方式で大きなデータを処理するものであった。しかし、プロジェクトは11年もかけて当初の4分の1の規模までしか構築できず、事前の見積もりの4倍の費用がかかってしまった。1976年にアプリケーションを実行可能になったが、既に発売されていた商用のスーパーコンピュータ Cray-1 に性能で負けていた。
GPGPUに関しては、統合型シェーダーアーキテクチャの出現以降、NVIDIA社によるCUDA、KhronosグループによるOpenCL、マイクロソフト社によるDirectComputeといったAPIの整備・標準化も進んでいる。APIごとに特色はあるが、カーネル記述方式などに概ね似通った特徴を持つ。ただしCPUとGPUはメモリ空間が異なるため、まずCPU側のメモリからGPU側のメモリに入力データをコピーしてGPUに処理を実行させ、さらに処理後の結果を出力データとしてGPU側のメモリからCPU側のメモリにコピー（リードバック）する必要があるなど、プログラミングモデルは分散メモリ環境に近く、煩雑である。AMDはCPUとGPUを統合したAPUを開発しているが、さらにCPUとGPUのメモリ空間までをも統合し、データ転送の手間を減らしてGPGPUアプリケーションソフトウェアの実装を容易にするための仕組みとしてHeterogeneous System Architecture (HSA) を提唱・推進している。
コンピュータが大規模かつ複雑になると、平均故障間隔は小さくなる。並列計算では、多数のプロセッサを使っても長時間かかるような処理を行うことがある。このため、アプリケーションの実行中の状態（全てのリソース確保状況や変数群の状態など）をコアダンプのような形で定期的に保持しておき、障害が発生したときに最初から処理をやり直すのではなく、途中までの保存された状態から再開できるようにする必要がある。この技法をアプリケーション・チェックポインティングと呼ぶ。時には数ヶ月もかかる処理もあり、その場合アプリケーション・チェックポインティングは非常に重要となる。また、この技法はプロセスマイグレーションにも応用できる。
州内の湖沼は氷河に由来するものが大半を占める。例外は不規則な形状をなした州中央東部のデヴィルズ湖である。50kmに亘って複数の湖が直前上にいくぶんジグザグにつながったような形状を取って広がる。デヴィルズ湖はどの水系にも属さず、州内で閉じた楕円形のベイスンを形成している。水系面積は3810平方マイル。水系はロレッタ郡南東部、タウナー郡南部、キャバリエ郡南部、ベンソン郡東部、ラムジー郡全域、ウォルシュ郡西部、ネルソン郡北西部に広がる。流入河川は北から延びており、20km以上の河川は6本存在する。流出河川が存在しないため、降水量によっては湖周辺への浸水被害が頻発する。州内全域、特に分水界の北東部において小規模な湖沼が不規則に無数に広がる。これは北に接するカナダや東に接するミネソタ州と似た状況だ。湖沼のサイズは数十mから数百m程度のものが多い。いずれも流入河川、流出河川とも存在しないものが大半で。形状は全く不規則である。湖の成因は氷河であり、氷河が刻んだ平行に並ぶ「傷」の形をした湖も多い。最も湖の密度が高い地域ではあたかもスポンジの断面であるかのように湖が分布する。このような土地では0.5マイル区画の農地が形成できないため、1マイル区画が最小の単位となっており、道路も1マイルではなく、2マイル、もしくは3マイルおきにしか敷設されていない。州北東部キャバリエ郡のラッシュ湖、中央東部キダー郡のシブレイ湖、同じくスタッツマン郡のフィッシャー湖の3カ所は、ツートップ・メサ、ビッグトップ・メサと並んで、ナショナル・ナチュラル・ランドマークに認定されている。ラッシュ湖はプレーリーの草原が残る中に広がる湖。湿地と一体化しており境界がはっきりしない。4km四方の領域が湖に属する。シブレイ湖は複数の円をつなぎ合わせたような形をしており、3.5km×2.5km程度の領域を占める。数km以内にバード湖、マクフェイル沼、ストーニー湖、マッド湖、ビッグマッディ湖、バッファロー湖など同規模の湖が散らばり、水鳥が集うことでは州内一である。フィッシャー湖は氷河の運搬作用によって堆積した砂礫であるモレーンの間にたまった湖であり、自然林も残る。いにしえの氷河湖の名残がよく残っている。形状は円に近い楕円で直径は約1.2km。直径だけならすぐ脇に隣接するチェイス湖（直径約4.4km）の方がずっと大きい。