ILLIAC IV
1960年代初頭、コンピュータの設計は収穫逓減の時期に差し掛かっていた。ハードウェアが直接実行する命令を増やせば性能が上がることは判っていたが、それにはコストがかかり過ぎるのである。実際、性能は電気信号の速度に限定されるため、ある速度を維持するには信号経路長が問題となり、ハードウェアを追加すると全体の速度は若干低下したのである。当時の先端技術であるトランジスタを使った論理回路設計では回路の増加はマシンのサイズの増加に直結していた。CPUの速度は安定期に達しつつあったのである。
1960年代、それらの問題を解決する手法がいくつか研究された。当時オーバーラップ(overlap)と呼ばれた命令パイプラインは、ひとつのCPUがいくつかの命令を同時に実行するものである。通常、CPUは命令をメモリからフェッチして、デコードして、実行し、結果をメモリに書き戻す。従来のCPUでは、たとえばデコードをしている最中にはCPUのその他の部分は全く働いていなかった。パイプラインはシーモア・クレイがCDC 6600で初めて実現した限界を破る手法であった。そのマシンが登場したとき、他のマシンに対して約十倍の性能を発揮した。
別の解決方法は並列コンピューティングである。多数の汎用CPUを使ってコンピュータを構築する手法である。このタイプのコンピュータは各CPUが同時並行して動作して初めて効果を発揮する。