Tính toán song song
Lịch sử

Bài chi tiết: Lịch sử máy tính
Nguồn gốc của song song (MIMD) xuất phát từ Federico Luigi, Conte Menabrea và "Phác thảo của máy giả tích phát minh bởi Charles Babbage" của ông. IBM giới thiệu 704 vào năm 1954, thông qua một dự án, trong đó Gene Amdahl là một trong những kiến trúc sư chính. Nó đã trở thành máy tính thương mại đầu tiên sử dụng lệnh số học dấu phẩy động hoàn toàn tự động.
Vào tháng 4 năm 1958, S. Gill (Ferranti) thảo luận về lập trình song song và nhu cầu phân nhánh và chờ đợi. Cũng trong năm 1958, hai nhà nghiên cứu của IBM John Cocke và Daniel Slotnick lần đầu tiên thảo luận về việc sử dụng song song trong các tính toán số học. Tập đoàn Burroughs đã giới thiệu D825 năm 1962, một máy tính bốn bộ xử lý có thể truy cập lên đến 16 module bộ nhớ thông qua một bộ chuyển mạch thanh ngang. Năm 1967, Amdahl và Slotnick công bố một cuộc tranh luận về tính khả thi của xử lý song song tại của Hội nghị xử lý thông tin xã hội Liên bang Mỹ. Từ cuộc tranh luận này mà định luật Amdahl đã được đặt ra để xác định giới hạn sự tăng tốc do song song.
Năm 1969, công ty của Mỹ Honeywell giới thiệu hệ thống Multics đầu tiên của mình, một hệ thống đa xử lý đối xứng có khả năng chạy lên đến tám bộ xử lý song song. C.mmp, một dự án bộ đa xử lý ở Đại học Carnegie Mellon những năm 1970, là "một trong những bộ đa xử lý đầu tiên với hơn một vài bộ vi xử lý". "Bộ đa xử lý đầu tiên kết nối kênh với snooping vùng nhớ đệm là Synapse N+1 năm 1984."
Máy tính song song SIMD có nguồn gốc từ những năm 1970. Hoạt động của những máy tính SIMD đời đầu là giảm dần các chậm trể ở cổng ở đơn vị kiểm soát của bộ xử lý trên nhiều lệnh. Năm 1964, Slotnick đã đề xuất xây dựng một máy tính song song hàng loạt cho Phòng thí nghiệm quốc gia Lawrence Livermore. Thiết kế của ông được tài trợ bởi Không quân Hoa Kỳ, là nỗ lực tính toán song song SIMD đầu tiên, ILLIAC IV. Chìa khóa cho việc thiết kế của nó là một song song khá cao, lên đến 256 bộ xử lý, cho phép máy làm việc trên bộ dữ liệu lớn mà sau này được biết đến như là xử lý liên hợp. Tuy nhiên, ILLIAC IV được gọi là "nổi tiếng nhất trong các siêu máy tính", vì dự án đã được chỉ hoàn thành được một phần tư, nhưng tốn 11 năm và chi phí gấp gần bốn lần so với ước tính ban đầu. Khi nó cuối cùng cũng có thể chạy ứng dụng đầu tiên vào năm 1976, nó đã hoàn toàn thua kém so với những siêu máy tính thương mại lúc đó như Cray-1.
Biểu diễn định luật Amdahl. Khả năng tăng tốc của một chương trình song song hóa bị hạn chế bởi việc có bao nhiêu phần của chương trình có thể được song song. Ví dụ, nếu 90% chương trình được song song, tốc độ tăng cực đại khi sử dụng tính toán song song sẽ là gấp 10 lần, không phụ thuộc vào bao nhiêu bộ xử lý được sử dụng.
Giả sử một công việc có hai bộ phận độc lập, A và B. B chiếm khoảng 25% thời gian của toàn bộ tính toán. Với nỗ lực, một lập trình viên có thể làm cho phần việc này nhanh gấp 5 lần, nhưng điều này chỉ làm giảm thời gian của toàn bộ tính toán đi một chút. Ngược lại, người đó có thể chỉ phải làm việc ít hơn để khiến cho phần A nhanh gấp hai lần. Phương án thứ hai sẽ làm cho toàn bộ công việc tiến triển nhanh hơn so với phương án thứ nhất, mặc dù B có tốc độ tăng lớn hơn (5× so với 2×).
Một đường liên kết 5 giai đoạn điển hình trong một máy RISC (IF = Nạp lệnh, ID = Giải mã lệnh, EX = thực thi, MEM = truy cập bộ nhớ, WB = Register write back)
Một bộ xử lý siêu vô hướng với liên kết 5 giai đoạn, có khả năng phát ra 2 câu lệnh một chu kỳ. Nó có thể có 2 câu lệnh trong mỗi giai đoạn của đường liên kết, với tổng số lên đến 10  câu lệnh (màu xanh lá cây) được thực hiện đồng thời.
Một cái nhìn hợp lý về kiến trúc Non-Uniform Memory Access (NUMA). Bộ xử lý trong một thư mục có thể truy cập bộ nhớ của thư mục đó với độ trễ ít là truy cập vào bộ nhớ trong bộ nhớ của các thư mục khác.
Một cụm Beowulf
Một phòng máy của Blue Gene/L, xếp hạng là siêu máy tính nhanh thứ tư trên thế giới theo bảng xếp hạng TOP500 11/2008. Blue Gene / L là một bộ xử lý song song hàng loạt.
Card Tesla GPGPU của Nvidia
Cray-1 là bộ xử lý liên hợp nổi tiếng nhất.
ILLIAC IV, "có lẽ là siêu máy tính nổi tiếng nhất"