Jelaskan Hukum Amdahl dari Komputasi paralel

Telah dijelaskan bahwa dari  (waktu yg dibutuhkan menjalankan pekerjaan dalam satu komputer) tadi, ada sebagian yg tidak bisa diparalelkan. Untuk menyatakan ini kita gunakan notasi  dimana  menunjukkan berapa bagian dari  yang tidak bisa  dijadikan paralel (atau bagian serial dari program ini).

Maka kita ketahui  adalah waktu yg tidak akan terpengaruh oleh bertambahnya komputer yg digunakan (a).

Sisanya  adalah waktu yang akan berkurang menjadi  bila kita menggunakan

N komputer tambahan {b) .

Sehingga waktu total yang dibutuhkan untuk menjalankan pekerjaan dalam N komputer adalah (a) + (b) alias:

Peningkatan kecepatan yang kita peroleh dari persamaan ini adalah:

Mungkin anda akan mendapati persamaan speed up yang terlihat berbeda tetapi pada dasarnya sama. Persamaan dibawah, bisa didapat dari persamaan di atas, dengan mengeliminasi komponen  (pada bagian atas dan bawah persamaan), lalu mengatur N dan

Bila anda cermati persamaan di atas, bisa dilihat bahwa jika kita menggunakan komputer yang amat banyak () komponen (b) akan dapat diabaikan, menyisakan persamaan:

Inilah batas maksimum peningkatan kecepatan yang bisa dicapai menurut hukum Amdahl yaitu perbandingan terbalik dari seberapa banyak bagian serial dari suatu pekerjaan.

Dalam sistem terdistribusi dimana anda berusaha menggunakan lebih banyak prosesor untuk menyelesaikan masalah, akan ada imbal balik. Menggunakan komputer tambahan dari lokasi yang berbeda memberikan anda sumber komputasi baru, tetapi juga melibatkan biaya komunikasi tambahan, saat anda harus memberikan pekerjaan tersebut pada komputer yg terpisah.

Bahasa populer dalam Pemrograman Paralel

MPI Message Passing Interface, bahasa pemrograman dengan basis pertukaran pesan.