因为它的运算过程是不确定的，在设计上的难度较高。设计并行程式最大的挑战，在于确保不同运算执行步骤间的互动或是通讯，能以正确的顺序进行，同时，也要确保在不同执行步骤间共享的资源，能够正确被存取。在这个领域的先驱人物有艾兹赫尔·戴克斯特拉、东尼·霍尔与泊·派克·汉森等人。
概论.并行计算，简单来说，就是将一个计算任务，分割成几个小的部份，让它们同时被计算，之后再汇整计算结果，以完成任务。它跟平行计算（Parallel computing）与分散式计算，有重叠之处，在概念上不同，但常会让