上同时执行程序的不同部分来实现更高。
调试和监控.在集群上开发和调试并行程序需要并行语言原语以及合适的工具，例如高性能调试论坛（HPDF）所讨论的那些工具，HPD规范就是这样产生的。像TotalView这样的工具是为了在使用MPI或PVM进行消息传递的计算机集群上调试并行实现而开发的。Berkeley NOW（Network of Workstations）系统收集集群数据并将其存储在数据库中，而在印度开发的PARMON系统允许对大型集群进行可视化观察和管理。当一个节点在