クラスターは複数の独立したマシンで構成され、高速なネットワークで相互接続されたマシンが並列に動作する。分散コンピューティングとコンピュータ・クラスターの違いは、分散コンピューティングで使われる個々のマシンが必ずしも同一グループのタスクを実行するためだけにあるわけではないのに対して、クラスターでは各マシンがより密に結合されている。分散コンピューティングは、クラスターよりも地理的に広範囲にあるマシンを含むことが多い。
マルチコンピュータという用語は、疎結合型のNUMAマシンや密結合型のコンピュータ・クラスターを指す。マルチコンピュータは、電力消費を抑えつつ限られたスペースで強力な計算能力を持つシステムを構築する際に採用される。
インテルのCPUは、Pentium 4の世代の後期にハイパースレッディング・テクノロジーと呼ばれる技術を採用した。これは、複数のスレッドを同じCPU上で同時に実行できる技術である。その後、マルチコア技術で複数のCPUコアを1つのパッケージにするようになり、サン・マイクロシステムズは UltraSPARC T1 で、AMDは Athlon 64 X2/FX/Opteron で、インテルは Pentium D/Core/Core2/Xeonで実装している。これにより、複数のスレッドを同時実行できるようになり、同時実行可能スレッド数は増えていく傾向にある。
マルチプロセッサシステムは、複数のCPUを持つ単一のコンピュータである。オペレーティングシステムがその利点を生かすよう構築されていれば、異なるプロセス（あるいは同一プロセスの異なるスレッド）を異なるCPU上で同時に実行できる。
計画に不備があると、分散システムは全体の計算の信頼性が低下し、ノードのダウンによって他のノードも動作不能に陥る可能性がある。レスリー・ランポートは、「分散システムは、そんな障害があるとは思ってもみなかった障害によって利用不能になるシステムである」と述べている。分散システムにおけるトラブルシューティングや診断はますます困難になりつつある。問題の原因を突き止めようとすれば、遠隔ノードへの接続が必要であり、ノード間の通信内容を調べる必要がある。分散環境に適さない計算の種類も多い。特に通信量が多くなるものや同期が必要なものは適さない。必要な帯域幅があまりに大きくレイテンシが少ないほどよいという場合は、分散コンピューティングは不適切であり、分散でない環境の方が性能がよいと予想される。
コンピュータ同士の相互のやり取りを組織して系統立てることが重要である。様々なコンピュータを利用可能とするには、通信プロトコルや通信経路に特定のマシンが認識できない情報が含まれていてはならない。メッセージが正しく配布されるよう特に注意を払う必要があり、不正なメッセージがあるとシステムやネットワークが動作不能となる危険性があるため、それを拒絶しなければならない。もう1つの重要な要因は、ソフトウェアをコンピュータからコンピュータへ送信する機能であり、それによって送られたコンピュータが既存のネットワークとやり取りできるようになる。アーキテクチャが異なっているとこれができない場合があり、クロスコンパイラなどを使った移植が必要になる。
神の子羊（神の小羊、かみのこひつじ）は、イエス・キリストのことを指す表現のひとつ。キリスト教神学において、人間の罪に対する贖いとして、イエスが生贄の役割を果たすことを踏まえており、古代ユダヤ教の生贄の習慣にも由来する表現である。ラテン語では「Agnus Dei」と表記され、日本語では、ラテン語やイタリア語などの用法に由来するものは「アニュス・デイ」、ドイツ語での用法に由来するものは「アグヌス・デイ」と片仮名書きされることが多い。この表現は、聖書に見えるいくつかの異なる用例のいずれかへの言及として用いられる。聖書におけるこの表現の意義は、これに先行した一連の子羊の象徴体系の文脈の中に位置づけられる。旧約聖書の出エジプト記12に記された過越における生贄の子羊の血は、イスラエルの民を護り、救うものであった。この結びつきは新約聖書のコリントの信徒への手紙一5:7で、明確に示されている。パウロによれば、キリスト教徒は、真の過越の子羊であるキリストによって救われるのである。旧約聖書には、罪を償うために生贄を捧げる習慣についての記述がいろいろある。子羊は、こうした生贄に供されるもののひとつであり（例えば、レビ記4:32-34、5:6）、これをイエスに結びつける捉え方は、ヨハネによる福音書1:29、ペトロの手紙一1:19で強く示唆されている。ユダヤ教の場合と同様に、生贄を捧げ、「穢れのない」子羊の血を振りまくことで（レビ記4:32）、罪は赦され得るものであるため、キリスト教徒たちは、穢れのない神の子羊であるイエスの血によって、信徒たちも免罪され得ると信じるのである。ユダヤ教における罪と贖罪については、それぞれの記事を参照されたい。こうしたイエスによる血の贖いを認めない立場のキリスト教神学では、血は罪を赦すものではないとされ、イエスが説いた、回心、愛、他者への赦しが、人間の罪を取り除くとされる。イザヤ書53には「彼は私たちの病を負い、私たちの痛みをになった」という人物が出てくる。この人物（しもべヤコブ）については、先行する箇所で既に言及があり（イザヤ書41:8-9、44:1-2、44:22、45:4、48:20、49:3）、一般的にはイスラエルの擬人化であろうと考えられているが、キリスト教徒の中には、これがイエスを指していると信じる者がいる。イザヤ書53によれば、この病を負うしもべは、「ほふり場に引かれて行く小羊のように」（53:7）、「自分のいのちを罪過のためのいけにえとする」（53:10）ように黙ったままであった。一部のキリスト教徒は、この結びつきが使徒行伝8:32で直接明示されているとして、罪の生贄としてのイエスという考えの根拠とする。こうした神の子羊という考えを受け入れない立場の側からは、イザヤ書53の病を負うしもべは子孫をもっており、独身を貫いたイエスとは異なり、イザヤ書53の記述をイエスに当てはめることはできないと主張する。