stanford-oval/wikipedia huggingface dataset:
2015年の音楽
改名・表記変更

1月1日 - ベイビーレイズ→ベイビーレイズJAPAN
1月11日 - LUI◇FRONTiC◆松隈JAPAN→LUI FRONTiC 赤羽JAPAN
3月9日 - ワタナベマユ→Mayu
3月20日 - DPG→夏の魔物(→THE 夏の魔物)
4月2日 - CHEESE CAKE→MOSHIMO
6月1日 - プラニメ→POP(→GANG PARADE)
7月8日 - THE ポッシボー→チャオ ベッラ チンクエッティ
9月 - UPLIFT SPICE→THE MUSMUS
9月28日 - (アリス九號→アリス九號.→)Alice Nine→A9(→アリス九號.)
10月11日 - STEREO JAPAN→Edge Dub Monkeyz
10月12日 - Party Rockets→Party Rockets GT
11月1日 - メンバー全員（ROOT FIVE）
12月1日 - Stand-Up! Hearts→イケてるハーツ
西ダルフール州

西ダルフール州（にしダルフールしゅう、アラビア語: ولاية غرب دارفور Wilāyat Ḡarb Dārfūr、英語: West Darfur State）は、スーダンのダルフール地方の州。
面積は2.3万km²、2018年の推計人口は約102万人だった。
県都はジュナイナ。
地理

北から時計回りに
チャド
北ダルフール州
中部ダルフール州
に接する。
歴史

2003年 - ダルフール紛争が勃発。2010年代後半まで武装闘争が継続した。
2012年1月10日 - 州南東部が分立し、中部ダルフール州となる。
2021年4月 - サリート人とアラブ系部族との間で大規模な武力衝突が発生。数千人が避難を余儀なくされた。同月5日、スーダン政府は非常事態を宣言し、西ダルフール州に治安部隊を派遣した。
Notall

| notall |
| --- | --- |
 ロゴタイプ（2018年）
基本情報
出身地:   日本
ジャンル:  J-POP
活動期間:  2014年-
レーベル:  ユニバーサルミュージック
事務所:  WALLOP ENTERTAINMENT MILLENNIUM PRO
共同作業者:  ワロップ放送局
公式サイト:  http://www.notall.jp/

メンバー:  広山楓 夏井るな 美波舞緒

旧メンバー:  渡邊ちこ 佐藤遥  片瀬成美  田崎礼奈 有村莉彩 音井結衣 新田清乃
 YouTube
チャンネル:   notallTV 
活動期間:  2014年7月 - 現在
ジャンル:  アイドル
登録者数:  2,810人
総再生回数:  503,189回
チャンネル登録者数・総再生回数は 000000002022-10-02-00002022年10月2日時点。
notall(ノタル)は、「世界のみんなと一緒に育てる、次世代型ソーシャルアイドル」をコンセプトに活動している日本の3人組女性アイドルグループ。ワロップ放送局プロデュース。WALLOP ENTERTAINMENT所属。
コンセプト

グループ名は英語の「not all(＝全てではない)」からの造語で「メンバーには、限界を見つけないで、有名になっても満足せず、いつまでも前を向いて上を目指して頑張って欲しい」という思いが込められている。
notallのコンセプトは「世界のみんなと一緒に育てる、次世代型ソーシャルアイドル」。SNSを通じてグループ名、ニックネーム、ロゴ、衣裳デザイン、グッズ、CD収録曲、ライブ写真などを一般公募するなど、ソーシャルネットワークと親和性の高い展開が特徴的。公募が採用された者は「ソーシャルプロデューサー」と呼ばれ、オフィシャルサイトにクレジットが記載される。
メンバー

| 名前 | 読み | ニックネーム | 生年月日 | 血液型 |
| --- | --- | --- | --- | --- |
| 広山楓 | ひろやま かえで | かえちゃん | 1999年10月18日（25歳） | B型 |
| 夏井るな | なつい　るな | るなな | 2001年9月3日（23歳） | A型 |
| 美波舞緒 | みなみ　まお | まおタン | 2002年3月3日（22歳） | AB型 |
メンバー > 過去のメンバー

| 名前 | 読み | ニックネーム | 生年月日 | 血液型 | 備考 |
| --- | --- | --- | --- | --- | --- |
| 渡邊ちこ | わたなべ ちこ | べちこ | 1991年10月4日（33歳） | B型 | 2019年3月21日 卒業 |
| 佐藤遥 | さとう はるか | さとはる | 1992年2月6日（33歳） | B型 | 2022年5月21日 卒業 |
| 片瀬成美 | かたせ なるみ | なーちゃん | 1992年7月6日（32歳） | A型 | 2022年5月21日 卒業 |
| 田崎礼奈 | たさき れいな | たさきょん | 1995年3月8日（29歳） | A型 | 2022年5月21日 卒業 |
| 有村莉彩 | ありむら りさ | りさてぃ | 1999年1月6日（26歳） | O型 | 2022年6月11日 卒業 |
| 音井結衣 | おとい ゆい | おゆい | 2001年1月9日（24歳） | O型 | 2023年9月17日 卒業 現SWEET STEADY（2024年3月 - ） |
| 新田清乃 | にった　きよの | きよのん | 2000年8月3日（24歳） | B型 | 2023年9月17日 卒業 |
略歴

4月10日、ワロップ放送局の次世代型ソーシャルアイドルグループのプロデュースに先立ち「ソーシャルアイドルオーディション」としてメンバーを募集
5月30日、オーディションの結果、片瀬成美、田崎礼奈、渡邊ちこ、佐藤遥の4名でnotall結成。同日、FacebookアプリやTwitterにて「アイドルグループ名」、「メンバーのニックネーム」、「彼女たちに言ってほしいセリフ」の募集開始。
6月26日、デビュー曲「恋のスマソークラ」を世界111ヵ国に配信。iPhone 5Sで撮影、iPad Airで編集されたミュージックビデオはYouTubeで無料配信され話題となる。
6月26日、オリジナル楽曲の公募開始。
6月27日、日本のガールズポップカルチャーを海外に発信する情報サイト「Tokyo Girls’ Update」に紹介される。
6月29日、「第3回 ワールドグルメ&ミュージックフェスタ in 代々木公園 2014」に出演。結成から29日という短期間でステージデビューを飾る。
7月3日、「恋のスマソークラ」CD化にともない、ジャケットに掲載するデビュー当日の写真をハッシュタグ（#notall_photo）で公募。
7月4日、ステージ衣装（第1弾）の公募開始（2014年7月14日応募締切）。後日、フリーデザイナー福田絵理のデザインが採用される。
7月7日、Amazonの配信セールスランキング1位を獲得(デジタルミュージック、J-POP部門、アルバム部門)。公式Facebookページに歓喜の声が投稿される。
7月25日、ステージ衣装(第2弾)、PV動画、notall公認LINEスタンプ、「恋のスマソークラ」Remix曲をそれぞれ公募。
7月26日、代々木公園で開催された「第2回 タイフェアin東京2014 & 渋谷ハワイアンフェスティバル2014」に出演。
7月27日、ディファ有明で開催された「東京アイドルゲート"PURE"ライブ」に、公募したステージ衣装で出演。
7月12日、デビュー1周年を記念して初のワンマンライブ「notall 1st Anniversary Live ～Co-Creation Summer Party～」を新宿ReNYにて開催。
7月13日、1st Anniversaryシングル「my baby,my lover」をリリース。
11月25日、5thシングル「JUST NOW★」をリリース。
3月8日、6thシングル「Thanks a million〜ありがとう〜」をリリース。同シングルは楽曲候補をWEB上にアップしてネット投票で決定、また歌詞も「ありがとう」をテーマにTwitterにて短い文章を募集し、メンバーとファンの思いを繋ぎ合わせて作った作品。
7月、初のワンマンツアー「notall 2nd Anniversary Tour!!~夏だ！騒ぐぜ！東名湾~」を7月2日に名古屋のライブホールM.I.D、7月9日に台湾のPIPE Live Music、7月30日に東京の原宿QUEST HALLで開催。また、同日に初のフルアルバムとなる「#Socialidol」をリリース。
10月30日、BLITZ HALLOWEEN 2016出演
4月19日、約1年ぶりのシングル「カピバラ時速50km/君にDA-DA-DAN」がユニバーサルミュージックよりリリース。この曲でメジャーデビューを果たす。
5月4日、約23万人を動員する世界最大のジャパンフェス「Japan Expo」（フランス・パリ公演）内ライブメインステージへの出演権を競う、Japan Expo公式トーナメント大会で優勝。2017年7月6日 - 9日に行われるJAPAN EXPO出場が決定。因みに初戦から決勝まで全て1位で通過。
7月23日、「CD売るの、辞めました」宣言と同時に、同タイトルのCDを定価0円でリリース。新たな取り組みにアイドル界や音楽業界その他からも注目を集め、Yahoo!ニューストップに掲載される。CDはイベント会場だけでなく全国の協力店舗にて無料配布。ネットからの受付で送料のみでの配送も行っている。
6月 - 9月、notall 3rd Anniversary Tour〜ノタル本気だ。行くぜ！Zepp Tokyo!!〜を2017年6月30日に押上・WALLOP放送局を皮切りに同7月29日に名古屋・M.I.D、同8月13日に大阪MUSE、同9月10日にZepp Tokyoにて開催。また、ツアーファイナルのZepp Tokyoでは新曲「蝉時雨」を披露。10月に「CD売るの、辞めました。2」をリリースする事を発表。
9月8日・9日、主催フェス「ノタフェス 2018」を東武動物公園特設ステージにて2日間開催。アンバサダーに矢口真里が就任。
11月22日より「VILLAGE VANGUARD presents notall全国ツアー　今一番遊べるアイドル ～CD売らなくてごめんなツアーい〜」と題して全国ツアーを行う。notall×ヴィレッジヴァンガードコラボ商品「アイドル１番シリーズ」音楽の聞けるお菓子を４商品プロデュースし、全国のヴィレッジヴァンガードにて販売開始。
3月21日、品川インターシティホールでの全国ツアーファイナルをもって、渡邊ちこが脱退。3人体制となる。
8月22日、新メンバーとして、有村莉彩・広山楓・音井結衣の３名の加入発表。
9月1日、主催フェス「ノタフェス 2019」を音霊にて開催。この日より6人の新体制での活動を開始。アンバサダーに藤本美貴が就任。
7月2日、「春のTOKYO GRAVURE IDOL FESTIVAL ONLINE 2021（下記、春のTGIF）」と『週刊プレイボーイ』がコラボ開催した賞レース企画「春のTGIF週プレ賞」において広山楓がグランプリを受賞。
12月3日、翌年2022年3月12日に豊洲PITで開催するワンマン公演にて佐藤遥、片瀬成美、田崎礼奈がnotallとしての活動を終了することを発表。
5月21日、サンパール荒川 大ホールでの「WE ARE NOTALL TOUR 2022〜みんな笑って！はい、チーズ！〜」TOUR FINAL!!  をもって、佐藤遥、片瀬成美、田崎礼奈が卒業。
6月11日、ワロップ放送局 3F STUDIO WAROSでのnotall有村莉彩卒業会見イベントをもって、有村莉彩が卒業。
6月29日、新メンバーとして、新田清乃・夏井るな・美波舞緒の３名が加入。この日より5人の新体制での活動を開始。
作品 > デジタル配信

恋のスマソークラ（2014年6月26日 配信）
スマートフォン、ソーシャルメディア、クラウドサービスといった新しいデジタルコミュニケーション手段がものすごい勢いで登場してきた日常の中で、ひとりの女の子が抱くアナログな恋愛感情をテーマにした楽曲を世界111ヵ国に配信。
ミュージックビデオは「みんなでプロデュースする」コンセプトにあわせ、撮影はiPhone 5S、編集はiPad Airと身近な機材のみで制作。YouTubeにて無料配信された。
Ready Girl/ボクのカケラ/ミライ地球儀（2014年9月19日 配信）
ソーシャルを通じて一般応募から採用された楽曲「ボクのカケラ」を含むトリプルA面シングル。
Re:notall （2014年12月26日 配信）新曲「ペンギン人間」を含む6曲入リのミックスマキシ。SNSを通じて海外クリエイターも参加、まさに世界中のファンと作った作品。 収録曲
ペンギン人間
Ready Girl（唐暁龍 Remix）
恋のスマソークラ（Freezer Remix）
恋のスマソークラ（neutrinoP Remix）
恋のスマソークラ（Tatsuya a la mode Remix）
ペンギン人間（Instrumental）
my baby, my lover（2015年7月13日 配信）
表題曲「my baby, my lover」を含む3曲入リの1stアニバーサリーシングル。デジタル配信のほか、CDとしてもリリース。
JUST NOW★（2015年11月25日 配信）
表題曲「JUST NOW★」はガールズバンドCYNTIA✖久保こーじ✖notallのコラボ楽曲SNSで一般採用した人気曲「きらめけ☆tweet girl !!」「フィルター」を収録。
Thanks a million〜ありがとう〜（2016年3月8日 配信）
Twitterで投稿された「ありがとう」を繋いで歌詞にしたみんなの想い溢れる notall初のミディアムバラード「Thanks a million〜ありがとう〜」を始め「Happy Days」「ウサギツンデレラ」は一般公募から採用された。タワーレコード全店総合シングルチャート1位、オリコンデイリー5位獲得。
その先へ（2018年11月1日 配信）
デビュー４年目を迎えた彼女たちの等身大のメッセージソング。
ジャムフレンドCMソング「JAM FRIEND~Make you happy~」も収録
白黒つけてよ恋の天下一舞踏会〜あーだこーだ言われてもそーだそーだというのがパンダ〜（2018年11月23日）
”notall×ヴィレッジヴァンガード”コラボ第1弾商品 「1番アイドルの味がするチョコレート」商品封入Mカード封入楽曲！
the Present（2019年02月16日）
”notall×ヴィレッジヴァンガード” コラボ商品第2弾「１番ナメられないアメ」Mカード封入楽曲。
作詞は佐藤遥が初挑戦。
AM6:30（2019年03月18日）
”notall×ヴィレッジヴァンガード” コラボ商品第3弾「１番ご飯にあうグミ 焼肉風味」Mカード封入楽曲。
蛍火（2019/03/18）
”notall×ヴィレッジヴァンガード” コラボ商品第4弾「１番笑えるラスクスクスクス…」Mカード封入楽曲。
あふれゴリラ（2019年06月28日）
作詞作曲は田崎礼奈が担当。
2度目の初恋は存在した（2020年02月03日 配信）
オリジナル書籍『NOT ALL』Mカード封入楽曲。初披露は2020年02月02日。
水平線（2020年04月26日 配信）
6人体制第一弾の楽曲。初披露は2019年12月16日。
ふゆ、はる、なつ、あき、きみ（2020年11月05日 配信）  　「notall」×「鈴木まなか」第２弾コラボ楽曲。
DREAMIN’ City（2021年04月21日 配信）  　作詞はHi-SONGが担当。
Oh! She know it all（2021年05月23日 配信）  　作詞は音井結衣とY本真悟が担当。
電光石火ちょうだい（2021年06月29日 配信）  　音楽プロデューサー「zopp」×「notall」コラボ楽曲。
終わらないエチュード（2021年12月10日 配信）  　notallの主演舞台「暴走中」の劇中歌。
Bloom（2022年01月27日 配信）  　6人体制ラストシングル。作詞はHi-SONG & さわいまりもが担当。
アイだ（2022年08月04日 配信）  　notall、新体制初のシングル。
サクラパノラマ（2023年03月12日 配信）  　新体制セカンドシングル。　「ぷるぷル情報局」エンディングテーマ曲。
like a ”LANDSCAPE”（2023年8月20日 配信）
作品 > シングル

my baby, my lover （2015年07月13日発売）（WPET-1005）収録曲 レーベルはWALLOP ENTERTAINMENT。
my baby, my lover
脳内ライブ
お肉deナイト☆センセーション
.JUST NOW★ （2015年11月25日発売）（WPET-1007）収録曲
JUST NOW★
きらめけ☆tweet girl!!
フィルター
Thanks a million ～ありがとう～ （2016年3月8日発売）（WPET-1008）
Thanks a million ～ありがとう～
HappyDays
ウサギツンデレラ
カピバラ時速50km/君にDA-DA-DAN（2017年4月17日発売）（TYPE-A POCS-1550, TYPE-B POCS-1551）
約1年ぶりとなる両A面シングル。
この曲でユニバーサルミュージックよりメジャーデビュー。
オリコンデイリーチャート11位。
オリコンウィークリーチャート20位。
CD売るの、辞めました。（2017年7月23日リリース）
収録曲は「#ハッシュタグはつけられない」「ウサギツンデレラ」。
ライブイベントや店舗で無料配布。
CD売るの、辞めました。2（2017年10月30日）
収録曲は「蝉時雨」「JUST NOW★」
ライブイベントや店舗で無料配布。
JAM FRIEND ~Make you happy!~（2018年12月28日）
収録曲は「JAM FRIEND ~Make you happy!~」「その先へ」
ライブイベントや店舗で無料配布。
作品 > アルバム

#Socialidol （2016年7月30日 配信）（WPET-1009）デビュー2年目にして初のフルアルバム。様々なジャンルのクリエーターと共に創り上げた、まさにソーシャルアイドルを体現する至極の1枚。OvertureはReady Girl（唐暁龍Remix）のイントロを採用。 収録曲
Overture
きらめけ☆tweet girl!!
my baby, my lover
マジ
お肉Deナイト☆センセーション
UNU
フィルター
ウサギツンデレラ
Step by Step
HappyDays
Don't Give up!
作品 > ミニアルバム

ペンギン人間 （2015年2月25日 配信）（WPET-1004）amazonデジタル配信1位を獲得した3曲を含む、6曲入りのベストミニアルバム。 収録曲
ペンギン人間
READY GIRL
恋のスマソークラ
トキメキラテアート
ボクのカケラ
ミライ地球儀
作品 > 未音源化曲

We are notall!!!!
イベント・コンサート

デビューライブ、ワールドグルメ＆ミュージックフェスタ in 代々木公園 2014（2014年6月29日）
初のワンマンライブ「notall 1st Anniversary Live ～Co-Creation Summer Party～」を新宿ReNYにて開催。（2015年7月12日）
初のワンマンツアー「notall 2nd Anniversary Tour!!~夏だ！騒ぐぜ！東名湾~」を2016年7月2日に名古屋・ライブホールM.I.D、7月9日に台湾・PIPE Live Music、7月30日に東京・原宿QUEST HALLで開催。
「宴<notage> 〜紅の杯〜」を渋谷WWW Xにて開催。出演はnotall、FES☆TIVE、まねきケチャ。（2016年12月6日）
メジャーシングル「君にDA-DA-DAN」のリリースを記念して北海道から沖縄までの初の全国ツアーを敢行。
「宴<notage>」を半年ぶりにduo MUSIC EXCHANGEにて開催。出演はnotall(主催)、エルフロート、STARMARIE、FES☆TIVE。（2017年6月6日）
3rd Anniversary Tour! 「ノタル本気だ。行くぜ！Zepp Tokyo!!」を2017年6月30日に東京・WALLOP放送局、7月29日に名古屋・ライブホールM.I.D、8月13日に大阪・大阪MUSE、9月10日に東京・ZeppTokyoにてツアーファイナルワンマン公演を行う。
3度目となる「宴<notage>」を渋谷duo MUSIC EXCHANGEにて開催。出演はnotall(主催)、アップアップガールズ（仮）、GANG PARADE。（2017年12月13日）
「宴-notage-第四夜」をTSUTAYA O-EASTにて開催。出演はnotall(主催)、こぶしファクトリー、BiS 1st、BiS 2nd。（2018年6月12日）
「ノタFES2018」（2018年9月8日・9日、東武動物公園イベントステージ）
「宴-notage-第五夜」を赤坂BLITZにて開催。出演はnotall(主催)、こぶしファクトリー、ザ・フーパーズ、神宿。（2018年12月11日）
全国ツアー「VILLAGE VANGUARD presents notall全国ツアー　今一番遊べるアイドル ～CD売らなくてごめんなツアーい〜」全国ツアーファイナルは3月21日、品川インターシティホールにて開催。
「ノタFES2019」（2019年9月1日、OTODAMA SEA STUDIOにて開催）
「宴-notage-第六夜」をマイナビ赤坂BLITZにて開催。出演はnotall(主催)、二丁目の魁カミングアウト、神使轟く激情の如く。（2019年12月16日）
出演

※グループでの出演のみ記載。
個人での活動はそれぞれのメンバーの記事を参照。
出演 > テレビ番組

目指せ！超ドSフェスタしずおか。四二〇〇八五五（2017年1月10日、静岡放送）
notall.ch （2017年7月16日、26:35-27:05、TOKYO MX） ※地上波初の冠番組
出演 > ラジオ

「宮川賢の日曜!えぴきゅりあん」（2014年6月26日、アール・エフ・ラジオ日本）
「東大生がアイドルを研究してみた! 第6回」（2014年8月7日、下北FM）
「カモ☆れでぃ★Night!」（2017年04月07日、FM愛媛）
「カモ☆れでぃ★Night!」（2019年01月25日、FM愛媛）
出演 > インターネット番組

「矢口真里の火曜The NIGHT」♯90、131、148、159（2018年1月16日、11月28日、2019年4月24日、7月24日、2022年5月25日、AbemaTV）- 148は田崎のみ、2022年5月は広山のみ
極楽とんぼ KAKERU TV #47（2018年5月10日、AbemaTV）
出演 > イメージキャラクター

「キタコレ!」（2014年 - ） ※キタコレガールズとして出演
「チャリティー年賀状」
出演 > インターネット

「戦国アイドル無双」（2014年8月3日、ワロップ放送局）
「tokyo torico」（2014年8月、毎月第四火曜、ワロップ放送局）
「タブロイド」（2014年12月、2015年1月） ※「おは用語」月間ナビゲーター
「notallのスマソークラジオ」（2014年12月5日 - 、毎週水曜、ワロップ放送局）
出演 > 雑誌・フリーペーパー

「すみだDiscovery」（2014年7月号）表紙&巻頭特集
「UNIT Vol1」（2017年）表紙＆巻頭特集
「UNIT Vol2」（2018年）特集記事
出演 > テレビCM

ドラゴンクエストビルダーズ（2015年）
ジャムフレンド（2017年）
LIFULL HOME'S（ライフルホームズ） お部屋探し女子会編（2018年）
広山楓
（2022年9月17日・近代麻雀水着祭にて）
並列計算

並列計算（へいれつけいさん、英語: parallel computing）は、コンピュータにおいて特定の処理をいくつかの独立した小さな処理に細分化し、複数の処理装置（プロセッサ）上でそれぞれの処理を同時に実行させることである。並列コンピューティングや並列処理ともいう。
概要

大きな問題を解いたり、大量のデータを処理したりする過程は、より小さなサブタスクやサブデータグループの処理に分割できることが多い、という事実を利用して単位時間あたりの処理効率（スループット）の向上を図る手法である。
並列処理（並列計算）はスーパーコンピュータでは以前から採られている手法である。スーパーコンピュータの高い性能は、プロセッサ数やノード数がパーソナルコンピュータに比べて極めて多く、並列処理性能が高いことで実現している。
並列計算のために設計されたコンピュータは並列コンピュータという。並列コンピュータは当初スーパーコンピュータなどの高価で大規模なシステムのみに見られる設計だったが、パーソナルコンピュータや携帯機器でもCPUをマルチコア化し並列処理をさせることが当たり前になってきた。CPUのクロック周波数を上げることで処理性能向上させることには限界や問題が見えてきたからこの手法が採用されるようになった。
また並列処理に特化したコプロセッサであるGPUも、個人が（比較的気軽に）購入できる価格帯で販売されるようになってきており、PCに後付で搭載する形での使用も広まっている。GPUは当初は主に、コンピュータゲームの3DCGレンダリングなどの画像処理に使われていたので「GPU」と呼ばれることになったが、実際には並列処理全般に使うことができるものであり、こうした使用法をGPGPUといい、今ではディープラーニングや暗号資産のマイニングなど、現実的な時間内に処理しようとすると並列処理が必要となるさまざまな用途で使われるようになっている。
並列処理の歴史を遡ると、1958年にIBMの研究者ジョン・コックと Daniel Slotnick は数値計算における並列性の利用について初めて話し合っている。1962年には、バロース社が4プロセッサのコンピュータ D825 を発表した。→#歴史
関連する概念に並行計算（へいこうけいさん）があるが、並行計算は一つのタスクの計算を並列化することにとどまらず、複数の相互作用しうるタスクを、プロセスやスレッドなどをもちいて単一または複数の計算資源にスケジューリングするといった、より汎用性の高い処理をさす。並列計算は物理的に計算資源が複数なければ効果が得られないが、並行計算はたとえ計算資源が1つだけだったとしても、マルチタスクに対応したオペレーティングシステムがプロセッサ時間をスライスして各タスクの処理に割り当てることで効果が得られる。
特に、並列計算専用に設計されたコンピュータを用いずに、複数のパーソナルコンピュータやサーバ、スーパーコンピュータを接続することで並列計算を実現するものをコンピュータ・クラスターと呼ぶ。このクラスターをインターネットなどの広域ネットワーク上に分散させるものも、広義には並列計算に属すが、分散コンピューティングあるいはグリッド・コンピューティングと呼び、並列計算とは区別することが多い。
背景

従来、コンピュータソフトウェアは逐次的に計算されるものとして書かれてきた。問題を解くためにアルゴリズムが構築され、それによって逐次的に実行される命令列が生成される。その命令列は、コンピュータのCPU上で実行される。命令は一度に1つずつ実行される。
一方並列計算では、複数の計算ノードが同時並列的に動作して問題を解く。問題は独立した部分に分割され、各計算ノードがアルゴリズムの一部を同時並列的に実行する。計算ノードの実体は様々であり、マルチプロセッサ型のコンピュータの各CPUだったり、ネットワーク上のコンピュータだったり、専用ハードウェアだったり、それらの組合せだったりする。
1980年代から2004年まで、コンピュータの性能向上の主たる要因はクロック周波数の向上にあった。プログラムの実行時間は、命令数と1命令あたりの平均実行時間をかけたものに比例する。他の要因が全く変化しないと仮定すると、クロック周波数の向上によって1命令あたりの平均実行時間が減少する。
一方で、マイクロプロセッサの消費電力は  P=C\times V^{2}\times F という式で与えられる。ここで、P は消費電力、C はクロックサイクル毎に切り替えられる静電容量（入力が変化するトランジスタの総数に比例）、V は電圧、F はプロセッサの周波数（正確には1秒あたりのサイクル数）である。従って、クロック周波数が高くなると、プロセッサの消費電力も増大する。プロセッサの消費電力の増大は、インテルが2004年5月に開発中だったプロセッサをキャンセルした最大の理由であり、この時点がクロック周波数向上が性能向上の主たる要因となっていた時代の終焉であった 。
ムーアの法則は、マイクロプロセッサでのトランジスタの実装密度が18ヶ月から24ヶ月毎に倍になるという経験則である。消費電力の問題は以前から指摘されていたが、ムーアの法則は未だに[いつ?]有効である。しかしムーアの法則の一部とも言えるデナード則の一部の崩壊が、前述のようにクロック周波数向上の時代の終焉であった。そして残った微細化により増大するトランジスタ数の有効利用として、並列計算をマイクロプロセッサ上で実装する時代が到来した。具体的には、本格的なマルチコアの時代が訪れた。
背景 > アムダールの法則とグスタフソンの法則

並列計算のプラットフォームにおけるアルゴリズムの性能は、そのアルゴリズムをどれだけ並列化できるかに依存する。そのため、1960年代にジーン・アムダールが定式化したアムダールの法則が重要となってくる。それによると、プログラムの中の並列化できない部分が並列化による性能向上を制限する。大規模な工学的問題や数学問題には、一般に並列化可能な部分と並列化不可能な部分（逐次実行部分）がある。アムダールの法則によれば、以下のような関係が成り立つ。
ここで、Sはプログラムの性能向上率（逐次実行版での実行時間を1としたときの倍率）、Pは並列化可能な部分の比率である。逐次実行部分がプログラムの実行時間の10%を占めている場合、性能向上は10倍となり、それ以上の多くの計算ノードを追加しても意味はない。これにより、並列実行ユニットを追加して意味のある個数の上限が得られる。
グスタフソンの法則は、アムダールの法則とも密接に関連する計算機工学における法則である。グスタフソンの法則は以下の式で表される。
ここで、Pはプロセッサ数、Sは性能向上、 \alpha  は処理の並列化できない部分である。アムダールの法則では問題のサイズが固定であり、逐次実行部分はプロセッサ数に依存しないと仮定されている。一方、グスタフソンの法則ではそのような仮定がない。
背景 > データ従属性

データ従属性 (data dependency) を理解することが、並列アルゴリズムの実装法を知る基礎の一つとなる。計算と計算の間に従属関係があるということは実行の順序性が生じるということである。したがってプログラムは、従属性のある計算の連鎖のうちで最長のものより高速に実行することはできない（これをクリティカルパスと呼ぶ）。幸運なことに、多くのアルゴリズムにはそのような従属関係の長い連鎖は存在せず、計算のほとんどの部分は並列に実行できる。
PiとPjというプログラムの断片があるとする。Bernstein's conditionsは、2つの部分が独立していて並列に実行できる条件を示している。Piへの入力変数の集合をIiで表し、Oiを出力変数の集合とする。Pjについても同様に表す。P iとPjが独立であるための条件は以下の通りである。
I_{j}\cap O_{i}=\emptyset
I_{i}\cap O_{j}=\emptyset
O_{i}\cap O_{j}=\emptyset
最初の条件が成り立たない場合、フロー従属性 (flow dependency) が存在し、最初の文の結果を次の文で使う場合などに相当する。第二の条件は反従属性 (anti-dependency) を意味し、最初の文が書き換える変数の元の値を次の文の式で必要としている場合などに相当する。第三の条件は出力従属性 (output dependency) を表す。2つの変数が同じメモリ上の位置にある場合、それぞれの更新は元のプログラムの順序関係通りに行われる（後から書き込んだ方が残る）必要がある。
例として以下の関数を考える。
1: function Dep(a, b)
2:    c := a·b
3:    d := 2·c
4: end function
Dep(a,b) の3行目は、2行目の前に実行できないし、並列して実行することもできない。何故なら3行目は2行目の結果を利用しているからである。これは上述の第一の条件に反しており、フロー従属性があると言える。
1: function NoDep(a, b)
2:      c := a·b
3:      d := 2·b
4:      e := a+b
5: end function
こちらの例では、各命令には従属関係はないので、並列に実行可能である。
Bernstein’s conditionsでは、異なるプロセス間でメモリは共有されないと仮定している。そのため、アクセスの順序性を確保する手段として、セマフォなどの同期機構が必要となる。
背景 > 競合状態、相互排他、同期、並列スローダウン

並列プログラムにおけるサブタスクをスレッドと呼ぶ。システムによってはさらに小さく軽量なスレッドであるファイバーを使っており、もっと大きな単位であるプロセスを使っているシステムもある。いずれにしても、並列プログラムのサブタスクをここではスレッドと呼ぶ。
スレッドは、スレッド間で共有している何らかの変数を更新することがよくある。2つのスレッドの命令実行順序は一定ではない。例えば、次のようなプログラムを考える。
| --- | --- |
スレッド A: スレッド B
1A: 変数 V を読む: 1B: 変数 V を読む
2A: 変数 V の値に1を加算: 2B: 変数 V の値に1を加算
3A 変数 V に値を書き戻す: 3B: 変数 V に値を書き戻す
命令1Bが1Aと3Aの間に実行された場合、または命令1Aが1Bと3Bの間に実行された場合、このプログラムは間違ったデータを生成する。これを競合状態と呼ぶ。プログラマは相互排他のためにロックを使わなければならない。ロックとはプログラミング言語の構成要素であり、あるスレッドが変数の制御権を獲得すると、それがアンロックされるまで他のスレッドから読み書きできないようにする。ロックを獲得したスレッドはクリティカルセクション（プログラムの中で何らかの変数に排他的にアクセスする必要がある部分）を実行でき、それが完了したらそのデータをアンロックする。
従って、プログラムを正しく実行するには、上のプログラムを以下のようにロックを使って書き直す必要がある。
| --- | --- |
スレッド A: スレッド B
1A: 変数 V をロック: 1B: 変数 V をロック
2A: 変数 V を読む: 2B: 変数 V を読む
3A: 変数 V の値に1を加算: 3B: 変数 V の値に1を加算
4A 変数 V に値を書き戻す: 4B: 変数 V に値を書き戻す
5A: 変数 V をアンロック: 5B: 変数 V をアンロック
一方のスレッドが変数 V をロックできた場合、もう一方は V がアンロックされるまで待たされることになる。これによってプログラムの正しい実行が保証される。ロックはプログラムの正しい実行の保証には必須だが、それによってプログラムの実行速度は大幅に低下する。
複数の変数のロックには複数のロックが必要であり、それによってデッドロックが発生する可能性が生じる。不可分なロックは複数の変数を一度にロックするものである。その場合、対象変数群の一部がロックできなければ、全体のロックができないと見なされる。個別にロックされる2つの変数をロックする必要のあるスレッドが2つ存在したとして、一方のスレッドが一方の変数だけをロックし、もう一方のスレッドがもう一方の変数だけをロックするという状況が発生しうる。このような場合、双方のスレッドはロックできていない変数をロックしようとして待ち続け、結果としてデッドロックとなる。
多くの並列プログラムでは、サブタスク群が同期して動作することを要求する。この用途で使われるものとしてバリアがある。バリアは一般にソフトウェアロックを使って実装される。その種のアルゴリズムとしてLock-freeとWait-freeアルゴリズムがある。これはロックもバリアも使わずに全てを実現するものである。ただし、実装は難しく、データ構造の設計を慎重に行う必要がある。
並列化によって必ず性能が向上するとは限らない。一般にタスクを細分化してスレッド数を増やしていくと、スレッド間の通信に費やす時間が増大していく。すると、ある時点で通信オーバーヘッドが処理時間を支配するようになり、それ以上の並列化（スレッド数の増加）は単に処理時間の遅延を招くことになる。この現象を並列スローダウンと呼ぶ。
背景 > 細粒度並列性、粗粒度並列性、自明な並列性

アプリケーションは、スレッド間で同期や通信を必要とする頻度で分類できる。細粒度並列性 (fine-graind parallelism) を持つものは、スレッド間で頻繁に通信する必要がある。粗粒度並列性（coarse-grained parallelism）を持つものはその逆である。自明な並列性を持つ (embarassingly parallel) ものは、ほとんど全くスレッド間の通信を必要とせず、したがって並列化も最も容易である。
背景 > 一貫性モデル

→詳細は「一貫性モデル (ソフトウェア)」を参照
並列プログラミング言語と並列コンピュータには一貫性モデル（メモリモデルとも呼ぶ）が必須である。一貫性モデルとは、メモリ上の操作に関する規則を定義したものであり、どのように結果が生成されるかを定義したものである。
最初に定義された一貫性モデルは、レスリー・ランポートの逐次一貫性モデルである。逐次一貫性とは、並列プログラムを並列実行したときの結果と、それと等価な逐次プログラムの結果が同じという特性である。プログラムが逐次一貫性を持つとは、「…任意の実行の結果が、それを全プロセッサが逐次的順序で実行された場合と同じであり、その順序がプログラム内で指定された順序と同じである」ことを意味する。
ソフトウェアトランザクショナルメモリは、一貫性モデルの典型例である。ソフトウェアトランザクショナルメモリは、データベース理論から不可分操作の概念を借り、それをメモリアクセスに適用したものである。
数学的にこれらのモデルを表現する方法はいくつか存在する。プロセス計算は並行性を扱う数学の一分野である。プロセス計算はさらにアンビエント計算（英語版）、calculus of communicating systems、Communicating Sequential Processesなどに分類される。ペトリネットは一貫性モデルの定式化を試みた初期の例である。それに基づいて後にデータフロー理論が構築された。そして、データフローの考え方を物理的に実装したデータフロー・アーキテクチャが開発された。
背景 > フリンの分類

マイケル・J・フリンは、並列（および逐次）コンピュータ/プログラムの分類であるフリンの分類を提案した。フリンは命令列が単一か複数かという点と、その命令列（群）が扱うデータが単一か複数かによって4種類に分類した。
SISD（単一命令・単一データ）は、完全に逐次的なプログラムと等価である。SIMD（単一命令・複数データ）は同じ操作を多数のデータに対して行う場合を意味する。これは信号処理などで一般的である。MISD（複数命令・単一データ）はあまり使われない分類だが、フォールトトレラントシステムの冗長構成を指すことがある。シストリックアレイのようなアーキテクチャがこれに相当するが、実際の応用例は少ない。MIMD（複数命令・複数データ）は、ほとんどの並列プログラムに対応する。
デイビッド・パターソンとジョン・ヘネシーの著書には「もちろん一部のマシンはこれらの混成であるが、単純で分かりやすく、とりあえずの近似としては最適であるが故にこの分類が今も使われている」とある。
並列性の分類 > ビットレベルの並列性

1970年代のマイクロプロセッサの開発以来、コンピュータの主なアーキテクチャ上の進化はワードサイズ（プロセッサが一度に処理できるビット幅）を倍々にしていくことで成されてきた。ワードを大きくすることで、従来のワードサイズでは多数の命令を必要としていた大きな変数の処理が、より少ない命令数で実行可能となる。例えば、8ビットのプロセッサで2つの16ビットの整数を加算する場合を考える。まず、2つのデータの下位8ビットを通常の加算命令で加算し、その後上位8ビットをキャリー付き加算命令で加算することで、下位8ビットで発生したキャリーを考慮する。つまり、8ビットプロセッサでは1つの演算に2つの命令を必要とし、16ビットプロセッサならそれを1命令で実行できる。
マイクロプロセッサの歴史を見れば、8ビット、16ビット、32ビットとワードサイズは大きくなっていった。32ビットとなった段階で汎用コンピュータのワードサイズの大型化は約20年間止まり、32ビットが標準的とされる時代が続いた。そして近年になってx86-64アーキテクチャが登場し、64ビットプロセッサが一般化した。
並列性の分類 > 命令レベルの並列性

→詳細は「命令レベルの並列性」を参照
コンピュータプログラムは、基本的にプロセッサが実行すべき命令の列である。この命令列はプログラムの結果に影響を与えない形で並べ替え可能であり、同時並列的に実行できる命令毎にグループ化することができる。これを命令レベルの並列性と呼ぶ。命令レベルの並列性によるアーキテクチャの改良は1980年代中ごろから1990年代中ごろに盛んに行われた。
最近のプロセッサは多段命令パイプラインを備えている。パイプラインの各ステージは、命令に対して行うべき異なる処理に対応している。N段のパイプラインを持つプロセッサでは、N個の命令について同時にそれぞれ異なる段階の処理をしていることになる。典型的なパイプラインの例としてRISCプロセッサの5段のパイプラインがある（各段は命令フェッチ、命令デコード、実行、メモリアクセス、ライトバック）。Pentium 4 は35段のパイプラインを持つ。
パイプライン化による命令レベルの並列性だけでなく、同時に複数の命令を処理できるプロセッサもある。これをスーパースケーラプロセッサという。命令はデータ従属性がない場合にのみ、同時に実行可能なものとしてグループ化できる。
アウト・オブ・オーダー実行と命令レベルの並列性を実装する技法としては、スコアボードやトマスロのアルゴリズム（スコアボードと似ているがレジスタ・リネーミングを利用）が一般的である。
並列性の分類 > データ並列性

→詳細は「データ並列性」を参照
データ並列性はプログラムのループが本質的に備えている並列性であり、ループの各周回が各ノードで並列に処理されるようデータを配布する部分が中心となる。並列化されるループは、大きなデータ構造の各要素について似たような処理を行うものである。科学技術計算にはデータ並列性があることが多い。
ループ伝搬依存（loop-carried dependency）とは、ループにおいて以前の周回の結果に依存して新たな周回の計算が行われる性質をいう。ループ伝搬依存があると、ループの並列化はできない。例えば、以下のフィボナッチ数の一部を計算する擬似コードを考えてみよう。
1:    prev := 0
2:    cur := 1
3:    do:
4:       PREV := CUR
5:       CUR := CUR + PREV
6:    while (CUR < 10)
このループでは、CUR が以前の CUR の値と PREV に依存しており、その値は周回ごとに再計算されるため、並列化できない。つまり、ある周回での計算は、それ以前の周回の計算結果に依存しているため、周回ごとに並列化することはできないのである。
問題が大きくなるほど、可能なデータ並列性も多くなる傾向がある。
並列性の分類 > タスク並列性

→詳細は「タスク並列性」を参照
タスク並列性は、「同じまたは異なるデータ群に関する全く異なる計算は並列に実行可能である」という並列プログラムの特性である。データ並列性がほぼ同じ計算を並列に実行するのとは対照的である。問題が大きくなっても、それに比例してタスク並列性が高くなることはない。
ハードウェア > メモリと通信

並列コンピュータの主記憶は、共有メモリ型（全プロセッサが単一の物理アドレス空間を共有する）と分散メモリ型（各プロセッサがローカルな独自の物理アドレス空間を持つ）に分けられる。分散メモリは、メモリが論理的に分散しているためにそのように呼ばれるが、実際には物理的にも分散していることが多い。分散共有メモリはこの2つの方式を組み合わせたものであり、各プロセッサはローカルなメモリとローカルでないメモリの両方にアクセスできる。この場合、ローカルなメモリへのアクセスはローカルでないメモリへのアクセスよりも一般に高速である。
全主記憶に同じレイテンシおよび帯域幅でアクセスできるコンピュータアーキテクチャを UMA (Uniform Memory Access) と呼ぶ。これは共有メモリシステム（メモリが物理的に分散していない場合）しか実現できない。それ以外のアーキテクチャはNUMA (Non-Uniform Memory Access) と呼ぶ。分散メモリシステムはNUMAである。
コンピュータにはキャッシュメモリが使われていることが多く、（物理的にも論理的にも）プロセッサの近くに高速かつ小容量のメモリを配置し、主記憶の内容のコピーを一時的に保持する。共有メモリ型の並列コンピュータでは、主記憶上の同じアドレスの内容のコピーが複数のキャッシュメモリ上に存在する可能性があり、その内容が食い違うとプログラムの実行に支障が発生する。そのような問題への対処としてキャッシュコヒーレンシシステムがあり、プロセッサが常に最新の内容を得られるようキャッシュの内容を制御する。よく使われる方式としては、バススヌーピングがある。大型かつ高性能のキャッシュコヒーレンシシステムの設計は、コンピュータアーキテクチャの中でも非常に難しい問題である。そのため、共有メモリ型のシステムは分散メモリ型ほどスケーラブルではない。
プロセッサ同士またはプロセッサとメモリの通信のハードウェア実装方式は様々であり、マルチポート型の共有メモリ、クロスバースイッチ、共有バス、スター型、リング型、ツリー型、ハイパーキューブ型、ファット・ハイパーキューブ型（ハイパーキューブの頂点に複数のノードが接続される形態）、メッシュ型などの様々なネットワーク構成のインターコネクト・ネットワークがある。
インターコネクト・ネットワークを使った並列コンピュータは、直接接続されていないノード間でメッセージパッシングできるように何らかのルーティング機構が必要となる。大規模なマルチプロセッサ機では、プロセッサ間の通信媒体は複数の階層を構成することもある。
ハードウェア > 並列コンピュータの分類

並列コンピュータは、ハードウェアのどのレベルで並列性をサポートするかによって大まかに分類できる。これは、基本計算ノード間の距離とも大まかに対応している。
なお、以下の分類は相互排他的ではない。例えば、対称型マルチプロセッサを複数束ねたクラスターというのもよくある構成である。
ハードウェア > 並列コンピュータの分類 > マルチコア・コンピューティング

→詳細は「マルチコア」を参照
マルチコアプロセッサは、複数の実行ユニット（コア）を持つプロセッサである。マルチコアとスーパースケーラは異なる概念である。どちらも複数の命令を同時並列的に実行可能だが、スーパースケーラが1つの命令ストリーム（スレッド）から複数の命令を取り出して実行するのに対して、マルチコアでは複数の命令ストリームから複数の命令を取り出して実行する。マルチコアの個々のコアがスーパースケーラになっていることもある。
初期の擬似マルチコア方式として同時マルチスレッディングがあった。この場合のプロセッサにはコア（実行ユニット）は1つしかないが、キャッシュミス時などコアが待ち状態になったときに、別のスレッドを実行できる。
インテルのマルチコアアーキテクチャは Core と Core 2 プロセッサから始まった。別の有名なマルチコアプロセッサとしては、ソニー・コンピュータエンタテインメントのPlayStation 3用に設計されたIBMのCellがある。
ハードウェア > 並列コンピュータの分類 > 対称型マルチプロセッシング

→詳細は「対称型マルチプロセッシング」を参照
対称型マルチプロセッサ（SMP）は、複数個のプロセッサがメモリを共有し、バスで相互接続された形態のコンピュータである。バスがボトルネックとなるため、スケーラビリティは制限される。そのため、SMPは一般に32プロセッサを越えることはない。大型のキャッシュメモリを使って必要なバス帯域幅を低減して十分なメモリ帯域幅が確保できるなら、対称型マルチプロセッサは極めて費用対効果が高い。
ハードウェア > 並列コンピュータの分類 > 分散コンピューティング

→詳細は「分散コンピューティング」を参照
分散（メモリ）コンピュータは、処理ノード間をネットワークで相互接続した分散メモリ型のコンピュータシステムである。分散コンピュータはスケーラビリティが良い。
ハードウェア > 並列コンピュータの分類 > 分散コンピューティング > クラスターコンピューティング

→詳細は「コンピュータ・クラスター」を参照
クラスターは複数のコンピュータをネットワークで相互接続して、全体として1つのシステムとして機能させるものであり、多くの面で単一のコンピュータであるかのように見ることができる。クラスターの構成は対称的である必要はないが、対称性がないと負荷分散が難しくなる。クラスター方式においても、システムリソースを共有する密結合型とリソースを共有しない疎結合型が存在する。
典型的なクラスター方式として Beowulf がある。これはTCP/IPイーサネットLANで普通のコンピュータ群を相互接続してクラスターを構成できる。Beowulf の当初の開発者は Thomas Sterling と Donald Becker であった。
TOP500に掲載されているスーパーコンピュータの多くはクラスターである。
ハードウェア > 並列コンピュータの分類 > 分散コンピューティング > 超並列プロセッサ

→詳細は「超並列マシン」を参照
超並列プロセッサ（MPP）は、非常に多数のプロセッサで構成される単一のコンピュータである。MPP はクラスターと多くの面で共通する特性を示すが、より大規模であり、100プロセッサよりずっと多数のプロセッサを装備していることが多い。各CPUにはメモリがあり、オペレーティングシステムとアプリケーションのコピーがそこに格納される。CPU間の通信は非常に高速なインターコネクトで行われる。
TOP500で2007年まで世界最高速のスーパーコンピュータとされていた Blue Gene/L はMPPである。
ハードウェア > 並列コンピュータの分類 > 分散コンピューティング > グリッド・コンピューティング

→詳細は「グリッド・コンピューティング」を参照
グリッド・コンピューティングは、並列計算の中でも最も分散された形態である。遠隔にあるコンピュータをインターネットで相互接続して構成され、1つの問題を共同して解く。インターネットは利用可能な帯域幅が低く、レイテンシが大きいため、自明な並列性を持つ問題に使われることが多い。グリッド・コンピューティングを利用した分散コンピューティングプロジェクトが数多くあり、SETI@homeやFolding@homeがよく知られている。
多くのグリッド・コンピューティングは、オペレーティングシステムとアプリケーションの間に特有のミドルウェアを置き、ネットワークリソースの管理やアプリケーション向けのインタフェースの標準化を行っている。よく知られたグリッド・コンピューティング用ミドルウェアとして、Berkeley Open Infrastructure for Network Computing (BOINC) がある。グリッド・コンピューティング用ソフトウェアでは、コンピュータが何もしていない時間を使うため、その時間を「スペアサイクル（spare cycles）」と呼ぶことが多い。
ハードウェア > 並列コンピュータの分類 > 専用並列コンピュータ

並列処理専用のマシンには、利用分野が限定されているものや、特定の並列問題のクラスしか解けないものもある。
ソフトウェア

→詳細は「並列化」を参照
並列型コンピュータでのプログラミング向けに、プログラミング言語、ライブラリ、API、並列プログラミングモデルが生み出されてきた。
それらは、前提とするメモリアーキテクチャ（共有メモリ、分散メモリ、分散共有メモリ）によって分類できる。共有メモリ型プログラミング言語は、共有メモリ上の変数を更新することで相互の通信を実現している。分散メモリ型ではメッセージパッシングが使われる。共有メモリ型APIとしては、POSIXスレッドとOpenMPが広く使われている。一方メッセージパッシング型のAPIとしては、Message Passing Interface (MPI) がよく使われている。
ソフトウェア > 自動並列化

逐次型プログラムのコンパイラによる自動並列化は、並列計算の最終目標の1つでもある。コンパイラ研究者が長年に渡って研究しているが、限定的な成果しか得られていない。
一般に使われている並列プログラミング言語では、プログラマが並列化する部分を明記するか、せいぜい部分的な自動並列化ができる程度である。並列化を全く明記する必要のない言語も少数ながら存在し、SISAL、Parallel Haskell、Mitrion-C（FPGA用）などがあるが、これらはいずれも広く普及しているとは言い難い。
ソフトウェア > アプリケーション・チェックポインティング

コンピュータが大規模かつ複雑になると、平均故障間隔は小さくなる。並列計算では、多数のプロセッサを使っても長時間かかるような処理を行うことがある。このため、アプリケーションの実行中の状態（全てのリソース確保状況や変数群の状態など）をコアダンプのような形で定期的に保持しておき、障害が発生したときに最初から処理をやり直すのではなく、途中までの保存された状態から再開できるようにする必要がある。この技法をアプリケーション・チェックポインティングと呼ぶ。時には数ヶ月もかかる処理もあり、その場合アプリケーション・チェックポインティングは非常に重要となる。また、この技法はプロセスマイグレーションにも応用できる。