D-Case適用事例1
2011年の大手銀行の障害
DEOSプロジェクト

2013年5月31日
DEOS研究開発センター

JST-CREST１．本障害の概要••

2011年3月11日（金）に発生した東日本大震災発生に伴い、14日（月）におけるA社の義援金口座a、及び、15日（火）におけるB社の義援金口座bという特定の口座にそれぞれ大量の振込が集中したことにより、夜間バッチが異常終了したことに端を発し、以下の障害が発生した障害内容（顧客へのサービスやビジネスに対し多大な影響を与えた）
1. 給与振込等の為替送信の遅延(のべ250万件、3/14～3/24)
2. 営業店業務の取引開始遅延及び取引停止(3/15～3/25)• 取引開始時刻の遅延（3/15（火）、16（水）、17（木））• 融資、ローン及び外国為替の取引停止（3/15（火）～3/22（火））• ローンの条件変更及び全額回収に係る取引停止（3/15（火）～3/25（金））3. ATMの利用停止及び利用制限（3/16（水）～3/23（水））4. ダイレクトチャネルの利用制限• Mダイレクト（3/16（水）14:30～3/17（木）10:30、 3/17（木）14:30～3/22（火）12:00 ）• e-ビジネスサイト及び法人向けEB（ 3/16（水） 、 3/17（木）8:00 ～11:30、 3/17（木）19:00～3/22（火）12:00 ）5. 営業店窓口での特定支払対応(3/19（土）～3/21（月・祝））
6. その他••••

取引明細の欠落
口座振替における処理不能、誤った結果のデータ還元及び処理漏れ
その他夜間バッチの中段に伴う取引内容の不具合
特例支払対応の未回収© 2013 科学技術振興機構

1１．本障害の概要：経営の関わり
1.

3月14日（月）以後• IT・システム統括部よりIT・システムグループ担当役員に発生した障害内容を報告した

2.

15日（火）5:00頃• IT・システムグループ担当役員が、営業店開始時間までに営業店端末開局を実施するよう指示を行った

3.

同日7:00頃• 同担当役員が、頭取、副頭取に、本障害の状況及び障害により夜間バッチを停止し営業店端末開局を優先している状況を報告した

4.

同日9:00• 事務サービス推進部長がビジネスコンティンジェンシープランを発動した• その後、38万件（後に31万件と判明）の為替未送信が判明

5.

同日22:00• 方針策定や指示を一本化し迅速に行動が実行できるよう、頭取を筆頭とする障害対策TFを設置した• 以後経営陣は、当該枠組に基づき本障害への対応方針の策定や指示を一本化した© 2013 科学技術振興機構

2

１．本障害の概要： 時系列的事象
2011年3月
141516171819202122232425

月

火

水木

金

土

日

月・祝

火

水木

金

１．サービス障害・義援金の大量振込・夜間バッチの異常終了と遅延

夜間バッチの処理遅延

1) 為替送信の遅延
2) 営業店業務の開始遅延等
3) ATMの利用停止・利用制限
4) ダイレクトチャネルの利用制限
5) 営業店窓口での特定支払対応
２．経営の関わり

1） IT・システムグループ担当役員への報告
2） 同役員による営業店開局の指示
3） 同役員から頭取・副頭取への報告
4） ビジネスコンティジェンシー
プラン発動5） 障害対策TFの設置

5:00
7:00
9:00
22:00

© 2013 科学技術振興機構

3２．本障害の原因分析
1.

夜間バッチ異常終了と為替送信の遅延の原因（システム機能）– 大量取引が集中した場合のシステム処理単位• 大量明細がある場合の後続の夜間バッチへのデータ振り分け処理量がリミット値を超越した– 夜間バッチが長期化した際のシステム運用機能• 夜間バッチの長期化への対処である夜間バッチ中断することにより、その後の処理が膨大な手数を要することや為替送信が遅延する仕組みに対する対応策をあらかじめ検討していな
かった

2.

復旧時の不手際の原因（復旧対応における緊急時態勢）
––––

3.

緊急時における態勢が実効性を伴っていなかった
システムコンティンジェンシープランとして想定すべき事象が不足していた復旧対応の手順書が実効性を伴っていなかった
チェックプロセス及び訓練が上記の実効性を検証する役割を果たせていなかった

通常運用時の点検不備の原因（未然防止に向けたシステムリスク管理）– 定期的システムリスク評価及び新商品・サービス導入時のシステムリスク評価の点検項目の見通しが不十分であった（経営管理及び監査）– 人材の計画育成および適所配置の視点が希薄であった– 監査体制の不備や外部監査の活用の遺漏

大量振込などの変化する要件への対応には、異常発生時にもサービスが継続するような仕組みが必要である© 2013 科学技術振興機構

4

３．障害原因に対応するD-Case適用のポイント＜適用にあたっての基本的な考え方＞• 異常時のケースを全て明らかにするのではなく、異常発生時でも影響の最小化やサービス継続を進めるためのケースを明らかにする
障害原因•

復旧時の不手際の原因（復旧対応における緊急時態勢）––––•

D-Case適用ポイント

緊急時における態勢が実効性を伴っていなかった
システムコンティジェンシープランとして想定すべき事象が不足していた
復旧対応の手順書が実効性を伴っていなかった
チェックプロセス及び訓練が上記の実効性を検証する役割を果たせていなかった① リミット値の超越や夜間バッチ処理の中断などの異常時でもサービスを継続するための運用を含むケースを明確化② ステークホルダーとの合意③ 実施担当者の明確化

夜間バッチ異常終了と為替送信の遅延の原因（システム機能）–

大量取引が集中した場合のシステム処理単位–

夜間バッチが長期化した際のシステム運用機能•••

システム機能へのD-Caseの適用
システム機能以外へのD-Caseの適用
1. サービス継続のための緊急時態勢の可視化

夜間バッチへのリミット値を超越した
夜間バッチ中断することにより、その後の処理が膨大な手数を要することや為替送信が遅延する仕組みに対する対応策をあらかじめ検討していなかった

通常運用時の点検不備の原因（未然防止に向けたシステムリスク管理）–

定期的システムリスク評価及び新商品・サービス導入時のシステムリスク評価の点検項目の見通しが不十分であった

2.

通常運転時のモニタリング–

D-Caseのエビデンスやモニタを用いて、システムリスク評価の点検結果や人材のスキルや人材配置の点検結果、監査結果や外部監査結果などの可視化（経営管理及び監査）––

人材の計画育成および適所配置の視点が希薄であった
監査体制の不備や外部監査の活用の遺漏© 2013 科学技術振興機構

5

４．D-Case適用時の有効性（実際のD-Case記述による有効性の例示） (1/3)•

トップゴールの展開： 集中記帳処理（夜間バッチ処理）のケース（抜粋）• 経営上、システムにリミット値を持たせる選択の元、G_2：リミット値内での処理のケース、G_4：リミット値の見直しのケース、G_3:リミット値超過や時限超過が発生するケース、とすべての条件を網羅したゴール設定を行い、分析を実施

１-① サービス継続のための緊急時態勢の可視化© 2013 科学技術振興機構

6

４．D-Case適用時の有効性（実際のD-Case記述による有効性の例示） (2/3)•人的展開が必要なリミット値越えの展開： 集中記帳処理（夜間バッチ処理）のケース（抜粋）• ゴールと戦略の合意を行うべきステークホルダや合意のポイント、それを行う実施担
当者の明確化を実施

１-② ステークホルダー（経営層）との合意ポイント

１-③ 実施担当者の明確化© 2013 科学技術振興機構

7

４．D-Case適用時の有効性（実際のD-Case記述による有効性の例示） (3/3)•

D-Case記述内容が信頼できるエビデンスで終端： 集中記帳処理（夜間バッチ処理）のケース（抜粋）• リミット値超過や時限超過が発生するケースでも、訓練実施結果や参加者リストなど、通常運転時に確認できるビジネスコンティンジェンシープランのエビデンスで終端し、実効性のモニタリング

２．通常運転時のモニタリング© 2013 科学技術振興機構

8

５．D-Case適用時のまとめ
D-Case適用により•網羅性の可視化： システム機能の分析だけではカバーできない、人的対応部分も含め、サービス継続のための緊急時体制を可視化できる– （適用事例での例） リミット値超過や時限超過が発生するケースを分析•責任者の総覧化・可視化： D-Caseの１ドキュメント上に、ゴール毎に、経営層を含む実施担当者、合意したステークホルダーを明確化できる– （適用事例での例）• 実施担当者： 経営判断：経営者、復旧態勢や顧客対応：各実施責任者• 合意ポイント： 合意ステークホルダ、緊急時や事業継続性の態勢、ビジネスコンティン
ジェンシープラン•

通常運転時確認可能なエビデンスで終端： D-Caseの最終ゴールのエビデンスは通常運転時にモニタリングできる内容として明確化することができる– （適用事例での例）ビジネスコンティンジェンシープランの実効性のモニタリング
その結果• 異常（障害）発生時の迅速な対応と顧客サービスへの影響の最小化の実現• 経営層を含むステークホルダーとの合意形成の容易化と可視化の実現• 障害発生時の説明内容の可視化と説明責任の容易化の実現© 2013 科学技術振興機構

9