1

システム障害に係る対応状況について

株式会社みずほフィナンシャルグループ
株式会社みずほ銀行

今次報告の位置づけ

2

総括

FG・BKによる原因究明・再発防止策検討
2/28

3/3

3/7

3/12

期末

事象①

事象②

事象③

事象④

期初

4/5

特別調査委員会(*1)による評価・提言 等

今次報告
再発防止策策定の枠組み

取締役会

FG
再発防止策策定

評価・提言
監査委員会

執行部門

対応検証委員会(*2)
・FG社外取締役のみで構成
・特別調査委員会の報告を踏まえた再発防止策の策定を検証

経営管理

特別調査委員会

・外部の識者・専門家から構成される第三者委員会
・FG・BKにおけるシステム障害の原因究明・再発防止策に対する評価・提言

取締役会
監査等委員会

BK
再発防止策策定

執行部門(*1) システム障害特別調査委員会(*2) システム障害対応検証委員会

システム構成全体図

3

ATMｾﾝﾀｰ

取引チャネル等

ﾓﾆﾀﾘﾝｸﾞ
SWIFT

自動機(ATM)

みずほダイレクト

外為決済ｼｽﾃﾑ

自動機サーバーダイレクトサーバー

2

ﾈｯﾄﾜｰｸ機器

営業店・行内端末等全銀ﾈｯﾄ、他行ATM等

3/3 ATM・ﾀﾞｲﾚｸﾄ
障害（機器障害）＜凡例＞
オンライン電文
ファイル送受信障害発生ｼｽﾃﾑ
障害発生機器監視

メインハブ等ダイレクト
処理区画

動機ｻｰﾊﾞｰ・ﾀﾞｲﾚｸﾄｻｰﾊﾞｰを監視

行内共用
処理区画

取引共通基盤、融資・外為基盤、定期性基盤は別個に構成

他行ｺﾝﾋﾞﾆ
処理区画

メインハブ等取引メイン（MINORIのコントロールタワー）
MINORI

CIF
流動性預金(顧客管理)
3内国為替

3/7 定期性取引障害

融資・外為基盤
外国為替

与信

オンラインでの電文交換機能

センター
集中記帳

手数料
統合ファイル授受基盤（ｶｰﾄﾞﾛｰﾝDB更新ﾌﾟﾛｸﾞﾗﾑ不良）

統合ファイル授受基盤

ｻｰﾊﾞｰ・
ﾃﾞｨｽｸ装置

定期性基盤
信託債券

ローン

(*) MINORI・外為決済ｼｽﾃﾑ・自―― 補足説明 ――

取引共通基盤ATM
処理区画

統合運用基盤システム(*)

定期性預金

1

ファイル送受信に係る変換機能

4

3/12 外為送金遅延等（機器障害）

2/28 ATM・ﾀﾞｲﾚｸﾄ障害（一部ﾒﾓﾘ容量ｵｰﾊﾞｰ）

発生事案の概要（詳細は別紙ご参照）①2/28事案
直接の原因
影響を受けた取引種類②3/3事案• 定期性のデータ移行時の一部 • ネットワーク機器故障
メモリ容量オーバーによる瞬断4③3/7事案• カードローン関連リリー • 統合ファイル授受基盤にス時のプログラム不良
係る機器故障＋バックアップへの切替不良

ATMATMATM

みずほダイレクト

みずほダイレクト

みずほダイレクト• 定期性取引不能：469件(累計ベース)• ATM：4,318台停止

主な• カード・通帳取込：5,244件
お客さま影響戻実施

外為等• ATM：29台停止、
カード・通帳取込• みずほダイレクト取引不能：9件• 国内他行向け仕向外為送
金遅延：263件• 宝くじ：7件不成立（除〈みずほ〉関係者）• 被仕向外為送金到着案内
遅延：761件• カード・通帳：全件お客さま • カード・通帳：全件にご連絡のうえ5,243件返却
返却完了
完了（4/5時点）• 宝くじ：お客さまに• みずほダイレクト：取引不成
速やかに個別連絡
立のお客さまのご意向確認のうえ取引完了

主なお客さま対応 • 他行ATM等利用手数料の返④3/12事案(当日処理完了未済の件数）• ATM・みずほダイレクト • 国内他行向け仕向外為送：同日中に復旧完了
金：お客さまのご意向確
認及び受取銀行との調整のうえ全件送金完了• 被仕向外為送金：お客さまのご意向確認のうえ全件入金完了

各事案の共通原因につながる要素

5①2/28事案②3/3事案③3/7事案④3/12事案

ATMの取込仕様• ATM4,318台稼働停止
カード・通帳取込5,244件• ATM29台稼働停止
カード・通帳取込

―

―

ハード障害

―

• ネットワーク機器故障―• 統合ファイル授受基盤に係る機器故障• 取引量がピークとなることが多い月末にリリース―• 2/28事案発生の翌週末にリリース

システム
開発・運用

システム

事後対応
システム
以外

• 開発・テストが不十分（メモリ容量確認不十分）• 開発・テストが不十分（プログラム不良看過）• 定期性取引のエラーがATM・みずほダイレクトに波及• カードローンのプログラ • 機器故障に係るエラーがム不良が総合口座の取引外為等の決済取引に波及
エラーに波及• 発生からATM障害の原因特定に約7時間――• ATMの媒体取出し・再稼働の作業が長期化• お客さま影響の早期把握と展開不十分(ATMセンター・コールセン
ター・SNS等の情報収集)• 的確な営業店指示と迅速なお客さま対応に課題(タイムリーな告知・告知手段の多様化(SNSの活用等))• ベンダーによる復旧に約7時間• みずほ側の復旧作業においても手順ミス――• システム復旧の状況に応じたお客さま影響の確認に課題• 迅速なお客さま対応に課題(タイムリーな告知・告知手段の多様化)

これらの要素を組織全体の課題と捉え、再発防止策を検討

主な再発防止策の実施状況①
 MINORIおよび周辺システムも含めたシステム全体の安定稼働を確保する観点から、機能強化、人員強化により、組織全体としてMINORI対応力の向上等を実現〇 ATM等の仕様の改善－原則、カードや通帳を返却する仕様に変更 済
・ネットワーク障害対応【5月上旬予定】（お客さまの取引が不整合になる懸念がある場合等を除く）〇 ハードウェア機器の交換・改修－（3/3事案）ネットワーク機器 済－（3/12事案）ベンダー保守・管理体制強化 済 ディスク装置 済
他基盤で使用する同様のディスク装置【4月末予定】
システム面〇 監視体制の見直し・強化－メモリ使用率の警告方法の改善 済－エラー大量発生時のメッセージ出力方法改善【4月末予定】〇 IT部門としての対応力強化－開発プロセスにおけるチェック体制の強化
・システム横断的なチェックを行う案件基準策定 済・システムテストの充分性検証・リリース判断に係る手続明確化【4月末予定】－MINORI移行後の安定稼働・開発需要減少を踏まえた現行MINORI体制の再強化
・開発関係の人員増強 済 、ベンダー協力体制の再立ち上げ 済〇 SCP（システムコンティンジェンシープラン）の見直し・強化－システム波及経路を踏まえたシナリオ見直し・訓練【6月末予定】

6主な再発防止策の実施状況②
 お客さまの影響を速やかに把握し、影響を極小化するとともに、必要なご案内・対応を迅速に行う観点から、組織全体として多面的な障害検知・情報収集態勢を整備〇 営業店・本部体制の強化－営業店による駆付け体制の見直し（連絡手段・対応要員等の明確化）済－本部の危機管理体制の強化
・本部における初動対応と状況把握の徹底（危機室主導で1時間以内の会議実施）済・ITとビジネス知見双方を有する危機管理ラインの明確化（危機室長専担化）【4月末予定】
・外部専門家との連携を通じた管理体制高度化【5月末予定】

ビジネス面〇 多面的な影響検知・情報収集力の強化－本部による、ATMセンター・コールセンターからの情報収集態勢強化【4月末予定】－ATMセンターで緊急対応ノウハウ増強・コールセンターの緊急応援体制整備【4月末予定】－SNS等を活用した情報収集・共有の徹底 済〇 お客さまへの告知手段の多様化検討－リモートサイネージ、ATM画面、SNSを活用したプッシュ型の告知、等〇 BCP（ビジネスコンティンジェンシープラン）の見直し・強化【5月末予定】－お客さまへの迅速な告知や影響拡大防止に着目した対応策の具体化－想定シナリオの追加、休日・夜間における対応力向上、ATMセンターとの連携強化－システム波及経路等を踏まえ、SCPと整合的なBCPを構築

7今後の対応8 システム面においては、MINORIおよび周辺システム全体のバランスのとれた安定稼働とレベル向上の観点から、システムそのもの・運用・人員態勢等での課題を引き続き検証・深掘り ビジネス面においては、外部環境の変化やお客さまの期待の変化等も踏まえ、緊急時対応態勢やサービスレベル向上のあり方を引き続き検証・深掘り

今後のさらなる改善対応に向け、システム面・ビジネス面それぞれの取り組みを組織全体の強化につなげるべく以下に取り組み•

多層的な障害対応力の向上－常にお客さま目線を持ち、システム部門・ビジネス部門、および双方を横断する形で、堅固な「多層防御」の仕組みを構築

取組の方向感•上記を実効的なものとするための人・組織の抜本的強化－人事・危機管理体制の抜本的強化を行い、「人と組織」を鍛え、組織力を強化

9

別 紙

【発生事象と原因分析】

10①2月28日（発生事象）② 定期性預金の更新取引不能 → ATM停止・ATMへのカード通帳取込① 定期性預金の更新取引不能
定期性預金システム

自行ATM

コンビニ他行ATM

みずほダイレクト

集記管理テーブル【自動拡張】(未記帳定期)

45万件

DB領域

(月末取引分)

25.1万件

自動機サーバ

業務元帳【自動拡張】

自行ATM
処理区画
取消情報管理テーブルINDEX【自動拡張なし】

ＡＴ
Ｍ
仕様

照会系取引
残高照会等
勘定取引・記帳
入金・支払等X○ コンビニ他行

ダイレクト
処理区画

ATM処理区画原因
原因③ ATM仕様

ダイレクトサーバ

MINORI（取引共通基盤）

取消情報管理テーブル【自動拡張】

メモリ
領域

影響無し

システムサーバ

A.通信障害(NW機器故障等)

定期性預金システム

システムエラー(システムの内部処理でのエラー)

D.業務エラー

B.定期預金エラー

C.ATM処理区画エラー(取引禁止等、業務上設定したエラー)

返却

返却

返却

返却

取込

取込

取込(*)

3/3

2/28

2/28

(*)返却に仕様変更済み

返却

不正カード利用等
一部取込【発生事象と原因分析】

時間

事象

みずほe-口座移行に伴う未記帳切替45万件と月末定期性預金25万件の集中記帳実施。

08:24

定期預金の集中記帳開始

09:51

システムエラー検知集中記帳において、メモリ容量不足により、定期性取引のエラーが発生。
エラー累積により、ATM・みずほダイレクトの処理区画が順次閉塞し、カードや通帳等の取込みが発生。

10:15

ATMセンターで、ATM430件のエラーを検知

11:30

取消情報管理テーブルINDEXファイルの容量オーバー特定

11:49

警備員出動要請12:14

ATM処理区画閉塞（事後に判明）

12:45

ATMでの定期預金サービスを停止

14:00

みずほダイレクトでの定期預金サービスを停止

14:25

全営業店に出勤・お客さま対応を指示

15:50

当行ATM4,318台が不稼働（ﾋﾟｰｸ）

17:10

ATM処理区画閉塞を認識、復旧に着手

18:39

閉塞ATM処理区画の復旧完了、順次稼働再開【発生した障害】
【障害発生原因】
A) 開発・テスト工程におけるメモリ容量に対する考慮漏れ•

システム改修開発時およびテスト時における、開発部署でのスキル不足と横断統制機能の不足による「取消情報管理テーブル
INDEXファイル(制御系ファイル) 」への影響確認漏れ。

B) ATM等の処理区画への波及想定せず、ATM対応に遅れ••テスト計画時に定期性取引のエラーからATM・みずほダイレクトへの波及を想定しておらず、また、多数のエラー発生によりATM処理区画閉塞に係るエラー検知を見逃したため、原因特定に遅れ(約7時間)
ATMの再起動には、カード等のATM機器からの取り出しが必要であり、完全復旧は3/1 15:00。

C) お客さま対応の遅れによる影響拡大
••
••

11

①2月28日 （原因分析）

3月1日
15:00

取り込みカード・通帳を取り出し、全ATMの通常稼働を確認

ATMの仕様が、MINORI移行前からエラー発生時にカード・通帳を「取り込む」ものとなっており、お客さまへの影響が拡大。
ATMの停止やカード・通帳取り込みの影響を受けているお客さまの実際の状況について、ATMセンター、コールセンター、SNS等の情報を能動的に確認し、迅速に統合する対応に遅れ。
事象発生後の初動対応として、システム障害の原因に係る情報収集が中心になり、結果、営業店への対応指示や対外告知など、最優先すべきお客さま対応に遅れ。
休日や夜間に、カード・通帳取込みが大量に発生するコンティンジェンシーシナリオ、準備が不足しており、営業店職員の現場駆けつけが遅延。

【発生事象と原因分析】

12

②3月3日
【発生した障害】

自行ATM

みずほﾀﾞｲﾚｸﾄ

データセンターに設置されたネットワーク(NW)機器内のNWカードの故障により、約3分間(19:58-20:01)、通信の遮断・接続を繰り返す不安定な状態が継続。

NWカードは、ATM・みずほダイレクトとMINORI、ナンバーズ中継システム（宝くじ）の間の通信に使われており、上記3分間にATM、みずほダイレクトを利用したお客さまに影響発生。(ATM 29台停止、宝くじ７件不成立）

システムサーバ

X

自動機サーバX

ダイレクトサーバ【障害発生原因】

ネットワーク機器
ネットワークカード

ネットワークカード

ネットワーク機器
ネットワーク
カード

原因A) ハード故障による通信の断絶•

ネットワークカード

ﾊｰﾄﾞ故障を受けﾙｰﾄ自動切替
MINORI

ナンバーズ中継システム（宝くじ）•B) ATMの取り込み仕様によるお客さまへの影響•時間事象

19:58~
20:01

データセンターにおけるネットワーク(NW)機器内のNWカードの故障により、通信の瞬断が断続的に発生。

20:01

NWカードの自動切替により、瞬断解消

20:13

ATMセンターにおいて、カード取り込みを検知

20:31

影響対象のATM29台を特定

20:40

営業店職員に出動要請

当該NWカードは、正系が完全に停止した場合は10秒以内に、通信が不安定な場合は３分程度で、副系に自動かつ強制的に切り替わる仕様。
本件障害においては、上記の制御機能が正常に働き副系に切替わったことで通信が復旧。

2/28同様、ATMの仕様が、エラー発生時にカード・通帳を「取り込む」ものとなっており、お客さまへの影響が発生。

【発生事象と原因分析】

13

③3月7日
【発生した障害】

自行ATM

カードローンのプログラム更新におけるエラー。



同一プログラムを使用している総合口座定期預金の集中記帳でエラー発生、同口座への入金処理が一時取引不能に。

みずほダイレクトを通じた定期預金入金取引が不成立となったお客さまは9名。

みずほﾀﾞｲﾚｸﾄ

システムサーバ

ダイレクトサーバ

自動機サーバ

流動性預金システム

X 定期性預金システム

カードローン(利息徴求プログラム)

総合口座定期（貸越枠)••設計･開発工程における開発担当者の認識の誤りと、再鑑者による確認漏れ。
テスト環境と本番環境の差異による影響の確認不足。

B) システムリリース時の事前準備不足

原因時間【障害発生原因】
A) カードローン情報更新時のプログラムミス

MINORI

データベース（貸越明細テーブル）

•

事象

03:54

カードローンシステムリリース完了

06:06

定期預金集中記帳開始

06:08

定期預金集中記帳においてエラー検知

07:15

エラー原因特定、ATM、みずほダイレクトへの影響を特定

08:25

ATM・みずほダイレクトにおける定期預金サービス停止決定

09:22

ATM・みずほダイレクトにおける定期預金サービス停止完了

13:34

みずほダイレクトの定期預金サービス復元

13:42

ATMの定期預金サービス復元•2/28事案を踏まえ、お客さまのオンライン取引に影響する案件リリース等は、中止する方針を決定。
本件は、カードローンのプログラム修正であり、実際のオンライン取引への影響(利息徴求）は4月以降と認識していたが、実際には、定期預金のオンライン取引に影響し、結果的にお客さま影響が発生。

【発生事象と原因分析】

14④3月12日（発生事象）

SWIFT
外為決済システム

MINORI
メインハブ
取引共通基盤
取引メイン（MINORIのコントロールタワー）
CIF(顧客管理)

流動性預金 内国為替センター
集中記帳

手数料

統合ファイル授受基盤 ｻｰﾊﾞｰ・ﾃﾞｨｽｸ装置

融資・外為基盤
外国為替与信

定期性基盤
信託

債券

ローン

定期性預金

原因時間事象

3/11
23:39

統合ファイル授受基盤に係るディスク装置で故障発生（*)

03:50

ベンダーによる故障したディスク装置内の通信制御装置の交換

06:20

ベンダーによる復旧作業完了

06:38

統合ファイル授受基盤の復旧完了

06:57

データ集配信及び3/11夜間分のバッチ処理
開始

11:46

日付変更処理の完了

11:48

日付変更処理後の集中記帳開始

12:55

外国為替システムと外為決済システムの接続完了

13:00

国内他行向け外為送金のカットオフタイム
到来

18:31

国内他行向け外貨仕向送金のSWIFT電文発
信完了

19:00

MINORIオンライン締め。外貨被仕向送金761件の3/12中の到着案内完了せず（*) 統合ファイル授受基盤を稼働させているサーバ及びディスク装置は、日立製作所（以下ベンダー）が保有するものであり、その維持・メンテナンスを含め、みずほ銀行にサービスとして提供されているもの。

【発生事象と原因分析】④3月12日 （原因分析）

15【発生した障害】
データセンターにて、ディスク装置内の通信制御装置で故障発生し、バックアップ機器への自動切替も仕様通りに動作しない事象が発生。

ベンダーによる故障した通信制御装置の交換およびサーバ再起動に約７時間を要し、その間、統合ファイル授受基盤が作動せず。夜間の日付切替・バッチ処理等、その後のオペレーション工程に遅れが発生



サーバ復旧後、日付切替・バッチ処理を開始するも、お客さまに以下の影響が発生。
① 国内他行向け外為送金263件について送金処理が遅延② 外為被仕向送金761件について、当日中の到着案内処理が未完了③ バンクレポートサービス186社、法人EB/WEB95社に関する一部サービスが遅延【障害発生原因】
A) 統合ファイル授受基盤に係るディスク装置故障••

ディスク装置が故障した場合でも、バックアップに即座に自動切替が行われる仕様であったものの、今次障害では自動切替が実行されず。手動切替もできず。
ディスク装置の不具合により、サーバと接続ができない事象が継続。万一の場合に備えたベンダー側の早期サービス復旧手順並びに実施体制が確立されておらず、障害発生から復旧まで約7時間を要した。

B) 外国為替システムの復旧手順ミス•

外国為替システムの復旧作業のなかで手順の誤りが発生し、国内他行向け外為送金のカットオフタイムオーバー、被仕向外為送金到着案内遅延が発生。

C) お客さま影響の確認および必要とする情報のﾀｲﾑﾘｰな発信の遅れ•

外国為替システムの復旧が遅れている中で、お客さまに想定される影響を予め網羅的に洗い出し、能動的な対応、タイムリーな発信に至らず。