みずほ銀行システム障害（2021/02/28～）のメモ

みずほ銀行さんのシステム障害の件、何かしらの教訓がないか探るべく
ニュースや会見から事実関係をメモしてみます。
自分自身も当事者だったらと思うと、とても他人事とは思えません。

# 時系列

| 日時　　　　　　　 | トピック |
|:--------------------|:-------|
| 2/28 09:50am頃 | 最初のエラー検出（ログ）。この時点では大ごとと認識できてない。個別の現場対応 |
| 2/28 11:00am頃 | 障害が発生（ATMに取り込まれることではなく、みずほオンラインの障害） |
| 2/28 午後      | ATMの件含め大ごとになっていることを経営陣までが認識し、金融庁へエスカレーション |
| 3/01 15:00頃   | ATM全て復旧 |
| 3/01 19:30頃   | 記者会見 |
| 3/03 20:00頃   | 【障害発生】全国28拠点のATMでシステム障害が発生（キャッシュカードが戻らない等） |
| 3/04 夕方頃（報道） | 紙の通帳からデジタル通帳に切り替える作業によって起きたことが新たに判明 |
| 3/07 08:00頃 | 【障害発生】一部のATMやインターネットバンキングで定期預金の預け入れができない |
| 3/07 13:30頃 | 【障害復旧】上記障害が復旧 |

# みずほ銀行公式
* [公式ホームページ（トップ）：2021/03/01 22:00時点](https://www.mizuhobank.co.jp/index.html)
![スクリーンショット 2021-03-01 22.06.24.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/540892/4b427c0a-a5fb-9418-345d-77200f2fabef.png)
* [公式ホームページ（トップ）：2021/03/04 09:30am時点](https://www.mizuhobank.co.jp/index.html)
![スクリーンショット 2021-03-04 9.31.48.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/540892/6359b735-9712-16ef-297b-01b00bf09bcd.png)
* [公式ホームページ（トップ）：2021/03/08 03:10am時点](https://www.mizuhobank.co.jp/index.html)
![mizuho_0307.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/540892/1d5694ae-b38a-7ea2-e55b-9077bfde9308.png)

# 2021/03/01 会見メモ
仕事しながら片手間に聞いてたので誤認識あるかも。発見し次第、適宜修正します
## 障害内容
* カードや通帳を取り込んだまま戻さないのは、本来は不正利用された場合などへの安全装置
* 原因は定期預金のデータ移行作業（※システム屋の表現では、ステータス・フラグ変更）
  * _（こいつはもう一年以上使われてない、というものをステータス一括置換する感じに聞こえた）_
  * 3/4の続報より、紙の通帳からデジタル通帳に切り替える作業だったことが判明
  * 
* 月末の処理件数が重なり、システムに負担が掛かった
  * 今回のステータス変更作業（非定常業務）は、月末にやる必要はなかったとのこと
      * _（業務目線でのレビュー、試験が必要だった？）_
  * 月末のシステム負荷はかなり高い（通常15万件が25万件になる）
  * 
* _システム負荷によるエラーで安全装置が誤作動した流れ？_
  * _（→会見を質疑応答しか聞けなかったので憶測）_

## 暫定対応
* メモリを5倍にした
  * これにより、同じ原因での障害は再発しない
      * _（OutOfMemoryの類の模様）_
  * メモリは一度上げると下げられない

## その他議論
* [みずほ独自の基盤（MINORI）](https://www.mizuho-fg.co.jp/company/structure/it/index.html)部分
  * 他行を無視したMINORIは必要だった？　→みずほの発展のために必要不可欠
  * その前のシステムは1988年からのもので、耐えられない状態だった

# 2021/03/03 障害が再発生
* ハードの不具合によりシステムセンター間のネットワーク瞬断が発生した
* 2月28日に発生した定期性預金のデータ更新作業に起因するシステムトラブルとは別の要因で発生した

# 2021/03/07 障害が再々発生
* 7日午前8時ごろから一部のATMやインターネットバンキングで定期預金の預け入れができなくなった
  * カードローンのプログラムを更新する作業でエラーを検出したため、意図的に止めた模様（みずほ公式の案内より）
* 午後1時半ごろまでに復旧した

# 参考
## ニュースサイト
* 2021/02/28
  * [「4時間待っても誰も来ない」　みずほATM障害で混乱](https://www.nikkei.com/article/DGXZQODF2821O0Y1A220C2000000/?n_cid=SNSTW005)
* 2021/03/01
  * [みずほ銀行のシステム障害、ほぼ復旧　定期預金のデータ更新作業が原因　1日午後にも説明へ](https://www.itmedia.co.jp/news/articles/2103/01/news087.html#utm_source=niconico&utm_medium=feed&utm_campaign=20210301-050&utm_term=news&utm_content=link)
* 2021/03/02
  * [システム過負荷でなぜATMにトラブルが？　みずほ銀システム障害、運用面の課題あらわに](https://www.itmedia.co.jp/news/articles/2103/02/news057.html)
* 2021/03/03
  * [みずほ、甘い想定重ね被害拡大　ＡＴＭ障害、顧客目線の業務体制課題](https://www.jiji.com/jc/article?k=2021030201178&g=eco)

> 不具合がシステム全体に影響するのを防ぐため、基幹システムがＡＴＭとの連携を一部遮断。２０１９年に導入した新システムの「自衛機能」が働いた格好だが、この結果、ＡＴＭの処理速度が低下。取引の異常を検知したＡＴＭが「預金者の被害を食い止めるため」（同行関係者）に、カードや通帳を次々と飲み込む事態にまで想定が及ばなかった

* 2021/03/04
  * [みずほ銀行、またもシステム障害。28拠点でATM一時停止、キャッシュカード戻らず。原因は？](https://www.businessinsider.jp/post-230669)
  * [みずほ銀行 システム障害 デジタル通帳への切り替え作業で発生](https://www3.nhk.or.jp/news/html/20210304/k10012897711000.html)

* 2021/03/07
  * [みずほ銀行 再びATMなどでトラブル 午後1時半ごろまでに復旧](https://www3.nhk.or.jp/news/html/20210307/k10012902741000.html)

## MINORI関係
* [みずほMINORI開発プロジェクトにおける品質管理の取り組み](https://www.mizuho-ir.co.jp/publication/column/2020/0206.html)
* 書籍：[みずほ銀行システム統合、苦闘の19年史　史上最大のITプロジェクト「3度目の正直」](https://www.amazon.co.jp/%E3%81%BF%E3%81%9A%E3%81%BB%E9%8A%80%E8%A1%8C%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E7%B5%B1%E5%90%88%E3%80%81%E8%8B%A6%E9%97%98%E3%81%AE19%E5%B9%B4%E5%8F%B2-%E5%8F%B2%E4%B8%8A%E6%9C%80%E5%A4%A7%E3%81%AEIT%E3%83%97%E3%83%AD%E3%82%B8%E3%82%A7%E3%82%AF%E3%83%88%E3%80%8C3%E5%BA%A6%E7%9B%AE%E3%81%AE%E6%AD%A3%E7%9B%B4%E3%80%8D-%E6%97%A5%E7%B5%8C%E3%82%B3%E3%83%B3%E3%83%94%E3%83%A5%E3%83%BC%E3%82%BF-ebook/dp/B084QBQDZ3/ref=tmm_kin_swatch_0?_encoding=UTF8&qid=&sr=)