2023 年 12 月１日
各位
一般社団法人 全国銀行資金決済ネットワーク
株式会社 NTT データ

全国銀行データ通信システムの障害について
2023 年 10 月 10 日から 11 日にかけて、全国銀行資金決済ネットワーク（以下、全銀ネット）が運営する全国銀行データ通信システム（以下、全銀システム）において発生した障害により、加盟金融機関やそのお客さまをはじめ、皆様には多大なご迷惑、ご心配をおかけしましたことを深くお詫び申しあげます。
全銀ネットおよび株式会社 NTT データ（以下、NTT データ）は、10 月 13 日および 10 月 27 日に金融庁よりそれぞれ受領しました報告徴求命令につきまして、11 月 30 日に金融庁へ報告いたしました。
今回発生した事象に関しまして、経緯、原因および再発防止策等についてご報告します。
１．経緯(1) 事象発生までの経緯
全銀システムは、ホストコンピュータが設置された「全銀センター」、および各加盟金融機関が全銀センターに接続するための「中継コンピュータ」（以下、RC）で構成されております。2017 年にサービス提供を開始した RC17 シリーズを最初に導入した加盟金融機関の RC が保守期限1を迎えることから、全銀ネットにおいて後継機種となる RC23 シリーズを開発し、10 月７日～９日に RC23 シリーズへの移行2を 14 の加盟金融機関で実施しました。
移行後初日の営業日である 10 月 10 日８時 35 分頃に、14 の加盟金融機関のうち、RC の「内国為替制度運営費付加・チェック処理」機能を利用している９加盟金融機関で、RC 本体装置がシステムダウンしました。同日９時 43 分頃にも、１加盟金融機関で同じく RC 本体装置がシステムダウンしました。結果、10 加盟金融機関3と全銀システムの間でテレ為替業務が全面的にできなくなる事象が発生しました。

1

RC のシステムライフは最長６年です。
2017 年 10 月にサービス提供を開始した RC17 シリーズのうち、最初の 2017 年 10 月に初回導入した機器が 2023 年 10 月にハードウェアの保守期限を迎えることから、今回 14 の加盟金融機関で新シリーズ（RC23 シリーズ）に移行しました。
3
10 加盟金融機関は、三菱 UFJ 銀行、りそな銀行、埼玉りそな銀行、関西みらい銀行、山口銀行、北九州銀行、三菱 UFJ 信託銀行、日本カストディ銀行、もみじ銀行、商工組合中央金庫です。いずれも、平日日中の処理を行うコアタイムシステム用 RC に移行した加盟金融機関で、かつ RC に実装している「内国為替制度運営費付加・チェック処理」を利用している加盟金融機関です。
21

(2) 事象発生から復旧までの経緯
全銀ネットと、全銀システムの開発・サービス提供ベンダーである NTT データは、全銀システムの通信開始直後（８時 33 分頃）に RC23 シリーズに移行した複数の金融機関で異常が発生していることを検知しました。全銀ネットと NTT データは発生原因の解析を通じた復旧対応と、復旧までの間の代替手段の準備を進めました。
① 復旧対応事象発生直後から、NTT データは本障害事象の原因特定と解析を進めました。解析において、RCが内国為替制度運営費のテーブルを参照する際にエラーが発生することが分かったため、10 日 17時頃に NTT データと全銀ネットは、RC が内国為替制度運営費のテーブルを参照せずに、固定値にて内国為替制度運営費の金額を入力するプログラム修正を行う、暫定対処ⅰの実施を決定しました。
ただし、暫定対処ⅰを行うにはプログラムの改修箇所が多く、NTT データは 10 日 23 時までに完了させる予定であったプログラム改修に時間を要しました。また、11 日１時 40 分頃にプログラム改修の検証において、エラーを検知したことで、プログラムの修正に時間を要しました。11 日３時
45 分頃に、プログラム改修の検証で違うエラーを検知したことで、11 日のコアタイムシステム4のオンライン開始（８時 30 分）までにプログラム修正が間に合わないと全銀ネットは判断し、暫定対処ⅰのリリースを断念しました。
11 日 13 時頃に、NTT データと全銀ネットは、内国為替制度運営費の金額を一律０円とするプログラム修正を行う暫定対処ⅱの実施を決定し、NTT データはコアタイムオンライン終了前から先行してプログラム修正に着手しました。12 日３時 30 分頃に、暫定対処ⅱが問題なく起動していることを確認しました。
② 代替対応全銀ネットは、10 日 11 時頃までに、上記 10 加盟金融機関に、新ファイル転送5を利用してデータを授受する手法、および電子媒体でデータを授受する方法、といった代替手段での対応を依頼しました。
しかし、上記 10 加盟金融機関の一部においては、これまで入力していなかった内国為替制度運営費を自らのシステムで入力する必要が生じたこと、対象データ量が多かったこと、電子媒体の搬送に時間を要したこと等から、10 加盟金融機関の仕向電文の発信が遅れてしまいました。また、被仕向電文の受信および後続の入金処理も遅れてしまいました。
なお、全銀ネットは、10 日と 11 日のコアタイムシステムの通信時間を 1 時間延長することで、代替対応のための時間確保を試みましたが、予定していたすべての取引を処理することができませんでした。

4

全銀システムは、平日日中の処理を行う「コアタイムシステム」と平日夜間および休日の処理を行う「モアタイムシステム」からなります。
5
複数の為替通知データを一括して送受信するものです。

2

２．本事象の原因
今回のシステム障害が発生した直接的原因は、内国為替制度運営費情報を取得する前段でアクセスする共有メモリ上のインデックステーブルにある加盟金融機関の値の一部が破損したことによるものです。この結果、RC23 シリーズ内のプログラムが内国為替制度運営費付加・チェック処理を実施する際に、インデックステーブルから正常な値を取得できず異常終了してしまい、RC 本体装置のシステムダウンに繋がりました。
このインデックステーブルは RC 起動時にロードファイル6から展開されますが、ロードファイルを生成するプログラムのテーブル作成処理の不具合（一時的に確保する領域が不足）により、ロードファイルの内容が破損してしまいました。
一時的に確保する領域が不足した原因は、次のとおりです。RC23 シリーズの開発では OS のバージョンアップに伴い、ロードファイルを作成する際に使用する４つのテーブルのうち、１つのテーブルのサイズを拡張しました。ロードファイルを生成するプログラムは一時的に確保する領域にまとめて４つのテーブルを展開する仕様となりますが、NTT データの開発プロセスにおける製造工程時に、各テーブルが個別に展開されるものと理解して、一時的に確保する領域の拡張を行いませんでした。また、NTT データ内の製造有識者による修正内容の再検証においても、当該拡張の必要性を指摘することができませんでした。結果、ロードファイルを展開する作業領域が不足しました。
３．NTT データの課題
今回の障害について、NTT データにおいては、下記(1)～(3)の３つの課題があると認識しています。
(1) 設計・製造工程プロセスの課題
今回の障害は、OS のバージョンアップ非互換対応7の影響調査プロセスにおいて、課題があったと認識しています。
➢

プログラム修正方針を製造関係者のみで判断し、その誤りを抽出できるプロセスになっていなかった。

(2) 試験工程プロセスの課題
機能要件の充足性に関する品質保証は実施できていましたが、特定機能によらない基盤環境の変化による影響といった、予期せぬ非互換による異常を検出する観点に課題があったと認識しています。
➢変更を加えていないテーブルが正しく作成されていることの直接確認ができていなかった。

➢より本番に近い試験バリエーションが確保されていなかった。

6

テーブルの初期設定値を保持するファイル。RC 起動時に当該ファイルが読み込まれ、メモリ領域に展開されることでプログラムから参照可能となる。
7
OS バージョン変更に伴い、旧バージョンから互換性がない対象を洗い出して改造を加え、新しい OS上でも問題なく動作出来るようにする対応。

3

(3) 復旧対応プロセスの課題
復旧対応に際しては、以下により暫定対処の検討着手が遅れ、かつ対処に時間を要しました。
➢復旧に向けた優先順位の考え方について、あらかじめ全銀ネットと合意していなかった。

➢見積もり精度よりスピード優先で対処し、限られた時間でのフィージビリティ検証のまま前進した。

➢

障害の原因分析、代替運用および暫定対処の検討・対応等、並走するタスクの優先順位の考え方、代替案への切替え時限の取り決めなく作業を実施した。

➢

過去に実績のない両系同時障害を想定した訓練が実施出来ていなかった。

４．NTT データの再発防止策
３．の各課題に対する主な再発防止策は下記のとおりです。
(1) 設計・製造工程プロセスにおける再発防止策➢

プログラム修正方針を、詳細設計関係者含めて判断するようプロセスを変更します。

(2) 試験工程プロセスにおける再発防止策➢

新たな基盤環境でテーブルの正当性を確認するため、変更対象外のテーブルについても、新旧テーブルのコンペアを実施します。

➢

より本番環境に近い効率的な試験実施方法として、商用で流れている実取引相当のデータを用いた疎通試験を実施します。

(3) 復旧対応プロセスにおける再発防止策➢「復旧させる業務の優先順位」と「バックアッププランへの切替時限」を全銀ネットと合意したうえで、障害発生時の復旧ガイドラインを策定します。

➢

策定したガイドラインの有効性評価の訓練、および最大リスクである東阪同時障害を踏まえた訓練シナリオの検討と、ブラインド訓練を実施します。

(4) 再発防止策に対する歯止め
再発防止策をより実効的なものとするため、以下の取り組みを実施します。
➢

基盤更改等に対する品質保証の観点から、基盤人材の関与を高めます。OS 非互換の対応計画、試験計画の段階においても非機能観点の知識を持つ基盤人材を参画させます。

➢NTT データおよびグループ会社が、重要な開発プロセスを分担することで、当該プロセスの実態を把握し、トラブル時の復旧対応におけるフィージビリティの感度を高めます。

なお、以上の再発防止策は、今後の本格対処、および各開発プロジェクトの計画に応じて対応していきます。

4

(5) システム総点検タスクフォースの見解
NTT データグループに設置したシステム総点検タスクフォースが、真因分析結果や再発防止策を第三者の立場で確認し、その妥当性を評価しました。そのうえで、上述の「再発防止に対する歯止め」策の必要性を提言しております。
５．全銀ネットの課題
今回の障害について、全銀ネットにおいては、下記(1)～(4)の４つの課題があると認識しています。
(1) 委託者としてのマネジメント不十分
以下のとおり、委託元として実施すべき管理が十分でなかったことが、開発工程において障害の原因となったテーブル破損を発見できなかったこと、また、障害発生時に適切な代替対応や暫定対処を行うことができなかったことにつながったと認識しています。
➢

委託先における設計のレビュー体制や試験項目の確認等、委託先に対する牽制が不十分。

➢プロジェクトにおいて、東京・大阪同時移行といった固有の特性や、都市銀行を含む移行対象金融機関の特性、繁忙日・連休明けといった日の特性を踏まえた、システムリスクの洗い出しが不十分。

➢

障害発生時に委託先の対処方針の適切性確認、タイムマネジメント、セカンドプランの検討が不十分。

(2) 加盟金融機関も含めた BCP の実効性不足
以下のように、加盟金融機関も含めた BCP の実効性が不足していたことが、障害発生時に、代替手段による処理を円滑に行うことができなかったことにつながったと認識しています。
➢プロジェクトのリスクを想定した固有の BCP が未整備。

➢

BCP の発動基準や代替手段を使用する際の詳細ルールが未整備。

➢

実践的な訓練が不足。プランの有効性（所要時間、加盟金融機関ごとの練度等）の把握・検証もなされず、実効的な BCP が未確立。

(3) 大規模障害を想定した危機管理体制の脆弱性
本障害への対応においては、加盟金融機関との連携や対外公表、一般顧客への対応に遅れや不足がありました（誤情報の履歴なしでの差替えを含む）。この理由としては、以下のように、大規模障害を想定した危機管理体制が脆弱であったためと認識しています。
➢

障害発生時の対外告知等にかかる各種マニュアルの整備が不十分。また、大規模障害時の役割分担等も不明確。

➢平時からの実践的な訓練も不足しており、障害対応力が不十分。

5

(4) システム人材の不足と組織の脆弱性
これまでに挙げた課題への対処を担い得る、システム人材や組織の体制も以下のように十分ではなかったと認識しています。
➢専門性・経験値が十分に蓄積されず、上記各課題を担い得るシステム人材が不足。

➢

システム開発・運用に関する検討部会・委員会等の役割も不明確で、金融機関の知見の活用も不十分。

６．全銀ネットの再発防止策
５．の各課題に対する主な再発防止策は下記のとおりです。
（注）【】内は現時点の実施期限です。
(1) 委託者としてのマネジメント不十分➢

ベンダーにおける設計のレビュー体制および試験内容の十分性を確認し、各工程におけるベンダーマネジメントを向上。
【期限 2024 年３月末予定】➢

東阪同時障害発生等のリスクや加盟金融機関影響を踏まえた適切な移行方法・時期の検討、プロジェクトリスクの洗い出し方法のマニュアル化を実施。
【期限 2024 年３月末予定】➢

障害復旧対応における優先順位の整理、復旧策決定に当たっての複数プランの比較検討、適切なタイムマネジメントのマニュアル化を実施。【期限 2024 年３月末予定】(2) 加盟金融機関も含めた BCP の実効性不足➢

移行計画において、移行・稼動後の障害対策としての切戻しを含めた必要なコンティンジェンシープランの策定、および移行時における必要十分な人員体制の整備代替手段（センター代行発信依頼、受信代行）にかかる障害の影響を受けた金融機関向けの留意事項の整理を通じ、プロジェクト特性を踏まえた固有の BCP を整備。【期限 2024 年３月末予定】➢

センター代行発信依頼・受信代行にかかる留意事項の取りまとめ、障害発生時の初動および全銀ネット・ベンダー・加盟金融機関の三者間連携の整理、BCP 対応の所要時間確認・時限等の明確化と訓練を実施し、平時からの備えとしての BCP・代替手段の運用ルールを整備・強化。
【期限 2024 年３月末予定】➢センター代行発信・受信代行運用訓練のシナリオの見直し、欠送・二重発信確認対応訓練を新規実施し、実践的な訓練を通じた実効的な BCP を確立。
【期限 2024 年度中予定】(3) 大規模障害を想定した全銀ネットにおける危機管理体制の脆弱性➢

大規模障害発生時における原因調査、復旧対応にかかる情報連携・優先度の整理、事業継続対策本部の役割の明確化、加盟金融機関とそのお客さまを意識した対外公表内容の事前整理・マニュアル化を通じ大規模障害時の対応事項を明確化。
【期限 2024 年３月末予定】➢

大規模障害時の全銀ネットにおける対応体制・役割分担を明確化。また、障害の影響を受けた金融機関との情報連携方法の整理・マニュアル化を実施。【期限 2024 年３月末予定】➢

内部研修へのシステム障害対応の追加、東阪両系障害対応にかかる内部訓練の新設を行い、実6践的な訓練を実施。
【期限 2024 年度上期予定】(4) システム人材の不足と組織の脆弱性➢

全銀協等との人事ローテーションを通じた人材の強化（育成、採用）、加盟金融機関からの出向受入や外部採用等により、システム人材を確保。
【期限 2024 年４月以降予定】➢

CIO 設置による事務局体制を強化。IT・システム関連の委員会の新設検討などによる所管の明確化。
【期限 2024 年４月予定】➢

第三者評価におけるプロジェクトや全銀ネット特性を踏まえた実効性あるチェックを重視。
【期限 2024 年４月予定】

７．今後のシステム改修(1) 障害の影響を受けた金融機関の RC23 シリーズ本格対処NTT データにおいて、RC で動作している領域確保を実行するすべての処理に同様の不具合が混入していないことを確認したうえで、不具合が発生したプログラムについて、改修プログラムを作成いたしました。障害の影響を受けた金融機関等から商用データを借用し、内部試験を実施中です。
試験結果に問題ないことを確認した後、東阪別日程での分散リリース等の備えを検討したうえで 12月以降順次リリース予定です。
(2) 後続の RC23 シリーズへの更改対応
2024 年１月に移行を予定していた３金融機関のうち、１金融機関は移行を延期いたしました。２
金融機関は、暫定対処版で移行する方向で調整中です。
(3) API ゲートウェイ開発・次期全銀システム開発
今次障害の再発防止策を踏まえ、プロジェクト管理および各種検討を行います。API の活用やオープン化の実施を念頭に置いたプロジェクト管理、試験の十分性確保、大規模障害のリスクを考慮した移行方法の検討を行うとともに、プロジェクト推進体制の強化を図ります。
８．おわりに
これまで、全銀システムは、社会的基盤である金融機関間の資金決済を円滑・安全かつ効率的に実施し、信頼ある金融インフラを構築することによって、国民生活の向上に資することを目的に、弛まぬ改善改良努力を行い、稼動から 50 年間にわたり、安定稼動を継続してまいりました。
一方で、今回発生した障害の発生原因の根底にある問題として、この安定稼動してきたことに依拠し、「大規模障害は起きない」という潜在意識があったと考えています。
今次障害で加盟金融機関およびそのお客さまにご迷惑をお掛けする結果となってしまったことを重く認識し、その反省を踏まえ、今次再発防止策は、障害の未然防止策はもちろんのこと、障害発生時の早期復旧や影響範囲の最小化の実現に向けて策定しております。重要なことは、再発防止策を速やかに実行に移し、組織内に根付かせ、常に実効性の高い状態を保持することであり、環境や状況に応じた見直しも行ってまいります。

7

わが国の内国為替取引の根幹を担う全銀システムが、加盟金融機関およびそのお客さま、そして社会から真に信頼される決済インフラとなるべく、全銀ネットと NTT データは一体となって本件に関する再発防止策に取り組んでまいります。
以8上