2016 年 12 月 26 日
お客様各位
株式会社ネットフォレスト
ISP サポートセンター
フレッツ接続大規模障害に関する報告書
平素は弊社サービスをご愛顧いただきまして誠にありがとうございます。

12 月 12 日夕方の設備障害に端を発したフレッツ接続大規模障害では皆様に多大なるご迷惑をお掛け致しました。ここに改めて心よりお詫び申し上げますと共に、現時点における本障害に関する報告書を提示させて頂きます。
なお 12 月 26 日現在、上位回線事業者からの最終的な報告を受けていないため、正確性に欠ける点や明確になっていない点などが残存しております。そのため本報告書は後日、最終版として差し替えさせて頂く可能性がありますので、予めご了承ください。

はじめに
本報告書では上位回線事業者（以下、「A 社」1と称します）に関して記述している箇所が複数ありますが、これは本障害の報告に際して A 社への言及無しにお客様に状況をご説明することが極めて困難な事がその理由です。何れにしましても A 社を業務委託先として選択し、お客様にサービスを提供しているのは弊社であり、A 社の監督責任を含め、今回の障害の責任は全て弊社にありますので、ご理解頂ければ幸いです。

記

1.

障害の影響範囲神奈川県および東京都町田市の一部の地域を除く、他の都道府県で弊社 ISP サービスをご利用の多数のお客様に影響した可能性があります。
なお神奈川県および東京都町田市の一部の地域は全て弊社が運営・管理している設備のため、本障害の影響は受けておりません。また本障害の対象地域でご利用の場合も影響が無かったお客様がいらっしゃいました。

1

A 社は大手企業グループの 100%子会社の電気通信事業者（旧第一種電気通信事業者）です。

1

2.

障害の内容
お客様がフレッツ接続を行った際、認証エラー等の理由により接続ができない、または接続できてもインターネット上の各種サービスをご利用頂けない、などの不具合が発生いたしました。
また障害中に東京都及び他の一部の都道府県の NTT 局舎に設置した機器（以下、「網終端装置」といいます）に対して復旧を目的とした再起動を試みたものの問題が解決されず、この再起動によってそれまで接続していた全てのお客様の通信を切断したことにより、更に多くのお客様によるインターネットへの接続（以下、「フレッツ接続」といいます）ができなくなりました。

3.

障害の発生・復旧日時
本障害の発生及び復旧の日時は以下のとおりです。
発生日時：2016 年 12 月 12 日（月）18：45 ごろ
復旧日時：2016 年 12 月 15 日（木）14：30 ごろ
なお前述のように本障害はフレッツ接続を開始する際の不具合だったため、対象地域であっても本障害の影響を受けなかったり、発生日時よりも後に影響を受けたり、と、お客様毎に障害の有無及び影響時間が異なりました。また上記の復旧日時は設備に関するものであり、お客様によってはお手元の機器の再起動を行うまでフレッツ接続ができなかった場合もありました。

4.

障害の原因
本障害は、A 社のフレッツ接続認証システムのデータベースサーバ群の不具合によって引き起こされたものですが、大別すると主に二点の要因がありました。
①

A 社及び他社の認証情報を管理しているデータベースサーバの不具合
A 社では、4 台のサーバから構成されるデータベースサーバ群で A 社及び他社の認証情報を管理していましたが、1 台のデータベースサーバが不安定になったため社内手順に則って該当サーバを再起動したところ、他のデータベースサーバも不安定となり、全体の負荷が高まったことにより以後の認証処理が十分に実施できなくなりました。

②

非固定 IP アドレス接続の管理情報の不整合
前述の ① によって認証システム全体として不安定になったことにより、非固定 IP アドレスのお客様の接続情報管理にも影響が発生し、割り当て済みの IP アドレスを別のお客様の接続に割り当ててしまうなどの管理情報の不整合が発生しました。これによりフレッツ接続ができているにも関わらずインターネット上のサービスに接続できない事象が発2

生しました。

お客様機器

NTT設置 A社機器

（PC, ルータ）(網終端装置)“ID/Password”“OK/NG”“OK/NG”“ID/Password”

A社ネットワーク

認証中継サーバ群（=> インターネット）“ID/Password”“OK/NG”

弊社認証サーバ

データベースサーバ群
A社フ レ ッ ツ 接続認証システム

なお、弊社からの従前の障害報告では『弊社設備での障害』とお伝えしておりました。これは弊社保有の認証サーバ自体は障害期間中も正常稼働していたものの、A 社の認証設備と弊社保有の認証サーバが連携して正常に動作しなければフレッツ接続ができないため、総称として『弊社設備での障害』としておりました。次ページの図などもご参照の上、ご理解いただければ幸いです。
図：フレッツ認証システム他の全体イメージ

5.

障害が長時間化した要因
本障害が長時間化した要因は主に三点です。
①

障害後、最初に構築した代替サーバの性能が不足していたこと

3

A 社では、4 台のサーバから構成されるデータベースサーバ群全体が不調になったため、サーバを 1 台のみに減らして復旧を試みたものの、弊社ユーザを含む多数のユーザのフレッツ接続認証要求を処理するには性能が足りませんでした。この時点で障害発生から約 18時間が経過しており、十分な性能を持つサーバの再構築および運用再開は更にこの 47 時間後、障害発生から約 68 時間後となりました。
②

非固定 IP アドレスの割り当て管理も認証システムで行っていること
A 社では自社認証サーバ及びデータベースサーバ群にて非固定 IP アドレスの割当管理も行っていますが、本障害によりこの管理機能も影響を受け、保有している非固定 IP アドレス用のデータを使い切ったり、既に割当済みの IP アドレスを別のユーザに割り当てたり、といった問題が発生しました。IP アドレスはお客様ごとに一意でなければインターネット上の様々なサービスをご利用いただけないため、“接続できているが、インターネットにつながらない”という症状が発生し、この問題の確認及び対策にも時間を要しました。

③

上位回線事業者の変更が容易ではないこと
本障害は認証中継サーバを含む A 社認証システムに起因するものだったため、理論的には上位回線事業者を他社に切替えてサービスを復旧する方法もありますが、以下の理由から障害復旧方法として現実的ではなく、弊社では採用できませんでした。
i.

『@kamome.or.jp』や『@fuchu.or.jp』などの識別子を他事業者の設備で利用するには NTT への変更申請他が必要であり、完了までに数週間を要します。

ii.

『かもめインターネット』及び『ちょっパヤ！ネット』で提供している固定 IPサービスは A 社が保有するものであり、他事業者に移すことができません。

※

この理由もあり、長時間のインターネット利用不可の解消策の一つとして、弊社は他事業者から提供を受けたフレッツ接続アカウントを “代替アカウント”としてお客様に提供し、機器設定の変更をお願いした次第です。

6.

お客様への状況説明に時間が掛かった要因
本障害に関して、お客様への状況説明に時間が掛かった要因は主に以下の三点です。
①

設備障害後、弊社が認識するまでに時間を要したこと
前述のように、今回の障害はフレッツ接続を行う際のみ発生し、既にフレッツ接続済みの場合は影響を受けないものでした。弊社認証サーバには問題がなかったこともあり、弊社が障害を認識するまでに時間を要しました。

②

A 社との情報共有に時間を要したこと

4フレッツ接続ができないお客様が多数いらっしゃることに弊社が気づいた時点では、A 社からの連絡は未だ来ておらず、ご連絡いただいたお客様に地域性などの関連性がなかった
ため、障害状況の把握までに更に時間を要しました。A 社設備障害であることが判明した後は弊社から A 社への問い合わせを繰り返しておりましたが、適宜の情報開示を受けることが難しく、お客様へお伝えすべき情報を得るのに時間を要しました。
③

当初の復旧プランが失敗したこと『4. 障害が長時間化した要因』① に記載しましたが、A 社から 12 月 13 日午前中に復旧プランおよび見込みの復旧スケジュールの開示を受けた後、弊社ではその情報を弊社Web サイト他でお客様にもお知らせいたしました。然しながら前述のように該当サーバ
では最初に復旧を試みた東京エリアのフレッツ接続要求を処理し切れず、その後に予定していた他エリアも含めて復旧の見通しが不明確となりました。
その後、性能の高いサーバを準備・運用開始する目途が立つ 12 月 15 日朝までの間、お客様に有意な情報をお伝えすることができませんでした。

7.

今後の弊社対応について本障害を受け、弊社では以下の四点について検討・対応を行います。
①

障害発生時のお客様への周知方法の再検討
今回、お客様が弊社サポートセンター他へ電話を頂き、そこで障害を初めて知ったというケースが多々ありました。弊社では障害が発生した際は Web サイト、Twitter（かもめ公式アカウント）、メールなどでご契約者様への周知を図っておりましたが、今回は当初の予想以上に障害が長時間化し、お伝えできる情報が散発的かつ不確定なものが多かったこともあり、Web サイトおよび Twitter での情報発信に比べ、メールによる情報発信が極めて少なくなってしまいました。
今後、障害が長時間に及ぶ場合には、情報が不確定あるいは新たな情報が無い場合でも一定の時間毎に可能な手段全てにおいて情報を発信するように致します。またお客様の中には電話でのご連絡を希望される方も相応にいらっしゃいましたので、電話による情報発信についても検討致します。

②

業務委託先からの情報収集方法の改善
今回の障害において A 社との情報連携を適切に行うことができず、弊社お客様に対する情報開示を適時に行うことができませんでした。本件については情報連携を目的に現場担当者間の連絡体制は整えつつありましたが、本障害を受けて事業者間連絡体制の確立を要望し、実現して参ります。

5

③

業務委託先へのシステム他の改善要望
今回の障害が起きた要因、また障害が長時間化した要因について、A 社には詳細の開示を求めております。システム障害を完全に防ぐことは極めて難しいのですが、起き難くすること、起きた際の影響範囲を極小化すること、暫定対応でも短時間で復旧すること、再発を防止すること、など、事業者が行えることは幾つも存在します。詳細と共に今後の対応についても説明があることと思いますので、お客様の視点に立ってその内容を弊社として吟味し、必要があれば更なる対応を求めて参ります。

④

業務委託先変更・分散の検討
現在のところ弊社の業務委託先は A 社のみであり、今回の障害では弊社と協力関係にある他の ISP 事業者に依頼して代替アカウントを調達し、ご希望のお客様への提供などの対応にも時間を要しました。弊社では複数の ISP ブランドを運営しておりますので、A 社への一社依存から二社以上へ委託することにより、万一、同様の事故が起きた際には自社内で代替アカウントを準備・配布し、対応時間をより短くすることを検討致します。
然しながら障害が長時間化した要因でも触れましたように、他社への変更には数か月を要すること、弊社サービス仕様を満たす他事業者が少ないこと、などから、本対応については慎重に検討して参ります。
以上

6