設備アラーム情報に基づく監視業務自動化の実機検証について2024.7.19一般社団法人日本ケーブルラボ
日本ケーブルラボは、ケーブル事業を技術イノベーションにより発展させるため、スピード感と適時性を念頭に5つの領域を重点分野と定義してラボ活動を推進
1.
検証の概要検証の概要と検証システム/評価を行った監視業務フローを説明
2.
検証項目と確認された種々のメリット
検証項目と結果を説明、自動化により大きな監視業務時間短縮や、障害復旧時間の短縮の他、人件費の削減など、種々のメリットを紹介3.まとめまとめと構築した検証システムを他の事業者に導入する方法について説明
●なぜ、運用保守に関心が薄いのか?
▷直接利益に繋がるわけではないので、積極的な取り組みが少ない➤うまくいって当たり前という認識、平常時は地味な業務>事故/故障が発生してその重要性を認識するが、時間が経つと関心低下>これまでは、積極的な取り組みがなくても良かったが、、、、 >お客様に提供するサービスの品質に直接影響するので、このままでは、お客様にケーブルテレビ事業が選ばれない危機
♪ 3者が大きなメリットを受ける高品質のサービスを享受(短時間の障害復旧など) ^お客様事業者経営層解約防止、人件費削減、新しいサービス展開>事業者監視部門複雑な監視作業の負荷低減、作業品質の向上◆幹線路が増加傾向であり、幹線光化も進捗し、設備規模増大◆新しいサービスを提供するために設備は多様化(製造メーカや世代/方式など多岐)

出典:ケーブルテレビの現状(総務省令和5年11月)
●運用保守の効率化の実証▷ 効率化のメリットを実証により示し、ケーブル事業での効率化を推進♪実証内容✓効率化を進めるには、ステップ毎のアプローチが必要であるが、BPAやRPAは各事業者が個別に対応可能✓次のステップであるRBAは机上評価ではなく、実際の作業手順に基づいて業務を行っている監視者の評価が必要ケーブルテレビ事業者(イッツ・コミュニケーションズ株式会社)の商用環境を利用して実機による検証評価運用保守の効率化のステップ
RPA :単純な定型業務の自動化RBA :作業手順の自動化AlOps: AI/MLによる自動化BPR: Business Process Reengineering RPA: Robotic Process Automation RBA: Run Book Automation) AlOps: Artificial Intelligence for IT Operation 1.検証の概要
●業務内容: オンラインCMの台数の減少アラーム検知時に、影響が特定集合物件に偏りがあるかを判定：アラームの発生頻度が高く、かつCMTSの種類ごとにログイン情報が異なるため、監視者の負担大●課題自動化による監視者の業務時間の短縮

*参考監視全体業務4人×24h×30日＝2880h/月
7

●実機検証の内容を体感できます
✓デモ業務:オンラインCM台数の減少障害の検知時、障害がエリアや集合物件に特定されているか判断✓実機環境にてCMをオフラインにして、従来業務と自動化後の業務を比較1.検証の概要
集合住宅CM全オフライン①従来業務のデモ説明者実施対応手順書の確認(オフラインCMの設置場所検索)対象CMTSのログイン情報取得対象CMTSに	グインコマンド入力してCMTSの情報収集(オフラインCMの情報)データベースより、オフラインCMの設置住所取得オフラインCMが特定の集合住宅に集中しているか、監視者が判断アラーム発生表示②自動化後の業務のデモ説明者実施自動化業務選択(オフラインCMの設置場所検索)オフラインCMが特定の集合住宅に集中しているか、自動表示集合住宅CM全オンライン
● 障害発生時の業務フローの中で、障害検知後の業務を自動化✓機器の状態の確認:障害検知は簡単なメッセージなので、該当する機器(オフラインCMなど)を確認問題箇所の特定:加入者DBから確認した機器の設置場所を特定機器の状態確認特定自動化した業務●具体的には、監視対象の設備アラーム情報に基づく5つの監視業務を自動化
10
●手動で実施している従来業務と自動化した場合の業務時間を比較業務フロー対応手順書の確認(オフラインCMの設置場所検索)対象CMTSのログイン情報取得対象CMTSに	グインコマンド入力してCMTSの情報収集(オフラインCMの情報)データベースより、オフラインCMの設置住所取得オフラインCMが特定の集合住宅に集中しているか、監視者が判断自動化業務選択(オフラインCMの設置場所検索)オフラインCMが特定の集合住宅に集中しているか、自動表示業務フロー
● 監視対象となるCMTS/サーバ/OLTの他、Zabbixを搭載した設備監視サーバとAdminatorおよびJobSchedulerを搭載した監視装置から構成設備監視サーバ監視装置CMTS/サーバ/OLT 5つの自動化された監視業務のワークフロー実証試験協力事業者の既存設備/ツール検証用新規実装ツール▷   Zabbix :ネットワーク監視ソフトウェア▷ Adminator :統合監視ソフトウェア(実証試験協力事業者開発) ▷ JobScheduler : JS7®JobSchedulerは独SOS社によって開発されたジョブ管理ソフトウェア12
●  監視者は、Adminator監視画面上に表示されたアラームメッセージを確認して、その対処方法が記載された手順書を参照しながら作業を行う
● 監視者は、Adminator監視画面上に表示されたアラームメッセージを確認して、必要な自動化アクションを実行（作業指示）すると、Adminator上のJobSchedulerのワークフロー（Playbook）が自動実行する
ウィグルス手グットを見Bingが録メール活知アクション全て選択全て解除CSV 出力
6複数のZABBIXのアラートを一覧監視するメイン画面•チケットの起票、メール通知といった処理•現在の対応状況等の情報も一覧表示•調査対象をクリックすると作業手順リンクへの15参考
メイン画面でアラートをクリックすると表示される画面•当該アラートに対応する手順等を一覧表示•処理、手順、連絡先等を監視員が選択し実行する
(2の23 W口szabbi> (1 - 15 ). SS zabbi status toのzabbies Mt ・メイン画面で自動処理対象のアラートを選択・アクションボタンを押下
the thisチケット登録「チケント解除閉連登録-日本人民メール通知アクション全て選択全て解除CSV出力100検索:
参考
Xアクション一覧ZABBIX区全てO深刻度2 ( )未分類W口$ e
チケット全て　> Q快定2件中1から2まで表示う確認チケット登録チケット解除|関連解除時法を録メール通知アクション全て選択全て焼けロークフロ

オフライン端末一覧(現在)
CSV出力
Showing 1 to 2 of 2 entries Nextスクリプト出力詳細（最新）
再起動端末一覧（過去１時間）
... Execution Informations *** Host A Po CableIF  : N Node処理結果は整形された判断しやすい形式で表示日付起動した時間MAC No data avai StartTime:: 2 EndTime : 2 Reboot   : False日付起動した時間MAC問い合わせ結果整形中CHTS MACアドレス検索Showing 0 to 0 of 0 entries Result *** Date Mac 8 PS Search: Article 2.検証項目と確認された種々のメリット
●業務内容: オンラインCMの台数の減少アラーム検知時に、影響が特定集合物件に偏りがあるかを判定:アラームの発生頻度が高く、かつCMTSの種類ごとにログイン情報が異なるため、監視者の負担大●課題従来の業務フロー自動化後の業務フロー CM減少アラーム検知CM減少アラーム検知手順書確認ワークフロー選択
*協力いただいた事業者が既に持っている自動化スクリ
自動化の効果の見込み(実証試験結果より) 7h//=従来の業務自動化後の業務
自動化*参考監視全体業務4人×24h×30日＝2880h/月●監視者自身の業務時間の短縮●監視業務の新規従事者への教育コストの低減(手順書の知識など不要) 2.検証項目と確認された種々のメリット
●業務内容:オンラインONTの台数の減少アラーム検知時に、原因が問題あり/なしかを判定:情報収集のため実行するOLT管理コマンドの操作には慎重な対応が必要であり、監視者の負担大●課題従来の業務フロー自動化後の業務フロー ONT減少アラーム検知ONT減少アラーム検知手順書確認ワークフロー選択OLTのログイン情報取得OLTのログイン情報取OLT/ONT情報取得ONTオフラインの原因CHK監視者判定自動化の効果の見込み(実証試験結果より) 0.7h/戸従来の業務自動化後の業務
自動化*参考 監視全体業務4人×24h×30日＝2880h/月●監視者自身の業務時間の短縮●監視業務の新規従事者への教育コストの低減●コマンド自動操作による誤操作の撲滅OLT/ONTの情報取得2.検証項目と確認された種々のメリット
●業務内容:Linuxサーバ*のアラーム検知時、プロセス状態確認し、プロセスダウン状態であれば起動:サーバ管理コマンドの操作には慎重な対応が必要であり、監視者の負担大●課題従来の業務フロー自動化後の業務フローサーバのアラーム検知手順書確認プロセスの再記事監視者正常起動確認
*事業者が提供する商用サービス(インターネットなど)に使用するサーバ群
サーバのアラーム検知従来の業務自動化後の業務
*参考 監視全体業務4人×24h×30日＝2880h/月●監視者自身の業務時間の短縮●監視業務の新規従事者への教育コストの低減●コマンド自動操作による誤操作の撲滅●障害継続時間の短縮(20分→0.5分)自動化の効果の見込み(実証試験結果より) 0.04h//=自動化2.検証項目と確認された種々のメリット
●業務内容：CMTSシステムリセットのアラーム検知時、故障によるリセットなのか、カウンタのリセット*なのか判別:  CMTSの種類ごとにログイン情報が異なるため、監視者の負担大●課題従来の業務フロー自動化後の業務フロー CMTSシステムリセットアラーム検知CMTSシステムリセットアラーム検知0.4h//=自動化後の業務
*参考 監視全体業務4人×24h×30日＝2880h/月●監視者自身の業務時間の短縮●監視業務の新規従事者への教育コストの低減自動化の効果の見込み(実証試験結果より)従来の業務自動化
*システム監視用のカウンタで、定周期でリセッ
2.検証項目と確認された種々のメリット
●業務内容：ネットワーク機器に故障が発生した場合、原因究明を目的として当該機器の情報をメーカに提供：様々な機器や複数種の機器があるため、復旧前の情報収集は、監視者の負担が大きい●課題従来の業務フロー自動化後の業務フロー CMTSアラーム検知CMTSアラーム検知手順書確認ワークフロー選択MTSのログイン情報取得管理者モードへ移行従来の業務0.1h//=自動化後の業務
*参考監視全体業務4人×24h×30日＝2880h/月●監視者自身の業務時間の短縮●障害継続時間の短縮15分の情報収集の後に復旧作業を実施していたが、 0.5分の情報収集により、より短い時間で復旧作業開始可自動化の効果の見込み(実証試験結果より) CMTSのログイン情報取得管理モードへ移行自動化
1.業務時間の短縮と人件費の削減
•監視業務の作業手順の自動化により、業務時間の短縮を確認。業務により1.6h/月～33/h/月の短縮が見込まれ、検証した5つの業務を合わせると58h/月の短縮。今後他の業務を自動化するば更なる短縮効果が期待•作業手順の習得が不要になるので、習得の教育コストが不要となる他、熟練者ではなく新規の担当者を監視業務に活用するなどして人件費の削減が期待
2.秘匿情報の適切管理
•作業に必要な情報を自動化システムで管理することにより、担当者と管理者という業務を完全に分離。パスワードやネットワーク構成等の秘匿性の高い情報にアクセスできるのは一部の管理者のみとなり、担当者は監視業務にリソースを集中させることで、監視業務の品質向上や負担軽減に寄与
3.ヒューマンエラーの低減
•手動ではミスをした場合の危険度が高いため作業手順には採用しなかった手法や、単純ではあるが大きく時間を要していた作業、繰り返し作業等を、短時間でミスなく誰でも実施することが可能となり、監視業務の対応領域の拡大や、品質向上が期待25

●実機検証の内容を体感できます
✓デモ業務:オンラインCM台数の減少障害の検知時、障害がエリアや集合物件に特定されているか判断✓実機環境にてCMをオフラインにして、従来業務と自動化後の業務を比較Japan Caste Laboratories
●今回構築した検証システムを他のケーブル事業者へ導入する方法を整理今回の検証システムCMTS/サーバ/OLT検証用新規実装ツール実証試験協力事業者の既存設備/ツール
●成果を他のケーブル事業者にも展開するために、今回の検証システムに含まれる独自システム(Adminator)を利用しない場合の2つの対応策について示す(設定内容は報告に記載) ① Zabbixのアクション機能を利用したJobSchedulerの活用• Zabbixには検知したアラームに対して何らかの処理を実行することができる「トリガー・アクション」と呼ばれる機能を利用この機能を用いるとアラームを検知した際にJobScheduler上に.定義したワークフローを自動実行することが可能システム構成例Zabbixのトリガー・アクション画面
②ローコードソリューションを利用したJobScheduler活用システム構成例•　オープソースのローコードソリューションを用いることで、監視システム(ZABBIX、Nagiosなど)が検知したアラームとJobSchedulerを統合するアプリケーションを開発・利用ここではAppsmith *をローコードソリューションとして利用した場合を例示* Appsmithオープンソースのローコードツール
Appsmith画面

Japan Cable Laboratories一般社団法人日本ケーブルラボ【住所】〒103-0025 東京都中央区日本橋茅場町3-4-2 KDX茅場町ビル3F 【電話】03-5614-6100 【交通】東京メト	東西線、日比谷線「茅場町」駅より徒歩2分（日比谷線2番出口）
Japan Cable Laboratories Confidential and Proprietary