令和３年６月４日

令和２年度 終了評価書
研究機関： ＫＤＤＩ㈱、(研)情報通信研究機構

研究開発課題： 革新的ＡＩネットワーク統合基盤技術の研究開発
課題Ⅰ ＡＩによるネットワーク運用技術

研究開発期間： 平成 30 年度 ～ 令和２年度

代表研究責任者： 大谷 朋広■ 総合評価（５～１の５段階評価） ： 評価４■ 総合評価点 ： ２３点／ 30 点※中※（1）、（２）、（４）、（５）の採点結果と（３）の採点結果の２倍の累計点を総合評価点とする。

（総論）
AI を定量的に利用するという目標を達成していることに加え、ネットワークの運用自動化に関する論文投稿や国際標準化に留まらず ITU AI/ML in 5G
Challenge における活動を通じて運用自動化に関する国際的な発展に寄与していること、NICT テストベッドの有効活用策を示したこと及び今後商用網への成果展開も計画されていることは評価できる。なお、今後の継続的な研究開発や国際標準化活動に向けて課題間連携の国内外への見える化や５G SA 導入後の様々なユースケースへの対応に向けた検討等の本研究開発の継続的な発展に期待する。

（被評価者へのコメント）

ネットワークの運用自動化のテーマだけでも大変だと思うが、IoT や CDN といったサービス事業者との連携モデルを想定して運用自動化の研究としてまとめた点、ITU や TM Forum で主導的活動をしてこの課題への国際的な意識を高めることに貢献した。ただし、AI をネットワーク管理に応用するという課題はスタートラインに立ったばかりと考える。今後の継続的な研究開発、標準化活動を続ける必要がある。その意味で、デモビデオはプロジェクトの宣伝や標準化活動にも役立つと思うので、課題間連携を見える化して公開できるといい。



ネットワークの運用自動化に関する論文投稿だけでなく、ITU-T の AI/ML 5G チャレンジの課題提供側に回り、データセット、評価用ファイル、ユースケースからなる課題を策定した点は、今後の標準化の在り方にまで波及する大きな前進と考える。

KDDI の商用展開を意識した開発予算を獲得できた点は、今後の発展を期待できる。

NICT のテストベッドを今後の通信事業者のシステムの先行検証と運用上の学習データ取得の場に進化させられることを示せたことは、これからの日本の通信の BCP を考える際のツールへの一歩と評価したい。



負例が少ない環境において、AI を定量的に利用するという当初の目的を達成しており、技術的な価値を引き出している。



自動レベル化を明確に定義し、達成すべき機能、能力について明示することで、複数の研究プロジェクトの目的を具体化し、統合的な成果を得られている。



国際コンペにおいて分析データの提供など、本分野における進展に寄与している。



おおむね計画通りに目標を達成している。今後、New Normal 時代にむけて技術の利用が期待されるが、高品質の映像配信に必要となる広帯域に加えて、特に低遅延・高信頼性が求められる協調型自動運転等における IoT のユースケースを想定した場合、車両密度によってネットワークの利用状況が異なり、AI を利用した 5G における SA の動的なスライス制御を検討しておらず、今回の検討結果としてのネットワーク運用のための AI を用いたネットワーク運用のためのデータフォーマットやシステム間インタフェースがそのまま使えるか疑問が残る。



5G の SA におけるスライス制御など、今後の技術の普及に向けて、見通せないところも一部ある。

（１） 研究開発の目的・政策的位置付けおよび目標（５～１の５段階評価） ： 評価４（総論）
目標とするネットワークの運用自動化レベルを明確に定義し、多様なステークホルダーの連携を視野に AI による障害からの自動復旧に関するネットワーク制御の基本的アーキテクチャが確立されており、統合的な成果を得ている点は評価できる。また、これによりネットワークの信頼性の向上に寄与しており、目標を達成しているものと認められる。
（被評価者へのコメント）
ETSI ISG ENI をベースに運用自動化をレベル分けして定義し、プロジェクトの目標をレベル３自動化と位置付けたのは、国際標準化にも寄与する成果と考える。



CDN、IoT サービス事業者、システムインテグレータとの連携を視野にネットワークの運用の研究開発を同時並行して進められた意義は大きい。



自動レベル化を明確に定義し、達成すべき機能、能力について明示することで、複数の研究プロジェク
トの目的を具体化し、統合的な成果を得られている。



分析データの提供など、本分野における進展に寄与している。

国際化としての寄与については、さらに進展を願いたい。



多様なネットワーク利用形態が想定される現状において、ネットワーク運用技術に対して AI によるネットワーク制御の基本的なアーキテクチャを確立した。

AI によって復旧手順を導出することに成功しており、AI によるネットワーク運用の一形態を示すことができたため、評価に値する。

（２） 研究開発マネジメント（費用対効果分析を含む）（５～１の５段階評価） ： 評価４（総論）
課題間連携による成果が上げられており、事業者間のマネジメントも適切に行われているものと認められる。また、将来的な事業者間連携のモデル化に向けた一歩となったことは評価できる。なお、課題間連携における API の国際標準化や評価用のデータセットの作成を継続的に進めることを期待する。
（被評価者へのコメント）

ネットワークの設計と運用ならびにサービス事業者とネットワーク事業者という、課題も担当組織も異なって研究開発することになったが、課題間連携のユースケースとして、将来の事業者間連携をモデル化する一歩になったことは評価したい。



課題間連携 API 仕様を実装とあるが、表現は難しいと思うが、インタフェースの仕様、及びインタフェースを介して交換するデータのフォーマットについて OpenAPI 形式でまとめたものの具体例を示すことができたらよかった。また、種々のサービス事業者があると思うので、この部分の標準化も継続的に進めてほしい。



プログラムのオープン化は叫ばれてほしいが、評価用のデータセットも標準的なものを作る作業が今後は重要になる。その一歩が始まったと考えたい。



研究プロジェクトが統合的に成果を利用できる形で進められている。



各チームにおいて、互いの成果を結び付けた成果を目指している。



課題解決に向けて、適切な組織を立ち上げ、複数企業間で連携し、目標を計画的に達成できた。



当初の予定通り研究成果を達成できており、組織間マネジメントはできていた。

（３） 研究開発目標（アウトプット目標）の達成状況（５～１の５段階評価） ： 評価４（総論）
商用網を模擬した実証環境で検証が行われており、学習時間の短縮等の数値目標も当初目標を達成している。また、国際標準化提案や対外発表は十分行われている点に加え、ITU AI/ML in 5G Challenge における活動を通じて運用自動化に関する国際的な発展に寄与している点が評価できる。
（被評価者へのコメント）

ネットワークの運用の自動化に関する論文投稿だけでなく、ITU-T の AI/ML 5G チャレンジの課題提供を担い、データセット、評価用ファイル、ユースケースからなる課題策定ができた点は、方式というより学習データの作り方が今後は重要になると思うので、標準化の在り方にまで波及する大きな前進と考える。

KDDI の商用展開を意識した開発予算を獲得できた点は、今後の発展を期待できる。



査読付きジャーナル論文１件(事後)、査読付き口頭発表論文１０件はこの規模のプロジェクトとしては平均的と考えるが、4 件の特許出願、国際標準化提案12件を行い、口頭発表２８件、報道発表２３件で分野の立ち上げを行ったことは評価したい。



負例が少ない環境において、当初の目的を達成しており、技術的な価値も引き出している。



一方で、学習時間５７％短縮が絶対時間としてどの程度であるのか、今後通信機器および通信速度がますます向上するなかで、相対的な値だけではなく、研究としては、今後の５G 以降の高速通信においてどのような絶対的な値が求められるのか等に対しての知見も示したほうがよい。



今後の展開に向けてのサービス、国際化へ向けての具体的な方向性（データの提供、機能の拡張等）への知見についても成果として明示してほしい。

ネットワーク運用制御技術、状態分析技術に関して、実環境を模擬した実証環境を構築し評価を行っている。

数値目標は達成できていると読み取れるが、AI が主題の研究開発項目であるため、AI 的な観点からの成果報告がもう少しほしい。

（４） 政策目標（アウトカム目標）の達成に向けた取組みの実施状況（５～１の５段階評価） ： 評価４（総論）
ITU-T での国際標準化活動、TM Forum での実証成果発表及び ITU AI/ML in
5G Challenge への課題提供を通して、国内外における研究成果普及に対して貢献している点は評価できる。なお、今後の継続的な研究開発や国際標準化活動に向けて課題間連携の国内外への見える化に関する更なる取組に期待する。
（被評価者へのコメント）

コンソーシアムとして活動し、SG13 から TM Forum AI & Data Analytics Project リエイゾン提出、TMForum catalyst/Digital Show Case にて実証成果発表等、日本のこの分野での問題意識を世界に示した。今後の継続的標準化活動を望みたい。



自社新規設備の運用への適用検証・導入を中期計画へ反映しようとしているのも評価できる。



デモビデオは、プロジェクトの宣伝や標準化活動にも役立つと思うので、課題間連携を見える化した状態で公開できると良い。



事業者間連携のモデルは丁寧に描かれているが、実現できるのかがあまり見えてこない。ぜひ、具体的な動きについて事例などが紹介可能であれば、示してほしい。



国際標準化のみならず、デファクトとして他社との連携を進めるなど積極的な活動を期待する。



ITU 主催のコンテストの実施に貢献し、研究成果普及に対して貢献している。

標準化は予定通り進行している。

（５） 政策目標（アウトカム目標）の達成に向けた計画（５～１の５段階評価） ： 評価３（総論）
今後の社会実装として自社設備での検証・導入に向けた中期計画も明確になっている点は評価できる。また、NICT のテストベッドを有効活用しており、今後のテストベッドプロジェクトへのフィードバックが期待できる。なお、今後の国際標準化及び普及に向けたより明確なマイルストーンの設定や更なる研究につながるデータモデル等の情報公開に期待したい。
（被評価者へのコメント）


単なる研究にとどまらず、KDDI 商用化に向けた課題抽出・解決策立案のための技術開発予算を計上した。

自社新規設備への適用検証・導入を中期計画へ反映することを検討する意欲も評価できる。

NICT のテストベッドが今後の通信事業者のシステムの先行検証と運用上の学習データ取得のツールに進化したエポックメーキングなプロジェクトとなったと考える。NICT のテストベッドプロジェクトにフィードバックが期待できる。



いまだ、始まったばかりの試みであり、世界的な動向として明確になっていないなか、国際標準化の道筋として、明確なマイルストーンを入れることが重要と思われる。



標準化提案への貢献は認められるが、今後の普及に対しての見通しに対して、不明確な点も残る。



当初の計画である標準化に関する項目は達成されつつあるが、データモデルの共有など、さらなる研究につながるような情報はより積極的に公開してほしい。