(57)【要約】  第１の数のサービス品質ＱｏＳメトリックを受信することであって、第１の数のＱｏＳメトリックは、第１の時点におけるネットワークのＱｏＳに関係すること、ネットワークのＱｏＥの対象となる参照デバイスから、第１の数の体感品質ＱｏＥメトリックを受信することであって、第１の数のＱｏＥメトリックは、第２の時点におけるネットワークのＱｏＥに関係し、第１の時点と第２の時点の間の時間差は、所定の時間閾値未満であること、および第１の数のＱｏＳメトリック、および第１の数のＱｏＥメトリックに基づいて、機械学習技法を使用して、第１の数のＱｏＳメトリックの少なくともサブセットから、第１の数のＱｏＥメトリックの少なくともサブセットへのマッピング関係を決定することを含む、ネットワークのＱｏＥの評価を自動化する方法。
2019522422.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークの体感品質ＱｏＥの評価を自動化する方法であって、
コンピューティングデバイスによって実行される以下のステップ、すなわち、
−  第１の数のサービス品質ＱｏＳメトリックを受信するステップであって、第１の数のＱｏＳメトリックが、第１の時点におけるネットワークのＱｏＳに関係する、ステップと、
−  ネットワークのＱｏＥの対象となる参照デバイスから、第１の数の体感品質ＱｏＥメトリックを受信するステップであって、第１の数のＱｏＥメトリックが、第２の時点におけるネットワークのＱｏＥに関係し、第１の時点と第２の時点の間の時間差が、所定の時間閾値未満である、ステップと、
−  受信した第１の数のＱｏＳメトリック、および受信した第１の数のＱｏＥメトリックに基づいて、機械学習技法を使用して、受信した第１の数のＱｏＳメトリックの少なくともサブセットから、受信した第１の数のＱｏＥメトリックの少なくともサブセットへのマッピング関係を決定するステップとを含む、方法。
【請求項２】
−  第２の数のＱｏＳメトリックを受信するステップであって、第２の数のＱｏＳメトリックが、第１の時点とは異なる第３の時点におけるネットワークのＱｏＳに関係する、ステップと、
−  ネットワークのＱｏＥを評価するために、マッピング関係によって、受信した第２の数のＱｏＳメトリックの少なくともサブセットを第２の数のＱｏＥメトリックにマップするステップとを含む、請求項１に記載の方法。
【請求項３】
マッピング関係を決定するステップが、
−  第１の数のＱｏＳメトリックと第１の数のＱｏＥメトリックの間の相関を決定するステップと、
−  決定した相関に基づいて、第１の数のＱｏＳメトリックのサブセットを、マッピング関係においてマッピング元とするサブセットとして選択するステップとを含み、
第１の数のＱｏＳメトリックのサブセットを選択するステップが、好ましくは、第１の数のＱｏＳメトリックからＱｏＳメトリックを選択するステップを含み、選択されたＱｏＳメトリックに関して、決定した相関が、所定の閾値を超える、請求項１または２に記載の方法。
【請求項４】
マッピング関係を決定するステップが、
−  受信した第１の数のＱｏＳメトリックの少なくともサブセットから、マッピング関係を学習するための訓練サブセット、および学習されたマッピング関係を評価するための検証サブセットを選択するステップと、
−  選択した訓練サブセットに基づいてマッピング関係を学習するステップと、
−  選択した検証サブセットに基づいて、学習されたマッピング関係を評価するステップとを含む、請求項１から３のいずれか一項に記載の方法。
【請求項５】
検証サブセットを選択するステップが、
−  受信した第１の数のＱｏＳメトリックのうちの少なくとも１つのＱｏＳメトリックに関する分散を決定するステップと、
−  決定した分散に基づいて、少なくとも１つのＱｏＳメトリックからＱｏＳメトリックを検証サブセットとして選択するステップとを含む、請求項４に記載の方法。
【請求項６】
機械学習技法が、受信した第１の数のＱｏＳメトリックの少なくともサブセットから、受信した第１の数のＱｏＥメトリックの少なくともサブセットにマップするための回帰モデルを推定するステップを含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
第１の数のＱｏＳメトリックと第２の数のＱｏＳメトリックのうちの少なくとも１つが、以下のメトリック、すなわち、再送レート、エラーレート、信号強度、チャネル利用率、活動度ファクタ、競合ファクタ、破棄されたパケット、送信パワー、信号対雑音比ＳＮＲ、信号対雑音プラス干渉比ＳＩＮＲ、および待ち行列統計のうちの任意の１つまたは複数を含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
第１の数のＱｏＥメトリックと第２の数のＱｏＥメトリックのうちの少なくとも１つが、以下のメトリック、すなわち、バッファリング比、バッファリングイベントのレート、ビットレート、ストリーミングレート、バーストストリーミングレート、ビデオ品質、初期バッファリング時間、ストール頻度、およびストールの平均持続時間のうちの任意の１つまたは複数を含む、請求項１から７のいずれか一項に記載の方法。
【請求項９】
コンピュータ上で実行されると、請求項１から８のいずれか一項に記載の方法のステップを実行するための命令のコンピュータ実行可能プログラムを含む、コンピュータプログラム製品。
【請求項１０】
ネットワークの体感品質ＱｏＥの評価を自動化するための装置であって、
−  第１の数のサービス品質ＱｏＳメトリックを受信することであって、第１の数のＱｏＳメトリックが、第１の時点におけるネットワークのＱｏＳに関係すること、
−  ネットワークのＱｏＥの対象となる参照デバイスから、第１の数の体感品質ＱｏＥメトリックを受信することであって、第１の数のＱｏＥメトリックが、第２の時点におけるネットワークのＱｏＥに関係し、第１の時点と第２の時点の間の時間差が、所定の時間閾値未満であること、
−  受信した第１の数のＱｏＳメトリック、および受信した第１の数のＱｏＥメトリックに基づいて、機械学習技法を使用して、受信した第１の数のＱｏＳメトリックの少なくともサブセットから、受信した第１の数のＱｏＥメトリックの少なくともサブセットへのマッピング関係を決定すること
を実行するための命令のコンピュータ実行可能プログラムを実行するために構成されたプロセッサを含む、装置。
【請求項１１】
プロセッサが、
−  第２の数のＱｏＳメトリックを受信することであって、第２の数のＱｏＳメトリックが、第１の時点とは異なる第３の時点におけるネットワークのＱｏＳに関係すること、および
−  ネットワークのＱｏＥを評価するために、マッピング関係によって、受信した第２の数のＱｏＳメトリックの少なくともサブセットを第２の数のＱｏＥメトリックにマップすることを行うためにさらに構成される、請求項１０に記載の装置。
【請求項１２】
プロセッサが、
−  第１の数のＱｏＳメトリックと第１の数のＱｏＥメトリックの間の相関を決定すること、および
−  決定した相関に基づいて、第１の数のＱｏＳメトリックのサブセットを、マッピング関係においてマッピング元とするサブセットとして選択することを行うためにさらに構成され、
第１の数のＱｏＳメトリックのサブセットを選択することが、好ましくは、第１の数のＱｏＳメトリックからＱｏＳメトリックを選択することを含み、選択されたＱｏＳメトリックに関して、決定した相関が、所定の閾値を超える、請求項１０または１１に記載の装置。
【請求項１３】
プロセッサが、
−  受信した第１の数のＱｏＳメトリックの少なくともサブセットから、マッピング関係を学習するための訓練サブセット、および学習されたマッピング関係を評価するための検証サブセットを選択すること、
−  選択した訓練サブセットに基づいてマッピング関係を学習すること、および
−  選択した検証サブセットに基づいて、学習されたマッピング関係を評価することを行うためにさらに構成される、請求項１０から１２のいずれか一項に記載の装置。
【請求項１４】
プロセッサが、
−  受信した第１の数のＱｏＳメトリックのうちの少なくとも１つのＱｏＳメトリックに関する分散を決定すること、および
−  決定した分散に基づいて、少なくとも１つのＱｏＳメトリックからＱｏＳメトリックを検証サブセットとして選択することを行うためにさらに構成される、請求項１３に記載の装置。
【請求項１５】
プロセッサが、受信した第１の数のＱｏＳメトリックの少なくともサブセットから、受信した第１の数のＱｏＥメトリックの少なくともサブセットにマップするための回帰モデルを推定することによって機械学習技法を実行するために構成される、請求項１０から１４のいずれか一項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の分野は、体感品質（ＱｏＥ）を推定することに関する。特定の実施形態は、ネットワークにおけるＱｏＥの評価を自動化する方法、そのためのコンピュータプログラム、およびそのためのシステムに関する。
【背景技術】
【０００２】
ＷｉＦｉ技術が、ホームネットワークの急速な発展を活発化し、エンドユーザによって使用されるアプリケーションの数を拡大してきた。エンドユーザが体験する可能性がある問題に取り組むため、サービスプロバイダは、利用可能なプロトコル（例えば、Ｂｒｏａｄｂａｎｄ  Ｆｏｒｕｍ技術報告書ＴＲ−９８およびＴＲ−１８１）のうちのいくつかを介して獲得されるネットワークパラメータを検査することによってサービス品質（ＱｏＳ）を最適化することに焦点を合わせている。
【０００３】
しかし、サービスプロバイダは、ネットワークのエンドユーザにとってネットワークの体感品質（ＱｏＥ）の方がネットワークのＱｏＳより重要であるため、ＱｏＳに焦点を合わせたネットワーク中心のアプローチからＱｏＥに焦点を合わせたユーザ中心のアプローチに移行することを企図している。
【０００４】
ＱｏＥを推定することは、そうすることが、ユーザ満足度の主観的な尺度を捕捉すること（すなわち、ＱｏＥを評価すること）を要求するので、慎重な扱いを要し、些末ではない。
【０００５】
ＱｏＥを推定することに関連する問題は、ユーザ満足度（すなわち、ＱｏＥ）を数量化するための明確に定義された客観的な機構が存在しないことである。獲得されたＱｏＳを検査することからＱｏＥにかかわる結論を導き出すことは、困難であり、専門分野の知識を要求する。さらに、それを行うことは、事例に依存しており、特定のサービスに一般化され得ない。したがって、ユーザ中心のアプローチは、エンドユーザによって体験される、ＱｏＥについての洞察を要求する。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Ｂｒｏａｄｂａｎｄ  Ｆｏｒｕｍ技術報告書ＴＲ−９８
【非特許文献２】Ｂｒｏａｄｂａｎｄ  Ｆｏｒｕｍ技術報告書ＴＲ−１８１
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の実施形態は、少なくとも、ＱｏＥ推定がエンドユーザの体験するＱｏＥにより密接に対応するという意味で、ＱｏＥを推定することに対するより客観的なアプローチを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様によれば、ネットワークの体感品質ＱｏＥの評価を自動化する方法が提供される。方法は、好ましくは、管理センタまたはそれに類する所における、コンピューティングデバイスによって実行される以下のステップを含む。方法は、例えば、ネットワークのゲートウェイまたはアクセスポイントまたはそれに類するものから、第１の数のサービス品質ＱｏＳメトリックを受信することを含む。第１の数のＱｏＳメトリックは、第１の時点におけるネットワークのＱｏＳに関係する。方法は、ネットワークのＱｏＥの対象となる参照デバイスから、第１の数の体感品質ＱｏＥメトリックを受信することを含む。第１の数のＱｏＥメトリックは、第２の時点におけるネットワークのＱｏＥに関係する。第１の時点と第２の時点の間の時間差は、所定の時間閾値未満である。方法は、受信された第１の数のＱｏＳメトリック、および受信された第１の数のＱｏＥメトリックに基づいて、機械学習技法を使用して、受信された第１の数のＱｏＳメトリックの少なくともサブセットから、受信された第１の数のＱｏＥメトリックの少なくともサブセットへのマッピング関係を決定することを含む。
【０００９】
本発明の実施形態は、とりわけ、考慮されているネットワークのＱｏＥの対象となる参照デバイスを使用すること（例えば、ネットワークに接続されることによって、かつ／またはネットワーク経由でネットワークトラフィックを体験することによって）、および互いに十分に時間的に近い第１の数のＱｏＳメトリックを受信することと第１の数のＱｏＥメトリックを受信することが、第１の数のＱｏＳメトリックから第１の数のＱｏＥメトリックへのマッピング関係を学習することを可能にするという洞察に基づく。第１の数のＱｏＥメトリックは、参照デバイスによって自発的に、ネットワークの配備時もしくは再配備時に、または定期的に、または事業者からの要求時に取得されていることが可能である。学習されたマッピング関係は、将来、新たに獲得されたＱｏＳメトリックから対応するＱｏＥメトリックに、ネットワークからそれらのＱｏＥメトリックを明示的に獲得する必要なしにマップすることを可能にする。
【００１０】
特定の実施形態において、ネットワークは、例えば、ゲートウェイ経由でワイドエリアネットワーク（例えば、インターネット）に接続された、エンドユーザのインハウスネットワーク、または企業のインハウスネットワーク、またはそれに類するものなどのホームネットワークであってよい。ゲートウェイは、ゲートウェイがＱｏＳに関係のあるネットワークパラメータを解析することができるため、第１の数のＱｏＳメトリックを獲得するように構成されてよい。参照デバイスは、ゲートウェイであってよいが、代替として、別のデバイス、例えば、専用の参照デバイスであってよく、または、特定目的のソフトウェアを備えた汎用コンピューティングデバイスであってよく、第１の数のＱｏＥメトリックを獲得するために構成されてよい。特定の例示的な実施形態において、参照デバイスは、好ましくは、例えば、ネットワークの配備時または再配備時またはメンテナンス時に、技術者が第１の数のＱｏＥメトリックを獲得することを可能にするように構成されたアプリケーションがロードされたモバイルデバイスであり得る。
【００１１】
好ましい実施形態によれば、方法は、第２の数のＱｏＳメトリックを受信することを含む。第２の数のＱｏＳメトリックは、第１の時点とは異なる第３の時点におけるネットワークのＱｏＳに関係する。方法は、ネットワークのＱｏＥを評価するために、すなわち、ネットワークのユーザ満足度を推定するために、受信された第２の数のＱｏＳメトリックの少なくともサブセットを第２の数のＱｏＥメトリックに、マッピング関係によってマップすることをさらに含む。
【００１２】
このようにして、方法は、ネットワークのＱｏＥを自動的に評価することを可能にし得る。
【００１３】
さらに発展した実施形態によれば、マッピング関係を決定することは、第１の数のＱｏＳメトリックと第１の数のＱｏＥメトリックの間の相関を決定することを含む。マッピング関係を決定することは、決定された相関に基づいて、第１の数のＱｏＳメトリックのサブセットを、マッピング関係においてマッピング元とするサブセットとして選択することをさらに含む。
【００１４】
このようにして、方法は、ネットワークのＱｏＥに最も寄与する（すなわち、最も大きく影響する）ＱｏＳメトリックを特に、またはそれらだけを考慮に入れることが可能である。
【００１５】
別のさらに発展した実施形態によれば、第１の数のＱｏＳメトリックのサブセットを選択することは、好ましくは、第１の数のＱｏＳメトリックからＱｏＳメトリックを選択することを含み、それらの選択されたＱｏＳメトリックに関して、決定された相関は、所定の閾値を超える。
【００１６】
別の好ましい実施形態によれば、マッピング関係を決定することは、受信された第１の数のＱｏＳメトリックの少なくともサブセットから、マッピング関係を学習するための訓練サブセット、および学習されたマッピング関係を評価するための検証サブセットを選択することを含む。マッピング関係を決定することは、選択された訓練サブセットに基づいてマッピング関係を学習することをさらに含む。マッピング関係を決定することは、選択された検証サブセットに基づいて、学習されたマッピング関係を評価することをさらに含む。
【００１７】
このようにして、過学習が回避され得る。
【００１８】
特定の例示的な実施形態において、訓練サブセットと検証サブセットは、完全に別々であってよく、またはいくらかの重なり合いが存在してよい（例えば、交差検証技法、またはそれに類するものを使用することによって）。
【００１９】
別のさらに発展した実施形態によれば、検証サブセットを選択することは、受信された第１の数のＱｏＳメトリックのうちの少なくとも１つのＱｏＳメトリックに関する分散を決定すること、および決定された分散に基づいて、少なくとも１つのＱｏＳメトリックからＱｏＳメトリックを検証サブセットとして選択することを含む。
【００２０】
このようにして、訓練サブセットおよび検証サブセットは、元の受信された第１の数のＱｏＳメトリックに統計的に似るように選ばれ得る。
【００２１】
特定の例示的な実施形態において、検証サブセットは、訓練サブセットにおける分散が最も高いＱｏＥメトリックを選ぶことによって選択されてよい。
【００２２】
別の好ましい実施形態によれば、機械学習技法は、受信された第１の数のＱｏＳメトリックの少なくともサブセットから、受信された第１の数のＱｏＥメトリックの少なくともサブセットへマップするための回帰モデルを推定することを含む。特定のさらに発展した実施形態において、機械学習技法は、ＱｏＥメトリックを別々のカテゴリに分類するように構成されたデシジョンツリーを学習することを含み得る。このようにして、マッピング関係は、ネットワークのＱｏＥの高速の評価を可能にし得る。
【００２３】
別のさらに発展した実施形態によれば、第１の数のＱｏＳメトリックと第２の数のＱｏＳメトリックのうちの少なくとも１つが、以下のメトリック、すなわち、再送レート、エラーレート、信号強度、チャネル利用率、活動度ファクタ、競合ファクタ、破棄されたパケット、送信パワー、信号対雑音比（ＳＮＲ）、信号対雑音プラス干渉比（ＳＩＮＲ）、および待ち行列統計のうちの任意の１つまたは複数を含む。
【００２４】
このようにして、方法は、ネットワークのＱｏＥに影響し得る、容易に決定されるネットワーク指向のネットワークパラメータを考慮に入れることが可能である。
【００２５】
別のさらに発展した実施形態によれば、第１の数のＱｏＥメトリックと第２の数のＱｏＥメトリックのうちの少なくとも１つが、以下のメトリック、すなわち、バッファリング比、バッファリングイベントのレート、ビットレート、ストリーミングレート、バーストストリーミングレート、ビデオ品質、初期バッファリング時間、ストール頻度、およびストールの平均持続時間のうちの任意の１つまたは複数を含む。
【００２６】
前述したＱｏＥメトリックのうちの少なくともいくつかは、「アプリケーションＱｏＳメトリック」と呼ばれ得ることが理解されよう。それでも、そのようなアプリケーションＱｏＳメトリックからＱｏＥメトリック平均オピニオン評点（ＭＯＳ）を導出することは、当業者（知られているモデルを使用する）にとって単純明快であり、したがって、そのようなアプリケーションＱｏＳメトリックは、ＱｏＥメトリックと呼ばれ得る。
【００２７】
このようにして、方法は、ネットワークのＱｏＳに依存し得る、容易に決定されるエンドユーザ指向のネットワークパラメータを考慮に入れることが可能である。
【００２８】
特定のさらに発展した実施形態によれば、方法は、ネットワークのＱｏＥの評価に基づいて、以下、すなわち、エンドユーザに通知すること、ネットワークのいくつかの設定を最適化すること、トラックロールを派遣することのうちの少なくとも１つをさらに含み得る。
【００２９】
本発明の別の態様によれば、コンピュータプログラム製品が、コンピュータ上で実行されると、前述した方法のうちのいずれか１つの方法のステップを実行するための命令のコンピュータ実行可能プログラムを含む。
【００３０】
方法の実施形態に関する前述した特徴および利点は、しかるべき変更を加えて、コンピュータプログラム製品の対応する実施形態にも当てはまり得る。
【００３１】
本発明のさらに別の態様によれば、ネットワークの体感品質ＱｏＥの評価を自動化するための装置が提供され、装置は、前述した方法のうちのいずれか１つの方法のステップを実行するための命令のコンピュータ実行可能プログラムを実行するために構成されたプロセッサを含む。
【００３２】
方法の実施形態に関する前述した特徴および利点は、しかるべき変更を加えて、装置の対応する実施形態にも当てはまる。
【００３３】
特定の実施形態において、プロセッサは、第１の数のサービス品質ＱｏＳメトリックを受信するために構成されてよく、第１の数のＱｏＳメトリックは、第１の時点におけるネットワークのＱｏＳに関係する。プロセッサは、ネットワークのＱｏＥの対象となる参照デバイスから、第１の数の体感品質ＱｏＥメトリックを受信するためにさらに構成されてよく、第１の数のＱｏＥメトリックは、第２の時点におけるネットワークのＱｏＥに関係し、第１の時点と第２の時点の間の時間差は、所定の時間閾値未満である。プロセッサは、受信された第１の数のＱｏＳメトリック、および受信された第１の数のＱｏＥメトリックに基づいて、受信された第１の数のＱｏＳメトリックの少なくともサブセットから、受信された第１の数のＱｏＥメトリックの少なくともサブセットへのマッピング関係を、機械学習技法を使用して決定するためにさらに構成され得る。
【００３４】
添付の図面は、本発明のデバイスの現在、選好される限定的でない例示的な実施形態を示すのに使用される。本発明の特徴および目的の以上、およびその他の利点は、添付の図面と併せて読まれると、以下の詳細な説明からより明白となり、本発明がよりよく理解されよう。
【図面の簡単な説明】
【００３５】
【図１】本発明による方法の実施形態を実行するための、本発明による装置の実施形態に関するセットアップを概略で示す図である。
【図２】本発明による方法の実施形態、例えば、図１の実施形態を概略で示す図である。
【図３】本発明による方法の別の実施形態、例えば、図１の実施形態のさらなる発展形態を概略で示す図である。
【発明を実施するための形態】
【００３６】
現在、サービスプロバイダは、顧客体験評点を反映する１から５までの間の値を割り当てる、「平均オピニオン評点（ＭＯＳ）」を使用することによってユーザ満足度を推定している。しかし、このアプローチは、複数の欠点を有する。すなわち、
第１に、このアプローチは、ユーザ対話を含む。一部のユーザは、このことを歓迎せず、このアプローチは、バイアスに影響されやすい可能性がある。バイアスは、平均することによって解消され得るが、このことは、大量のデータを要求する。
【００３７】
第２に、事例のほとんどにおいて、このアプローチは、以前の（したがって、古くなった）体験を参照する。
【００３８】
また第３に、ＭＯＳを、サービス品質（ＱｏＳ）統計に埋め込まれた根本原因と互いに相関付けることが困難である。
【００３９】
したがって、ネットワークにおける、特にホームネットワークにおけるＱｏＳ関連の統計とＱｏＥ（体感品質）関連の統計の間のギャップを埋める機構の必要性が存在する。この機構は、ビデオストリーミングアプリケーションのコンテキストにおいて、ビデオストリーミングアプリケーションが全体のインターネットトラフィックの半分を超えるトラフィックを消費するので、特に有利に適用され得る。
【００４０】
図１は、本発明による方法の実施形態を実行するための、本発明による装置１の実施形態に関するセットアップを概略で示す。図は、装置１を示し、装置１は、ワイドエリアネットワーク５（例えば、インターネット）経由でネットワーク２（例えば、ホームネットワーク）に接続された、（ネットワーク２にネットワークアクセスを提供する事業者の管理センタに位置付けられたコンピューティングデバイスであってよい。ネットワーク２は、ネットワーク２がワイドエリアネットワーク５に接続されるのに経由する、ゲートウェイ３を含んでよい。ネットワーク２は、参照デバイス４をさらに含んでよく、または参照デバイス４が、ネットワーク２の体感品質（ＱｏＥ）の対象となってよく、参照デバイス４が、ネットワーク２に関係するＱｏＥメトリックを獲得することを可能する。
【００４１】
図１は、図においてデータ項目ＱｏＳ１を装置１に配信する矢印として示される、動作Ｓ１０において、装置１が第１の数のサービス品質ＱｏＳメトリックを受信することをさらに示す。第１の数のＱｏＳメトリックＱｏＳ１は、第１の時点におけるネットワーク２のＱｏＳに関係する。第１の実施形態において、第１の数のＱｏＳメトリックＱｏＳ１は、ＱｏＳ１が受信のために送信される時点におけるネットワーク２のＱｏＳに関係し得る。第２の実施形態において、第１の数のＱｏＳメトリックＱｏＳ１は、ＱｏＳ１が受信のために送信される時点に先立つ時点におけるネットワーク２のＱｏＳに関係し得る。第１の数のＱｏＳメトリックＱｏＳ１は、ゲートウェイ３によって、またはネットワーク２に位置付けられた、もしくはネットワーク２に接続された別の適切に構成されたデバイスによって決定され（すなわち、測定され、または推定され）得る。第１の数のＱｏＳメトリックＱｏＳ１は、ゲートウェイ３もしくは他の適切に構成されたデバイスによって定期的に収集されてよく、または１回、収集されてよく、このことは、自発的に、例えば、そうするようにプログラミングされていることによって行われてよく、または要求に応答して、例えば、例えば、装置１によって送信されたコマンド時にオンデマンドで行われてよい。
【００４２】
第１の数のＱｏＳメトリックＱｏＳ１は、Ｂｒｏａｄｂａｎｄ  Ｆｏｒｕｍ技術報告書ＴＲ−１８１ネットワークプロトコル、またはそれに類するものを介して獲得され得るネットワークパラメータから導き出されるメトリックを含み得る。第１の数のＱｏＳメトリックＱｏＳ１は、再送レート、エラーレート、信号強度、チャネル利用率、活動度ファクタ、競合ファクタ、破棄されたパケット（の数）、送信パワー、信号対雑音比（ＳＮＲ）、信号対雑音プラス干渉比（ＳＩＮＲ）、および待ち行列統計などのメトリックを含み得る。そのようなメトリックは、そのようなメトリックがネットワーク挙動と関係し、それゆえ、ゲートウェイ３などのデバイスには容易にアクセス可能であるため、容易に決定され、かつ収集されることが可能である。
【００４３】
装置１は、生のデータセットそれ自体、またはその一部として第１の数のＱｏＳメトリックＱｏＳ１を受信してよく、次に、第１の数のＱｏＳメトリックＱｏＳ１を導き出すためにその生のデータセットの少なくとも一部を処理してよい。
【００４４】
第１の数のＱｏＳメトリックＱｏＳ１は、１つ、２つ、３つ、４つ、５つの、またはそれより多くのメトリック、例えば、１０もしくは１５のメトリックを含んでよい。
【００４５】
図１は、図においてデータ項目ＱｏＥ１を装置１に配信する矢印として示される、動作Ｓ２０において、装置１が第１の数の体感品質ＱｏＥメトリックを受信することをさらに示す。第１の数のＱｏＥメトリックＱｏＥ１は、ネットワーク２に位置付けられていること、またはネットワーク２に接続されていることのお陰でネットワーク２のＱｏＥの対象となる、参照デバイス４から受信されてよい。第１の数のＱｏＥメトリックＱｏＥ１は、ネットワーク２とワイドエリアネットワーク５の間の接続経由で伝送されてよく、または別のルート経由で、例えば、参照デバイス４と装置１の間の直接の接続（図示せず）経由で、またはセルラデータ接続（図示せず）経由で、または以上に類するものを経由して伝送されてよい。第１の数のＱｏＥメトリックＱｏＥ１は、第２の時点におけるネットワーク２のＱｏＥに関係する。一実施形態において、第１の数のＱｏＥメトリックＱｏＥ１は、ＱｏＥ１が参照デバイス４によって送信される時点におけるネットワーク２のＱｏＥに関係し得る。別の実施形態において、第１の数のＱｏＥメトリックＱｏＥ１は、ＱｏＥ１が参照デバイス４によって送信される時点に先立つ時点におけるネットワーク２のＱｏＥに関係し得る。第１の数のＱｏＥメトリックＱｏＥ１は、参照デバイス４によって、またはネットワーク２のＱｏＥの対象となるように、ネットワーク２に位置付けられた、もしくはネットワーク２に接続された別の適切に構成されたデバイスによって決定され（すなわち、測定され、または推定され）得る。第１の数のＱｏＥメトリックＱｏＥ１は、参照デバイス３もしくは他の適切に構成されたデバイスによって定期的に収集されてよく、または１回、収集されてよく、このことは、自発的に、例えば、そうするようにプログラミングされていることによって行われてよく、または要求に応答して、例えば、例えば、装置１によって送信されたコマンド時にオンデマンドで、またはエンドユーザによる、もしくは技術者による要求に応答して行われてよい。
【００４６】
第１の時点と第２の時点の間の時間差は、所定の時間閾値未満である。所定の時間閾値は、例えば、１０ミリ秒のオーダであってよく、好ましくは、１秒、または６０秒もしくは３６００秒であってよい。時間的に互いに十分に近く位置付けられていること（このことは、例えば、それぞれのメトリックごとに関連付けられたタイムスタンプを比較することによって保証され得る）によって、第１の数のＱｏＳメトリックＱｏＳ１と第１の数のＱｏＥメトリックＱｏＥ１は、ＱｏＳ１とＱｏＥ１の間の関係を推測することを可能にするものと想定され得る。
【００４７】
第１の数のＱｏＥメトリックＱｏＥ１は、ネットワーク２のエンドユーザの体験と関係するメトリックを含んでよく、例えば、バッファリング比、バッファリングイベントのレート、ビットレート、ストリーミングレート、バーストストリーミングレート、ビデオ品質、初期バッファリング時間、ストール頻度、およびストールの平均持続時間、および以上に類するものなどのメトリックを、そのようなメトリックが、ネットワーク２のエンドユーザの体験に相当に影響し得るため、含んでよい。
【００４８】
装置１は、生のデータセットそれ自体、またはその一部として第１の数のＱｏＥメトリックＱｏＥ１を受信してよく、次に、第１の数のＱｏＥメトリックＱｏＥ１を導き出すためにその生のデータの少なくとも一部を処理してよい。
【００４９】
第１の数のＱｏＥメトリックＱｏＥ１は、１つ、２つ、３つ、４つ、５つの、またはそれより多くのメトリック、例えば、１０もしくは１５のメトリックを含んでよい。
【００５０】
図１は、動作Ｓ３０において、装置１が、受信された第１の数のＱｏＳメトリックＱｏＳ１、および受信された第１の数のＱｏＥメトリックＱｏＥ１に基づいて、受信された第１の数のＱｏＳメトリックＱｏＳ１の少なくともサブセットから、受信された第１の数のＱｏＥメトリックＱｏＥ１の少なくともサブセットへのマッピング関係を決定することをさらに示す。この目的で、装置１は、機械学習技法を使用し得る。マッピング関係を決定することは、好ましくは、オフラインで、例えば、ネットワーク２が最初に配備されるときに、または再配備されるときに、またはメンテナンスもしくはトラブルシューティングの対象となるときに行われ得る。
【００５１】
特定の例示的な実施形態において、装置１は、第１の数のＱｏＳメトリックＱｏＳ１をベクトルＱｏＳに格納してよく、第１の数のＱｏＥメトリックＱｏＥ１をベクトルＱｏＥに格納してよい。装置１は、ベクトルＱｏＳとベクトルＱｏＥの間の相関を計算してよい。装置１は、ＱｏＳｓｕｂと名付けられた、ベクトルＱｏＳのサブセットを選択してよい。ＱｏＳｓｕｂは、最高の相関指標を有する、すなわち、体感品質に最も大きい影響を有する第１の数のＱｏＳメトリックＱｏＳ１の中のＱｏＳメトリックを包含するように選択され得る。
【００５２】
別の特定の例示的な実施形態において、装置１は、ＱｏＳ（またはＱｏＳｓｕｂ）と、ＱｏＥとを含む初期データセットを２つのサブセット、すなわち、推定サブセットもしくは訓練サブセット、および検証サブセットに分割してよい（図３に示されるオプションの動作Ｓ２１参照）。推定サブセットもしくは訓練サブセットは、可能な多くの、好ましくは、すべての状態にわたる値を有するようにするために、初期データセットに可能な限り近い分散を有するように選択され得る。
【００５３】
さらなる特定の例示的な実施形態において、装置１は、ＱｏＳ（またはＱｏＳｓｕｂ）からＱｏＥへのマッピング関係を、複数の変数を用いた回帰学習などの機械学習技法を使用して、マッピング関係Ｍとして決定してよい。
【００５４】
別の特定の例示的な実施形態において、装置１は、決定されたマッピング関係Ｍの精度を、初期データセットに対する過学習を回避するために、検証サブセットに関してＱｏＥを予測することに関するマッピング関係Ｍのパフォーマンスを評価することによって検証してよい（図３に示されるオプションの動作Ｓ２３参照）。
【００５５】
図１は、動作Ｓ４０において、装置１が第２の数のＱｏＳメトリックＴＯＤＯを受信することをさらに示す。第２の数のＱｏＳメトリックＱｏＳ２は、第３の時点におけるネットワークのＱｏＳに関係する。第３の時点は、第１の時点とは異なっていて、それゆえ、ネットワーク２のＱｏＥの評価を自動化するためにマッピング関係Ｍが決定された訓練段階を、ネットワーク２のＱｏＥが自動的に評価されるライブ段階から分離する。
【００５６】
図１は、動作Ｓ５０において、装置１が、ネットワーク２のＱｏＥを評価するために、マッピング関係Ｍによって、第２の数のＱｏＳメトリックＱｏＳ２の少なくともサブセットを第２の数のＱｏＥメトリックＱｏＥ２にマップすることをさらに示す。
【００５７】
このようにして、方法は、その時点における第２の数のＱｏＳメトリックＱｏＳ２の知識だけを要求することによって、かつ動作Ｓ５０において、第２の数のＱｏＳメトリックＱｏＳ２から、その時点における、またはその時点前後の、対応する第２の数のＱｏＥメトリックＱｏＥ２を推測することによって、後の時点における（例えば、第３の時点における、または第３の時点前後の）ネットワーク２のＱｏＥを自動的に評価することを可能にする。第２の数のＱｏＥメトリックＱｏＥ２は、第１の時点と第２の時点が互いにどれだけ近かったか、または離れていたかに依存して、第３の時点により近い時点、または第３の時点からより離れた時点におけるネットワーク２のＱｏＥに関係し得る。
【００５８】
言い換えると、マッピング関係Ｍは、動作Ｓ３０において決定され、動作Ｓ５０において、第２の数のＱｏＳメトリックＱｏＳ２に基づいて、第２の数のＱｏＥメトリックＱｏＥ２（定量値である）によって表される、例えば、ビデオストリーミングアプリケーションに関する、ユーザ満足度（定性値である）を推定するのに使用され得る。
【００５９】
さらに、方法は、ＱｏＥが、ユーザ対話を介して導入される可能性がある（例えば、ＭＯＳ値を評点する際に）人間のバイアスの可能性を低減する、より客観的な様態で評価されるという意味で有利であり得る。さらに、方法は、それが、エンドユーザ満足度に最も大きく影響する（統計的な意味で）ＱｏＳメトリックを識別し得るという意味で有利であり得る。さらに、方法は、それが、マッピング関係Ｍを決定するために使用されたのと（大部分）同一のＱｏＳメトリックを使用する、ネットワーク２以外のネットワークに関して再利用するために格納される、またはコピーされることが可能なマッピング関係Ｍを生成し得るという意味で有利であり得る。
【００６０】
図２は、例えば、図１の装置１によって実行される、本発明による方法の実施形態、例えば、図１の実施形態を概略で示す。図示される方法は、ネットワーク、例えば、図１のネットワーク２の体感品質ＱｏＥの評価を自動化するのに適していることが可能である。特に、図２は、動作Ｓ１０、Ｓ２０、およびＳ３０、ならびにオプションの動作Ｓ４０およびＳ５０を示す。
【００６１】
動作Ｓ１０は、第１の数のサービス品質ＱｏＳメトリックＱｏＳ１を受信することを含み得る。第１の数のＱｏＳメトリックＱｏＳ１は、第１の時点におけるネットワークのＱｏＳに関係し得る。
【００６２】
動作Ｓ２０は、ネットワークのＱｏＥの対象となる参照デバイス（例えば、図１の参照デバイス４）から、第１の数の体感品質ＱｏＥメトリックＱｏＥ１を受信することを含み得る。第１の数のＱｏＥメトリックＱｏＥ１は、第２の時点におけるネットワークのＱｏＥに関係する。第１の時点と第２の時点の間の時間差は、所定の時間閾値未満であり得る。
【００６３】
動作Ｓ３０は、受信された第１の数のＱｏＳメトリックＱｏＳ１、および受信された第１の数のＱｏＥメトリックＱｏＥ１に基づいて、機械学習技法を使用して、受信された第１の数のＱｏＳメトリックＱｏＳ１の少なくともサブセットから、受信された第１の数のＱｏＥメトリックＱｏＥ１の少なくともサブセットへのマッピング関係を決定することを含み得る。
【００６４】
動作Ｓ３０の後、方法は、さらなる使用のためにマッピング関係を生成して、停止してよい。
【００６５】
さらに発展した実施形態において、方法は、動作Ｓ４０およびＳ５０を任意選択で含んでよい。
【００６６】
動作Ｓ４０は、第２の数のＱｏＳメトリックＱｏＳ２を受信すること含み得る。第２の数のＱｏＳメトリックＱｏＳ２は、第１の時点とは異なる第３の時点におけるネットワークのＱｏＳに関係する。
【００６７】
動作Ｓ５０は、ネットワークのＱｏＥを評価するために、受信された第２の数のＱｏＳメトリックＱｏＳ２の少なくともサブセットを第２の数のＱｏＥメトリックＱｏＥ２に、マッピング関係によってマップすることをさらに含み得る。
【００６８】
図３は、例えば、図１の装置１によって実行される、本発明による方法の別の実施形態、例えば、図１の実施形態のさらなる発展形態を概略で示す。
【００６９】
図３に示される方法の動作Ｓ１０、Ｓ２０、およびＳ３０は、図２に示される方法の同様に番号の付けられた動作と一致し、したがって、再び説明されることはない。
【００７０】
オプションの動作Ｓ１において、所望される第１の数のＱｏＳメトリックＱｏＳ１、および所望される第１の数のＱｏＥメトリックＱｏＥ１が、例えば、ネットワークに関係のある利用可能なＱｏＳメトリックおよびＱｏＥメトリックに基づいて、例えば、図１に示される装置１によって定義されてよい。
【００７１】
任意選択で、マッピング関係を決定することは、オプションの動作Ｓ２１、Ｓ２２、およびＳ２３を含んでよい。動作Ｓ２１は、受信された第１の数のＱｏＳメトリックＱｏＳ１の少なくともサブセットから、マッピング関係を学習するための訓練サブセット、および学習されたマッピング関係Ｍを評価するための検証サブセットを選択することを含んでよい。動作Ｓ２２は、選択された訓練サブセットに基づいてマッピング関係Ｍを学習することを含み得る。動作Ｓ２３は、選択された検証サブセットに基づいて、学習されたマッピング関係Ｍを評価することを含み得る。
【００７２】
前述した様々な方法のステップはプログラミングされたコンピュータによって実行され得ることが、当業者には容易に認識されよう。本明細書において、いくつかの実施形態は、機械可読またはコンピュータ可読であり、かつ命令の機械実行可能プログラムまたはコンピュータ実行可能プログラムを符号化するプログラム記憶デバイス、例えば、デジタルデータ記憶媒体を範囲に含むことも意図しており、前記命令は、前記前述した方法のステップのうちのいくつかまたはすべてを実行する。プログラム記憶デバイスは、例えば、デジタルメモリ、磁気ディスクおよび磁気テープなどの磁気記憶媒体、ハードドライブ、または光学的に可読なデジタルデータ記憶媒体であってよい。プログラム記憶デバイスは、常駐のプログラム記憶デバイスであってよく、またはスマートカードなどのリムーバブルプログラム記憶デバイスであってよい。また、実施形態は、前述した方法の前記ステップを実行するようにプログラミングされたコンピュータを範囲に含むことも意図している。
【００７３】
説明および図面は、本発明の原理を例示するに過ぎない。それゆえ、当業者は、本明細書において明示的に説明されることも、示されることもないものの、本発明の原理を実現し、本発明の範囲に含められる様々な構成を考案することができることが理解されよう。さらに、本明細書に記載されるすべての例は、主に技術を進展させるように本発明者らが寄与する概念および本発明の原理を読者が理解することの助けとなるように教育的な目的のみを明確に意図しており、そのような特に記載される例および条件に限定されることがないものとして解釈されるべきである。さらに、本発明の原理、態様、および実施形態、ならびにそれらの特定の例を記載する本明細書におけるすべての言明は、それらの均等物を包含することを意図している。
【００７４】
「プロセッサ」とラベル付された任意の機能ブロックを含む、図に示される様々な要素の機能は、専用のハードウェア、ならびに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアの使用を介して提供され得る。プロセッサによって提供される場合、機能は、単一の専用のプロセッサによって、単一の共有されるプロセッサによって、またはいくつかが共有され得る複数の個々のプロセッサによって提供され得る。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に参照するものと解釈されるべきではなく、限定なしに、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ソフトウェアを記憶するための読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性ストレージを暗黙に含み得る。また、他のハードウェア、従来のもの、および／またはカスタムのものが、含まれてもよい。同様に、図に示されるいずれのスイッチも単に概念上のものである。それらのスイッチの機能は、プログラムロジックの動作を介して、専用のロジックを介して、プログラム制御と専用のロジックの対話を介して実行されてよく、または手動で実行されてさえよく、特定の技法は、コンテキストからより具体的に理解されるとおり実装する者によって選択可能である。
【００７５】
本明細書におけるいずれのブロック図も、本発明の原理を実現する例示的な回路の概念図を表すことが当業者には理解されよう。同様に、いずれのフローチャート、流れ図、状態遷移図、疑似コード、および以上に類するものも、コンピュータ可読媒体に実質的に表現されてよく、したがって、コンピュータによって実行されてよい様々なプロセスを表すことが理解されよう。
【００７６】
前述した実施形態は、本発明を限定するのではなく、例示すること、および当業者は、添付の特許請求の範囲を逸脱することなく代替の実施形態を設計することができることに留意されたい。特許請求の範囲において、括弧内に入れられたいずれの参照符号も、特許請求の範囲を限定するものと解釈されるべきではない。「含む」という語は、特許請求の範囲に列挙されない要素またはステップの存在を排除しない。要素の前に付く「一」（「ａ」または「ａｎ」）という語は、複数のそのような要素の存在を排除しない。本発明は、いくつかの個別の要素を含むハードウェアによって、かつ適切にプログラミングされたコンピュータによって実装されることが可能である。いくつかの手段を列挙する特許請求の範囲において、これらの手段のうちのいくつかは、１つの同じハードウェア製品によって実現されることが可能である。「第１の」、「第２の」、「第３の」などの語の使用は、順序付けを示すものではまったくない。これらの語は、便宜のために使用される名前として解釈されるべきである。
【００７７】
本発明の原理は、特定の実施形態に関連して前段で提示されてきたが、この説明は、単に例として行われているに過ぎず、添付の特許請求の範囲によって決定される保護の範囲の限定として行われているわけではないことを理解されたい。
【図１】
2019522422.tif 000003
【図２】
2019522422.tif 000004
【図３】
2019522422.tif 000005
【手続補正書】
【提出日】平成31年2月18日(2019.2.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ネットワークの体感品質ＱｏＥの評価を自動化する方法であって、
コンピューティングデバイスによって実行される以下のステップ、すなわち、
−  第１の数のサービス品質ＱｏＳメトリックを受信するステップであって、第１の数のＱｏＳメトリックが、第１の時点におけるネットワークのＱｏＳに関係する、ステップと、
−  ネットワークのＱｏＥの対象となる参照デバイスから、第１の数の体感品質ＱｏＥメトリックを受信するステップであって、第１の数のＱｏＥメトリックが、第２の時点におけるネットワークのＱｏＥに関係し、第１の時点と第２の時点の間の時間差が、所定の時間閾値未満である、ステップと、
−  受信した第１の数のＱｏＳメトリック、および受信した第１の数のＱｏＥメトリックに基づいて、機械学習技法を使用して、受信した第１の数のＱｏＳメトリックの少なくともサブセットから、受信した第１の数のＱｏＥメトリックの少なくともサブセットへのマッピング関係を決定するステップとを含む、方法。
【請求項２】
−  第２の数のＱｏＳメトリックを受信するステップであって、第２の数のＱｏＳメトリックが、第１の時点とは異なる第３の時点におけるネットワークのＱｏＳに関係する、ステップと、
−  ネットワークのＱｏＥを評価するために、マッピング関係によって、受信した第２の数のＱｏＳメトリックの少なくともサブセットを第２の数のＱｏＥメトリックにマップするステップとを含む、請求項１に記載の方法。
【請求項３】
マッピング関係を決定するステップが、
−  第１の数のＱｏＳメトリックと第１の数のＱｏＥメトリックの間の相関を決定するステップと、
−  決定した相関に基づいて、第１の数のＱｏＳメトリックのサブセットを、マッピング関係においてマッピング元とするサブセットとして選択するステップとを含み、
第１の数のＱｏＳメトリックのサブセットを選択するステップが、好ましくは、第１の数のＱｏＳメトリックからＱｏＳメトリックを選択するステップを含み、選択されたＱｏＳメトリックに関して、決定した相関が、所定の閾値を超える、請求項１または２に記載の方法。
【請求項４】
マッピング関係を決定するステップが、
−  受信した第１の数のＱｏＳメトリックの少なくともサブセットから、マッピング関係を学習するための訓練サブセット、および学習されたマッピング関係を評価するための検証サブセットを選択するステップと、
−  選択した訓練サブセットに基づいてマッピング関係を学習するステップと、
−  選択した検証サブセットに基づいて、学習されたマッピング関係を評価するステップとを含む、請求項１から３のいずれか一項に記載の方法。
【請求項５】
検証サブセットを選択するステップが、
−  受信した第１の数のＱｏＳメトリックのうちの少なくとも１つのＱｏＳメトリックに関する分散を決定するステップと、
−  決定した分散に基づいて、少なくとも１つのＱｏＳメトリックからＱｏＳメトリックを検証サブセットとして選択するステップとを含む、請求項４に記載の方法。
【請求項６】
機械学習技法が、受信した第１の数のＱｏＳメトリックの少なくともサブセットから、受信した第１の数のＱｏＥメトリックの少なくともサブセットにマップするための回帰モデルを推定するステップを含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
第１の数のＱｏＳメトリックと第２の数のＱｏＳメトリックのうちの少なくとも１つが、以下のメトリック、すなわち、再送レート、エラーレート、信号強度、チャネル利用率、活動度ファクタ、競合ファクタ、破棄されたパケット、送信パワー、信号対雑音比ＳＮＲ、信号対雑音プラス干渉比ＳＩＮＲ、および待ち行列統計のうちの任意の１つまたは複数を含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
第１の数のＱｏＥメトリックと第２の数のＱｏＥメトリックのうちの少なくとも１つが、以下のメトリック、すなわち、バッファリング比、バッファリングイベントのレート、ビットレート、ストリーミングレート、バーストストリーミングレート、ビデオ品質、初期バッファリング時間、ストール頻度、およびストールの平均持続時間のうちの任意の１つまたは複数を含む、請求項１から７のいずれか一項に記載の方法。
【請求項９】
コンピュータ上で実行されると、請求項１から８のいずれか一項に記載の方法のステップをコンピュータに実行させる、コンピュータプログラム。
【請求項１０】
ネットワークの体感品質ＱｏＥの評価を自動化するための装置であって、
−  第１の数のサービス品質ＱｏＳメトリックを受信することであって、第１の数のＱｏＳメトリックが、第１の時点におけるネットワークのＱｏＳに関係すること、
−  ネットワークのＱｏＥの対象となる参照デバイスから、第１の数の体感品質ＱｏＥメトリックを受信することであって、第１の数のＱｏＥメトリックが、第２の時点におけるネットワークのＱｏＥに関係し、第１の時点と第２の時点の間の時間差が、所定の時間閾値未満であること、
−  受信した第１の数のＱｏＳメトリック、および受信した第１の数のＱｏＥメトリックに基づいて、機械学習技法を使用して、受信した第１の数のＱｏＳメトリックの少なくともサブセットから、受信した第１の数のＱｏＥメトリックの少なくともサブセットへのマッピング関係を決定すること
を実行するための命令のコンピュータ実行可能プログラムを実行するために構成されたプロセッサを含む、装置。
【請求項１１】
プロセッサが、
−  第２の数のＱｏＳメトリックを受信することであって、第２の数のＱｏＳメトリックが、第１の時点とは異なる第３の時点におけるネットワークのＱｏＳに関係すること、および
−  ネットワークのＱｏＥを評価するために、マッピング関係によって、受信した第２の数のＱｏＳメトリックの少なくともサブセットを第２の数のＱｏＥメトリックにマップすることを行うためにさらに構成される、請求項１０に記載の装置。
【請求項１２】
プロセッサが、
−  第１の数のＱｏＳメトリックと第１の数のＱｏＥメトリックの間の相関を決定すること、および
−  決定した相関に基づいて、第１の数のＱｏＳメトリックのサブセットを、マッピング関係においてマッピング元とするサブセットとして選択することを行うためにさらに構成され、
第１の数のＱｏＳメトリックのサブセットを選択することが、好ましくは、第１の数のＱｏＳメトリックからＱｏＳメトリックを選択することを含み、選択されたＱｏＳメトリックに関して、決定した相関が、所定の閾値を超える、請求項１０または１１に記載の装置。
【請求項１３】
プロセッサが、
−  受信した第１の数のＱｏＳメトリックの少なくともサブセットから、マッピング関係を学習するための訓練サブセット、および学習されたマッピング関係を評価するための検証サブセットを選択すること、
−  選択した訓練サブセットに基づいてマッピング関係を学習すること、および
−  選択した検証サブセットに基づいて、学習されたマッピング関係を評価することを行うためにさらに構成される、請求項１０から１２のいずれか一項に記載の装置。
【請求項１４】
プロセッサが、
−  受信した第１の数のＱｏＳメトリックのうちの少なくとも１つのＱｏＳメトリックに関する分散を決定すること、および
−  決定した分散に基づいて、少なくとも１つのＱｏＳメトリックからＱｏＳメトリックを検証サブセットとして選択することを行うためにさらに構成される、請求項１３に記載の装置。
【請求項１５】
プロセッサが、受信した第１の数のＱｏＳメトリックの少なくともサブセットから、受信した第１の数のＱｏＥメトリックの少なくともサブセットにマップするための回帰モデルを推定することによって機械学習技法を実行するために構成される、請求項１０から１４のいずれか一項に記載の装置。
【国際調査報告】
2019522422.tif 000006
2019522422.tif 000007