(57)【要約】      （修正有）【課題】ビットレート選択アルゴリズムは多くのものが提案されている。しかしながら、それら全てはQoE又はQoEに類する指標（例えば、平均ビットレートやビットレート変動量、停止時間、停止回数の重み付き和等）の最大化を目的としており、エンゲージメントを直接制御する方式は存在しない。エンゲージメントとコストとを同時に制御する。【解決手段】動画制御システム１において、動画配信サービスにおけるビットレート制御を実現する動画制御装置１０であって、ビットレート制御に用いられる品質目標値を、ベイズ最適化により、所定のエンゲージメント指標値が含まれる効用関数が最適となるように算出する算出手段、を有する。【選択図】図１
2020188387.tif 000002
【特許請求の範囲】
【請求項１】
動画配信サービスにおけるビットレート制御を実現する制御装置であって、
前記ビットレート制御に用いられる品質目標値を、ベイズ最適化により、所定のエンゲージメント指標値が含まれる効用関数が最適となるように算出する算出手段、
を有することを特徴とする制御装置。
【請求項２】
前記効用関数には、所定のコストが更に含まれる、ことを特徴とする請求項１に記載の制御装置。
【請求項３】
前記算出手段は、
前記ベイズ最適化における分布の推定及び更新として、品質目標値を入力し、該品質目標値が与えられた場合における前記効用関数値の分布を推定及び更新し、
前記ベイズ最適化における獲得関数値の最適化として、前記分布に基づいて、前記効用関数の平均値と、前記動画の視聴回数の自然対数値の平方根に対して前記効用関数の標準偏差を乗じた値との和を最大化する品質目標値を出力する、ことを特徴とする請求項１又は２に記載の制御装置。
【請求項４】
動画配信サービスにおけるビットレート制御を実現するコンピュータが、
前記ビットレート制御に用いられる品質目標値を、ベイズ最適化により、所定のエンゲージメント指標値が含まれる効用関数が最適となるように算出する算出手順、
を実行することを特徴とする制御方法。
【請求項５】
コンピュータを、請求項１乃至３の何れか一項に記載の制御装置における各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、制御方法及びプログラムに関する。
【背景技術】
【０００２】
現在、インターネットを介した映像配信が広まっている。映像配信事業を行う事業者が事業を継続していくためには、映像（以降では、映像のことを「動画」とも表記する。）の視聴時間をなるべく伸ばすことが重要である。視聴時間はQoE（Quality of Experience）に影響を受けるため（非特許文献１参照）、動画の視聴時間を伸ばすためには、動画のQoEを大きくする必要がある。一方で、QoEを上げ過ぎてしまうと、コストが増大してしまう。ここで、コストとは、動画を視聴する端末（以降、「クライアント」とも表す。）が消費する電力、ネットワーク機器にかかる負荷、動画配信サーバにかかる負荷、動画配信事業者がCDN（Content Delivery Network）に支払う通信料、ユーザ（動画の視聴者）が契約中の通信会社に支払う通信料等を指すものとする。したがって、動画配信においては、視聴時間のようなエンゲージメントとコストとの両方を考慮してQoEの制御を行う必要がある。
【０００３】
現在、動画配信を行う際には、ABR（Adaptive Bitrate）を用いることが一般的である。ABRでは、予め動画データを数秒おきのチャンクと呼ばれるデータに切断した上で、各チャンクを複数のビットレートで再エンコードしてサーバに保存している。そして、クライアントは、ネットワーク状況やバッファ量の状況を踏まえて、チャンクごとに適切なビットレートを選択してサーバに要求する、という動作を繰り返す。このとき、ビットレートを選択するアルゴリズムが、最終的な体感品質及びトラフィックコストを大きく左右する要素となっている。したがって、エンゲージメント及びコストを適切に制御するためには、ビットレートの選択を適切に行うことが重要である。
【０００４】
また、ビットレート選択アルゴリズムには、これまでにも多くのものが提案されている（例えば、非特許文献２及び３）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】P. Lebreton, K. Kawashima, K. Yamagishi and J. Okamoto, "Study on Viewing Time with Regards to Quality Factors in Adaptive Bitrate Video Streaming," 2018 IEEE 20th International Workshop on Multimedia Signal Processing (MMSP), Vancouver, BC, Canada, 2018, pp. 1-6.
【非特許文献２】] T.-Y. Huang, R. Johari, N. McKeown, M. Trunnell, and M. Watson. A Buffer-Based Approach to Rate Adaptation: Evidence from a Large Video Streaming Service. In Proc. ACM SIGCOMM, 2014.
【非特許文献３】Hongzi Mao, Ravi Netravali, and Mohammad Alizadeh. 2017. Neural Adaptive Video Streaming with Pensieve. In Proceedings of the Conference of the ACM Special Interest Group on Data Communication (SIGCOMM '17). ACM, New York, NY, USA, 197-210.
【非特許文献４】木村 拓人, 松本 存史, 奥山 隆文, 岡本 淳. "QoEを保ちながらトラヒック量を削減する映像ビットレート選択方式," 信学技報, vol.117, no.159, CQ2017-49, Jul. 2017
【非特許文献５】K. Yamagishi and T. Hayashi, "Parametric Quality-Estimation Model for Adaptive-Bitrate Streaming Services," IEEE Transactions on Multimedia, Vol.19, Issue. 7, pp. 1545-1557, 2017.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の非特許文献２や非特許文献３に示されているように、ビットレート選択アルゴリズムは多くのものが提案されている。しかしながら、それら全てはQoE又はQoEに類する指標（例えば、平均ビットレートやビットレート変動量、停止時間、停止回数の重み付き和等）の最大化を目的としており、エンゲージメントを直接制御する方式は存在しない。
【０００７】
仮にQoEの変化に対するエンゲージメントの特性が事前に分かっていれば、目的関数をその特性にしたがって設定すれば制御は可能であるが、この特性は一般に未知である。また、十分にデータを蓄積することができれば、そのデータを元にしてエンゲージメントの特性を解明することはできるが、データが十分に蓄積されるまではエンゲージメントを制御することはできない。更に、エンゲージメントの特性はコンテンツやユーザ、サービスごとに異なるため、それぞれのエンゲージメント特性を明らかにするためには大量のデータが必要となる。
【０００８】
本発明は、上記の点に鑑みてなされたものであり、エンゲージメントとコストとを同時に制御すること目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の実施の形態における動画制御装置は、動画配信サービスにおけるビットレート制御を実現する制御装置であって、前記ビットレート制御に用いられる品質目標値を、ベイズ最適化により、所定のエンゲージメント指標値が含まれる効用関数が最適となるように算出する算出手段、を有することを特徴とする。
【発明の効果】
【００１０】
エンゲージメントとコストとを同時に制御することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態における動画制御システムの全体構成の一例を示す図である。
【図２】分布情報の一例を示す図である。
【図３】視聴情報の一例を示す図である。
【図４】本発明の実施の形態における動画制御装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について説明する。本発明の実施の形態では、動画配信サービスを対象として、ベイズ最適化を用いることで未知のエンゲージメント特性を推定しながら、エンゲージメントとコストとを同時に制御し、エンゲージメントとコストとでバランスのとれたビットレート制御を実現する動画制御システム１について説明する。
【００１３】
ここで、本発明の実施の形態では、上記の非特許文献４に記載されているビットレート選択手法に与えるQoE目標値を最適化することで、エンゲージメント指標とコストとで構成される効用関数の最大化を行う。非特許文献４に記載されているビットレート選択手法は、与えられたQoE目標値を満たしながら、コストを最小化するビットレート選択手法である。
【００１４】
ここで、効用関数をUtilityとして、効用関数は、Utility = e - w×cで表されるものである。eはエンゲージメント指標を表し、例えば、e =（視聴時間）/（コンテンツ長）で求めることができる。例えば、コンテンツ長が180秒のコンテンツを135秒間視聴した場合のエンゲージメント指標は、e = 135 / 180 =0.75となる。
【００１５】
また、cはコストを表し、例えば、c =（実際に転送したデータ量）/（転送し得る最大のデータ量）で求めることができる。例えば、最大ビットレートが3000kbpsのコンテンツを135秒間視聴し、そのときに転送したデータ量が30MBであった場合、c = 30 / (3000×135 / 8 / 1000) ≒ 0.59となる。QoE目標値は、後述するベイズ最適化を用いて最適化を行う。
【００１６】
また、wはエンゲージメントとコストとのバランスをとるための重みを表す実数であり、所与であるものとする。
【００１７】
＜動画制御システム１の全体構成＞
まず、本発明の実施の形態のける動画制御システム１の全体構成について、図１を参照しながら説明する。図１は、本発明の実施の形態における動画制御システム１の全体構成の一例を示す図である。
【００１８】
図１に示すように、本発明の実施の形態における動画制御システム１には、動画制御装置１０と、１以上のクライアント２０と、１以上の動画配信サーバ３０とが含まれる。なお、動画制御装置１０と、クライアント２０と、動画配信サーバ３０とは、例えばインターネット等の通信ネットワークを介して通信可能に接続される。
【００１９】
動画制御装置１０は、非特許文献４に記載されているビットレート選択手法に与えるQoE目標値を最適化するコンピュータ又はコンピュータシステムである。最適なQoE目標値がビットレート選択手法に与えられることで、エンゲージメントとコストとを同時に制御し、かつ、エンゲージメントとコストとでバランスのとれたビットレート制御が実現される。
【００２０】
クライアント２０は、動画を視聴するユーザが利用する端末である。クライアント２０は、動画制御装置１０からのQoE目標値を用いて、適切なビットレートを選択した上で、選択したビットレートの動画データ（チャンク）の配信を動画配信サーバ３０に要求する。なお、クライアント２０としては、例えば、PC（パーソナルコンピュータ）、スマートフォン、タブレット端末、ゲーム機器、テレビ、ウェアラブルデバイス等が挙げられる。
【００２１】
動画配信サーバ３０は、クライアント２０に動画を配信するコンピュータ又はコンピュータシステムである。動画配信サーバ３０は、クライアント２０からの動画データ要求（すなわち、ビットレートを選択した動画データ（チャンク）の配信要求）に応じて、該当のビットレートの動画データを当該クライアント２０に配信する。
【００２２】
ここで、図１に示すように、本発明の実施の形態における動画制御装置１０は、機能部として、QoE目標値計算部１０１と、視聴情報更新部１０２と、分布情報更新部１０３とを有する。また、本発明の実施の形態における動画制御装置１０は、記憶部として、分布情報DB１０４と、視聴情報DB１０５とを有する。
【００２３】
まず、本発明の実施の形態における動画制御システム１の全体的な動作について説明する。本発明の実施の形態における動画制御システム１は、以下のＳ１〜Ｓ５の動作を実行する。
【００２４】
Ｓ１）動画の視聴開始前に、クライアント２０は、QoE目標値計算部１０１に対して視聴条件を送信する。
【００２５】
Ｓ２）次に、動画制御装置１０のQoE目標値計算部１０１は、与えられた視聴条件に基づいて、分布情報DB１０４に格納されている分布情報を取得した上で、取得した分布情報を用いて最適なQoE目標値を計算し、クライアント２０に返信する。
【００２６】
Ｓ３）クライアント２０は、受け取ったQoE目標値を満たしながらコストを最小化するビットレートを選択し、視聴時間、トラフィック量及び推定QoE値を得る。そして、クライアント２０は、これら視聴時間、トラフィック量及び推定QoE値を視聴情報更新部１０２に送信する。なお、このとき、クライアント２０は、視聴時間、トラフィック量及び推定QoE値と共に視聴条件を送信してもよい。
【００２７】
Ｓ４）動画制御装置１０の視聴情報更新部１０２は、視聴条件、視聴時間、トラフィック量及び推定QoE値に基づいて、視聴情報DB１０５に格納されている視聴情報を更新する。
【００２８】
Ｓ５）また、上記のステップＳ１〜Ｓ４とは非同期に（又は上記のステップＳ１〜４と同期して）、定期的に、分布情報更新部１０３は、視聴情報DB１０５から視聴情報を取得した上で、取得した視聴情報に基づいて、分布情報DB１０４に格納されている分布情報を更新する。
【００２９】
上記のＳ１〜Ｓ５の動作により、本発明の実施の形態における動画制御システム１は、視聴条件ごとに、QoE値に対する効用関数の分布情報を更新しながら、同時にQoE目標値を最適な値に収束させることができる。ここで、上記の視聴条件とは、コンテンツ種別、ユーザ種別若しくはサービス種別のいずれか、又は、これらのうちの２つ以上を組み合わせた組のことを表す。
【００３０】
分布情報DB１０４には、上記の視聴条件ごとに、効用関数の分布情報が格納されている。ここで、分布情報DB１０４に格納されている分布情報の一例を図２に示す。図２に示す各分布情報には、視聴条件と、各QoE値に対する平均μのリストと、各QoE値に対する標準偏差σのリストと、視聴回数とが含まれる。図２に示す例では、平均μのリスト及び標準偏差σのリストは、長さが401のリストである。これらのリストにおいて、i（ただし、i∈{0, 1, ・・・, 400}）番目の要素は、QoE目標値が(i + 100)/100の時の推定分布における平均値と標準偏差とをそれぞれ表している。
【００３１】
また、視聴情報DB１０５には、上記の視聴条件ごとに、視聴情報が格納されている。ここで、視聴情報DB１０５に格納されている視聴情報の一例を図３に示す。図３に示す各視聴情報には、視聴条件と、推定QoEと、効用関数値とが含まれる。推定QoEを得るための推定モデルは任意のモデルを用いればよく、例えば、上記の非特許文献５に記載されているものを用いればよい。本発明の実施の形態では推定QoEの計算をクライアント２０が行っているが、これに限られず、例えば、推定QoEの計算に必要な情報をクライアント２０から視聴情報更新部１０２に送信し、視聴情報更新部１０２で推定QoEを計算してもよい。
【００３２】
なお、効用関数値は、Utility = e - w×cにより計算されるが、e及びcの少なくとも一方は、クライアント２０で計算されてもよいし、視聴情報更新部１０２で計算してもよい。視聴情報更新部１０２でeやcを計算する場合、例えば、クライアント２０から視聴時間及びトラフィック量に加えて、「コンテンツ長」や「転送し得る最大のデータ量」が視聴情報更新部１０２に送信されればよい。又は、視聴情報更新部１０２は、例えば、視聴条件に含まれるコンテンツ種別等から「コンテンツ長」や「転送し得る最大のデータ量」を特定してもよい。
【００３３】
次に、QoE目標値計算部１０１及び分布情報更新部１０３の詳細な動作について説明する。以降で説明するように、QoE目標値計算部１０１はベイズ最適化における獲得関数値の計算を行い、分布情報更新部１０３はベイズ最適化における分布の更新を行う。これらが繰り返し実行されることで、QoE目標値が最適化される。
【００３４】
QoE目標値計算部１０１は、クライアント２０から受け取った視聴条件に基づいて、分布情報DB１０４にアクセスし、当該視聴条件に対応する分布情報を取得する。次に、QoE目標値計算部１０１は、UCB（Upper Confidence Bound）スコアを各QoE目標値に対して計算する（つまり、本発明の実施の形態では、ベイズ最適化の獲得関数値として、UCBスコアを用いる。）。UCBスコアをUCB Scoreとして、UCBスコアは、UCB Score = μ + αt×σで計算される。ここで、
【００３５】
【数１】
2020188387.tif 000003
であり、tは視聴回数、logは自然対数である。
【００３６】
そして、QoE目標値計算部１０１は、UCBスコアが最大となるQoE目標値を計算し、クライアント２０に返信する。なお、本発明の実施の形態では、UCBスコアが最大となるQoE目標値をQoE目標値計算部１０１が計算するものとしたが、これに限られず、例えば、UCBスコアが最大となるQoE目標値を視聴情報更新部１０２が事前に計算してもよい。
【００３７】
分布情報更新部１０３は、クライアント２０から受け取った視聴条件に対応する（１つ以上の）視聴情報を視聴情報DB１０５から取得し、これらの視聴情報を用いて分布情報DB１０４を更新する。本発明の実施の形態では、一例として、或る視聴条件に関する視聴が3回であり、そのときのQoE値がそれぞれx = (x1, x2, x3)、効用関数値がy = (y1, y2, y3)であった場合について説明する。なお、x及びyはそれぞれ横ベクトルで表されているものとする。
【００３８】
このとき、QoE目標値がaである場合の平均値μ(a|y)を以下の式で定義する。
【００３９】
【数２】
2020188387.tif 000004
ここで、
【００４０】
【数３】
2020188387.tif 000005
である。上記のσ02及びλはそれぞれ予め設定されているものとする。
【００４１】
また、QoE目標値がaである場合の分散σ2(a|y)を以下の式で定義する。
【００４２】
【数４】
2020188387.tif 000006
ただし、s(a, x) = [k(a, x1), k(a, x2), k(a, x3)]であり、その他の定義はμ(a|y)に用いた定義と同じであるとする。
【００４３】
分布情報更新部１０３は、上記のμ(a|y)及びμ(a|y)に対して、a = 1.00から0.01刻みで5.00までの401通りのaに対する値を計算し、それぞれ長さ401の配列とする。そして、分布情報更新部１０３は、その配列を用いて、分布情報DB１０４に格納されている分布情報を更新する。
【００４４】
＜動画制御装置１０のハードウェア構成＞
最後に、本発明の実施の形態における動画制御装置１０のハードウェア構成について、図４を参照しながら説明する。図４は、本発明の実施の形態における動画制御装置１０のハードウェア構成の一例を示す図である。
【００４５】
図４に示すように、本発明の実施の形態における動画制御装置１０は、ハードウェアとして、入力装置２０１と、表示装置２０２と、外部Ｉ／Ｆ２０３と、ＲＡＭ（Random Access Memory）２０４と、ＲＯＭ（Read Only Memory）２０５と、プロセッサ２０６と、通信Ｉ／Ｆ２０７と、補助記憶装置２０８とを有する。これら各ハードウェアは、それぞれがバスＢを介して通信可能に接続されている。
【００４６】
入力装置２０１は、例えばキーボードやマウス、タッチパネル等である。表示装置２０２は、例えばディスプレイ等である。なお、動画制御装置１０は、入力装置２０１及び表示装置２０２の少なくとも一方を有していなくてもよい。
【００４７】
外部Ｉ／Ｆ２０３は、外部装置とのインタフェースである。外部装置には、記録媒体２０３ａ等がある。動画制御装置１０は、外部Ｉ／Ｆ２０３を介して、記録媒体２０３ａの読み取りや書き込み等を行うことができる。記録媒体２０３ａには、例えば、動画制御装置１０が有する各機能部（つまり、QoE目標値計算部１０１、視聴情報更新部１０２及び分布情報更新部１０３）を実現する１以上のプログラム等が記憶されていてもよい。
【００４８】
ＲＡＭ２０４は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ２０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ２０５には、例えば、ＯＳ（Operating System）に関する設定情報や通信ネットワークに関する設定情報等が格納されている。
【００４９】
プロセッサ２０６は、例えばＣＰＵ（Central Processing Unit）等である。動画制御装置１０が有する各機能部は、ＲＯＭ２０５や補助記憶装置２０８等に格納されている１以上のプログラムがＲＡＭ２０４上に読み出されて、プロセッサ２０６が処理を実行することで実現される。
【００５０】
通信Ｉ／Ｆ２０７は、動画制御装置１０を通信ネットワークに接続するためのインタフェースである。
【００５１】
補助記憶装置２０８は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置３０８に格納されているプログラムやデータには、例えば、ＯＳ、当該ＯＳ上で各種機能を実現するアプリケーションプログラム、動画制御装置１０が有する各機能部を実現する１以上のプログラム等がある。
【００５２】
また、動画制御装置１０が有する各記憶部（つまり、分布情報DB１０４及び視聴情報DB１０５）は、例えば補助記憶装置２０８を用いて実現可能である。
【００５３】
本発明の実施の形態における動画制御装置１０は、図４に示すハードウェア構成を有することにより、上述した各種処理を実現することができる。なお、図４に示す例では、本発明の実施の形態における動画制御装置１０が１台の装置（コンピュータ）で実現されている場合を示したが、これに限られない。本発明の実施の形態における動画制御装置１０は、複数台の装置（コンピュータ）で実現されていてもよい。また、１台の装置（コンピュータ）には、複数のプロセッサ２０６や複数のメモリ（ＲＡＭ２０４やＲＯＭ２０５、補助記憶装置２０８等）が含まれていてもよい。
【００５４】
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、本発明の実施の形態におけるエンゲージメント指標は、視聴時間に限定されるものではなく、明示的な動画への評価結果や、外部センサから取得したユーザの満足度等が用いられてもよい。また、コストもトラフィックコストに限定されるものではなく、通信を行うために掛かった費用等が用いられてもよい。
【符号の説明】
【００５５】
１        動画制御システム
１０      動画制御装置
２０      クライアント
３０      動画配信サーバ
１０１    QoE目標値計算部
１０２    視聴情報更新部
１０３    分布情報更新部
１０４    分布情報DB
１０５    視聴情報DB
【図１】
2020188387.tif 000007
【図２】
2020188387.tif 000008
【図３】
2020188387.tif 000009
【図４】
2020188387.tif 000010