(57)【要約】【課題】ユーザが配信されるデータにさほど関心を持っていない場合にネットワークの帯域を無駄に使用することを回避することができるデータ受信装置を提供する。【解決手段】集中度判定部１０５は、ネットワークを介して配信される配信データに対する集中度を判定する。配信要求部１０６は、集中度が高ければ、ネットワークの帯域の使用率を高くした第１の状態で配信データを配信するよう要求する。配信要求部１０６は、集中度が低ければ、使用率を低くした第２の状態で配信データを配信するよう要求する。受信部１０８は、ネットワークを介して配信者より第１または第２の状態で配信された配信データを受信する。【選択図】図２
2020053904.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して配信される配信データに対する集中度を判定する集中度判定部と、
前記集中度が高ければ、前記ネットワークの帯域の使用率を高くした第１の状態で前記配信データを配信するよう要求し、前記集中度が低ければ、前記使用率を低くした第２の状態で前記配信データを配信するよう要求する配信要求部と、
前記ネットワークを介して前記第１または第２の状態で配信された前記配信データを受信する受信部と、
を備えるデータ受信装置。
【請求項２】
前記配信要求部は、前記集中度が高ければ、第１のビットレートで前記配信データを配信するよう要求し、前記集中度が低ければ、前記第１のビットレートより低い第２のビットレートで前記配信データを配信するよう要求する請求項１に記載のデータ受信装置。
【請求項３】
前記配信データは少なくとも映像データを含み、
前記集中度判定部は、配信された前記映像データの画像を表示する表示部を見るユーザを撮影した撮影画像に基づいて、前記集中度を判定する請求項１または２に記載のデータ受信装置。
【請求項４】
集中度判定部が、ネットワークを介して配信される配信データに対する集中度を判定し、
配信要求部が、前記集中度が高ければ、前記ネットワークの帯域の使用率を高くした第１の状態で前記配信データを配信するよう要求し、
前記配信要求部が、前記集中度が低ければ、前記使用率を低くした第２の状態で前記配信データを配信するよう要求する
データ配信制御方法。
【請求項５】
コンピュータに、
ネットワークを介して配信される配信データに対する集中度を判定するステップと、
前記集中度が高ければ、前記ネットワークの帯域の使用率を高くした第１の状態で前記配信データを配信するよう要求するステップと、
前記集中度が低ければ、前記使用率を低くした第２の状態で前記配信データを配信するよう要求するステップと、
を実行させるデータ配信制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ受信装置、データ配信制御方法、及びデータ配信制御プログラムに関する。
【背景技術】
【０００２】
テレビ会議システムのような映像データを複数の端末間で送受信する配信システムが普及している（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４９７７３８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般的な配信システムにおいては、映像データの配信を受ける端末のユーザが、配信される映像データに関心を高く持っていてもさほど関心を持っていなくても、映像品質の高い映像データが配信される。ユーザが配信される映像データにさほど関心を持っていない場合に映像品質の高い映像データを配信することは、映像データを配信するためのネットワークの帯域を無駄に使用することになる。
【０００５】
ここでは映像データが配信される場合を例としたが、映像データ及び音声データが配信される場合、音声データのみが配信される場合であっても同様である。
【０００６】
本発明は、ユーザが配信されるデータにさほど関心を持っていない場合にネットワークの帯域を無駄に使用することを回避することができるデータ受信装置、データ配信制御方法、及びデータ配信制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、ネットワークを介して配信される配信データに対する集中度を判定する集中度判定部と、前記集中度が高ければ、前記ネットワークの帯域の使用率を高くした第１の状態で前記配信データを配信するよう要求し、前記集中度が低ければ、前記使用率を低くした第２の状態で前記配信データを配信するよう要求する配信要求部と、前記ネットワークを介して前記第１または第２の状態で配信された前記配信データを受信する受信部とを備えるデータ受信装置を提供する。
【０００８】
本発明は、集中度判定部が、ネットワークを介して配信される配信データに対する集中度を判定し、配信要求部が、前記集中度が高ければ、前記ネットワークの帯域の使用率を高くした第１の状態で前記配信データを配信するよう要求し、前記配信要求部が、前記集中度が低ければ、前記使用率を低くした第２の状態で前記配信データを配信するよう要求するデータ配信制御方法を提供する。
【０００９】
本発明は、コンピュータに、ネットワークを介して配信される配信データに対する集中度を判定するステップと、前記集中度が高ければ、前記ネットワークの帯域の使用率を高くした第１の状態で前記配信データを配信するよう要求するステップと、前記集中度が低ければ、前記使用率を低くした第２の状態で前記配信データを配信するよう要求するステップとを実行させるデータ配信制御プログラムを提供する。
【発明の効果】
【００１０】
本発明のデータ受信装置、データ配信制御方法、及びデータ配信制御プログラムによれば、ユーザが配信されるデータにさほど関心を持っていない場合にネットワークの帯域を無駄に使用することを回避することができる。
【図面の簡単な説明】
【００１１】
【図１】配信システムの一構成例を示すブロック図である。
【図２】一実施形態のデータ受信装置を示すブロック図である。
【図３】一実施形態のデータ配信制御方法、または、一実施形態のデータ配信制御プログラムがコンピュータに実行させる処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、一実施形態のデータ受信装置、データ配信制御方法、及びデータ配信制御プログラムについて、添付図面を参照して説明する。
【００１３】
図１において、ネットワーク２０には、端末１０ａ〜１０ｄ及びサーバ３０が接続されている。ネットワーク２０を介して接続された端末１０ａ〜１０ｄ及びサーバ３０は、配信データとして映像データ及び音声データを配信する配信システムを構成している。配信システムは、配信データとして、映像データのみ、または、音声データのみを配信することがあってもよい。配信システムは一例としてテレビ会議システムを構成する。
【００１４】
任意の端末を端末１０と称することとする。図１においては、ネットワーク２０に４台の端末１０が接続されているが、少なくとも２台であればよく、端末１０の台数は限定されない。端末１０は、パーソナルコンピュータ、タブレット端末、スマートフォン、ネットワーク接続機能付きのテレビジョン受像機、テレビ会議専用機器のいずれであってもよい。
【００１５】
ネットワーク２０はインターネットまたはＬＡＮ等の任意のネットワークである。サーバ３０は、いずれかの端末１０から送信された映像データ及び音声データを他の端末１０へと配信する機能を有するコンピュータ機器またはクラウドサービスである。サーバ３０は、配信データを配信する配信者の一例である。
【００１６】
以上のように構成される配信システムにおいて、端末１０は一実施形態のデータ受信装置を構成し、一実施形態のデータ配信制御方法を実行する。または、端末１０は一実施形態のデータ配信制御プログラムを記憶し、データ配信制御プログラムを実行する。
【００１７】
図２を用いて、ユーザが配信データにさほど関心を持っていない場合にネットワークの帯域を無駄に使用することを回避するための、端末１０の具体的な構成及び動作を説明する。図２においては、ネットワーク２０の図示を省略している。図２に示す例では、少なくとも端末１０ａが一実施形態のデータ受信装置を構成している。端末１０ｂ〜１０ｄが端末１０ａと同様に構成されていてもよい。
【００１８】
図２において、カメラ１０１は例えば表示部１１０付近に装着されており、表示部１１０の画面を見る端末１０ａのユーザを撮影する。マイクロホン１０２はユーザが発話した音声を取得する。カメラ１０１が生成した撮影画像信号は、映像音声符号化部１０３及び集中度判定部１０５に供給される。マイクロホン１０２が生成した音声信号は映像音声符号化部１０３に供給される。
【００１９】
映像音声符号化部１０３は、撮影画像信号及び音声信号を所定のフォーマットで圧縮符号化して、映像及び音声データを含む符号化データを送信部１０４に供給する。送信部１０４は、通信部１０７を介して、サーバ３０に符号化データを送信する。通信部１０７は、符号化データを所定のプロトコルでサーバ３０へと伝送する。サーバ３０は、端末１０ｂ〜１０ｄのうちの少なくとも１つの端末１０に符号化データを配信する。
【００２０】
集中度判定部１０５は、入力された撮影画像信号に基づいて、ユーザがテレビ会議に集中している程度を示す集中度を判定する。集中度は、ネットワーク２０を介して配信される配信データに対する集中度である。ユーザがテレビ会議に集中していれば、表示部１１０を見ることが多くなり、逆に、集中していなければ、表示部１１０を見ることが少なくなる。そこで、集中度判定部１０５は、ユーザが表示部１１０の画面を見ている頻度に基づいて集中度を判定する。
【００２１】
集中度判定部１０５は、撮影画像に含まれる顔の画像部分を抽出し、顔が画面に向いているか否かを判定する。撮影画像に複数の顔が含まれる場合には、最も大きな顔がユーザの顔の画像であるとみなせばよい。集中度判定部１０５は、顔が画面に向いている時間が、例えば直近の１０秒間のうちの５０％以上であれば、集中度が高いと判定し、５０％未満であれば集中度が低いと判定する。
【００２２】
顔が画面に向いているか否かは各種の方法によって判定することができる。第１の例として、集中度判定部１０５は、予め、画面に向いている顔画像を正例、向いていない顔画像を負例としてディープラーニングを実行して、顔が画面に向いているか否かを判定することができる。
【００２３】
第２の例として、集中度判定部１０５は、Google Cloud Vision APIで実用化されている機械学習モデルを使用した画像認識技術を用いて顔が画面に向いているか否かを判定することができる。具体的には、顔の角度を検出し、左右角度と上下角度が例えば２０度以内であれば画面に向いていると判定することができる。
【００２４】
第３の例として、集中度判定部１０５は、Open Source Computer Vision Library（OpenCV）を使用して、目、鼻、口の特徴点の距離から角度を推定し、左右角度と上下角度が例えば２０度以内であれば画面に向いていると判定することができる。
【００２５】
図２においては、集中度判定部１０５を端末１０ａ内に設けて、エッジコンピューティングによって集中度を判定しているが、ユーザを撮影した撮影画像信号をサーバ３０に送信してサーバ３０が集中度を判定してもよい。
【００２６】
集中度判定部１０５は、集中度が高いか低いかを示す集中度判定信号を配信要求部１０６に供給する。配信要求部１０６は、集中度判定信号が、集中度が高いことを示すときには、通常のビットレート（第１のビットレート）で映像及び音声データを含む符号化データを配信するよう要求する要求信号を生成する。通信部１０７は、要求信号を所定のプロトコルでサーバ３０へと伝送する。通常のビットレートとは、高画質の画像が得られるビットレートであってもよい。
【００２７】
一方、配信要求部１０６は、集中度判定信号が、集中度が低いことを示すときには、通常のビットレートよりも低い低ビットレート（第２のビットレート）で符号化データを配信するよう要求する要求信号を生成する。通信部１０７は、要求信号を所定のプロトコルでサーバ３０へと伝送する。低ビットレートとは、通常のビットレートよりも低画質の画像が得られるビットレートである。
【００２８】
サーバ３０は、端末１０ｂ〜１０ｄのうちのいずれかの端末１０が送信した符号化データを端末１０ａへと配信するときに、端末１０ａから送信された要求信号に応じた通常のビットレートまたは低ビットレートで符号化データを端末１０ａへと配信する。サーバ３０は、符号化データのビットレートを切り替えて配信するときに、ストリーミング規格の一例としてMPEG-DASH（MPEG Dynamic. Adaptive Streaming over HTTP）を用いてもよい。
【００２９】
受信部１０８は、通信部１０７を介して、サーバ３０から配信された符号化データを受信する。映像音声復号部１０９は、映像及び音声データを含む符号化データを復号する。映像音声復号部１０９は、映像データを復号した画像信号を表示部１１０に供給し、音声データを復号した音声信号をスピーカ１１１に供給する。
【００３０】
これにより、表示部１１０は、サーバ３０より配信された映像データの画像を表示し、スピーカ１１１はサーバ３０より配信された音声データの音声を出力する。サーバ３０より配信された映像データの画像は、端末１０ｂ〜１０ｄのうちのいずれかの端末１０のユーザを撮影した撮影画像であることがある。サーバ３０より配信された音声データは、そのユーザが発話した音声であることがある。
【００３１】
表示部１１０に表示される撮影画像は、端末１０ａのユーザがテレビ会議に集中していれば通常画質（または高画質）で表示され、集中していなければ低画質で表示される。図２に示す端末１０ａの構成によれば、テレビ会議に集中しておらず、端末１０ａのユーザが配信される符号化データにさほど関心を持っていない場合に、ネットワーク２０の帯域の使用率を低くすることができるから、ネットワーク２０の帯域を無駄に使用することを回避することができる。
【００３２】
図３に示すフローチャートを用いて、集中度判定部１０５及び配信要求部１０６が実行するデータ配信制御方法を説明する。集中度判定部１０５及び配信要求部１０６は、端末１０ａの電源が投入された後電源が切断されて動作を終了するまで、ステップＳ１〜Ｓ４よりなるループを実行する。
【００３３】
図３において、集中度判定部１０５は、ステップＳ１にて、ユーザの撮影画像に基づいて集中度を判定する。配信要求部１０６は、ステップＳ２にて、集中度が高いか否かを判定する。配信要求部１０６は、集中度が高ければ（YES）、ステップＳ３にて、サーバ３０に通常ビットレートでの配信を要求する。配信要求部１０６は、集中度が高くなければ（NO）、ステップＳ４にて、サーバ３０に低ビットレートでの配信を要求する。
【００３４】
図２において、集中度判定部１０５及び配信要求部１０６は、マイクロコンピュータのプロセッサで構成してもよい。この場合、図３に示すフローチャートは、データ配信制御プログラムがプロセッサに実行させる処理を示す。データ配信制御プログラムは、端末１０ａに設けられた図示していない非一時的な記憶媒体に記憶されていればよい。
【００３５】
配信データが映像データであるとき、配信要求部１０６は、集中度が高ければ、映像データを通常のフレームレートで配信するよう要求し、集中度が低ければ、映像データを通常のフレームレートよりも低い低フレームレートで配信するよう要求してもよい。例えば、通常のフレームレートは６０Ｈｚで、低フレームレートは３０Ｈｚである。
【００３６】
配信データが映像データ及び音声データであるとき、配信要求部１０６は、集中度が高ければ、配信データを通常のビットレートで配信するよう要求し、集中度が低ければ、映像データの配信を停止して音声データのみを配信するよう要求してもよい。
【００３７】
即ち、配信要求部１０６は、サーバ３０に対して、集中度が高ければ、ネットワーク２０の帯域の使用率を高くした第１の状態で配信データを配信するよう要求し、集中度が低ければ、使用率を低くした第２の状態で配信データを配信するよう要求すればよい。
【００３８】
配信データが音声データのみであるとき、カメラ１０１は、集中度判定部１０５がユーザの集中度を判定するためのみに使用される。この場合、カメラ１０１は、スピーカ１１１に装着してもよい。
【００３９】
集中度判定部１０５がユーザの集中度を「高い」、「普通」、「低い」の３段階で判定する場合、配信要求部１０６は、集中度が高ければ高画質の画像が得られる高ビットレートでの配信を要求すればよい。また、配信要求部１０６は、集中度が普通であれば通常画質の画像が得られる通常ビットレートでの配信を要求し、集中度が低ければ低画質の画像が得られる低ビットレートでの配信を要求すればよい。
【００４０】
本発明は以上説明した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
【符号の説明】
【００４１】
１０ａ〜１０ｄ  端末（データ受信装置）
２０  ネットワーク
３０  サーバ（配信者）
１０１  カメラ
１０２  マイクロホン
１０３  映像音声符号化部
１０４  送信部
１０５  集中度判定部
１０６  配信要求部
１０７  通信部
１０８  受信部
１０９  映像音声復号部
１１０  表示部
１１１  スピーカ
【図１】
2020053904.tif 000003
【図２】
2020053904.tif 000004
【図３】
2020053904.tif 000005