(57)【要約】【課題】視聴者の体感品質を高めること。【解決手段】符号化対象の映像に基づいて、映像の視聴者の視聴に与える影響が高いと推定される領域に対して符号化を行う優先度が高くなるように優先度を設定する優先度設定部と、設定された優先度に基づいて領域に対して符号化を行う符号化部と、を備える映像符号化装置。【選択図】図１
2017228949.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の映像に基づいて、前記映像の視聴者の視聴に与える影響が高いと推定される領域に対して符号化を行う優先度が高くなるように優先度を設定する優先度設定部と、
設定された前記優先度に基づいて前記領域に対して符号化を行う符号化部と、
を備える映像符号化装置。
【請求項２】
前記符号化対象の映像に基づいて、符号化の必要性が高いことを表す重要度を、前記映像を複数の領域に分割することによって生成される複数の分割映像に設定する重要度設定部をさらに備え、
前記優先度設定部は、前記重要度が高い順に前記分割映像に優先度を設定する、請求項１に記載の映像符号化装置。
【請求項３】
前記重要度設定部は、前記映像の幾何形状および内容に従い前記重要度を設定する、請求項２に記載の映像符号化装置。
【請求項４】
前記重要度設定部は、前記視聴者の視聴回数が多い領域から順番に前記重要度を設定する、請求項２に記載の映像符号化装置。
【請求項５】
前記重要度設定部は、動物体が含まれる領域の重要度が、動物体が含まれない領域よりも高くなるように前記重要度を設定する、請求項２に記載の映像符号化装置。
【請求項６】
前記映像中の領域において、符号化の対象となる領域を設定する符号化対象設定部をさらに備え、
前記重要度設定部は、前記映像の視聴者の視聴に与える影響が高いと推定される領域、かつ、前記符号化の対象となる領域に対して前記重要度を設定し、
前記符号化部は、前記符号化の対象となる領域に対して符号化を行う、請求項２から５のいずれか一項に記載の映像符号化装置。
【請求項７】
符号化対象の映像に基づいて、前記映像の視聴者の視聴に与える影響が高いと推定される領域に対して符号化を行う優先度が高くなるように優先度を設定する優先度設定ステップと、
設定された前記優先度に基づいて前記領域に対して符号化を行う符号化ステップと、
を備える映像符号化方法。
【請求項８】
請求項１から６のいずれか一項に記載の映像符号化装置としてコンピュータを実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の符号化技術に関する。
【背景技術】
【０００２】
従来、入力映像を複数解像度の映像に変換し、それらをタイルと呼ばれる領域ごとに分割して符号化しておき、視聴者からの要求に応じて、最低解像度の全体映像と、視聴者が注目している領域（以下、「注目領域」という。）の高解像度タイルとを視聴者の端末に配信し、視聴者の端末にて重ね合わせて表示することによって、限られた帯域で全体映像と高解像度映像を配信する映像配信システムが提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Hideaki Kimata, Daisuke Ochi, Akio Kameda, Hajime Noto, Katsuhiko Fukazawa, and Akira Kojima, "Mobile and Multi-device Interactive Panorama Video Distribution System,"IEEE GCCE 2012, 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、視聴者からの任意の注目領域の要求に応じるためには、隣接するタイルの一部が重なりあうように、注目領域の高解像度タイルの位置を設定しなければならず、多数の高解像度タイルが必要となる。すなわち、高解像度タイル数が増加するに伴い、視聴者からの要求を満たす確率は高くなるがタイルを符号化する演算量が増加する。
上記の技術を実時間映像配信に適用した場合、図１１に示すように、符号化装置で実時間内に処理できるタイル上限数を超えると視聴者から要求された注目領域の高解像度タイルの符号化が間に合わず端末に最低解像度の全体映像のみしか配信することができない場合がある。また、符号化装置で実時間内に処理できるタイル上限数まで高解像度タイルの数を削減すると、視聴者の注目領域の変化に対して滑らかに注目領域を切替えることができなくなってしまう。このような事象が発生すると、視聴者の体感品質が大幅に低下してしまうという問題があった。
【０００５】
上記事情に鑑み、本発明は、視聴者の体感品質を高めることができる技術の提供を目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、符号化対象の映像に基づいて、前記映像の視聴者の視聴に与える影響が高いと推定される領域に対して符号化を行う優先度が高くなるように優先度を設定する優先度設定部と、設定された前記優先度に基づいて前記領域に対して符号化を行う符号化部と、を備える映像符号化装置である。
【０００７】
本発明の一態様は、上記の映像符号化装置であって、前記符号化対象の映像に基づいて、符号化の必要性が高いことを表す重要度を、前記映像を複数の領域に分割することによって生成される複数の分割映像に設定する重要度設定部をさらに備え、前記優先度設定部は、前記重要度が高い順に前記分割映像に優先度を設定する。
【０００８】
本発明の一態様は、上記の映像符号化装置であって、前記重要度設定部は、前記映像の幾何形状および内容に従い前記重要度を設定する。
【０００９】
本発明の一態様は、上記の映像符号化装置であって、前記重要度設定部は、前記視聴者の視聴回数が多い領域から順番に前記重要度を設定する。
【００１０】
本発明の一態様は、上記の映像符号化装置であって、前記重要度設定部は、動物体が含まれる領域の重要度が、動物体が含まれない領域よりも高くなるように前記重要度を設定する。
【００１１】
本発明の一態様は、上記の映像符号化装置であって、前記映像中の領域において、符号化の対象となる領域を設定する符号化対象設定部をさらに備え、前記重要度設定部は、前記映像の視聴者の視聴に与える影響が高いと推定される領域、かつ、前記符号化の対象となる領域に対して前記重要度を設定し、前記符号化部は、前記符号化の対象となる領域に対して符号化を行う。
【００１２】
本発明の一態様は、符号化対象の映像に基づいて、前記映像の視聴者の視聴に与える影響が高いと推定される領域に対して符号化を行う優先度が高くなるように優先度を設定する優先度設定ステップと、設定された前記優先度に基づいて前記領域に対して符号化を行う符号化ステップと、を備える映像符号化方法である。
【００１３】
本発明の一態様は、上記の映像符号化装置としてコンピュータを実行させるためのコンピュータプログラムである。
【発明の効果】
【００１４】
本発明により、視聴者の体感品質を高めることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態における映像配信システム１００のシステム構成を示す図である。
【図２】重要度設定部１０３の処理を説明するための図である。
【図３】第１の実施形態における映像符号化装置１０の処理の流れを示すフローチャートである。
【図４】各機能部の動作の一例を示す図である。
【図５】第４の実施形態における映像符号化装置１０ａの機能構成を表す概略ブロック図である。
【図６】第４の実施形態における映像符号化装置１０ａの処理の流れを示すフローチャートである。
【図７】符号化対象設定部１０８の処理を説明するための図である。
【図８】視聴履歴の情報の具体例を示す図である。
【図９】符号化対象設定部１０８が保持するある区間の視聴履歴の情報を表す図である。
【図１０】第５の実施形態における映像符号化装置１０ａの処理を説明するための図である。
【図１１】従来の課題を説明するための図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態を、図面を参照しながら説明する。
（第１の実施形態）
図１は、第１の実施形態における映像配信システム１００のシステム構成を示す図である。映像配信システム１００は、映像符号化装置１０及び視聴クライアント２０を備える。映像符号化装置１０及び視聴クライアント２０は、ネットワーク３０を介して通信可能に接続される。なお、ネットワーク３０は、どのように構成されたネットワークであってもよい。例えば、ネットワーク３０は、インターネットを用いて構成されてもよいし、ＬＡＮ（Local Area Network）を用いて構成されてもよいし、その他のネットワークを用いて構成されてもよい。また、映像符号化装置１０及び視聴クライアント２０は、有線通信であってもよいし、無線通信であってもよい。図１では、映像配信システム１００に１台の視聴クライアント２０が備えられているが、映像配信システム１００には複数台の視聴クライアント２０が備えられてもよい。
【００１７】
映像符号化装置１０は、撮影装置によって撮影された映像を入力する。本実施形態では、映像の具体例として、広角に撮影されたライブ配信映像を例に説明する。なお、入力される映像は、複数台の撮影装置をつなぎ合わせたパノラマ映像であってもよいし、全天球カメラによって撮影された全天球映像であってもよいし、高解像度に撮影可能なカメラ（例えば、４Ｋカメラ、８Ｋカメラ等）で撮影された映像であってもよいし、それらのカメラに魚眼レンズ等を付けて広角に撮影された映像等であってもよい。
【００１８】
映像符号化装置１０は、入力された映像の解像度をオリジナルのものよりも低い解像度に変換するとともに、入力された映像を複数の領域に分割する。以下、オリジナルのものよりも低い解像度に変換された映像を低解像度映像と記載する。以下、分割された映像を分割映像と記載する。また、映像符号化装置１０は、入力された映像中の領域のうち、映像の視聴者の視聴に与える影響が高いと推定される領域（以下、「視聴影響領域」という。）を優先して符号化する。第１の実施形態において視聴影響領域は、低解像度映像上の領域と、映像の縦方向における中央の領域である。そして、映像符号化装置１０は、符号化した映像（低解像度映像及び分割映像）を視聴クライアント２０に配信する。
【００１９】
視聴クライアント２０は、映像符号化装置１０から配信された低解像度映像及び分割映像を入力する。視聴クライアント２０は、入力された低解像度映像及び分割映像を用いて、ユーザに対して映像を提示する。ユーザに対して映像を提示する方法は、従来の技術が用いられてもよい。例えば、視聴クライアント２０は、低解像度映像上の対応する箇所に分割映像を重畳することによって、ユーザに提示する映像を生成する。そして、視聴クライアント２０は、生成した映像をユーザに提示する。視聴クライアント２０は、例えばスマートホン、タブレット端末、パーソナルコンピュータ、ヘッドマウントディスプレイなどである。
【００２０】
次に、映像符号化装置１０の具体的な構成について説明する。映像符号化装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、映像符号・配信プログラムを実行する。映像符号・配信プログラムの実行によって、映像符号化装置１０は、映像入力部１０１、分割及び解像度変換部１０２、重要度設定部１０３、優先度設定部１０４、符号化部１０５、多重化部１０６、配信部１０７を備える装置として機能する。また、符号化部１０５は、複数の優先度別符号化部１０５１−１〜１０５１−Ｎ（Ｎは２以上の整数）を備える。なお、映像符号化装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、映像符号・配信プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、映像符号・配信プログラムは、電気通信回線を介して送受信されてもよい。
【００２１】
映像入力部１０１は、映像符号化装置１０に対して入力される映像のデータを受け付ける。例えば、映像入力部１０１は、撮影装置によって撮影された映像を入力とする。映像入力部１０１は、入力した映像を分割及び解像度変換部１０２に出力する。
分割及び解像度変換部１０２は、映像入力部１０１から出力された映像を入力とする。分割及び解像度変換部１０２は、入力された映像を低解像度映像に変換する。また、分割及び解像度変換部１０２は、入力された映像を複数の領域に分割することによって分割映像を生成する。具体的には、分割及び解像度変換部１０２は、入力された映像を、ａ（ａ≧１）×ｂ（ｂ≧１）（ただし、ａかｂのいずれかは２以上）のタイル状の領域に分割することによって分割映像を生成する。例えば、分割及び解像度変換部１０２は、映像を同じサイズのタイル状の領域に分割してもよいし、各タイルのサイズは異なってもよい。なお、各領域で重なりがあっても構わないが、本説明では簡単化のため重なりはないものとする。分割映像には、映像上の領域の位置を表わす位置情報が対応付けられる。分割及び解像度変換部分割及び解像度変換部１０２は、各分割映像と、低解像度映像とを重要度設定部１０３に出力する。
【００２２】
重要度設定部１０３は、分割及び解像度変換部１０２から出力された各分割映像と、低解像度映像とを入力とする。重要度設定部１０３は、入力された各分割映像と、低解像度映像に対して重要度を設定する。重要度とは、符号化の必要性の高さを表す指標であり、例えば視聴影響領域の符号化の必要性の高さを表す。重要度設定部１０３は、設定した重要度を各分割映像と、低解像度映像とに対応付けて優先度設定部１０４に出力する。
【００２３】
次に、図２を例に重要度設定部１０３の重要度の設定方法について説明する。図２は、重要度設定部１０３の処理を説明するための図である。図２には、映像入力部１０１に入力された映像が、分割及び解像度変換部１０２によって分割された状態が示されている。図２における（１）〜（１８）の数字が重要度を表し、各分割映像にそれぞれ重要度が設定されている。図２において、重要度（１）はその分割映像に対応する領域が符号化の必要性が最も高いことを表し、重要度（１８）はその分割映像に対応する領域が符号化の必要性が最も低いことを表す。
【００２４】
一般的に、全天球映像のようなパノラマ映像は、上下の視聴領域の移動より左右の視聴領域の移動のほうが多い。そのため、重要度設定部１０３は、図２のように、映像の縦方向における中央の領域の重要度が高く、映像の縦方向における中央から外側に向かうほど領域の重要度が低くなるように重要度を設定する。しかしながら、幾何形状および内容によって、視聴領域の移動方向は異なる。例えば、塔のように縦方向に長いコンテンツの場合、視聴領域の移動は横方向より縦方向が多くなることが想定される。また、撮影方法によっても視聴領域の移動方向は変わる。そのため、領域の重要度は、幾何形状および内容によって、設定される。なお、図２には示していないが、全体の映像が撮像されている低解像度映像は、常に必要な映像であるため低解像度映像の重要度が最も高くなるものとする。
【００２５】
図１に戻って、映像符号化装置１０の機能部の説明を続ける。
優先度設定部１０４は、実時間内に符号化できる優先度別符号化部１０５１の上限数Ｎから、優先度別符号化部１０５１の優先度数Ｐ（≦Ｎ）と、優先度毎の優先度別符号化部１０５１の数Ｍｉ（≦Ｎ）を決定する。優先度とは、符号化を行う優先順位の高さを表す指標であり、例えば重要度の高さに応じて優先度“１”〜“Ｐ”（Ｐは２以上の整数）がある。また、優先度設定部１０４は、重要度設定部１０３から出力された、重要度が設定された各分割映像と、重要度が設定された低解像度映像とを入力とする。優先度設定部１０４は、設定された重要度に応じて各分割映像と、低解像度映像に対して優先度を設定する。その後、優先度設定部１０４は、設定した優先度に応じた各分割映像と、低解像度映像を対応する優先度別符号化部１０５１に出力する。
【００２６】
符号化部１０５は、優先度設定部１０４から出力された各分割映像と、低解像度映像とを入力とする。符号化部１０５は、複数の優先度別符号化部１０５１−１〜１０５１−Ｎを備える。優先度別符号化部１０５１−１〜１０５１−Ｎには、優先度設定部１０４によって決定された優先度が割り当てられる。優先度別符号化部１０５１−１〜１０５１−Ｎは、割り当てられた優先度に対応する各分割映像と、低解像度映像を符号化する。符号化に用いられるエンコーダ及びエンコード方式は既存の技術が用いられてもよい。例えば、符号化に一般的に使われるＨ.２６４やＨＥＶＣ（High Efficiency Video Coding）等を用いることができる。符号化部１０５は、符号化した各分割映像と、低解像度映像とを多重化部１０６に出力する。以下、符号化した分割映像及び低解像度映像を符号化後分割映像及び符号化後低解像度映像と記載する。
【００２７】
多重化部１０６は、符号化部１０５から出力された符号化後分割映像及び符号化後低解像度映像を入力とする。多重化部１０６は、入力された符号化後分割映像及び符号化後低解像度映像を多重化する。この際、多重化部１０６は、優先度が高い順に多重化する。以下、多重化した符号化後分割映像及び符号化後低解像度映像を多重化映像と記載する。多重化部１０６は、多重化映像を配信部１０７に出力する。
配信部１０７は、多重化部１０６から出力された多重化映像を入力とする。配信部１０７は、入力された多重化映像を視聴クライアント２０に配信する。
【００２８】
図３は、第１の実施形態における映像符号化装置１０の処理の流れを示すフローチャートである。
映像入力部１０１は、視聴クライアント２０に配信する映像を入力する（ステップＳ１０１）。映像入力部１０１は、入力した映像を分割及び解像度変換部１０２に出力する。分割及び解像度変換部１０２は、入力された映像をオリジナルの解像度よりも低い解像度の映像に変換する。この処理によって、低解像度映像が生成される。また、分割及び解像度変換部１０２は、映像入力部１０１から出力された映像を分割する。より具体的には、分割及び解像度変換部１０２は、映像入力部１０１から出力された映像をタイル状に分割する。この処理によって、複数の分割映像が生成される分割及び解像度変換部（ステップＳ１０２）。分割及び解像度変換部１０２は、生成した複数の分割映像と、低解像度映像とを重要度設定部１０３に出力する。
【００２９】
重要度設定部１０３は、分割及び解像度変換部１０２から出力された各分割映像と、低解像度映像に対して重要度を設定する（ステップＳ１０３）。具体的には、重要度設定部１０３は、図４の左図に示すように、低解像度映像の重要度が最も高く（重要度が（１））なるように設定し、分割映像に対しては映像の縦方向における中央の領域の重要度が高く、映像の縦方向における中央から外側に向かう領域ほど中央の領域に比べて重要度が低くなるように重要度を設定する。重要度設定部１０３は、設定した重要度を各分割映像と、低解像度映像とに対応付けて優先度設定部１０４に出力する。
【００３０】
優先度設定部１０４は、重要度設定部１０３から出力された、重要度が設定された各分割映像と、低解像度映像とに対して優先度を設定する（ステップＳ１０４）。具体的には、優先度設定部１０４に入力される各分割映像及び低解像度映像の総数が、優先度別符号化部１０５１の総数Ｎ以上の場合、優先度設定部１０４は優先度数Ｐを２以上とする。これは、低解像度映像が視聴領域に関わらず常に必要な映像であるため、低解像度映像とそれ以外の分割映像との優先度を分けられるようにするためである。優先度設定部１０４は、優先度Ｐｉ（ｉは１以上の整数）の優先度別符号化部１０５１の数Ｍｉを１以上の任意の値とし、重要度設定部１０３で設定された重要度から順に優先度別符号化部１０５１の数Ｍｉと一致するように低解像度映像及び分割映像に優先度Ｐｉ（ｉ∈Ｐ）を割り当てる（図４の中図参照）。その後、優先度設定部１０４は、図４の右図に示すように、各優先度の映像を、対応する優先度別符号化部１０５１に出力する。
【００３１】
しかしながら、この場合には、優先度設定部１０４に入力される各分割映像及び低解像度映像の総数が、優先度別符号化部１０５１の総数を上回っている。そのため、優先度別符号化部１０５１の数以上の映像を割り当てなければならない優先度Ｐｉが存在する。その場合、優先度設定部１０４は、重要度設定部１０３で設定された重要度から順に、優先度Ｐｉの優先度別符号化部１０５１に映像を出力する。例えば、図４に示す例では、優先度“２”が割り当てられている分割映像が４つ存在するにもかかわらず、優先度“２”の映像の符号化を行う優先度別符号化部１０５１（例えば、優先度別符号化部１０５１−２）が２つしか存在しない。この場合、まず優先度設定部１０４は、重要度に従って重要度“６”及び“７”に対応する分割映像を、優先度別符号化部１０５１−２に出力する。次に、優先度設定部１０４は、優先度別符号化部１０５１−２にて重要度“６”及び“７”に対応する分割映像の符号化が終了したのに応じて、重要度“８”及び“９”に対応する分割映像を、優先度別符号化部１０５１−２に出力する。これにより、重要度“８”及び“９”に対応する分割映像の符号化が可能になる。
【００３２】
一方、優先度設定部１０４に入力される各分割映像及び低解像度映像の総数が、優先度別符号化部１０５１の総数Ｎ未満の場合、優先度設定部１０４は優先度別符号化部１０５１の優先度Ｐ及び優先度毎の優先度別符号化部１０５１数Ｍを、上記の方法に従って任意の値を設定してもよいし、優先度別符号化部１０５１の優先度Ｐを１、優先度毎の優先度別符号化部１０５１の数ＭをＮとしてもよい。また、実時間内に符号化できる優先度別符号化部１０５１の上限数Ｎが１の場合、優先度設定部１０４は、優先度別符号化部１０５１の優先度Ｐを１、優先度毎の優先度別符号化部１０５１の数Ｍを１とする。この場合、優先度設定部１０４は、重要度に従った順序で優先度別符号化部１０５１に映像を出力する。
【００３３】
優先度別符号化部１０５１−１〜１０５１−Ｎは、優先度設定部１０４から出力された映像を符号化する（ステップＳ１０５）。符号化部１０５は、符号化後分割映像及び符号化後低解像度映像を多重化部１０６に出力する。多重化部１０６は、符号化部１０５から出力された符号化後分割映像及び符号化後低解像度映像を多重化する（ステップＳ１０６）。多重化部１０６は、多重化映像を配信部１０７に出力する。配信部１０７は、多重化部１０６から出力された多重化映像を視聴クライアント２０に配信する（ステップＳ１０７）。
【００３４】
以上のように構成された第１の実施形態における映像符号化装置１０によれば、視聴影響領域の重要度に応じて設定された優先度に従って、映像の視聴者の視聴に与える影響が高いと推定される領域が優先的に符号化される。これにより、視聴者から要求される注目領域の高解像度タイルを配信させる確率を向上させることができる。また、高解像度タイル数を維持できるため、視聴者の注目領域の変化に対して滑らかに注目領域を切替えることができる。その結果、視聴者の体感品質を高めることが可能になる。
【００３５】
＜変形例＞
映像入力部１０１、分割及び解像度変換部１０２、重要度設定部１０３、優先度設定部１０４、符号化部１０５、多重化部１０６及び配信部１０７のそれぞれは、一部又は全ての機能部が別の装置に備えられてもよい。
本実施形態では、高解像度な映像（入力された映像）と、低解像度映像との２種類の映像を用いる構成を示したが、映像符号化装置１０は、分割及び解像度変換部１０２で入力された映像を複数の解像度の映像（例えば、低解像度、中解像度及び高解像度）に変換し、入力された映像と複数の解像度の映像それぞれから複数の分割映像を生成することで、同様の処理を行うことができる。
【００３６】
（第２の実施形態）
第１の実施形態では重要度設定部１０３が広角に撮影された映像の幾何形状から導かれる視聴領域の移動方向に応じて重要度を設定する構成を示したが、第２の実施形態では重要度設定部１０３が視聴者の視聴傾向に応じて重要度を設定する。視聴者の視聴傾向とは、視聴者がどの領域の映像をよく視聴しているのかを示す指標であり、例えば視聴者が映像の配信を要求した領域の要求回数に基づいて算出される。以下、具体的な構成について説明する。
ライブ配信映像のようなリアルタイムな映像を配信するシステムでは、符号化の対象となる映像は、視聴時間ｔ１よりも未来時間ｔ２の映像である。そのため、重要度設定部１０３は、視聴時間ｔ１（＜ｔ２）までの情報から、未来時間ｔ２において配信する映像の領域の重要度を設定する。この場合、まず重要度設定部１０３は、視聴時間ｔ１の間に要求された領域の回数の総和を算出する。この領域は、図２に示した分割後の分割映像それぞれの各領域を表す。そして、重要度設定部１０３は、要求回数が多い領域から順に重要度を設定する。なお、視聴時間ｔ１は、予め設定されて時間であってもよいし、ある視聴時間内のある時間であってもよい。なお、この場合であっても、重要度設定部１０３は、低解像度映像は、常に必要な映像であるため低解像度映像の重要度が最も高くなるものとする。優先度設定部１０４以降の構成については、第１の実施形態と同様とであるため省略する。
【００３７】
以上のように構成された第２の実施形態における映像符号化装置１０によれば、視聴者が要求した領域の重要度が高くなるように設定される。したがって、視聴者がよく視聴している領域の映像の符号化の優先度も高くなる。そのため、視聴者がよく視聴している領域の高解像度タイルを配信させる確率を向上させることができる。また、高解像度タイル数を維持できるため、視聴者の注目領域の変化に対して滑らかに注目領域を切替えることができる。その結果、視聴者の体感品質を高めることが可能になる。
＜変形例＞
第２の実施形態は、第１の実施形態と同様に変形されてもよい。
【００３８】
（第３の実施形態）
第３の実施形態では、重要度設定部１０３が、視聴者が注目して視聴する領域を抽出し、時間方向にトラッキングすることにより重要度を設定する。視聴者が注目して視聴する領域は、動物体が含まれる領域であり、例えばオブジェクト認識やフレーム間差分で決定してもよいし、外部入力として与えてもよい。以下、具体的な構成について説明する。
ライブ配信映像のようなリアルタイムな映像を配信するシステムでは、符号化の対象となる映像は、視聴時間ｔ１よりも未来時間ｔ２の映像である。そのため、重要度設定部１０３は、視聴時間ｔ１（＜ｔ２）までの情報から、未来時間ｔ２において配信する映像中のユーザが注目している領域（動物体が含まれる領域）の移動位置を推定し、重要度を設定する。この場合、重要度設定部１０３は、視聴時間ｔ１の間までの注目領域の移動遷移から、時間ｔ２の注目領域の位置を推定し、推定した位置を注目領域として重要度を設定する。視聴時間ｔ１は、予め設定されて時間であってもよいし、ある視聴時間内のある時間であってもよい。なお、この場合であっても、重要度設定部１０３は、低解像度映像は、常に必要な映像であるため低解像度映像の重要度が最も高くなるものとする。優先度設定部１０４以降の構成については、第１の実施形態と同様とであるため省略する。
【００３９】
以上のように構成された第３の実施形態における映像符号化装置１０によれば、視聴者が注目している領域に撮影されている動物体の未来時間における位置を推定し、推定した位置の領域の要度が高くなるように設定される。したがって、視聴者がよく視聴している領域の映像の符号化の優先度も高くなる。そのため、視聴者がよく視聴している領域の高解像度タイルを配信させる確率を向上させることができる。また、高解像度タイル数を維持できるため、視聴者の注目領域の変化に対して滑らかに注目領域を切替えることができる。その結果、視聴者の体感品質を高めることが可能になる。
＜変形例＞
第３の実施形態は、第１の実施形態と同様に変形されてもよい。
【００４０】
（第４の実施形態）
第４の実施形態では、映像符号化装置は、重要度設定部による重要度の設定が行われる前に、入力された映像において符号化を行う対象となる領域（以下、「符号化対象領域」という。）を設定する。そして、映像符号化装置は、設定した符号化対象領域についてのみ重要度の設定、優先度の設定及び符号化を行う。
図５は、第４の実施形態における映像符号化装置１０ａの機能構成を表す概略ブロック図である。映像符号化装置１０ａは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、映像符号・配信プログラムを実行する。映像符号・配信プログラムの実行によって、映像符号化装置１０ａは、映像入力部１０１、分割及び解像度変換部１０２、重要度設定部１０３ａ、優先度設定部１０４、符号化部１０５、多重化部１０６ａ、配信部１０７、符号化対象設定部１０８を備える装置として機能する。なお、映像符号化装置１０ａの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、映像符号・配信プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、映像符号・配信プログラムは、電気通信回線を介して送受信されてもよい。
【００４１】
映像符号化装置１０ａは、重要度設定部１０３及び多重化部１０６に代えて重要度設定部１０３ａ及び多重化部１０６ａを備える点、符号化対象設定部１０８を新たに備える点で映像符号化装置１０と構成が異なる。映像符号化装置１０ａは、他の構成については映像符号化装置１０と同様である。そのため、映像符号化装置１０ａ全体の説明は省略し、重要度設定部１０３ａ、多重化部１０６ａ及び符号化対象設定部１０８について説明する。
【００４２】
符号化対象設定部１０８は、分割及び解像度変換部１０２から出力された各分割映像と、低解像度映像とを入力とする。符号化対象設定部１０８は、入力された各分割映像と、低解像度映像において符号化対象領域を設定する。なお、全体の映像が撮像されている低解像度映像は、常に必要な映像であるため、少なくとも低解像度映像上の領域は符号化対象領域として設定される。処理開始時においては、どの領域を符号化対象領域とするかが初期値として予め入力されていてもよい。処理開始時においては、例えば、視聴者が視聴する可能性が高いと推定される領域が設定されることが望ましい。視聴が視聴する可能性が高いと推定される領域は、例えば映像の縦方向における中央の領域などが挙げられる。符号化対象設定部１０８は、設定した符号化対象領域に関する情報と、各分割映像と、低解像度映像とを重要度設定部１０３ａに出力する。符号化対象領域に関する情報には、各映像を識別する識別情報と、符号化の対象となる領域の位置を示す情報と、符号化を行う優先順位とが対応付けられている。
【００４３】
重要度設定部１０３ａは、符号化対象設定部１０８から出力された符号化対象領域に関する情報と、各分割映像と、低解像度映像とを入力とする。重要度設定部１０３ａは、入力された符号化対象領域に関する情報に基づいて、各分割映像と、低解像度映像とに対して重要度を設定する。具体的には、重要度設定部１０３ａは、符号化対象領域に関する情報で示されている領域に対応する各分割映像と、低解像度映像とに対してのみ重要度を設定する。重要度の設定方法は、第１の実施形態から第３の実施形態のいずれかの重要度設定部１０３と同様の方法であるため説明を省略する。重要度設定部１０３ａは、設定した重要度を各分割映像と、低解像度映像とに対応付けて優先度設定部１０４に出力する。また、重要度設定部１０３ａは、重要度を設定していない領域の映像については多重化部１０６ａに出力する。
【００４４】
多重化部１０６ａは、重要度設定部１０３ａから出力された重要度が設定されていない領域の映像と、符号化部１０５から出力された符号化後分割映像及び符号化後低解像度映像とを入力とする。多重化部１０６は、入力された重要度を設定していない領域の映像と、符号化後分割映像及び符号化後低解像度映像を多重化する。この際、多重化部１０６ａは、優先度が高い順に多重化する。なお、重要度が設定されていない領域の映像については、優先度は最も低いものとする。多重化部１０６ａは、多重化映像を配信部１０７に出力する。
【００４５】
図６は、第４の実施形態における映像符号化装置１０ａの処理の流れを示すフローチャートである。図３と同様の処理については、図６において図３と同様の符号を付して説明を省略する。
ステップＳ１０２の処理後、符号化対象設定部１０８は、分割及び解像度変換部１０２から出力された各分割映像と、低解像度映像において符号化対象領域を設定する（ステップＳ２０１）。ここで、符号化対象領域の設定方法は、映像配信の初期時点と、所定時間の間視聴がなされた場合とで異なる。映像配信の初期時点においては、上記のように初期値として予め入力されている情報を用いればよい。一方、所定時間の間視聴がなされた場合には、符号化対象設定部１０８は以下のように符号化対象領域の設定を行う。まず、図７に示すように、時刻ｔ１において映像符号化装置１０ａから映像データ１が視聴クライアント２０に配信されたとする。視聴クライアント２０では、映像符号化装置１０ａから若干の遅れ時間の後（ネットワーク３０の転送遅延や、視聴クライアント２０内の映像バッファ、デコード時間等）、映像データ１を視聴する。
【００４６】
視聴クライアント２０で映像データ１が再生される際に、視聴クライアント２０は、視聴者がどの領域を視聴していたかを視聴履歴の情報（映像情報１の視聴履歴の情報として、これを「視聴履歴の情報１」とする）として取得することができる。視聴クライアント２０は、取得した視聴履歴の情報１を映像符号化装置１０ａに送信する。もしくは、視聴履歴の情報１として、映像符号化装置１０ａが送信した映像データ１の領域の位置を使用してもよい。例えば、視聴履歴の情報として、図８のように定義できる。図８は、視聴履歴の情報の具体例を示す図である。図８において、時刻ｔｍ−ｎ（ｎ＞０）は時刻ｔｍ〜ｔ（ｍ＋１）までの区間をｍａｘ（ｎ）等分したものを表している。また、視聴位置は、分割映像の領域の位置を表しており、ここでは入力された映像を分割した際の映像上の対応する位置を表わす番号である。
【００４７】
符号化対象設定部１０８は、視聴クライアント２０から送信された視聴履歴の情報１を取得する。なお、符号化対象設定部１０８は、視聴者が複数人いる場合には、複数人の視聴履歴の情報１を取得する。符号化対象設定部１０８は、取得した視聴履歴の情報１を保持する。符号化対象設定部１０８が保持する視聴履歴の情報を図９に示す。図９は、符号化対象設定部１０８が保持するある区間の視聴履歴の情報を表す図である。図９に示される例では、符号化タイル位置“１”〜“２９”の視聴履歴の情報の収集結果が示されている。符号化タイル位置は、分割映像の領域の位置を表わす。
【００４８】
符号化対象設定部１０８は、図９に示す視聴履歴の情報１を用いて、上位ｘ個（ｘは、映像符号化装置１０ａ側からネットワーク３０（例えばＣＤＮ（Content Delivery Network））までに使用できる帯域や、もしくは映像配信システム１００の運用者あるいは映像符号化装置１０ａ側のサーバ性能から決定してもよい）までの領域を視聴対象領域として設定する。例えば、符号化対象設定部１０８は、過去のある時刻ｔ１〜ｔ２区間の視聴履歴の情報を用いて、これから配信される映像データ（例えば、時刻ｔ４に配信される映像データ）の映像上の視聴対象領域を設定する。なお、符号化対象設定部１０８は、設定が間に合えば時刻ｔ３に配信される映像データの映像上の視聴対象領域を設定してもよい。
【００４９】
視聴対象領域の設定方法としては、まず符号化対象設定部１０８は視聴履歴の情報を用いて、視聴回数で降順にソートする。符号化対象設定部１０８は、ソート結果を参照し、上位からｘ個までの領域を符号化対象領域として設定する。この際、符号化対象設定部１０８は、上位からｘ個までの領域に対して、上位であるほど優先順位が高くなるように優先順位を設定する。この上位ｘ個までの領域は、映像の視聴者が視聴する可能性が高いと推定される領域である。例えば、ｘが１である場合、上位ｘ個は、映像の視聴者が視聴する可能性が最も高いと推定される領域を表す。また、例えば、ｘが２以上である場合、上位ｘ個は、映像の視聴者が視聴する可能性が高いと推定される複数の領域を表す。符号化対象設定部１０８は、設定した符号化対象領域に関する情報と、各分割映像と、低解像度映像とを重要度設定部１０３ａに出力する。重要度設定部１０３ａは、符号化対象設定部１０８から出力された符号化対象領域に関する情報と、各分割映像と、低解像度映像とに基づいて、各分割映像と、低解像度映像とに対して重要度を設定する（ステップＳ２０２）。その後、ステップＳ１０４以降の処理が実行される。
【００５０】
以上のように構成された映像符号化装置１０ａによれば、第１の実施形態と同様の効果を得ることができる。
また、映像符号化装置１０ａは、映像の視聴者が視聴する可能性が高いと推定される領域が符号化の対象となる領域として設定される。これにより、インタラクティブ映像配信におけるライブ映像符号化処理において、あまり見られない位置の領域の符号化を削減することができる。これにより、視聴者から要求される注目領域の高解像度タイルを配信させる確率を向上させることができる。また、高解像度タイル数を維持できるため、視聴者の注目領域の変化に対して滑らかに注目領域を切替えることができる。その結果、視聴者の体感品質を高めることが可能になる。
また、あまり見られない位置の領域の符号化を削減することにより、視聴時の体感品質を損なうことなく符号化を行う数を抑制し、コンテンツサイズを大幅に削減可能になる。さらには、インタラクティブ映像配信に置いてＣＤＮ等のネットワーク負荷や映像データ保存容量を抑制することが可能になる。
＜変形例＞
第４の実施形態は、第１の実施形態と同様に変形されてもよい。
【００５１】
（第５の実施形態）
第５の実施形態では、符号化対象設定部１０８が、入力された映像に対して符号化対象領域を設定した後に、符号化対象領域を修正する。
具体的な処理について、図１０を用いて説明する。図１０は、第５の実施形態における映像符号化装置１０ａの処理を説明するための図である。ここで、第４の実施形態でのｔ＝ｔ４の優先順位の情報はあるものとする。図１０（Ａ）は第４の実施形態における時刻ｔ＝ｔ４の映像データに設定される符号化対象領域の例を表し、図１０（Ｂ）は本実施形態における時刻ｔ＝ｔ４の映像データに基づいて修正された符号化対象領域を表す。図１０（Ａ）に示す表は、時刻ｔ１〜ｔ２区間の視聴履歴の情報を用いて得られた結果である。
【００５２】
この場合、優先順位“１”は領域３とし、この領域３の位置修正を例に説明する。また、全ての領域のサイズは横方向Ｘｐｉｘｅｌ、縦方向Ｙｐｉｘｅｌとする。まず、領域３の各画素の輝度値をＴ（ｘ,ｙ）、（ｘ＝０，１，２,…,Ｘ−１、ｙ＝０，１，２,…,Ｙ−１）とする。さらに、修正先候補ｎ（ｎ＝１，２，３，…，Ｍ）のある領域（ここでは領域３のサイズを同じとする）の各画素の輝度値をＩｎ（ｘ,ｙ）（ｘ＝０，１，２,…,Ｘ−１、ｙ＝０，１，２,…,Ｙ−１）とする。
【００５３】
このとき、符号化対象設定部１０８は、修正先候補ｎとの類似度（ここでは、ＳＳＤｎとする）を、テンプレートマッチング法を用いて以下の式（１）に基づいて算出する。
【００５４】
【数１】
2017228949.tif 000003
【００５５】
符号化対象設定部１０８は、上記式（１）に基づく算出結果を用いて、ｍｉｎ（ＳＳＤｎ）となる修正先候補ｎｍｉｎを決定する。さらに、符号化対象設定部１０８は、修正先候補ｎｍｉｎの重心（このとき、座標系は高精度画像のものとする）と、修正後の符号化タイル位置候補の各重心との距離を比較することで、最も距離の近いものを最終的な修正後の符号化タイル位置（図６では領域１８）として設定する。なお、符号化対象設定部１０８は、その他の符号化対象領域に対しても同様の処理により、必要に応じて修正を行う。
【００５６】
以上のように構成された第５の実施形態における映像符号化装置１０ａによれば、第４実施形態と同様の効果を得ることができる。
また、第５の実施形態における映像符号化装置１０ａは、過去の視聴回数の結果に基づいて、これから配信される映像（例えば、時刻ｔ＝ｔ４に配信される映像）において符号化対象領域を設定した後に、これから配信する映像（例えば、時刻ｔ＝ｔ４に配信する映像）の符号化対象領域を画像の特徴量に基づいて修正する。これにより、映像の視聴者が視聴する可能性が高いと推定される領域を高画質、高解像度で配信することが可能になる。
【００５７】
＜変形例＞
第５の実施形態は、第１の実施形態と同様に変形されてもよい。
【００５８】
（第６の実施形態）
第６の実施形態では、符号化対象設定部１０８が、入力された映像に対して符号化対象領域を設定した後に、時刻ｔ１の映像から各符号化対象領域の各位置をトラッキング（位置追跡）して、これから配信する映像データ（例えば、図７における時刻ｔ＝ｔ４の映像データ）における修正後の符号化対象領域の位置を算出する。ここで、時刻ｔ１におけるタイル位置から時刻ｔ４までのトラッキング方法は、例えば、上式１と修正先候補ｎｍｉｎを時刻毎に繰り返すことで得られる。さらに、符号化対象設定部１０８は、その後に行う符号化対象領域の修正も第５の実施形態と同じ手法で実施することができる。
【００５９】
以上のように構成された第６の実施形態における映像符号化装置１０ａによれば、第５の実施形態と同様の効果を得ることができる。
【００６０】
＜変形例＞
第６の実施形態は、第１の実施形態と同様に変形されてもよい。
【００６１】
（第７の実施形態）
第７の実施形態では、符号化対象設定部１０８が、入力された映像に対して符号化対象領域を設定した後に、過去のある時刻（例えば、時刻ｔ＝ｔ１）の映像で設定した符号化対象領域の各位置から、過去の統計情報に基づいて、これから配信する映像データ（例えば、図７における時刻ｔ＝ｔ４の映像データ）における修正後の符号化対象領域の位置を算出する。ここで、過去の統計情報とは、符号化対象領域の位置の修正前後での、明るさの割合、エッジ量の割合、動きベクトル量の割合等を指し、同一コンテンツの過去の時間帯において（もしくは、他の過去のコンテンツでも良い）、良く見られていた（＝視聴回数の多い）時の割合に近い領域の位置に修正することを表す。
【００６２】
以上のように構成された第７の実施形態における映像符号化装置１０ａによれば、第５の実施形態と同様の効果を得ることができる。
【００６３】
＜変形例＞
第７の実施形態は、第１の実施形態と同様に変形されてもよい。
【００６４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６５】
１０、１０ａ…映像符号化装置，  ２０…視聴クライアント，  ３０…ネットワーク，  １０１…映像入力部，  １０２…分割及び解像度変換部，  １０３、１０３ａ…重要度設定部，  １０４…優先度設定部，  １０５…符号化部，  １０５１（１０５１−１〜１０５１−Ｎ）…優先度別符号化部，  １０６、１０６ａ…多重化部，  １０７…配信部，  １０８…符号化対象設定部
【図１】
2017228949.tif 000004
【図２】
2017228949.tif 000005
【図３】
2017228949.tif 000006
【図４】
2017228949.tif 000007
【図５】
2017228949.tif 000008
【図６】
2017228949.tif 000009
【図７】
2017228949.tif 000010
【図８】
2017228949.tif 000011
【図９】
2017228949.tif 000012
【図１０】
2017228949.tif 000013
【図１１】
2017228949.tif 000014