(57)【要約】【課題】映像のタイル状領域のエンコード時に、映像内容に応じて効率的なビットレート割り当てを行うことができるエンコード方法を提供する。【解決手段】映像をエンコードするエンコード方法であって、映像をタイル状領域映像に分割するタイル分割ステップと、タイル状領域映像をエンコードする第１のエンコードステップと、エンコードされたタイル状領域映像をユーザの視聴要求に応じて配信した頻度である配信頻度を記憶する配信頻度記憶ステップと、配信頻度を所定のビットレートに掛けることによりタイル状領域映像に対するビットレートを算出するビットレート算出ステップと、算出したビットレートに従いタイル状領域映像をエンコードし直す第２のエンコードステップとを有する。【選択図】図１
2015213277.tif 000002
【特許請求の範囲】
【請求項１】
映像をエンコードするエンコード方法であって、
前記映像をタイル状領域映像に分割するタイル分割ステップと、
前記タイル状領域映像をエンコードする第１のエンコードステップと、
エンコードされた前記タイル状領域映像をユーザの視聴要求に応じて配信した頻度である配信頻度を記憶する配信頻度記憶ステップと、
前記配信頻度を所定のビットレートに掛けることにより前記タイル状領域映像に対するビットレートを算出するビットレート算出ステップと、
算出した前記ビットレートに従い前記タイル状領域映像をエンコードし直す第２のエンコードステップと
を有することを特徴とするエンコード方法。
【請求項２】
映像をエンコードするエンコード方法であって、
前記映像に関する所定の属性の値を算出する属性値算出ステップと、
前記映像をタイル状領域映像に分割するタイル分割ステップと、
前記タイル状領域映像に含まれる前記属性の値の割合を所定のビットレートに掛けて前記タイル状領域映像に対するビットレートを算出するビットレート算出ステップと、
算出した前記ビットレートに従い前記タイル状領域映像をエンコードするエンコードステップと
を有することを特徴とするエンコード方法。
【請求項３】
映像をエンコードするエンコード方法であって、
前記映像に関する所定の属性の値を算出する属性値算出ステップと、
前記映像をタイル状領域映像に分割するタイル分割ステップと、
前記タイル状領域映像をエンコードする第１のエンコードステップと、
エンコードされた前記タイル状領域映像をユーザの視聴要求に応じて配信した頻度である配信頻度を前記所定の属性の値ごとに記憶する配信頻度記憶ステップと、
前記所定の属性の値に対応する前記タイル状領域映像が配信された割合を算出する配信割合算出ステップと、
新たに入力された映像から前記タイル状領域映像を生成する際に、前記タイル状領域映像に割り当てるビットレートを、前記タイル状領域映像の属性の値に対応する配信割合を所定のビットレートに掛けて算出するビットレート算出ステップと、
算出した前記ビットレートに従い新たに入力された前記映像のタイル状領域映像をエンコードする第２のエンコードステップと
を有することを特徴とするエンコード方法。
【請求項４】
前記ビットレート算出ステップは、所定のビットレートが複数あり、
前記第２のエンコードステップは、前記複数のビットレートごとに前記タイル状領域映像をエンコードすることを特徴とする請求項１から３のいずれか１項に記載のエンコード方法。
【請求項５】
コンピュータに、請求項１から４のいずれか１項に記載のエンコード方法を実行させるためのエンコードプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像をエンコードするエンコード方法およびエンコードプログラムに関する。
【背景技術】
【０００２】
近年、４Ｋ映像、８Ｋ映像、パノラマ映像のような、現在主流であるＨＤ（High Definition）テレビに表示することのできる映像以上の画素を持った映像が登場している。それらの映像を一般的なＨＤテレビやそれよりも小さな画素数のパネルを持ったスマートフォンやタブレットのような端末で表示しようとした場合、元の高画質な映像を縮小する、一部を切り出して表示するといった、本来の映像ソースが持つ映像の精細さや内容が失われるような映像提示方法が一般的であった。
【０００３】
一方、映像ソースの持つ画素数よりも小さい画素数の端末でも、元の映像の精細さや内容を失うことがない視聴方法として、インタラクティブパノラマのような映像の部分配信技術が登場してきた（例えば、非特許文献１参照）。
【０００４】
非特許文献１の方法では、視聴者がタブレットやスマートフォン、コントローラといったデバイスで選択した位置、画角に応じて最も適切な解像度を持ったタイル領域をデコードして提示することができる。図７は、非特許文献１の矩形映像において、複数のタイル領域をエンコードする方法を示す説明図である。図７に示すように、非特許文献１では、予め映像を複数の解像度（解像度［１］、解像度［２］、・・・、解像度［ｎ］）に分け、さらにそれらの複数解像度映像を予め決められた大きさのタイル領域に区切り、解像度毎に予め決められたビットレートでエンコードしておく。そして、デバイスで選択した位置、画角に応じて最も適切な解像度を持ったタイル領域をデコードして提示する。視聴者は位置・画角の選択をインタラクティブに行うことにより、見る位置や大きさを変更することができる。このため、映像の精細さを失わないだけでなく、映像そのものが持つ内容も失うことがない。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Hideaki Kimata, Daisuke Ochi, Akio Kameda, Hajime Noto, Katsuhiko Fukazawa, Akira Kojima,"Mobile and Multi-device Interactive Panorama Video Distribution System," IEEE GCCE 2012, 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、このようなインタラクティブパノラマのような技術を含め、一般的な映像をタイル状領域に区切ってエンコードする場合、すべてのタイル状領域を一定のビットレートでエンコードすることが一般的である。またはタイル状領域内の映像のエッジの量に応じてエンコードを行うことや、対象となるタイル状領域の近傍・近接のタイル状領域の映像のエッジの量も加味してエンコードを行うといった、映像内容を無視したビットレートの決定が一般的である。また、従来技術のエンコードでは、画像中のエッジのような映像特徴のみを考慮してビットレートを決定するのが一般的である。
【０００７】
人はそれぞれ嗜好が異なるため、同じ映像を見ていても人によって見る位置が異なることは言うまでもない。これは映像によってはよく人に見られる位置（人気がある位置）とそうではない位置が存在するともいえる。従来のような画一的な方法によって映像内のタイル状領域をエンコードしてしまうと、人気のない位置にも高ビットレートを割り当てることになってしまうという問題がある。また、その反対で人気のある位置に低ビットレートが割り当てられてしまうといった非効率なビットレート割り当てが行われる可能性があるという問題もある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、映像のタイル状領域のエンコード時に、映像内容に応じて効率的なビットレート割り当てを行うことができるエンコード方法およびエンコードプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、映像をエンコードするエンコード方法であって、前記映像をタイル状領域映像に分割するタイル分割ステップと、前記タイル状領域映像をエンコードする第１のエンコードステップと、エンコードされた前記タイル状領域映像をユーザの視聴要求に応じて配信した頻度である配信頻度を記憶する配信頻度記憶ステップと、前記配信頻度を所定のビットレートに掛けることにより前記タイル状領域映像に対するビットレートを算出するビットレート算出ステップと、算出した前記ビットレートに従い前記タイル状領域映像をエンコードし直す第２のエンコードステップとを有することを特徴とする。
【００１０】
本発明は、映像をエンコードするエンコード方法であって、前記映像に関する所定の属性の値を算出する属性値算出ステップと、前記映像をタイル状領域映像に分割するタイル分割ステップと、前記タイル状領域映像に含まれる前記属性の値の割合を所定のビットレートに掛けて前記タイル状領域映像に対するビットレートを算出するビットレート算出ステップと、算出した前記ビットレートに従い前記タイル状領域映像をエンコードするエンコードステップとを有することを特徴とする。
【００１１】
本発明は、映像をエンコードするエンコード方法であって、前記映像に関する所定の属性の値を算出する属性値算出ステップと、前記映像をタイル状領域映像に分割するタイル分割ステップと、前記タイル状領域映像をエンコードする第１のエンコードステップと、エンコードされた前記タイル状領域映像をユーザの視聴要求に応じて配信した頻度である配信頻度を前記所定の属性の値ごとに記憶する配信頻度記憶ステップと、前記所定の属性の値に対応する前記タイル状領域映像が配信された割合を算出する配信割合算出ステップと、新たに入力された映像から前記タイル状領域映像を生成する際に、前記タイル状領域映像に割り当てるビットレートを、前記タイル状領域映像の属性の値に対応する配信割合を所定のビットレートに掛けて算出するビットレート算出ステップと、算出した前記ビットレートに従い新たに入力された前記映像のタイル状領域映像をエンコードする第２のエンコードステップとを有することを特徴とする。
【００１２】
本発明は、前記ビットレート算出ステップは、所定のビットレートが複数あり、前記第２のエンコードステップは、前記複数のビットレートごとに前記タイル状領域映像をエンコードすることを特徴とする。
【００１３】
本発明は、コンピュータに、前記エンコード方法を実行させるためのエンコードプログラムである。
【発明の効果】
【００１４】
本発明によれば、映像のタイル状領域のエンコード時に、映像内容に応じて効率的なビットレート割り当てを行うことができるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態システムの全体構成を示すブロック図である。
【図２】図１に示すシステムを実際の装置で実現した例を示す図である。
【図３】第１実施形態による図１に示すエンコード装置におけるエンコード処理の動作を示す説明図である。
【図４】第２実施形態による図１に示すエンコード装置の処理動作を示す図である。
【図５】第３実施形態による図１に示すエンコード装置の処理動作を示す図である。
【図６】第１〜第３実施形態を組み合わせてＷｅｂＲＴＣを活用したリアルタイム映像配信を実現したシステムの構成を示すブロック図である。
【図７】非特許文献１の矩形映像において、複数のタイル領域をエンコードする方法を示す説明図である。
【発明を実施するための形態】
【００１６】
＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態によるエンコード装置を説明する。図１は同実施形態のシステムの全体構成を示すブロック図である。この図において、符号１は、４Ｋ／８Ｋカメラ等を含む一般的なビデオカメラ、パノラマ映像撮影用全天周カメラ・複数台ビデオカメラ等、映像を撮像することが可能なあらゆるデバイスで構成する映像撮影部である。符号２は、映像撮像部１で撮影された映像を保持する映像記憶部である。符号３は、決定されたビットレートで映像をエンコードする映像圧縮部である。映像圧縮部３は、映像ソースの複数解像度化、タイル領域分割も行う。
【００１７】
符号４は、映像圧縮部３においてエンコードされた映像を記憶する圧縮映像記憶部である。符号５は、要求されたタイル領域を配信する映像配信部である。配信したタイル状領域の数はログとして記録される。符号６は、過去にエンコードしたタイル状領域の映像特徴・映像内容とそこに割り当てたビットレートを記憶しておくビットレート記憶部である。
【００１８】
符号７は、映像配信部５における配信ログから得られるタイル状領域の配信頻度（視聴頻度）、映像圧縮部３におけるタイル状領域の映像特徴・映像内容、ビットレート記憶部６に記憶された過去のタイル状領域の映像特徴・映像内容に応じたビットレート値などを元に映像圧縮部３に入力された映像の各タイル状領域のビットレートを決定するビットレート決定部である。各タイル領域に割り当てるビットレートの算出についての動作は後述する。符号８は、情報通信可能なネットワークである。
【００１９】
符号９は、映像配信部５から配信されるタイル領域を受信する映像受信部である。符号１０は、映像受信部９において受信された映像を予め決められた単位（時間）分揃うまで格納する映像バッファ部である。映像バッファ部１０は、映像を扱う上では映像配信部５と映像受信部９間の経路揺らぎ等による映像データ到着にかかる時間の揺らぎを吸収するために用いる。符号１１は、映像受信部９から渡されるエンコードされた映像データをデコードする映像展開部である。
【００２０】
符号１２は、映像展開部１１においてデコードされた映像データをユーザが視聴できる形に描画する映像描画部である。ここでは一般的なモニタや３次元モニタ、プロジェクタ、ＨＭＤ（ヘッドマウントディスプレイ）、スマートフォン、タブレットといった表示デバイスで構成する。符号１３は、ユーザの所望する位置や画角を入力するユーザ入力部である。ユーザ入力部１３は、例えば、コントローラ、マウス、キーボード、スマートフォンやタブレットのタッチインタフェースといった入力デバイスだけでなく、方位センサ、加速度センサなどのセンサからの入力等も含む。符号１４は、ユーザ入力部１３からの入力に応じて必要となるタイル領域を要求する映像要求部である。
【００２１】
次に、図２を参照して、図１に示すシステムを実際の装置で実現した例について説明する。図２は、図１に示すシステムを実際の装置で実現した例を示す図である。まず映像撮影部１は、全天周カメラで構成する。映像記憶部２は、ストレージで構成する。映像圧縮部３、ビットレート決定部６、ビットレート記憶部７は、エンコードＰＣ（パソコン）２０で構成する。圧縮映像記憶部４と映像配信部５は、配信サーバ３０で構成する。ネットワーク８はインターネットを用いる。
【００２２】
映像要求部１４、映像受信部９、映像バッファ部１０及び映像展開部１１は、ＨＭＤ（ヘッドマウントディスプレイ）が、接続されたクライアントＰＣ４０で構成する。映像要求部１４、映像受信部９、映像展開部１１は、クライアントＰＣ４０上のアプリケーション５０で実現する。映像バッファ部９は、クライアントＰＣ４０搭載のメモリで実現する。
【００２３】
映像描画部１２とユーザ入力部１３は、ヘッドマウントディスプレイ６０で構成する。映像描画部１２は、ヘッドマウントディスプレイ６０搭載のディスプレイで実現する。ユーザ入力部１３は、ヘッドマウントディスプレイ６０搭載のジャイロで実現する。
【００２４】
なお、システムの形態としては、各役割がそれぞれ別の物理システム上で動いていてもかまわないし、複数の役割が同一のシステム内で動いていてもかまわない。また、それぞれの役割の間は有線・無線にかかわらず、ネットワークで接続されていることや同じシステム内のバスで接続されているなど、形態は問わない。
【００２５】
次に、図３を参照して、図１に示すエンコード装置におけるエンコード処理の動作を説明する。図３は、図１に示すエンコード装置におけるエンコード処理の動作を示す説明図である。図３で例示している初期ビットレート値、全体ビットレート値、視聴頻度、最低ビットレート値、ビットレート更新間隔等はあくまで例であり、これに限定されるものではない。
【００２６】
図３（ａ）は、ビットレート決定部７が割り当てるビットレートの初期値の一例を示している。数値はビットレート初期値、単位はｋｂｐｓである。全体で２０００ｋｂｐｓは予め決められているとする。タイル状領域に分割され、すべて同じビットレートでエンコードする。なお、図３（ａ）は１解像度を例示したものである。
【００２７】
図３（ｂ）は、所定の時間経過後、例えば、１時間後、すなわち１時間に各タイル状領域毎の配信数を示す。数値は初期値から１時間の間に配信したタイル数とパーセンテージを示す。パーセンテージの算出方法は、例えば、対象となるタイル状領域が含まれるフレームにおいて１時間の間に対象となるタイルがどの程度配信されたかで算出することや、同じ映像における過去からの全タイル状領域の配信数に対して、対象となるタイル状領域の過去からの配信数で算出するなど、視聴頻度を割合で表せればその算出方法は問わない。  
【００２８】
視聴頻度（割合）に応じて２０００ｋｂｐｓを配分すると、図３（ｃ）のようになる。なお、数値はビットレート、単位はｋｂｐｓである。ただし最低ビットレートは１０ｋｂｐｓとした。また、ビットレート算出の式を示すと（１）式の通りである。
割り当てるビットレート＝（２０００−１２０）×視聴頻度（割合）  ・・・（１）
（１）式中、１２０は最低ビットレート分である。
【００２９】
最後に、映像圧縮部３は、ビットレート決定部７において決定したビットレートでエンコードし直す。以降、所定の時間間隔で、図３（ｂ）と図３（ｃ）に示す処理を実行し、再エンコードを続行する。
【００３０】
なお、視聴頻度として割合を用いたが、配信数の絶対数に応じてビットレートを増やす／減らす等でもよい。したがって、全体ビットレート値は予め決めておく必要はない。また、全体ビットレート量を大きいものから小さいものまで複数用意し、それぞれの全体ビットレート量で割り出された各タイル状領域のビットレートのセットをすべて保存しておけば、ユーザの回線品質が分かった時、遅い回線にはなるべくビットレートの低いセット、早い回線は早いセットを用いた配信が可能となる。
【００３１】
第１実施形態によれば、以下の効果を得ることができる。これまで画一的に行われてきた映像のタイル状領域のエンコードが、ユーザの視聴頻度に応じて、よく見た位置であればあるほど高ビットレートが割り当てられ、見なかった位置であればあるほどビットレートを抑えることができるため、ユーザの体感品質を保ちつつ映像全体のビットレートを節約する（減らす）ことができる。
【００３２】
なお、ビットレートを節約するということは、映像配信時のネットワーク帯域の節約や、映像保存時の保存領域節約、映像エンコード時のエンコーダの計算機リソース節約、エンコード時間の節約できるといった効果がある。
【００３３】
＜第２実施形態＞
次に、本発明の第２実施形態によるエンコード装置を説明する。図４は、第２実施形態による図１に示すエンコード装置の処理動作を示す図である。図４で例示している各タイル状領域に割り当てる最大のビットレート値、最低ビットレート値はあくまで例であり、これに限定されるものではない。
【００３４】
図４（ａ）では、任意の映像の１解像度１フレームをタイル状領域に区切って例示している。映像中に移っている人の顔については、ｏｐｅｎＣＶ等を公知の技術を使い画像認識することが可能であり、事前に認識されているものとする。
【００３５】
図４（ｂ）は、各タイル状領域中に顔画像が占める面積の割合（属性値）を示したものである。図４（ｃ）は、顔面積割合に応じて各タイル状領域に割り当てるビットレートを「２００ｋｂｐｓ×割合」で計算したものである。なお、２００ｋｂｐｓは例である。表の数値はビットレート例であり単位はｋｂｐｓである。ただし最低ビットレートは１０ｋｂｐｓとした。
【００３６】
最後に、映像圧縮部３は、図４（ｃ）のようにビットレート決定部７において決定されたビットレートに従いエンコードする。
【００３７】
なお、顔画像の面積の割合を例として挙げたが、人物領域や特定のオブジェクトが占める領域の比、明るさの割合（タイル状領域の全ピクセルを最も明るいとしたときとタイル状領域の各ピクセルの明るさの和の比）、エッジ量の割合（タイル状領域の全ピクセルが全てエッジとしたときとタイル状領域の各ピクセルのエッジ量の和の比）、動きベクトル量の割合（タイル状領域の全ピクセルが所定の動きベクトル量を持つとしたときとタイル状領域の各ピクセルの動きベクトル量の和の比）、サリエンシの割合（タイル状領域の全ピクセルが全てサリエントであるとしたときとタイル状領域の各ピクセルのサリエンシの和の比）、色強度の割合（タイル状領域の全ピクセルが全て所定の色であるとしたときとタイル状領域の各ピクセルの所定の色強度の和の比）等でも構わない。
【００３８】
また、第１実施形態に記載の視聴頻度の処理を併せて使ってもよい。すなわち、人気があって、かつ顔領域（例）を多く含めば含むほど高いビットレートを割り振ってもよい。また、全体ビットレート量を大きいものから小さいものまで複数用意し、それぞれの全体ビットレート量で割り出された各タイル状領域のビットレートのセットをすべて保存しておけば、ユーザの回線品質が分かった時、遅い回線にはなるべくビットレートの低いセット、早い回線は早いセットを用いた配信が可能となる。
【００３９】
第２実施形態によれば、映像中のよく見られるであろう位置、つまり人物トラッキング等で被写体が映っている位置や映像解析によって求めたサリエントな領域を多く含む割合に応じてビットレート割り当てを変更することで、同じくユーザの体感品質を保ちつつ映像全体のビットレートを節約する（減らす）ことができる。
【００４０】
なお、ビットレートを節約するということは、映像配信時のネットワーク帯域の節約や、映像保存時の保存領域節約、映像エンコード時のエンコーダの計算機リソース節約、エンコード時間の節約できるといった効果がある。
【００４１】
＜第３実施形態＞
次に、本発明の第３実施形態によるエンコード装置を説明する。図５は、第３実施形態による図１に示すエンコード装置の処理動作を示す図である。図５（ａ）は、任意の映像の各タイル状領域における輝度値の平均を、１解像度１フレームをタイル状領域に区切って例示したものである。輝度の平均（ここでは２５６段階とする）は、ｏｐｅｎＣＶ等の公知の技術を使い計算することができ、事前に計算されているものとする。
【００４２】
図５（ｂ）は、映像の各タイル状領域の視聴頻度計測を毎時間（任意の１時間の視聴回数）行ったものである。下段の数値は対象となる１フレーム内における視聴割合を示すものである。この計測を全フレーム、全解像度について実施する。
【００４３】
図５（ｃ）に記載のような、輝度毎の視聴回数のデータベースを作成する。このデータベースは、ある輝度を持ったタイル状領域は過去にどのくらい見られていたかが分かる検出器に相当するものである。図５（ｃ）のデータベースは複数の配信映像に対して一つ構成する。
【００４４】
図５（ｄ）の上段の数値は、新たな映像の任意の１解像度１フレームにおけるタイル状領域の輝度値（属性値）を算出したものである。下段の数値は全体で２０００ｋｂｐｓ  とした場合における過去の輝度値から予測したビットレートであり、単位はｋｂｐｓ、最低ビットレートは１０ｋｂｐｓとしたものである。ビットレート決定部７は、各タイルに割り当てるビットレートを（２）式で算出する。
割り当てるビットレート＝２０００ｋｂｐｓ×データベース上の各輝度における視聴割合  ・・・（２）
【００４５】
なお、今回示したのはある映像の１フレームのみであるが、実際にはデータベースは映像の全フレームの全タイル状領域にわたって算出された輝度値と視聴頻度を元に作られる。今回示す輝度値のような映像の特徴量はその大きさや最大・最小値は決まっていることが多い（たとえば２５６段階など）ため、その特徴量をあらかじめ決めた幅で区切る等しておけば、新たな映像の未知の輝度値を持ったタイル状領域も必ずどこかの幅に入るため、割り当てるビットレートを決めることが可能となる。
【００４６】
新たな映像は初期値のビットレートは過去のデータベースを参照して決定されるが、初期値決定後は、各タイル状領域の視聴頻度に基づき、視聴回数をデータベースに登録されていくものとする。データベースを逐次更新しながら、新たな映像だけでなく、任意のタイミングで既存の映像に対しても、最新のデータベース情報を元にビットレート割り当てを変えてもよい。
【００４７】
ここでは画像特徴として各タイル状領域内の輝度平均を用いたが、同じく画像特徴量であるサリエンシ値、エッジ量、動きベクトル量等、その指標は問わない。また、第２実施形態のような顔面積でも構わない。
【００４８】
また、全体ビットレート量を大きいものから小さいものまで複数用意し、それぞれの全体ビットレート量で割り出された各タイル状領域のビットレートのセットをすべて保存しておけば、ユーザの回線品質が分かった時、遅い回線にはなるべくビットレートの低いセット、早い回線は早いセットを用いた配信が可能となる。ここで用いた全体ビットレート量、データベースの更新間隔、最低ビットレートはこの限りではない。
【００４９】
第３実施形態によれば、各タイル状領域の映像内容と視聴頻度を蓄積し、どのような映像特徴があった場合はどのくらい視聴されているかといった学習サイクルを回し、データベースを構築することで、視聴頻度等の分からない新たな映像やよく見られる部分が持つ特徴が変わった場合に対しても効率的なビットレート割り当てが可能となる。また、全体ビットレート量の異なる複数セットのビットレートを持つタイル状領域を保持することで、どのような品質の回線においても、よく見られるタイル状領域は高いビットレート、あまり見られないタイル状領域は低いビットレートを提示でき、限られた帯域の中で効率の良いビットレート割り当てができる。
【００５０】
＜第４実施形態＞
次に、本発明の第４実施形態によるエンコード装置を説明する。第１〜第３実施形態では、ＶＯＤ（ビデオ・オン・デマンド）を適用した場合の説明であったが、テレビ会議のような複数人リアルタイムコミュニケーションにおいても、同様のことは実施可能である。
【００５１】
図６は、第１〜第３実施形態を組み合わせてＷｅｂＲＴＣを活用したリアルタイム映像配信を実現したシステムの構成を示すブロック図である。図６において、サーバ２１は、内部に映像特徴と視聴頻度のデータベースを持ち、各ＰＣ２２，２３、２４に配布する。ＰＣ２２、２３、２４は、撮影からデータベースに応じたエンコード・配信までを行う。ただし、各ＰＣ２２、２３、２４に接続されたカメラ２５、２６、２７からの映像をサーバ２１において集約してエンコード・配信を行ってもよい。また、サーバ２１とＰＣ２２、２３、２４とのコミュニケーションにおいてはＷｅｂＲＴＣ等の公知の技術を使用すればよい。
【００５２】
なお、前述した説明においては隣り合う各タイル領域は重複領域（互いに重なり合う部分）を持たない例で説明したが、決められた量だけ重複領域を持っていてもよい。
【００５３】
以上説明したように、映像のタイル状領域のエンコード時に、映像内容を無視した、または映像特徴のみを考慮するような非効率なビットレート割り当てを回避し、映像の内容（人が良く見るであろう位置）や実際の人の視聴頻度等に応じて、ビットレートを変えてエンコードすることで効率的なビットレート割り当てを行うようにした。
【００５４】
また、映像内容や視聴頻度を定期的にエンコーダにフィードバックし、定期的にエンコードをし直すことにより、ユーザの視聴傾向が変わる（人気の被写体が時期によって変わる等）ような場合にも、常に効率的なビットレート割り当てを動的に行うようにした。
【００５５】
また、各タイル状領域に映った映像内容（エッジの量やサリエンシ等の映像特徴）とエンコード結果（割り当てたビットレート）を記憶しておき、新たな（視聴頻度の分からない）映像をエンコードする際、過去のエンコード結果から割り当てるべきビットレートを自動的に決定するようにした。  
【００５６】
この構成により、これまで画一的に行われてきた映像のタイル状領域のエンコードが、ユーザの視聴頻度に応じて、よく見た位置であればあるほど高ビットレートが割り当てられ、見なかった位置であればあるほどビットレートを抑えることができるため、ユーザの体感品質を保ちつつ映像全体のビットレートを節約する（減らす）ことができる。
【００５７】
また、映像中のよく見られるであろう位置、つまり人物トラッキング等で被写体が映っている位置や映像解析によって求めたサリエント（ｓａｌｉｅｎｔ、画像処理ではｓａｌｉｅｎｃｙ  ｍａｐといった画像の顕著性マップからユーザに注目されそうな部分を明確化する手法がある）な領域を多く含む割合に応じてビットレート割り当てを変更することで、同じくユーザの体感品質を保ちつつ映像全体のビットレートを節約する（減らす）ことができる。
【００５８】
また、各タイル状領域の映像内容とエンコード結果を蓄積し、どのような映像特徴があった場合はどのくらいのビットレートを割り当てるといった学習サイクルを回すことで、視聴頻度等の分からない新たな映像やよく見られる部分が持つ特徴が変わった場合に対しても効率的なビットレート割り当てが可能となる。
【００５９】
なお、ビットレートを節約するということは、映像配信時のネットワーク帯域の節約や、映像保存時の保存領域節約、映像エンコード時のエンコーダの計算機リソース節約、エンコード時間の節約できるといった効果がある。
【００６０】
前述した実施形態におけるエンコード装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００６１】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００６２】
映像のタイル状領域のエンコード時に、映像内容に応じて効率的なビットレート割り当てを行うことが不可欠な用途に適用できる。
【符号の説明】
【００６３】
１・・・映像撮影部、２・・・映像記憶部、３・・・映像圧縮部、４・・・圧縮映像記憶部、５・・・映像配信部、６・・・ビットレート記憶部、７・・・ビットレート決定部、８・・・ネットワーク、９・・・映像受信部、１０・・・映像バッファ部、１１・・・映像展開部、１２・・・映像描画部、１３・・・ユーザ入力部、１４・・・映像要求部
【図１】
2015213277.tif 000003
【図２】
2015213277.tif 000004
【図３】
2015213277.tif 000005
【図４】
2015213277.tif 000006
【図５】
2015213277.tif 000007
【図６】
2015213277.tif 000008
【図７】
2015213277.tif 000009