(57)【要約】      （修正有）【課題】１つの映像ストリームを、限られた伝送帯域で、観察者の注目する領域の画質を高め、さらに多数の利用者に対して配信サーバ側の負荷増大を少なくすることができる符号化装置を提供する。【解決手段】符号化装置は、配信対象の映像を入力する映像入力部と、映像の注目領域毎に異なる重み分布を付与する重み付け部３３と、重み分布に応じた符号量となるように符号化を行ったビットストリームを複数生成する符号化部３４とを備える。【選択図】図３
2018026677.tif 000002
【特許請求の範囲】
【請求項１】
配信対象の映像を入力する映像入力部と、
前記映像の注目領域毎に異なる重み分布を付与する重み付け部と、
前記重み分布に応じた符号量となるように符号化を行ったビットストリームを複数生成する符号化部と
を備えた符号化装置。
【請求項２】
前記重み付け部は、
前記映像の所定領域ごとに重み付けを行う第１の重み付けと、
前記映像から注目領域を抽出して重み付けを行う第２の重み付けと、
他のユーザの判断をフィードバックして注目領域を抽出して重み付けを行う第３の重み付けと、
前記映像の内容に基づいて手作業で注目領域を抽出して重み付けを行う第４の重み付けと、
前記映像を見るときの地理的位置により注目領域を抽出して重み付けを行う第５の重み付け
とのうち、少なくとも一つの重み付けを用いて前記重み分布を付与する請求項１に記載の符号化装置。
【請求項３】
配信対象の映像を入力する映像入力部を備えた符号化装置が行う符号化方法であって、
前記映像の注目領域毎に異なる重み分布を付与する重み付けステップと、
前記重み分布に応じた符号量となるように符号化を行ったビットストリームを複数生成する符号化ステップと
を有する符号化方法。
【請求項４】
コンピュータを、請求項１または２に記載の符号化装置として機能させるための符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、符号化方法及び符号化プログラムに関する。
【背景技術】
【０００２】
従来から、入力映像を複数解像度に変換し、それらをタイルと呼ばれる部分領域ごとに分割して符号化しておくことにより、限られた帯域で全体映像と高解像度映像を配信することができる映像配信システムが知られている。この映像配信システムは、視聴者からの注目領域の要求に応じて、全体の低解像度タイルと、注目領域の高解像度タイルを配信し、再生端末側で表示する際、低解像度タイルの注目領域部分のみの画素を高解像度タイルの画素と置き換えることで、注目領域が変更された場合にも映像が途切れることを防止することができる。
【０００３】
ここで領域に関する言葉を定義しておく。注目領域とは、ＲＯＩ（Region of Interest）と呼ばれ、大きなサイズの映像のうち、視聴者が注目している映像の一部の領域のことである。ただし、注目領域の大きさは視聴者によって変更可能であり、注目領域を最大の注目領域とした場合は、注目領域と映像サイズが一致する場合もある。タイルとは、全領域の映像を複数の小さい部分領域に分けたものである。部分領域とは、全領域を予め決められた数の小さな矩形領域に分割したものであり、複数の部分領域を組み合わせてタイルが構成される場合もある。最小範囲領域とは、注目領域に対応するビットストリームを得る際に分割する必要がない映像の部分領域を纏めた映像の部分領域の集合または部分領域そのものである。
【０００４】
図１４は、映像配信システムの構成を示す図である。この図において、符号１は、映像を配信する配信サーバである。符号２１は、ヘッドマウントディスプレイで構成された端末装置である。符号２２は、液晶ディスプレイ等で構成されたデスクトップ型の端末装置である。符号２３は、スマートフォンを挿入して簡易型のヘッドマウントディスプレイを構成する端末装置である。
【０００５】
配信サーバ１では、図１４に示すように、入力映像を複数解像度に変換し、それらをタイルと呼ばれる領域ごとに分割して符号化しておく。そして、配信サーバ１は、端末装置２１〜２３のいずれかからのタイル配信要求に応じて、２枚のタイルを配信する。配信された２枚のタイルを表示する際に、低解像度タイルＢの注目領域部分のみの画素を高解像度タイルＡの画素と置き換えて端末装置２１〜２３の画面に表示する。
【０００６】
図１４においては、タイルＡは高解像度のタイルであり、これが注目領域となる。一方、タイルＢは低解像度の注目領域を含む注目領域以上の広範囲のタイルであり、注目領域が変更された場合に、高解像度のタイルが配信されるまでの間の映像としても用いられる。このようにすることにより、注目領域の変更があった場合でも映像が途切れることなる映像表示を行うことが可能となる。
【０００７】
次に、図１４に示す映像配信システムの詳細な構成と動作を説明する。図１５は、映像配信システムの詳細な構成を示すブロック図である。この図において、符号１は、映像配信を行う配信サーバである。符号２５は、形態を特定しない端末装置である。端末装置２５は、例えば、ヘッドマウントディスプレイ等である。
【０００８】
符号１１は、注目領域に対応するビットストリームを配信するためにビットストリームＲＯＩビットストリームを選択して配信する映像配信部である。符号１２は、注目領域（ＲＯＩ）毎の高画質映像のビットストリームが蓄積されているビットストリーム蓄積部である。符号１３は、全体領域の低画質映像のビットストリームが蓄積されている全体領域ビットストリーム蓄積部である。映像配信部１１は、ビットストリーム蓄積部１２に蓄積されたビットストリームのうち、ＲＯＩ候補領域のビットストリームを選択して配信するとともに、全体領域のビットストリームを併せて配信する。
【０００９】
符号２６は、視聴者の注目領域を特定する情報に基づいて、注目領域の配信要求を出す映像ストリーム要求部である。符号２７は、注目領域のビットストリームを復号して、注目領域の映像を得るＲＯＩ復号部である。符号２８は、全体領域のビットストリームを復号して、注目領域の映像を得る全体復号部である。符号２９は、低解像度タイルの注目領域部分のみの画素を高解像度タイルの画素と置き換えた映像合成して表示する映像合成表示部である。
【００１０】
次に、ビットストリーム蓄積部１２に符号化したビットストリームを出力する符号化装置について説明する。図１６は、配信サーバ１に符号化装置３を接続した構成を示すブロック図である。図１６において、図１５に示す部分と同一の部分には、同じ符号を付与してその説明を省略する。符号化装置３は、例えば８分割された部分領域を含む全領域の映像を入力する。全領域符号化部３１は、映像（＝全領域の映像）を、公知の符号化方式（例えば各種標準規格など）で符号化して、映像に対応するビットストリームを得る。ＲＯＩ符号化部３１は、映像（＝全領域の映像）から、予め定めた複数個のＲＯＩそれぞれの映像に対応するビットストリームを得る。ＲＯＩ符号化部３１は、各ＲＯＩの映像を、それぞれ公知の符号化方式（例えば各種標準規格など）で符号化して、各ＲＯＩに対応するビットストリームを得て、ＲＯＩビットスリーム蓄積部に蓄積する。ＲＯＩ符号化部３１は、例えば、４つ部分領域からなるＲＯＩに対応するビットストリームを３つ得て（１、２、５、６の部分領域、２、３、６、７の部分領域、３、４、７、８の部分領域）、ＲＯＩビットストリーム蓄積部に蓄積する。
【００１１】
このように、従来の技術は、解像度と位置の異なる複数のタイルを符号化しておき、全体の低解像度のタイルと、観察者の注目領域の要求に応じた高解像度のタイルを配信し、利用者側端末で重ね合わせて表示することで、限られた帯域で広範囲・高解像度の映像を配信していた（例えば、特許文献１参照）。
【００１２】
また、利用者の注目領域の要求に応じて高精細な映像を再符号化(トランスコード)して配信する方式もある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特許第５４４９２４１号公報
【特許文献２】特許第３９３６７０８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
ところで、特許文献１では、２つ以上の映像ストリームで配信し、利用者端末側で合成して表示するため、映像ストリーム間の表示内容がずれることを防止するためには、端末装置側で２つの映像ストリームの再生時刻を合わせて表示させる同期処理が必要である。しかしながら、伝送路を通る２つの映像ストリームは必ずしも同時刻に端末装置側に到達するわけではない。そのため、一定期間ストリームを蓄積するバッファを持ち、すべての映像ストリームが到達するのを待ってから表示するために、余剰の遅延を生んでいた。
【００１５】
また、端末装置では、２つのストリームを受信し、復号化し、映像を合成して表示する仕組みが必要となるため、１つのストリームを受信・符号化する一般的な端末装置で動作させることができない。また、端末装置側での計算機負荷が増加するという問題がある。
【００１６】
また、ネットワーク構成や装置によっては１つの端末装置に２つ以上のストリームを配信することを想定していないため、配信ができないケースがある。特許文献２では、利用者側（クライアント側）からの要求に応じて、階層的に符号化されたデータをトランスコードして送信するため、利用者数が多くなった際には、処理の負荷が増大するという問題もある。
【００１７】
本発明は、このような事情に鑑みてなされたもので、映像ストリームに関し、限られた伝送帯域で観察者の注目する領域の画質を高め、さらに多数の利用者に対して配信サーバ側の負荷増大を少なくすることができる符号化を行う符号化装置、符号化方法及び符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明の一態様は、配信対象の映像を入力する映像入力部と、前記映像の注目領域毎に異なる重み分布を付与する重み付け部と、前記重み分布に応じた符号量となるように符号化を行ったビットストリームを複数生成する符号化部とを備えた符号化装置である。
【００１９】
本発明の一態様は、前記符号化装置であって、前記重み付け部は、前記映像の所定領域ごとに重み付けを行う第１の重み付けと、前記映像から注目領域を抽出して重み付けを行う第２の重み付けと、他のユーザの判断をフィードバックして注目領域を抽出して重み付けを行う第３の重み付けと、前記映像の内容に基づいて手作業で注目領域を抽出して重み付けを行う第４の重み付けと、前記映像を見るときの地理的位置により注目領域を抽出して重み付けを行う第５の重み付けとのうち、少なくとも一つの重み付けを用いて前記重み分布を付与する。
【００２０】
本発明の一態様は、配信対象の映像を入力する映像入力部を備えた符号化装置が行う符号化方法であって、前記映像の注目領域毎に異なる重み分布を付与する重み付けステップと、前記重み分布に応じた符号量となるように符号化を行ったビットストリームを複数生成する符号化ステップとを有する符号化方法である。
【００２１】
本発明の一態様は、コンピュータを、前記符号化装置として機能させるための符号化プログラムである。
【発明の効果】
【００２２】
本発明によれば、映像ストリームに関し、限られた伝送帯域で観察者の注目する領域の画質を高め、さらに多数の利用者に対して配信サーバ側の負荷の増大を抑えつつ、符号化を行うことができるという効果が得られる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態の構成を示すブロック図である。
【図２】図１に示す映像配信システムの詳細な構成を示すブロック図である。
【図３】図２に示すビットストリーム蓄積部１４にビットストリームを蓄積する符号化装置を配信サーバ１に接続した構成を示すブロック図である。
【図４】図２に示す端末装置２５詳細な構成を示すブロック図である。
【図５】局所重みを決定する動作を示す説明図である。
【図６】重み分布と映像の例を示す説明図である。
【図７】映像ストリーム毎に、正規分布に従う重み分布の中心座標、分散を記憶したテーブルの一例を示す説明図である。
【図８】魚眼レンズを搭載したカメラや複数のカメラで全方位撮影した映像を配信する例を示す説明図である。
【図９】重み分布の一例を示す説明図である。
【図１０】重み分布の一例を示す説明図である。
【図１１】第３実施形態による映像配信システムの構成を示すブロック図である。
【図１２】局所重み決定部３３の構成を示すブロック図である。
【図１３】局所重み決定部３３の構成を示すブロック図である。
【図１４】映像配信システムの構成を示す図である。
【図１５】映像配信システムの詳細な構成を示すブロック図である。
【図１６】配信サーバ１に符号化装置３を接続した構成を示すブロック図である。
【発明を実施するための形態】
【００２４】
＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像配信システムを説明する。図１は、本実施形態による映像配信システムの構成を示す図である。この図において、符号１は、映像を配信する配信サーバである。符号２１は、ヘッドマウントディスプレイで構成された端末装置である。符号２２は、液晶ディスプレイ等で構成されたデスクトップ型の端末装置である。符号２３は、スマートフォンを挿入して簡易型のヘッドマウントディスプレイを構成する端末装置である。
【００２５】
本実施形態による映像配信システムは、見ている領域（注目領域：ＲＯＩ）が他の領域よりも高画質な映像を視聴可能とするために、注目領域のほうがその他の部分より高画質な１つの映像のビットストリームを配信するものである。配信サーバ１は、端末装置２１、２２、２３からの配信要求に応じて、低画質の全領域映像Ｂの一部である注目領域（ＲＯＩ）が高画質映像Ｂになっているものをストリーミング配信を行う。
【００２６】
この映像配信システムを実現するために、想定される複数パターンそれぞれについて、所定の注目領域（ＲＯＩ）がその他の領域よりも高画質な１つの映像の１つのビットストリームを生成し、複数パターンのビットストリームから、１つのビットストリームを選択して、配信する。
【００２７】
次に、図２を参照して、図１に示す映像配信システムの詳細な構成について説明する。図２は、図１に示す映像配信システムの詳細な構成を示すブロック図である。図２において、符号１は、映像の配信を行う配信サーバである。配信サーバ１は、映像配信部１１とビットストリーム蓄積部１４とから構成する。映像配信部１１は、ビットストリーム１４蓄積部に蓄積されたビットストリームのうち、所望の注目領域に重み付けした全体領域ビットストリームを選択して配信する。ビットストリーム蓄積部１４は、予め定めた注目領域に重み付けした（＝予め定めた注目領域が、他の領域よりも高画質である）全体領域映像のビットストリームが、複数種類（複数個のビットストリーム。予め定めた注目領域がそれぞれ異なるビットストリーム。）蓄積されている。
【００２８】
符号２５は、形態を特定しない端末装置である。端末装置２５は、映像ストリーム要求部２５１と、復号部２５２と、表示部２５３とから構成する。映像ストリーム要求部２５１は、映像ストリームの配信要求として、視聴者の注目領域の情報含む配信要求を送出する。復号部２５２は、注目領域が重み付けされた全領域映像のビットストリームを復号して、注目領域が他の領域よりも高画質な映像を得る。表示部２５３は、注目領域が他の領域よりも高画質な映像を表示する。
【００２９】
次に、図３を参照して、図２に示すビットストリーム蓄積部１４にビットストリームを蓄積する符号化装置を配信サーバ１に接続した構成について説明する。図３は、図２に示すビットストリーム蓄積部１４にビットストリームを蓄積する符号化装置を配信サーバ１に接続した構成を示すブロック図である。符号化装置３は、局所重み決定部３３と符号化部３４とを備える。局所重み決定部３３は、全領域の映像中に局所的な重みを付ける。局所重み決定部３３の詳細については、後述する。符号化部３４は、映像（＝全領域の映像）から、予め定めた複数個の領域それぞれの映像に重み付けしたビットストリームを得る。そして、符号化部３４は、重みに従って、映像を、公知の符号化方式（例えば、各種標準規格など）で符号化して、ビットストリームを得る。符号化部３４は、例えば、３つのＲＯＩそれぞれに重み付けした全領域ビットストリームをそれぞれビットストリーム蓄積部１４に蓄積する。
【００３０】
局所重み決定部３３は、以下のいずれかに方法によって局所重み決定を行う。なお、以下の重み付けの方法を組み合わせて重み付けを行ってもよい。
（１）．映像の内容に関係なく映像を領域分けし、領域ごとに重みを決める。
（２）．ユーザの注目領域の基づいて映像を領域分けし、領域ごとに重みを決める。
（２）−１．映像のみから注目領域を抽出(サリエンシ値等)する。
（２）−２．他のユーザの判断をフィードバックして注目領域を抽出(ログ)する。
（２）−３．映像の内容に基づいて人手で領域分け(会場入り口領域等)する。
（３）．映像を見るときの地理的位置により映像を領域分けし、領域ごとに重みを決める。
【００３１】
次に、図４を参照して、図２に示す端末装置２５の詳細を説明する。図４は、図２に示す端末装置２５詳細な構成を示すブロック図である。図４に示す端末装置２５が、図２に示す端末装置２５と異なる点は、映像ストリーム要求部２５１が、要求方法設定部２５４と、注目領域検出部２５５と、注目領域情報決定部２５６と、タイル別重み情報記憶部２５７によって構成されている点である。要求方法設定部２５４は、ユーザの頭部の動きベクトルを選択入力する。注目領域検出部２５５は、ユーザの頭部の動きベクトルをユーザの視聴情報として入力し、頭部の動き予測による注目領域を推定する。注目領域情報決定部２５６は、推定した注目領域に基づくタイルの重みを、注目領域の情報として送出する。タイル別重み情報記憶部２５７は、タイル別重み情報を記憶する。ここでは、タイルが部分領域と同じサイズであるものとして説明する。
【００３２】
注目領域検出部２５５は、以下のいずれかの方法によって注目領域を検出する。
（ａ）．注目領域の動き（動きベクトル）
（ａ）−１．頭部の動き（外部センサを用いる）
（ａ）−２．視線の動き
（ｂ）．幾何学変換後の面積の大小（地理的位置）
（ｃ）．注目領域
（ｃ）−１．タッチパネルやマウスで入力
（ｃ）−２．視線検出（視点）の位置（外部センサを用いる）
（ｃ）−３．ログによる視聴傾向のフィードバック
（ｄ）．コンテンツの内容
【００３３】
また、注目領域情報決定部２５６は、前述の（ａ）（ｂ）（ｃ）（ｄ）のいずれか１つ以上でタイル別の重みを決定する。
【００３４】
次に、具体例を挙げて、前述した映像配信システムの動作を説明する。図５は、本実施形態による映像配信システムの例を示している。符号化部においては、元映像を入力として、複数の映像ストリームを符号化する。符号化にあたっては、映像が記録している領域のうち、注目領域に応じて局所的に符号量の重み付けが異なる重み分布（局所重み分布）をもとに複数の映像ストリームを符号化する。
【００３５】
図５においては、グレースケールにて重みを示しており、白い箇所ほど重みが大きく、符号量を多く割り当てる領域である。この重みがユーザの注目領域に相当し、ユーザが注目している領域の候補を仮定して符号量を多く割り当てられた映像ストリームを複数（ｎ通り）用意しておく。
【００３６】
図６は、重み分布と映像の例を示している。元映像は同一であるが、重みの分布に応じて符号量を割り当てた映像が符号化され、例えば符号Ａ１を重み分布として符号化した映像Ａ３は符号Ａ４の部分に多く符号量が割り当てられる。また、符号Ａ２を重み分布として符号化した映像Ａ３は符号Ａ５の部分に多く符号量が割り当てられ、画質が向上している。
【００３７】
注目領域の形状は例えば矩形や円形などを用いることができるが、特定の形状に限定されるものではない。また、領域の配置は規則的に等間隔に並んでいてもよいし、不規則であってもよい。また、重みは任意の離散値、連続値どちらで規定されていてもよい。
【００３８】
重みに基づいた符号量の割り当ては、例えば量子化ステップ数を変化させることで制御することができ、規格Ｈ．２６４などの符号化方式においては、Quantitative Parameterの係数を設定することで指示することができる。
【００３９】
映像配信部においては、複数の映像ストリームを選択し、ユーザに配信する。ユーザが注目する領域に基づいた要求に対して、ｎ個のストリームのうち１個が配信される。なお、映像ストリームはある時間間隔で区切ったものを配信すれば、時間間隔ごとに要求するストリームを変更することができる。
【００４０】
ここで、映像ストリームの要求はユーザ側にて行う。その実現方法としては、例えば、図４に示すような構成が考えられる。ユーザ側の端末装置２５においては、注目領域検出部２５５、注目領域情報決定部２５６、復号部２５２、表示部２５３を持つことで、ユーザが注目している部分の映像を高画質で観察することができる。
【００４１】
注目領域検出２５５においては、ユーザが映像のうちどこの箇所に注目しているかを検出する。注目領域は、ユーザの操作により映像全体のうち一部分を視聴しているような場合には、表示されている領域を注目領域として用いることができる。
【００４２】
ユーザの操作は、例えばマウス操作、タッチパネルによる操作を用いることができるほか、頭部搭載型の表示装置と組み合わせる場合には、頭部の動作を位置センサや加速度センサなどを用いて頭部の動きや向きにより操作を行うことも可能である。また、注目領域の検出手段の別の実現方法としては、画像処理や筋電位を用いた視線検出により実現することができる。
【００４３】
映像ストリーム要求部２５１においては、注目領域の情報を入力として、その注目領域に多く符号量が割り当てられ高画質な映像を映像配信部１１に対して要求する。注目する領域に対し、どの映像ストリームを要求するかという対応は、あらかじめテーブルやルールを共有する。
【００４４】
例えば、図７に示すようなテーブルにおいては、映像ストリーム毎に、正規分布に従う重み分布の中心座標、分散が記されている。もちろん重み分布は正規分布に限るわけではなく、矩形分布や任意の分布を用いることができる。
【００４５】
また、分布は必ずしもパラメータ化されている必要はなく、重み分布情報自体が映像配信部１１と映像ストリーム要求部２５１で共有するようにしてもよい。この場合、例えば重み分布を注目領域で積分し、最も値の大きな重み分布をもつ映像ストリームを特定して要求するようにしてもよい。また、重み分布の形状を表すそれらのテーブルやルール、もしくは重み分布情報自体は通信経路により配信してもよいし、記録装置により配布がされてもよい。
【００４６】
映像ストリームが要求されると、映像配信部１１は、ユーザに対して対応する映像ストリームが伝送路を介して配信される。ユーザ側の端末装置２５においては、この映像ストリームを復号部２５２により復号し、表示部２５３により表示する。ここで表示部２５３は復号された映像をそのまま平面ディスプレイに表示することも可能であるし、また、その一部を切り取って例えばタブレット型端末のディスプレイに表示するようにしてもよい。また、矩形状に表示するだけでなく、幾何的な処理により変形して（例えば円形）表示するようにしてもよい。その場合、配信された映像は、コンピュータグラフィクスにおけるテクスチャマッピング処理のテクスチャ映像として用いることもできる。
【００４７】
一例として、図８に示すように、魚眼レンズを搭載したカメラや複数のカメラで全方位撮影した映像を配信し、復号部２５２により復号した映像５４をコンピュータ空間上でユーザ視点を取り囲むように配置した球面５１にテクスチャとして貼り付け、ユーザの頭部の動作に合わせて視野の位置・方向を設定し、視野の前に設置した描画面５２に描画することができる。
【００４８】
このようにして描画した映像を頭部搭載型ディスプレイにて表示し、実際の空間上でのユーザの頭部動作を回転センサで検出してその動きに合わせて描画する映像を変化させることで、ユーザは全方位を見回したかのような映像を体験することができる。この場合、球面上におけるユーザの視野５３を注目領域と考えることができ、その映像５４上での対応領域５５の符号量が多く符号化された映像ストリームを映像配信部に要求することで、ユーザの視野内にあり、注目する付近の映像の品質が他の周辺領域に比べて高くなる。
【００４９】
ただし、ここで示したユーザ側の端末装置での実装は一例であり、映像符号化配信において、ユーザの注目する箇所に符号量を多く割り当て、同一条件の配信帯域でユーザの体感品質を高めるような符号化配信方法を提供するものであれば他の方法によって実現してもよい。
【００５０】
ここで、本実施形態における符号化処理の計算量は注目領域の数ｎにより決定され、ユーザ数ｍに依存しない。それにより、例えばユーザ数ｍが数百万など大規模になったとしても、サーバ側が符号化に要する計算機負荷は一定となり、配信の負荷のみが増大する。
【００５１】
配信の負荷を分散処理して解決する手段は、例えばＣＤＮ（Content delivery network）と呼ばれる仕組みが利用可能であり、公知の技術により解決可能である。
【００５２】
＜第２実施形態＞
次に、本発明の第２実施形態による映像配信システムを説明する。本実施形態では、ユーザ側の端末装置でユーザの視点の移動に応じた映像ストリームの要求を行い、映像配信部１１により配信をする。このようにすることで、ユーザが映像ストリームを要求してから配信されて届くまでの伝送経路やバッファでの遅延の影響を低減する。
【００５３】
前述した第１実施形態においては、注目領域が静止している場合には問題ではないが、移動している場合には、必ずしも重み付けをして符号量を多く割り当てた箇所を表示時にユーザが観察しているとは限らない。例えば、要求を行い、配信されて表示されるまでの遅延をΔｔとすると、この期間中に注目領域が移動した場合、必ずしも符号量を多く割り当てた領域を注目しているとは限らない。
【００５４】
例えば、注目領域の中心点（ｘ，ｙ）が速度ベクトル（Ｖｘ，Ｖｙ）で移動していた場合、表示をする際には要求をした位置（ｘ，ｙ）から（ｘ＋ＶｘΔｔ，ｙ＋ＶｙΔｔ）まで移動している。そこで、本実施形態の符号化部３４においては、注目領域の移動パターンに応じた複数の映像ストリームを用意する。その一例として、例えば、注目領域の中心は同じであるが、分布の広がりや形状が異なる複数の重み分布を用いて符号化処理を行う。
【００５５】
例えば図９は、注目領域の中心は同じであるが、分散が異なる正規分布に従う重み分布６１、６２を示している。そして、注目領域の速度Ｖ＝√（Ｖｘ２＋Ｖｙ２）に応じた分散σの重み分布で符号化された映像ストリームを要求することで、移動速度が小さいときには局所的に符号量をより集中した映像ストリームをユーザに提示する一方で、移動速度が大きいときには広い範囲で符号量を割り当てている映像ストリームを配信し、注目領域が重みの中心から外れてしまったときの極端な画質の低下を抑止することができる。
【００５６】
また、例えば図１０のように傾きを持つ重み分布を用いることができ、例えば（１）式で表すことができる。
【数１】
2018026677.tif 000003
【００５７】
ここで、ρは分布の傾きに関するパラメータ、（ｘ０，ｙ０）は分布の中心点である。そして、分布の方向を現在の速度の方向に応じたものを要求することで、Δｔ後の注目領域が重みのある箇所にあたる可能性を大きくすることができる。
【００５８】
また、Δｔは要求を行って配信されるまでの時間を計測することで分かるため、等速度で移動することを仮定すれば、中心点が（ｘ＋ＶｘΔｔ，ｙ＋ＶｙΔｔ）に移動していることを予測して、その付近で重みが大きい重み分布で符号化された映像ストリームを要求することができる。
【００５９】
このように、ユーザが注目領域を移動している場合においても、注目領域での画質の低下を抑止することができる。ただし、特定の重み分布や予測方法に依存するものではない。
【００６０】
＜第３実施形態＞
次に、本発明の第３実施形態による映像配信システムを説明する。本実施形態では、ユーザの注目領域から要求するストリームを特定する手段を備える。第１実施形態および第２実施形態においては、ユーザ側の端末装置２５で要求するストリームを特定し、配信サーバ１に要求をしていたのに対し、本実施形態の構成をとることで、端末装置２５側の計算負荷を軽減することができる。
【００６１】
図１１は、第３実施形態による映像配信システムの構成を示すブロック図である。ストリームを特定する手段としては、例えば、第１実施形態の映像ストリーム要求部２５１で説明したように注目領域の情報を入力とし、決定することも可能であるし、第２実施形態の映像ストリーム要求部２５１で説明したように移動速度や方向の情報を入力とし、特定するすることもできる。
【００６２】
なお、図１１においては通信経路上に映像ストリーム決定部４を配置したが、映像配信部と同一の装置に組み込むことも可能である。
【００６３】
＜第４実施形態＞
次に、本発明の第４実施形態による映像配信システムを説明する。本実施形態では、個々のユーザごとの注目領域とは別に、多くのユーザに見られやすい領域の重みをあらかじめ大きくし、ユーザごとの要求に応じたものと演算することで、一般的に多くのユーザにとって重要な部分（統計的重み）と、個々のユーザにとって重要な部分の両方に割り当てる符号量を多くする。
【００６４】
図１２は、局所重み決定部３３の構成を示すブロック図である。局所重み決定部３３において、注目領域による重み分布と統計的重み分布を元にして、重みマップ合成部３３１が新たな局所重み分布を作成する。例えば、注目領域による重み分布と統計的重み分布を積演算することで新たな局所重み分布を得ることができるが、作成方法はこの限りではない。
【００６５】
このようにすることで、個々のユーザにとって重要な部分の品質を高めつつ、急な視点移動によって配信が追いつかない場合でも、一般的に重要な部分の再現性は高いため、ユーザ体験を補償することが可能となる。
【００６６】
統計的重みの決定方法としては、参考文献１のように顕著性マップと呼ばれる人の視覚モデルを用いた注目されやすい領域の推定を用いることができる。また、そのようなエッジやコントラストなど低次の特徴量だけでなく、人の顔など高次の特徴量を用いることができる。
参考文献１：L. Itti, C. Koch, and E. Niebur. A model of saliency based visual attention for rapid scene analysis. IEEE TPAMI, 20(11):1254-1259, 1998. 409, 410, 412, 414.
【００６７】
また、そのほかの統計的重みの決定方法として、観察頻度情報を用いることができる。例えば、配信サーバにおいて配信ログとして記録されているため、それを用いればよい。また、そのほかの統計的重みの決定方法として、コンサート会場でのステージ付近など、重要な被写体が存在する箇所が経験則として分かっている場合は重みを大きくすることができる。ただし、統計的重みの決定方法は、ここに記載された限りではなく、多くのユーザに見られやすい箇所を決定する他の手段を適用するようにしてもよい。
【００６８】
＜第５実施形態＞
次に、本発明の第５実施形態による映像配信システムを説明する。本実施形態では、映像が表示される際の幾何変換に応じた重み（地理的重み）をつけた重み分布と注目領域による重み分布を演算することで、最終的な重み分布を計算し、それらに応じた符号量の割り当てをして複数の映像ストリームを符号化する。
【００６９】
注目領域による重み分布は複数の重み分布のバリエーションを持つのに対し、地理的重み分布は個々の注目領域に依存せずに一定の分布であり、例えばそれぞれの注目領域による重み分布と積演算をすることで、最終的な重み分布を得る。ただし、注目領域による重み分布と地理的重み分布から最終的な重み分布を得る手段は積演算に限定されるものではない。また、注目領域による重み分布と地理的重み分布のほか、第４実施形態における統計的重みとの合成演算により重み分布を決定できる。
【００７０】
図１３は、局所重み決定部３３の構成を示すブロック図である。地理的重み分布の決定方法は、例えば、全方位（３６０度）撮影された映像をユーザ側の端末装置でユーザの頭部や視線の動きに応じて表示するような場合、映像をテクスチャマッピングのテクスチャとして配信し、ユーザ側の端末装置２５でコンピュータグラフィクスにより頭部の動きに応じて描画することで実現が可能である。
【００７１】
全方位映像を正距円筒図法により記録し、表示時に球面の内部から観察するようにコンピュータグラフィクスのテクスチャマッピング手法により貼り付けて描画することで実現できる。この場合、正距円筒図法の極付近（図８中、符号５５などθ＝９０，−９０付近）では標準緯線付近（図８中、符号５６などθ＝０付近）に比べて実際の球面における面積が拡大されるため、同一の解像度であった場合、より精細に表示される。
【００７２】
この画質のムラを補正するために、極付近の地理的重みを小さく、標準緯線付近５６の地理的重みを大きくすることで符号量を割り当て、図１３中、符号１００１のようになる。
【００７３】
また、地理的重み分布は、球を内部から観察した場合に限らず、視線と法線がなす角度により決定することができ、球面だけでなくポリゴンと呼ばれる多角形の組み合わせなど任意の被写体形状、任意の被写体の数、任意の視点の位置において有効である。
【００７４】
また、重みとして連続値や複数の離散値だけでなく、二値（例えば０か１）の見えるか見えないかという可視性（visibility）の情報を割り当てることで、見えていない領域に符号量を割り当てないこともできる。
【００７５】
このようにすることで、表示の際に縮小や解像度が低い場合においても、不必要に符号量を割り当て、伝送帯域を多く必要とすることを防ぐことができる。
【００７６】
以上説明したように、重み付けをした符号化をすることで、ユーザが注目していない箇所の符号量を削減し、伝送帯域を節約することができる。その一方で、重み付けにより、注目している箇所に符号量を割り当て、画質を向上させることで、ユーザの体感品質が向上する。また、１つのストリームで伝送することができる。また、あらかじめ符号化しておくことで、要求してから重みを割り当てて符号化するのに対して、符号化にかかる時間と、要求数が増えたときの計算機負荷を抑えることができる。
【００７７】
また、移動の情報を元にすることで注目領域の予測が可能となり、注目領域の変化に対し、高画質領域の反映が遅れないようにすることができる。
【００７８】
ユーザ側の端末装置で、必要な映像ストリームを決定する演算を行う必要がなくなり、端末装置の演算量を低減することができる。
【００７９】
重み付けの演算をすることで、多くのユーザが注目しにくい箇所の符号量を削減し、伝送帯域を節約することができる。その一方で、重み付けにより、注目されやすい箇所に符号量を割り当て、画質を向上させることで、ユーザの体感品質が向上する。
【００８０】
また、ユーザの注目領域の移動が速い場合には、多くのユーザが注目しやすい箇所の画質は高いため、個々のユーザの体感品質の低下を防ぐことができる。また、表示の際に高い解像度の表示装置を必要としない。
【００８１】
前述した実施形態における映像配信システムの全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００８２】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００８３】
１つの映像ストリームを、限られた伝送帯域で、観察者の注目する領域の画質を高め、さらに多数の利用者に対して配信サーバ側の負荷増大を少なくすることが不可欠な用途にも適用できる。
【符号の説明】
【００８４】
１・・・配信サーバ、１１・・・映像配信部、１４・・・ビットストリーム蓄積部、２１、２２、２３、２５・・・端末装置、２５１・・・映像ストリーム要求部、２５２・・・復号部、２５３・・・表示部、２５４・・・要求方法設定部、２５５・・・注目領域検出部、２５６・・・注目領域情報決定部、２５７・・・タイル別重み情報記憶部、３・・・符号化装置、３３・・・局所重み決定部、３３１・・・重みマップ合成部、３３２・・・重みマップ合成部、３４・・・符号化部、４・・・映像ストリーム特定部
【図１】
2018026677.tif 000004
【図２】
2018026677.tif 000005
【図３】
2018026677.tif 000006
【図４】
2018026677.tif 000007
【図５】
2018026677.tif 000008
【図６】
2018026677.tif 000009
【図７】
2018026677.tif 000010
【図８】
2018026677.tif 000011
【図９】
2018026677.tif 000012
【図１０】
2018026677.tif 000013
【図１１】
2018026677.tif 000014
【図１２】
2018026677.tif 000015
【図１３】
2018026677.tif 000016
【図１４】
2018026677.tif 000017
【図１５】
2018026677.tif 000018
【図１６】
2018026677.tif 000019