(57)【要約】    【課題】      符号化効率の低下を招くことなく、注目領域の映像データのみを効率良く伝送して復号化できるとともに、映像再生中も注目領域を変更できること。    【解決手段】  基本レイヤ符号化部１１６で、高解像度の入力映像を縮小して得た低解像度の基本レイヤを符号化する。一方、領域マップ算出部１１８で、符号化時の分割領域を示す領域マップを算出し、拡張レイヤ符号化部１２０で、入力映像と、基本レイヤ符号化映像を復号化した後、入力映像の解像度に拡大して得た映像との差分映像である拡張レイヤを領域マップに従って分割した後、分割領域毎にフレーム内符号化を行う。その際、オフセットテーブル生成部１２２で、符号化された拡張レイヤの、分割領域毎の格納位置を示すオフセットテーブルを生成し、映像データ切り出し部１３６で、オフセットテーブルを用いて拡張レイヤのみから注目領域に対応する映像データを切り出す。  【選択図】      図１
2005142654.tif 000002
【特許請求の範囲】
【請求項１】
入力映像を階層符号化して基本レイヤおよび拡張レイヤの映像ストリームとして送信する映像送信装置であって、
基本レイヤを符号化する第１符号化手段と、
拡張レイヤを符号化する際の分割領域を算出する算出手段と、
拡張レイヤを算出された分割領域毎にフレーム内符号化する第２符号化手段と、
を有することを特徴とする映像送信装置。
【請求項２】
符号化された拡張レイヤの、算出された分割領域毎の格納位置に関する情報を生成する第１生成手段と、
生成された格納位置情報を用いて、符号化された拡張レイヤから注目領域の映像データを抽出する抽出手段と、
をさらに有することを特徴とする請求項１記載の映像送信装置。
【請求項３】
前記算出手段は、
同一または類似の動きベクトルを持つ領域を同一領域として分割領域の算出を行う、
ことを特徴とする請求項１記載の映像送信装置。
【請求項４】
前記算出手段は、
映像中の特定領域が細かい領域に分割されるように分割領域の算出を行う、
ことを特徴とする請求項１記載の映像送信装置。
【請求項５】
前記算出手段は、
各領域の大きさが物体の検出結果に等しくなるように分割領域の算出を行う、
ことを特徴とする請求項１記載の映像送信装置。
【請求項６】
前記算出手段は、
画面の中央部が細かい領域に分割されるように分割領域の算出を行う、
ことを特徴とする請求項１記載の映像送信装置。
【請求項７】
注目領域に関する情報を取得する取得手段、をさらに有し、
前記算出手段は、
取得された注目領域情報を用いて分割領域の算出を行う、
ことを特徴とする請求項１記載の映像送信装置。
【請求項８】
算出された分割領域に関する情報を送信する第１送信手段、
をさらに有することを特徴とする請求項１記載の映像送信装置。
【請求項９】
符号化された基本レイヤにおいて符号化された拡張レイヤを復号化するために復号化が必要な領域を示す復号化領域情報を生成する第２生成手段と、
生成された復号化領域情報を送信する第２送信手段と、
を有することを特徴とする請求項１記載の映像送信装置。
【請求項１０】
前記第２送信手段は、
生成された復号化領域情報を符号化された基本レイヤのユーザ領域に格納して送信を行う、
ことを特徴とする請求項９記載の映像送信装置。
【請求項１１】
請求項１記載の映像送信装置から送信された映像ストリームを受信する映像受信装置であって、
符号化された基本レイヤを受信する第１受信手段と、
受信された符号化基本レイヤを復号化する第１復号化手段と、
符号化された拡張レイヤを受信する第２受信手段と、
受信された符号化拡張レイヤを復号化する第２復号化手段と、
復号化された基本レイヤおよび復号化された拡張レイヤを合成する第１合成手段と、
前記第１合成手段の合成結果を表示する表示手段と、
を有することを特徴とする映像受信装置。
【請求項１２】
請求項８記載の映像送信装置から送信された映像ストリームを受信する映像受信装置であって、
送信された分割領域情報を受信する第３受信手段と、
受信された分割領域情報を復号化された基本レイヤと合成する第２合成手段と、
ユーザの指定により注目領域を設定する設定手段と、をさらに有し、
前記表示手段は、
前記第２合成手段の合成結果を、前記第１合成手段の合成結果と同一画面または別画面で表示する、
ことを特徴とする請求項１１記載の映像受信装置。
【請求項１３】
拡張レイヤを符号化する際の分割領域を指定する指定手段と、
前記指定手段の指定結果を送信する第３送信手段と、
をさらに有することを特徴とする請求項１１記載の映像受信装置。
【請求項１４】
復号化領域情報を受信する受信手段、をさらに有し、
前記第１復号化手段は、
受信された復号化領域情報を用いて復号化処理を行う、
ことを特徴とする請求項１１記載の映像受信装置。
【請求項１５】
前記第１復号化手段は、
受信された復号化領域情報に含まれる領域を動きベクトルの方向に拡大し、この拡大後の復号化領域情報を用いて復号化処理を行う、
ことを特徴とする請求項１４記載の映像受信装置。
【請求項１６】
入力映像を階層符号化して基本レイヤおよび拡張レイヤの映像ストリームとして送信する映像送信方法であって、
基本レイヤを符号化する第１符号化ステップと、
拡張レイヤを符号化する際の分割領域を算出する算出ステップと、
拡張レイヤを前記算出ステップで算出した分割領域毎にフレーム内符号化する第２符号化ステップと、
を有することを特徴とする映像送信方法。
【請求項１７】
請求項１６記載の映像送信方法を用いて送信された映像ストリームを受信する映像受信方法であって、
符号化された基本レイヤを受信する第１受信ステップと、
前記第１受信ステップで受信した符号化基本レイヤを復号化する第１復号化ステップと、
符号化された拡張レイヤを受信する第２受信ステップと、
前記第２受信ステップで受信した符号化拡張レイヤを復号化する第２復号化ステップと、
前記第１復号化ステップで復号化した基本レイヤおよび前記第２復号化ステップで復号化した拡張レイヤを合成する合成ステップと、
前記合成ステップでの合成結果を表示する表示ステップと、
を有することを特徴とする映像受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、階層符号化方式を用いた映像送信装置および映像受信装置に関する。
【背景技術】
【０００２】
従来、例えば、映像を符号化して配信する映像送信装置によって送信される映像データは、ある一定の伝送帯域で伝送できるように、通常、ＪＰＥＧ（Joint Picture Experts Group）方式や、Ｈ.２６１方式、ＭＰＥＧ（Moving Picture Experts Group）方式などによって一定帯域以下に圧縮符号化されており、一度符号化された映像データは、伝送帯域が変わっても、解像度やフレームレートなどの映像品質を変えることはできない。
【０００３】
また、近年、カメラの撮像画素数の増大、つまり、映像の高解像度化に伴い、映像符号化された映像データは高解像度化され、映像データ量や処理負荷が増大するため、映像データを伝送するために必要な伝送帯域の増大や、映像データを復号化するために必要な処理負荷の増大など、高解像度化に付随する課題が発生する。したがって、映像データを受信する端末において伝送帯域や処理性能に制約がある場合には、高解像度の映像データをリアルタイムに受信して復号化することが困難となる。すなわち、高解像度映像を伝送する場合には、必要とされる伝送帯域や復号化処理量が大きく、遅延が発生しがちである。
【０００４】
この場合、映像データの伝送帯域や復号化処理量を削減するためには、高解像度の映像全体を伝送して復号化するのではなく、端末が必要とする注目領域のみの映像データを端末に伝送したり復号化に使用したりすることが有効である。
【０００５】
このように、映像データの中から注目領域の映像データのみを抽出して復号化に使用する場合、従来は、例えば、特許文献１に示すように、映像データを小領域に分割して符号化し、この符号化された映像データの中から注目領域の映像データを抽出して復号化することによって対応している。
【０００６】
この場合、特許文献１の符号化装置では、入力映像を、例えば、複数のブロックからなる小領域に分割して符号化するとともに、各小領域の符号量を格納する。また、復号化装置では、上記符号量を用いて指定された注目領域に対応する映像データを抽出して復号化する。
【特許文献１】特開平４−９５４７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の符号化装置においては、映像を小領域に分割して符号化するため、小領域の復号化に必要となるヘッダの数が増大し、そのため、ヘッダに必要な符号量の増大に伴い、符号化効率が低下するという問題がある。特にＭＰＥＧ−４ ＦＧＳ（Fine Granularity Scalability）（ＩＳＯ／ＩＥＣ １４４９６−２ Ａｍｅｎｄｍｅｎｔ ２）と呼ばれる階層符号化方式では、ビット平面毎にヘッダを付けなければならないため、通常のＭＰＥＧよりもヘッダによる符号化効率低下は大きい。
【０００８】
また、ＭＰＥＧなどの映像符号化方式では、過去のフレームを用いて現在のフレームを復号化するフレーム間予測符号化を用いているため、注目領域の映像のみを復号化した後のフレームは、注目領域内に限定された予測復号化を行うことしかできず、映像再生中に注目領域を別の領域へ変更することが不可能であるという問題がある。
【０００９】
本発明は、かかる点に鑑みてなされたものであり、符号化効率の低下を招くことなく、注目領域の映像データのみを効率良く伝送して復号化することができるとともに、映像再生中も注目領域の変更を行うことができる映像送信装置および映像受信装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
（１）本発明の映像送信装置は、入力映像を階層符号化して基本レイヤおよび拡張レイヤの映像ストリームとして送信する映像送信装置であって、基本レイヤを符号化する第１符号化手段と、拡張レイヤを符号化する際の分割領域を算出する算出手段と、拡張レイヤを算出された分割領域毎にフレーム内符号化する第２符号化手段と、を有する構成を採る。
【００１１】
この構成によれば、基本レイヤを符号化し、拡張レイヤを符号化する際の分割領域を算出し、拡張レイヤをその分割領域毎にフレーム内符号化するため、符号化効率の低下を招くことなく、注目領域の映像データのみを効率良く伝送して復号化することができるとともに、映像再生中も注目領域の変更を行うことができる。すなわち、基本レイヤは低解像度の映像であるため、復号化処理の負荷が小さく、低遅延に復号化することができる。また、拡張レイヤを符号化する際の分割領域を算出し、算出された分割領域毎に拡張レイヤの符号化を行うため、オーバヘッドを削減することができる。また、拡張レイヤに対してはフレーム内符号化を行うため、復号化時に過去のフレームが不要であり、映像再生時に注目領域を変更することができる。
【００１２】
（２）本発明の映像送信装置は、上記の構成において、符号化された拡張レイヤの、算出された分割領域毎の格納位置に関する情報を生成する第１生成手段と、生成された格納位置情報を用いて、符号化された拡張レイヤから注目領域の映像データを抽出する抽出手段と、をさらに有する構成を採る。
【００１３】
この構成によれば、符号化された拡張レイヤの、算出された分割領域毎の格納位置に関する情報を生成し、生成された格納位置情報を用いて、符号化された拡張レイヤから注目領域の映像データを抽出するため、注目領域に対応する映像データに高速にアクセスすることができ、映像データの切り出しを高速に行うことができる。このため、注目領域の映像データのみをさらに効率良く伝送して復号化することができる。
【００１４】
（３）本発明の映像送信装置は、上記の構成において、前記算出手段は、同一または類似の動きベクトルを持つ領域を同一領域として分割領域の算出を行う、構成を採る。
【００１５】
この構成によれば、同一または類似の動きベクトルを持つ領域を同一領域として分割領域の算出を行うため、注目領域となる可能性が高い動物体を同一領域として分割することができ、無駄な分割による符号化効率の低下を防止することができる。
【００１６】
（４）本発明の映像送信装置は、上記の構成において、前記算出手段は、映像中の特定領域が細かい領域に分割されるように分割領域の算出を行う、構成を採る。
【００１７】
この構成によれば、映像中の特定領域が細かい領域に分割されるように分割領域の算出を行う、例えば、映像を用いた遠隔監視の場合、監視領域における重要なエリア（例えば、ドア付近や店舗のレジ付近）など予め設定したエリアを細かい領域に分割し、その他は粗く分割するため、注目されやすいエリア（重要監視領域）内での領域の選択性を損なうことなく、無駄な分割による符号化効率の低下を防止することができる。
【００１８】
（５）本発明の映像送信装置は、上記の構成において、前記算出手段は、各領域の大きさが物体の検出結果に等しくなるように分割領域の算出を行う、構成を採る。
【００１９】
この構成によれば、各領域の大きさが物体の検出結果に等しくなるように分割領域の算出を行う、例えば、人物の画像認識を用いて、認識結果の人物の大きさを単位として画面全体の分割を行う、つまり、映像中の人物の大きさで映像を領域分割するため、注目領域として切り出される可能性の高い領域単位で無駄なく領域分割を行うことができ、符号化効率の低下を防止することができる。
【００２０】
（６）本発明の映像送信装置は、上記の構成において、前記算出手段は、画面の中央部が細かい領域に分割されるように分割領域の算出を行う、構成を採る。
【００２１】
この構成によれば、画面の中央部が細かい領域に分割されるように分割領域の算出を行うため、映像中の中央付近など被写体が撮像されやすいエリア内での領域の選択性を損なうことなく、無駄な分割による符号化効率の低下を防止することができる。
【００２２】
（７）本発明の映像送信装置は、上記の構成において、注目領域に関する情報を取得する取得手段、をさらに有し、前記算出手段は、取得された注目領域情報を用いて分割領域の算出を行う、構成を採る。
【００２３】
この構成によれば、注目領域に関する情報を取得し、取得した注目領域情報を用いて分割領域の算出を行う、例えば、受信者（ユーザ）が指定した注目領域を用いて領域分割し、また、受信者が過去に指定した注目領域の近傍を細かく領域分割するため、符号化効率の低下を防止することができる。例えば、ユーザが指定した領域を分割する場合は、無駄の無い分割を行うことができ、また、過去の注目領域から予測される近傍領域を細かく分割する場合は、注目領域となる可能性の高い領域を効率良く分割することができ、いずれも無駄な分割による符号化効率の低下を防止することができる。
【００２４】
（８）本発明の映像送信装置は、上記の構成において、算出された分割領域に関する情報を送信する第１送信手段、をさらに有する構成を採る。
【００２５】
この構成によれば、分割領域情報を送信するため、映像受信装置において、その分割領域情報を受信し、受信した分割領域情報を復号化された基本レイヤと合成し、この合成結果を表示することにより、ユーザは注目領域の位置関係を視覚的に確認することができ、注目領域の選択の操作性を向上することができる。
【００２６】
（９）本発明の映像送信装置は、上記の構成において、符号化された基本レイヤにおいて符号化された拡張レイヤを復号化するために復号化が必要な領域を示す復号化領域情報を生成する第２生成手段と、生成された復号化領域情報を送信する第２送信手段と、を有する構成を採る。
【００２７】
この構成によれば、符号化された基本レイヤにおいて符号化された拡張レイヤを復号化するために復号化が必要な領域を示す復号化領域情報を生成して送信するため、映像受信装置はその復号化領域情報に示される映像データのみを復号化することができ、つまり、復号化処理を一部省略することができ、復号化処理量が削減され、さらなる低遅延化（高速化）を図ることができる。
【００２８】
（１０）本発明の映像送信装置は、上記の構成において、前記第２送信手段は、生成された復号化領域情報を符号化された基本レイヤのユーザ領域に格納して送信を行う、構成を採る。
【００２９】
この構成によれば、復号化領域情報を符号化された基本レイヤのユーザ領域に格納して送信する、つまり、独自情報の記述が可能なユーザ領域に復号化領域情報を格納して符号化基本レイヤを送信するため、標準の復号化部によっても復号化が可能となるだけでなく、第１の復号化処理量の削減に必要な補助情報の送信処理を不要にすることができる。
【００３０】
（１１）本発明の映像受信装置は、上記（１）記載の映像送信装置から送信された映像ストリームを受信する映像受信装置であって、符号化された基本レイヤを受信する第１受信手段と、受信された符号化基本レイヤを復号化する第１復号化手段と、符号化された拡張レイヤを受信する第２受信手段と、受信された符号化拡張レイヤを復号化する第２復号化手段と、復号化された基本レイヤおよび復号化された拡張レイヤを合成する第１合成手段と、前記第１合成手段の合成結果を表示する表示手段と、を有する構成を採る。
【００３１】
この構成によれば、符号化された基本レイヤを受信して復号化し、符号化された拡張レイヤを受信して復号化し、復号化された基本レイヤおよび復号化された拡張レイヤを合成し、その合成結果を表示するため、対応する映像送信装置と協働して、符号化効率の低下を招くことなく、注目領域の映像データのみを効率良く伝送して復号化することができるとともに、映像再生中も注目領域の変更を行うことができる。
【００３２】
（１２）本発明の映像受信装置は、上記の構成において、上記（８）記載の映像送信装置から送信された映像ストリームを受信する映像受信装置であって、送信された分割領域情報を受信する第３受信手段と、受信された分割領域情報を復号化された基本レイヤと合成する第２合成手段と、ユーザの指定により注目領域を設定する設定手段と、をさらに有し、前記表示手段は、前記第２合成手段の合成結果を、前記第１合成手段の合成結果と同一画面または別画面で表示する、構成を採る。
【００３３】
この構成によれば、ユーザの指定により注目領域を設定する設定手段を有しており、分割領域情報を受信して復号化された基本レイヤと合成し、この合成結果を、復号化基本レイヤと復号化拡張レイヤの合成結果と同一画面または別画面で表示するため、ユーザは注目領域の位置関係を視覚的に確認することができ、注目領域選択の操作性を向上することができる。
【００３４】
（１３）本発明の映像受信装置は、上記の構成において、拡張レイヤを符号化する際の分割領域を指定する指定手段と、前記指定手段の指定結果を送信する第３送信手段と、をさらに有する構成を採る。
【００３５】
この構成によれば、拡張レイヤを符号化する際の分割領域を指定して送信する、つまり、ユーザが分割領域を指定するため、無駄のない領域分割が可能となり、符号化効率の低下を防止することができる。
【００３６】
（１４）本発明の映像受信装置は、上記の構成において、復号化領域情報を受信する受信手段、をさらに有し、前記第１復号化手段は、受信された復号化領域情報を用いて復号化処理を行う、構成を採る。
【００３７】
この構成によれば、復号化領域情報を受信し、受信した復号化領域情報を用いて符号化基本レイヤの復号化処理を行う、つまり、符号化拡張レイヤの復号化に必要な映像データのみを復号化するため、復号化処理を一部省略することができ、復号化処理量が削減され、さらなる低遅延化（高速化）を図ることができる。
【００３８】
（１５）本発明の映像受信装置は、上記の構成において、前記第１復号化手段は、受信された復号化領域情報に含まれる領域を動きベクトルの方向に拡大し、この拡大後の復号化領域情報を用いて復号化処理を行う、構成を採る。
【００３９】
この構成によれば、受信された復号化領域情報に含まれる領域を動きベクトルの方向に拡大し、この拡大後の復号化領域情報を用いて符号化基本レイヤの復号化処理を行う、つまり、映像中の物体の動きに合わせて符号化基本レイヤに対する復号化処理領域を拡大するため、注目領域の変更に際して必要となる基本レイヤの映像データを予め復号化することができ（参照画像の欠損の防止）、復号化処理量を削減しつつ、映像再生時においても注目領域の変更を行うことができる。
【発明の効果】
【００４０】
以上説明したように、本発明によれば、符号化効率の低下を招くことなく、注目領域の映像データのみを効率良く伝送して復号化することができるとともに、映像再生中も注目領域の変更を行うことができる。
【発明を実施するための最良の形態】
【００４１】
本発明の骨子は、階層符号化データのうち、基本レイヤを符号化し、一方、拡張レイヤを符号化する際の分割領域を算出し（領域マップ）、拡張レイヤをその分割領域毎にフレーム内符号化することである。また、その際、符号化された拡張レイヤの、算出された分割領域毎の格納位置に関する情報を生成し（オフセットテーブル）、生成された格納位置情報を用いて、符号化された拡張レイヤから注目領域の映像データを抽出して送信することである。
【００４２】
また、分割領域に関する情報（領域マップ）を受信側へ送信し、受信側において分割領域情報と復号化基本レイヤを合成して画面に表示することである。
【００４３】
また、符号化された基本レイヤにおいて符号化された拡張レイヤを復号化するために復号化が必要な領域を示す復号化領域情報（デコードマップ）を生成して受信側へ送信し、受信側において基本レイヤの映像データのうち復号化領域情報に示される映像データのみを復号化することである。
【００４４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００４５】
（実施の形態１）
図１は、本発明の実施の形態１に係る映像送信装置および映像受信装置を含む映像伝送システムの構成を示す図である。
【００４６】
図１に示す映像伝送システムは、高解像度の映像を符号化して配信するシステムであって、映像を送信する映像送信装置（以下「送信端末」ともいう）１００と、映像を受信する映像受信装置（以下「受信端末」ともいう）１５０と、映像送信装置１００から送信された映像を映像受信装置１５０に中継するネットワーク１９０とを有する。映像送信装置１００は、大別して、映像を符号化する映像符号化部１１０と、ユーザからの要求に合わせて注目領域（ＲＯＩ：Region Of Interest）の映像データを抽出して配信する映像配信部１３０とを有する。映像受信装置１５０は、映像データを受信し、復号化し、表示する機能を有する。すなわち、映像送信装置１００から送信された映像、より具体的には、映像符号化部１１０で符号化され、映像配信部１３０から送信された映像は、ネットワーク１９０を通じて映像受信装置１５０に伝送される。
【００４７】
映像符号化部１１０は、映像入力部１１２、映像縮小部１１４、基本レイヤ符号化部１１６、領域マップ算出部１１８、および拡張レイヤ符号化部１２０を有する。拡張レイヤ符号化部１２０は、オフセットテーブル生成部１２２を含んでいる。映像配信部１３０は、注目領域受信部１３２、基本レイヤ送信部１３４、映像データ切り出し部１３６、拡張レイヤ送信部１３８、および領域マップ送信部１４０を有する。
【００４８】
映像受信装置１５０は、基本レイヤ受信部１５２、基本レイヤ復号化部１５４、拡張レイヤ受信部１５６、拡張レイヤ復号化部１５８、領域マップ受信部１６０、映像合成部１６２、映像表示部１６４、注目領域設定部１６６、および注目領域送信部１６８を有する。
【００４９】
ここで、本実施の形態では、入力映像（高解像度映像）に対する圧縮符号化方式として、例えば、階層符号化方式の一方式であるＭＰＥＧ−４ ＦＧＳを用いる。ＭＰＥＧ−４ ＦＧＳにより符号化された映像データは、ＭＰＥＧ−４符号化であり単体で復号化が可能な動画像ストリームである一の基本レイヤと、基本レイヤの復号化動画像品質を向上させるための動画像ストリームである少なくとも一以上の拡張レイヤとで構成される。基本レイヤは低帯域で低画質の映像データであり、これに拡張レイヤを帯域に応じて足し合わせることにより自由度の高い高画質化が可能である。
【００５０】
なお、圧縮符号化方式は、ＭＰＥＧ−４ ＦＧＳに限定されるわけではなく、階層符号化方式であれば、いかなる方法も利用可能である。階層符号化方式では、符号化された映像データは、基本レイヤと拡張レイヤとで構成される。
【００５１】
まず、映像送信装置１００の各部について説明する。
【００５２】
映像入力部１１２は、映像信号を入力して１フレーム毎に映像縮小部１１４および領域マップ算出部１１８に出力する。
【００５３】
映像縮小部１１４は、映像入力部１１２から出力された映像を予め指定された縮小率で縮小し、得られた縮小映像（基本レイヤ）を基本レイヤ符号化部１１６に出力する。具体的には、縮小率をＮ、入力映像の解像度を（幅，高さ）＝（Ｗ，Ｈ）とすると、映像入力部１１２から出力された映像を（Ｗ／Ｎ，Ｈ／Ｎ）の解像度に縮小する。
【００５４】
基本レイヤ符号化部１１６は、映像縮小部１１４から出力された映像（基本レイヤ）を圧縮符号化し、符号化された映像データを基本レイヤ送信部１３４に出力するとともに、符号化時に算出された動きベクトルを領域マップ算出部１１８に出力する。また、基本レイヤ符号化部１１６は、符号化された映像データを復号化し、得られた基本レイヤ復号化映像を拡張レイヤ符号化部１２０に出力する。なお、動きベクトルは、マクロブロック（１６×１６画素）毎に値を有する。
【００５５】
領域マップ算出部１１８は、例えば、一例として、映像入力部１１２から出力された入力映像と、基本レイヤ符号化部１１６から出力された動きベクトルとを用いて、符号化時に分割する領域を示す領域マップを算出し、得られた領域マップを拡張レイヤ符号化部１２０、映像データ切り出し部１３６、および領域マップ送信部１４０に出力する。また、領域マップ算出部１１８は、映像入力部１１２から出力された入力映像を拡張レイヤ符号化部１２０に出力する。なお、領域マップの算出方法は、入力映像と動きベクトルを用いる方法以外にいろいろ考えられる。領域マップの算出方法については、後で詳細に説明する。
【００５６】
拡張レイヤ符号化部１２０は、基本レイヤ符号化部１１６から出力された基本レイヤ復号化映像を入力映像の解像度に拡大した後、入力映像との間で差分を取って、差分映像（拡張レイヤ）を生成し、領域マップ算出部１１８から出力された領域マップに従って、その差分映像を分割して小領域毎に拡張レイヤ符号化を行い、符号化された映像データを映像データ切り出し部１３６に出力する。また、拡張レイヤ符号化部１２０は、オフセットテーブル生成部１２２で、符号化された映像データの、領域毎の格納位置を示すオフセットテーブルを生成し、得られたオフセットテーブルを映像データ切り出し部１３６に出力する。処理の詳細は後述する。
【００５７】
注目領域受信部１３２は、映像受信装置１５０から送信された注目領域情報を受信し、映像データ切り出し部１３６および領域マップ算出部１１８に出力する。
【００５８】
基本レイヤ送信部１３４は、基本レイヤ符号化部１１６から出力された映像データを、ネットワーク１９０を介して映像受信装置１５０へ送信する。
【００５９】
映像データ切り出し部１３６は、拡張レイヤ符号化部１２０から出力された映像データから、領域マップ算出部１１８から出力された領域マップと、拡張レイヤ符号化部１２０から出力されたオフセットテーブルとを用いて、注目領域受信部１３２から出力された注目領域に対応する映像データを抽出し、抽出した映像データを拡張レイヤ送信部１３８に出力する。処理の詳細は後述する。
【００６０】
拡張レイヤ送信部１３８は、映像データ切り出し部１３６から出力された映像データを、ネットワーク１９０を介して映像受信装置１５０へ送信する。
【００６１】
領域マップ送信部１４０は、領域マップ算出部１１８から出力された領域マップを、ネットワーク１９０を介して映像受信装置１５０へ送信する。
【００６２】
次に、映像受信装置１５０の各部について説明する。
【００６３】
基本レイヤ受信部１５２は、ネットワーク１９０から基本レイヤの映像データを受信し、基本レイヤ復号化部１５４に出力する。
【００６４】
基本レイヤ復号化部１５４は、基本レイヤ受信部１５２から出力された基本レイヤの映像データを復号化し、得られた復号化映像を拡張レイヤ復号化部１５８および映像合成部１６２に出力する。
【００６５】
拡張レイヤ受信部１５６は、ネットワーク１９０から拡張レイヤの映像データを受信し、拡張レイヤ復号化部１５８に出力する。
【００６６】
拡張レイヤ復号化部１５８は、拡張レイヤ受信部１５６から出力された映像データを復号化し、基本レイヤ復号化部１５４から出力された基本レイヤの復号化映像を拡大し同一解像度にて加算処理を行い、拡張レイヤが存在する領域の復号化映像を切り出して、映像合成部１６２に出力する。処理の詳細は後述する。
【００６７】
領域マップ受信部１６０は、ネットワーク１９０から領域マップを受信し、映像合成部１６２に出力する。
【００６８】
映像合成部１６２は、基本レイヤ復号化部１５４から出力された基本レイヤ復号化画像に領域マップ受信部１６０から出力された領域マップを上書きし、拡張レイヤ復号化部１５８から出力された拡張レイヤ復号化画像を合成して、映像表示部１６４に出力する。
【００６９】
映像表示部１６４は、映像合成部１６２から出力された合成映像を表示する。
【００７０】
注目領域設定部１６６は、ユーザの選択により、画面中の、切り出して表示を行う注目領域を設定し、設定された注目領域情報を注目領域送信部１６８に出力する。具体的には、例えば、注目領域設定部１６６は、注目領域の左上の座標（ｘ，ｙ）と、注目領域の幅と高さの組み合わせ（ｗ，ｈ）とを注目領域情報として算出し、得られた注目領域情報(ｘ，ｙ)、(ｗ，ｈ)を注目領域送信部１６８に出力する。
【００７１】
なお、本実施の形態では、注目領域情報を(ｘ，ｙ)、(ｗ，ｈ)としたが、これに限定されるわけではなく、領域を表現できる方法であれば、いかなる方法でもよい。
【００７２】
注目領域送信部１６８は、注目領域設定部１６６から出力された注目領域情報を、ネットワーク１９０を介して映像送信装置１００へ送信する。
【００７３】
本実施の形態では、上記の構成により、高解像度の入力映像を縮小して得た低解像度の基本レイヤを符号化し、一方で、入力映像と、基本レイヤ符号化映像を復号化した後、入力映像の解像度に拡大して得た映像との差分映像を領域マップに従って分割した後、分割領域毎に拡張レイヤとしてフレーム内符号化を行う。また、その際、符号化された拡張レイヤの、分割領域毎の格納位置を示すオフセットテーブルを生成し、このオフセットテーブルを用いて拡張レイヤのみから注目領域に対応する映像データの切り出しを行う。
【００７４】
次いで、上記構成を有する映像送信装置１００の動作、特に映像符号化部１１０の動作について、図２に示すフローチャートを用いて説明する。なお、図２に示すフローチャートは、映像送信装置１００の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００７５】
まず、ステップＳ１０００では、映像入力処理を行う。具体的には、映像入力部１１２で、映像信号を入力して１フレーム毎に映像縮小部１１４および領域マップ算出部１１８に出力する。
【００７６】
そして、ステップＳ１１００では、入力映像の縮小処理を行う。具体的には、映像縮小部１１４で、映像入力部１１２から出力された映像を予め指定された縮小率で縮小し、得られた縮小映像を基本レイヤ符号化部１１６に出力する。例えば、縮小率をＮ、入力映像の解像度を（幅，高さ）＝（Ｗ，Ｈ）とすると、入力映像を（Ｗ／Ｎ，Ｈ／Ｎ）の解像度に縮小する。
【００７７】
そして、ステップＳ１２００では、基本レイヤの符号化処理を行う。具体的には、基本レイヤ符号化部１１６で、映像縮小部１１４から出力された映像（基本レイヤ）を圧縮符号化し、符号化された映像データを基本レイヤ送信部１３４に出力するとともに、符号化時に算出された動きベクトルを領域マップ算出部１１８に出力する。また、符号化された映像データを復号化し、得られた基本レイヤ復号化映像を拡張レイヤ符号化部１２０に出力する。なお、動きベクトルは、上記のように、マクロブロック（１６×１６画素）毎に値を有する。
【００７８】
そして、ステップＳ１３００では、拡張レイヤの符号化時の分割領域を表す領域マップを算出する領域マップ算出処理を行う。具体的には、領域マップ算出部１１８で、例えば、上記のように、映像入力部１１２から出力された入力映像と、基本レイヤ符号化部１１６から出力された動きベクトルと、注目領域受信部１３２から出力された注目領域情報とを用いて、領域マップを算出し、得られた領域マップを拡張レイヤ符号化部１２０および領域マップ送信部１４０に出力する。また、入力映像を拡張レイヤ符号化部１２０に出力する。
【００７９】
ここで、領域マップの算出方法について、いくつかの動作例を用いて説明する。
【００８０】
（動作例１）
動作例１では、領域マップ算出部１１８は、基本レイヤ符号化部１１６から出力された動きベクトルを用いて領域マップを算出する。具体的には、例えば、動きベクトルが同一または差異がしきい値以下の複数のマクロブロックを同一の小領域とする。すなわち、同一または類似の動きベクトルを持つ領域を同一の小領域とする。図３（Ａ）は、入力映像の一例を示す図であり、図３（Ｂ）は、図３（Ａ）の入力映像に対して本動作例で算出された領域マップの一例を示す図である。図３（Ａ）中、３０１はマクロブロックであり、３０３は、動きベクトルによって算出された小領域である。小領域３０３以外の領域は、マクロブロックがそれぞれ小領域となる。図３（Ｂ）に示すように、マクロブロック毎に小領域番号が付与される。
【００８１】
ここで、本実施の形態では、拡張レイヤ符号化方式として、上記のように、ＭＰＥＧ−４ ＦＧＳを用いた場合を例にとって示している。したがって、符号化の単位となる小領域は"VIDEO PACKET"と呼ばれ、水平方向に連続した複数のマクロブロックで構成されるため、水平方向に連続したマクロブロックで、動きベクトルの値が同じまたは近い場合に、同一の小領域（つまり、VIDEO PACKET）となる。
【００８２】
このように、同一または類似の動きベクトルを持つ領域を同一領域とすることにより、注目領域となる可能性が高い動物体を同一領域として分割することができ、無駄な分割を無くすことができ、無駄な分割による符号化効率の低下を防止することができる。
【００８３】
なお、符号化方式はＭＰＥＧ−４ ＦＧＳに限定されるわけではなく、小領域の形状は水平に連続したマクロブロックに限定されない。また、動きベクトルを用いて算出された小領域以外の小領域の大きさについては、１つのマクロブロックを１つの小領域とすることに限定されず、予め決められた個数のマクロブロックを１つの小領域としてもよい。
【００８４】
（動作例２）
動作例２では、領域マップ算出部１１８は、映像中の特定領域のみを細かい領域に分割して領域マップを算出する。具体的には、例えば、映像を用いた遠隔監視の場合、監視領域における重要なエリア（例えば、ドア付近や店舗のレジ付近）など予め設定したエリアおよびその近傍のエリア（周辺領域）を細かい領域に分割する。図４（Ａ）は、入力映像の一例を示す図であり、図４（Ｂ）は、図４（Ａ）の入力映像に対して本動作例で算出された領域マップの一例を示す図である。図４（Ａ）中、４０１は重要エリアおよびその周辺領域であり、４０３は重要エリアおよびその周辺領域を細かく分割した小領域である。重要エリアおよびその周辺領域４０３以外の領域は、水平方向に連続した領域がそれぞれ小領域となる。図４（Ｂ）に示すように、マクロブロック毎に小領域番号が付与される。
【００８５】
このように、予め設定したエリアのみを細かく分割することにより、注目されやすいエリア（重要監視領域）内での領域の選択性を損なうことなく、無駄な分割による符号化効率の低下を防止することができる。
【００８６】
なお、被写体が撮像されやすい領域である画面の中央部のみを細かい領域に分割して領域マップを算出することも可能である。これにより、映像中の中央付近など被写体が撮像されやすいエリア内での領域の選択性を損なうことなく、無駄な分割による符号化効率の低下を防止することができる。
【００８７】
（動作例３）
動作例３では、領域マップ算出部１１８は、映像入力部１１２から出力された入力映像を用いて物体検出を行い、この検出結果を用いて領域分割を行い、領域マップを算出する。具体的には、物体の検出結果を用いて各分割領域の大きさが物体の検出結果に等しくなるように領域マップを算出する。換言すれば、人物や動物体の検出を利用し、領域分割の単位を人物や動物体に合わせる。例えば、入力映像から、楕円検出などの画像処理を用いて顔画像の検出を行い、検出された領域の大きさを用いて、画面全体を等分割する。例えば、検出された領域の幅がマクロブロックＭ個分である場合、水平方向に連続するＭ個のマクロブロックを１つの小領域とする。
【００８８】
図５（Ａ）は、入力映像の一例を示す図であり、図５（Ｂ）は、図５（Ａ）の入力映像に対して本動作例で算出された領域マップの一例を示す図である。ここでは、Ｍ＝４の場合の領域マップを示している。図５（Ａ）中、５０１はマクロブロックであり、５０３は水平に連続する４個のマクロブロックで構成される小領域である。図５（Ｂ）に示すように、マクロブロック毎に小領域番号が付与される。
【００８９】
このように、物体の検出結果を用いて各領域の大きさが物体の検出結果に等しくなるように領域分割を行う、例えば、映像中の顔領域の大きさで映像を領域分割することにより、注目領域として切り出される可能性の高い領域単位で無駄なく領域分割を行うことができ、符号化効率の低下を防止することができる。
【００９０】
なお、本動作例では、顔領域を検出対象としたが、顔領域に限らず人物や物体、動き検出などにも適用可能である。
【００９１】
（動作例４）
動作例４では、領域マップ算出部１１８は、注目領域受信部１３２から出力された注目領域情報を用いて、領域マップを算出する。具体的には、例えば、受信者（ユーザ）が指定した注目領域（およびその周辺領域）を細かく小領域に分割し、その他の領域は粗く小領域に分割する。また、受信者が過去に指定した注目領域の近傍を細かく領域分割する。
【００９２】
図６（Ａ）は、入力映像の一例を示す図であり、図６（Ｂ）は、図６（Ａ）の入力映像に対して本動作例で算出された領域マップの一例を示す図である。図６（Ａ）中、６０１は注目エリアおよびその周辺領域であり、６０３は注目エリアおよびその周辺領域を細かく分割した小領域である。注目エリアおよびその周辺領域６０３以外の領域は、水平方向に連続した領域がそれぞれ小領域となる。図６（Ｂ）に示すように、マクロブロック毎に小領域番号が付与される。
【００９３】
このように、ユーザが指定した注目領域（およびその周辺領域）を細かく分割することにより、無駄の無い分割を行うことができ、また、ユーザの過去の注目領域から予測される近傍領域を細かく分割することにより、注目領域となる可能性の高い領域を効率良く分割することができ、いずれも無駄な分割による符号化効率の低下を防止することができる。
【００９４】
なお、上記の動作例１〜４は単なる一例であって、これらに限定されないことはもちろんである。また、上記の動作例１〜４は、単独でまたは任意に組み合わせて利用することができる。
【００９５】
そして、ステップＳ１４００では、拡張レイヤの符号化処理を行う。この拡張レイヤ符号化処理は、拡張レイヤ符号化部１２０で行われる。
【００９６】
図７は、図２に示す拡張レイヤ符号化処理の内容を示すフローチャートである。
【００９７】
まず、ステップＳ１４１０では、入力映像と基本レイヤ復号化映像との差分映像を生成する差分映像生成処理を行う。具体的には、基本レイヤ符号化部１１６から出力された基本レイヤの復号化映像を、映像縮小部１１４で使用した縮小率Ｍで拡大し、さらに領域マップ算出部１１８から出力された入力映像との差分処理を行って、差分映像を生成する。
【００９８】
そして、ステップＳ１４２０では、差分映像の領域分割を行う。具体的には、ステップＳ１４１０で生成した差分映像を、領域マップ算出部１１８から出力された領域マップに従って分割する。
【００９９】
そして、ステップＳ１４３０では、小領域毎に符号化処理を行う。具体的には、ステップＳ１４２０で分割した小領域毎に拡張レイヤ符号化を行う。例えば、図３（Ｂ）に示す領域マップが入力された場合には、小領域３０３およびマクロブロック３０１毎に拡張レイヤ符号化を行う。ここでは、上記のように、拡張レイヤ符号化方式として、ＭＰＥＧ−４ ＦＧＳを用いる。ＭＰＥＧ−４ ＦＧＳ拡張レイヤ符号化方式は、過去のフレームから予測を行わない符号化方式であるため、各フレームにおいて位置の異なる小領域を切り出しても復号化が可能である。
【０１００】
そして、ステップＳ１４４０では、オフセットテーブル生成処理を行う。具体的には、オフセットテーブル生成部１２２で、ステップＳ１４３０で符号化した小領域の位置（例えば、メモリへの格納位置）を示すオフセットテーブルを生成する。
【０１０１】
図８（Ａ）は、領域マップの一例を示す図であり（図３（Ｂ）参照）、図８（Ｂ）は、図８（Ａ）の領域マップに対応するオフセットテーブルの一例を示す図である。図８（Ａ）に示すように、領域マップにはマクロブロック毎に小領域の番号が付与されている。図８（Ｂ）に示すオフセットテーブルは、小領域の符号化データが格納されている、映像ストリームの先頭からのオフセット位置をバイトで表したものである。すなわち、小領域Ｋの符号化データは、映像ストリームの先頭からK_OFFSETバイト目を起点として（K+1_OFFSET - 1）バイト目までであることが分かる。
【０１０２】
本実施の形態では、上記のようにＭＰＥＧ−４ ＦＧＳを用いており、ＭＰＥＧ−４ ＦＧＳはビット平面符号化を用いているため、小領域の符号化データは複数のビット平面に分かれて格納されている。このため、ビット平面毎にオフセットテーブルを生成する。
【０１０３】
なお、図８（Ｂ）はオフセットテーブルの単なる一例であり、映像データの、分割領域毎の格納位置を示すものであれば、いかなる形式も利用可能である。
【０１０４】
そして、ステップＳ１４５０では、データ出力処理を行う。具体的には、ステップＳ１４３０で生成した符号化後の映像ストリームおよびステップＳ１４４０で生成したオフセットテーブルを映像データ切り出し部１３６に出力した後、図２のフローチャートにリターンする。
【０１０５】
そして、ステップＳ１５００では、終了判定処理を行う。具体的には、例えば、予め設定されたフレーム数を符号化した場合、または、映像入力が終了した場合は、一連の処理を終了し、上記の終了条件を満たさない場合、つまり、予め設定されたフレーム数を符号化しておらず、かつ、映像入力が終了していない場合は、ステップＳ１０００に戻る。
【０１０６】
次に、上記構成を有する映像送信装置１００の動作、特に映像配信部１３０の動作について、図９に示すフローチャートを用いて説明する。なお、図９に示すフローチャートは、映像送信装置１００の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。映像配信部１３０は、ユーザが指定した注目領域に対して、拡張レイヤの映像データから対応する部分を切り出して送信する機能を有している。
【０１０７】
まず、ステップＳ２０００では、注目領域情報を入力する注目領域入力処理を行う。具体的には、注目領域受信部１３２で、ユーザが送信した注目領域情報を受信し、映像データ切り出し部１３６および領域マップ算出部１１８に出力する。このとき、予め設定された時間待機しても注目領域情報が受信されない場合は、注目領域情報が受信されなかったことを示す「注目領域ＯＦＦ」情報を出力する。なお、領域マップ算出部１１８に出力された注目領域情報は、上記のように、領域マップの算出に利用される（動作例４参照）。
【０１０８】
そして、ステップＳ２１００では、注目領域に対応する拡張レイヤ映像データを切り出す注目領域切り出し処理を行う。具体的には、映像データ切り出し部１３６で、拡張レイヤ符号化部１２０から出力された拡張レイヤ映像データおよびオフセットテーブル、領域マップ算出部１１８から出力された領域マップ、ならびに注目領域受信部１３２から出力された注目領域情報を用いて、拡張レイヤの映像データの切り出しを行う。より具体的には、まず、領域マップと注目領域情報を比較して、注目領域を包含する小領域を算出する。次に、オフセットテーブルを用いて、注目領域を包含する小領域に対応する映像データの格納位置を算出し、拡張レイヤの映像データから映像データの切り出しを行う。そして、切り出した映像データを拡張レイヤ送信部１３８に出力する。ただし、注目領域受信部１３２から「注目領域ＯＦＦ」情報を入力した場合は、映像データの切り出しは行わず、拡張レイヤの映像データをそのまま拡張レイヤ送信部１３８に出力する。
【０１０９】
そして、ステップＳ２２００では、データの送信処理を行う。具体的には、基本レイヤ送信部１３４で、基本レイヤ符号化部１１６から出力された映像データを、ネットワーク１９０を介して映像受信装置１５０へ送信する。また、拡張レイヤ送信部１３８で、映像データ切り出し部１３６から出力された映像データを、ネットワーク１９０を介して映像受信装置１５０へ送信する。また、領域マップ送信部１４０で、領域マップ算出部１１８から出力された領域マップを、ネットワーク１９０を介して映像受信装置１５０へ送信する。
【０１１０】
次いで、上記構成を有する映像受信装置１５０の動作について、図１０に示すフローチャートを用いて説明する。なお、図１０に示すフローチャートは、映像受信装置１５０の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１１１】
まず、ステップＳ３０００では、データの入力処理を行う。具体的には、基本レイヤ受信部１５２で、ネットワーク１９０を介して基本レイヤの映像データを受信し、基本レイヤ復号化部１５４に出力する。また、拡張レイヤ受信部１５６で、ネットワーク１９０を介して拡張レイヤの映像データを受信し、拡張レイヤ復号化部１５８に出力する。また、領域マップ受信部１６０で、ネットワーク１９０を介して領域マップを受信し、映像合成部１６２に出力する。
【０１１２】
そして、ステップＳ３１００では、基本レイヤの復号化処理を行う。具体的には、基本レイヤ復号化部１５４で、基本レイヤ受信部１５２から出力された基本レイヤの映像データを復号化し、得られた復号化映像を拡張レイヤ復号化部１５８および映像合成部１６２に出力する。
【０１１３】
そして、ステップＳ３２００では、拡張レイヤの復号化処理を行う。具体的には、拡張レイヤ復号化部１５８で、拡張レイヤ受信部１５６から出力された拡張レイヤの映像データを復号化し、基本レイヤ復号化部１５４から出力された基本レイヤの復号化映像を予め決められた拡大率で拡大して得た映像との加算処理を行い、復号化映像を生成する。そして、得られた復号化映像から、拡張レイヤが存在する領域の復号化映像を切り出し、切り出した復号化映像データを映像合成部１６２に出力する。
【０１１４】
そして、ステップＳ３３００では、映像の合成処理を行う。具体的には、映像合成部１６２で、基本レイヤ復号化部１５４から出力された基本レイヤの復号化映像と、拡張レイヤ復号化部１５８から出力された拡張レイヤの復号化映像と、領域マップ受信部１６０から出力された領域マップとを合成し、映像表示部１６４に出力する。より具体的には、基本レイヤ復号化映像の上に領域マップで示される小領域を同時に表示し、拡張レイヤ復号化映像中に子画面として合成する。
【０１１５】
図１１は、拡張レイヤ復号化映像に子画面を合成した映像合成結果の一例を示す図である。図１１中、７０１は全景を表す基本レイヤ復号化映像上に領域マップで示される小領域を線で表示した子画面であり、７０３は拡張レイヤ復号化映像である。
【０１１６】
このように、画面に映像全体像と領域マップを同時に表示することにより、これを利用して注目領域の選択を行うことが可能になり、ユーザは注目領域と全景の相対関係を視覚的に把握することができ、ユーザによる注目領域の選択の操作性を向上することができる。
【０１１７】
なお、本実施の形態では、全景映像と拡張レイヤ映像を１画面に合成する場合を示したが、これに限定されるわけではなく、２つの表示画面に別々に表示することも可能であり、拡張レイヤの他に全景を表示し注目領域の選択操作性を向上できる方法であれば、いかなる方法でもよい。
【０１１８】
そして、ステップＳ３４００では、映像の表示処理を行う。具体的には、映像表示部１６４で、映像合成部１６２から出力された合成映像（図１１参照）を表示デバイスに表示する。
【０１１９】
そして、ステップＳ３５００では、注目領域の設定処理を行う。具体的には、注目領域設定部１６６で、ユーザが表示デバイスに表示された子画面を見て注目領域を選択すると、注目領域情報（ｘ，ｙ）、（ｗ，ｈ）を算出し、注目領域送信部１６８に出力する。また、子画面に表示された小領域によってはユーザの希望する注目領域を切り出せない場合は、小領域を示す領域マップを算出して注目領域情報に追加し、注目領域送信部１６８に出力する。これにより、ユーザによる注目領域の選択に伴う、小領域の変更を行うことが可能である。
【０１２０】
そして、ステップＳ３６００では、注目領域情報の送信処理を行う。具体的には、注目領域送信部１６８で、注目領域設定部１６６から出力された注目領域情報を、ネットワーク１９０を介して映像送信装置１００へ送信する。
【０１２１】
このように、本実施の形態によれば、基本レイヤ（縮小映像）は低解像度の映像であり、この低解像度映像を基本レイヤ符号化するため、復号化における処理負荷が小さく、低遅延に復号化することができる。また、領域マップを算出し、拡張レイヤ（差分映像）を領域マップに従って分割した後、分割領域毎に符号化を行うため、オーバヘッドを削減することができる。また、拡張レイヤの映像データの、分割領域毎の格納位置をオフセットテーブルに記述し、このオフセットテーブルを用いて拡張レイヤの映像データの切り出しを行うため、注目領域に対応する映像データに高速にアクセスすることができ、映像データの切り出しを高速に行うことができる。さらに、拡張レイヤに対しては復号化時に過去のフレームが不要なフレーム内符号化を行うため、映像再生時に注目領域を変更することができる。したがって、符号化効率の低下を招くことなく、注目領域の映像データのみを効率良く伝送して復号化することができるとともに、映像再生中も注目領域の変更を行うことができる。
【０１２２】
（実施の形態２）
本実施の形態では、送信端末が拡張レイヤの復号化に必要なデコードマップを送信し、受信端末がそのデコードマップに従って基本レイヤの復号化処理を一部省略する場合について説明する。
【０１２３】
図１２は、本発明の実施の形態２に係る映像送信装置および映像受信装置を含む映像伝送システムの構成を示す図である。なお、この映像伝送システムは、図１に示す映像伝送システムと同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【０１２４】
本実施の形態の特徴は、送信端末がデコードマップを送信し、受信端末がそのデコードマップに従って基本レイヤの復号化処理を一部省略することである。このため、映像送信装置２００（特に映像配信部２０２）は、デコードマップ生成部２０４とデコードマップ送信部２０６を有する。また、映像受信装置２５０は、デコードマップ受信部２５２を有する。
【０１２５】
映像データ切り出し部１３６ａは、実施の形態１における映像データ切り出し部１３６と同様に、拡張レイヤ符号化部１２０から出力された映像データから、領域マップ算出部１１８から出力された領域マップと、拡張レイヤ符号化部１２０から出力されたオフセットテーブルとを用いて、注目領域受信部１３２から出力された注目領域に対応する映像データを抽出し（切り出し）、抽出した映像データを拡張レイヤ送信部１３８に出力する。これに加え、映像データ切り出し部１３６ａは、切り出した小領域の番号および領域マップをデコードマップ生成部２０４に出力する。
【０１２６】
デコードマップ生成部２０４は、映像データ切り出し部１３６ａから出力された小領域番号および領域マップを用いてデコードマップを生成し、デコードマップ送信部２０６に出力する。
【０１２７】
デコードマップ送信部２０６は、デコードマップ生成部２０４から出力されたデコードマップを、ネットワーク１９０を介して映像受信装置２５０へ送信する。
【０１２８】
デコードマップ受信部２５２は、ネットワーク１９０からデコードマップを受信し、基本レイヤ復号化部１５４ａに出力する。
【０１２９】
基本レイヤ復号化部１５４ａは、基本レイヤ受信部１５２から出力された基本レイヤの映像データに対して、デコードマップ受信部２５２から出力されたデコードマップを用いて復号化処理を行い、得られた復号化映像を拡張レイヤ復号化部１５８および映像合成部１６２に出力する。
【０１３０】
次いで、上記構成を有する映像送信装置２００の動作、特に映像配信部２０２の動作について、図１３に示すフローチャートを用いて説明する。なお、図１３に示すフローチャートは、映像送信装置２００の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１３１】
本実施の形態では、図１３に示すように、ステップＳ２１５０を図９に示すフローチャートに挿入している。
【０１３２】
ステップＳ２０００およびステップＳ２１００は、図９に示すフローチャートの各ステップと同様であるため、その説明を省略する。ただし、本実施の形態では、ステップＳ２０００では、受信した注目領域情報は、映像データ切り出し部１３６ａおよび領域マップ算出部１１８に出力される。また、ステップＳ２１００では、実施の形態１での処理に加えて、切り出した小領域の番号および領域マップをデコードマップ生成部２０４に出力する。
【０１３３】
ステップＳ２１５０では、デコードマップの生成処理を行う。具体的には、映像データ切り出し部１３６ａから出力された小領域番号および領域マップを用いてデコードマップを生成し、デコードマップ送信部２０６に出力する。デコードマップは、映像データ切り出し部１３６ａから出力された小領域番号に対応する領域マップの小領域を含んでいる。
【０１３４】
図１４（Ａ）は、領域マップの一例を示す図であり（図３（Ｂ）参照）、図１４（Ｂ）は、切り出した小領域の番号を示す図であり、図１４（Ｃ）は、図１４（Ｂ）に対応するデコードマップの一例を示す図である。図１４（Ｃ）において、切り出された小領域の番号（１，２，８，９）に対応するマクロブロックは「１」であり、それ以外は「０」となっている。拡張レイヤの復号化においては、基本レイヤにおける同一の領域の復号化映像が必要である。したがって、デコードマップにおいて「１」で示される領域は、拡張レイヤを含む領域であるため、基本レイヤにおいて復号化処理が必要な領域である。すなわち、図１４（Ｃ）のデコードマップにおいて、「１」の領域は復号化が必要な領域を示し、「０」の領域は復号化が不要な領域を示している。
【０１３５】
なお、デコードマップは図１４（Ｃ）の形式に限定されるわけではなく、領域を表現できる方式であれば、いかなる方式も利用可能である。
【０１３６】
また、本実施の形態では、デコードマップを別データとして映像ストリームとは別に送信したが、これに限定されるわけではなく、基本レイヤにおけるユーザ領域に記述することも可能である。これにより、別データの送信処理が不要となり、標準の基本レイヤでの復号化も可能となる。
【０１３７】
ステップＳ２２００は、図９に示すフローチャートのステップと同様であるため、その説明を省略する。ただし、本実施の形態では、実施の形態１でのデータ送信処理に加えて、デコードマップ送信部２０６で、デコードマップ生成部２０４から出力されたデコードマップが、ネットワーク１９０を介して映像受信装置２５０へ送信される。
【０１３８】
次いで、上記構成を有する映像受信装置２５０の動作について、図１５に示すフローチャートを用いて説明する。なお、図１５に示すフローチャートは、映像受信装置２５０の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１３９】
本実施の形態では、図１５に示すように、ステップＳ３０５０を図１０に示すフローチャートに挿入している。
【０１４０】
ステップＳ３０００は、図１０に示すフローチャートのステップと同様であるため、その説明を省略する。
【０１４１】
ステップＳ３０５０では、デコードマップの更新処理を行う。具体的には、デコードマップ受信部２５２で、ネットワーク１９０を介してデコードマップを受信し、基本レイヤ復号化部１５４ａに出力する。そして、基本レイヤ復号化部１５４ａで、過去のフレームの基本レイヤ復号化処理において復号化された動きベクトルを用いて、基本レイヤの動きベクトルの方向にデコードマップの「１」の領域を拡張する。
【０１４２】
図１６（Ａ）は、受信したデコードマップの一例を示す図であり、図１６（Ｂ）は、拡張したデコードマップの一例を示す図である。図１６（Ａ）および図１６（Ｂ）中、８０１は受信したデコードマップにおける復号化対象領域（「１」の領域）である。また、図１６（Ｂ）中、８０３は拡張されたデコードマップにおける復号化対象領域であり、８０５は基本レイヤであり、ＭＶは動きベクトルである。図１６（Ｂ）に示すように、動きベクトルの方向に復号化対象領域が拡張されている。
【０１４３】
このように、物体の動きに合わせてデコードマップを拡大することにより、フレーム毎の注目領域の移動に対応することができ、注目領域の移動に伴う基本レイヤのデータの欠落を防止することができる。
【０１４４】
ステップＳ３１００〜ステップＳ３６００は、図１０に示すフローチャートの各ステップと同様であるため、その説明を省略する。ただし、本実施の形態では、ステップＳ３１００において、デコードマップを用いて基本レイヤの復号化処理を行う。具体的には、基本レイヤ復号化部１５４ａで、基本レイヤ受信部１５２から出力された基本レイヤの映像データに対して、デコードマップで示される領域のみを復号化し、得られた復号化映像を拡張レイヤ復号化部１５８および映像合成部１６２に出力する。これにより、デコードマップに示されていない領域の復号化処理を省略することができ、復号化処理の削減に伴う低遅延化を実現することができる。
【０１４５】
このように、本実施の形態によれば、拡張レイヤ復号化に必要な基本レイヤのデコードマップを送信し、デコードマップに示された領域のみを基本レイヤ復号化するため、基本レイヤの復号化処理を一部省略することができ、処理の軽減を図ることができる。この結果、さらなる高速化が可能になる。
【０１４６】
また、本実施の形態によれば、デコードマップを動きベクトル方向に拡張して基本レイヤ復号化するため、注目領域の移動に伴う基本レイヤデータの増加に対応することができ、基本レイヤの欠落（つまり、参照画像の欠損）を防止することができる。この結果、注目領域の変更が可能になる。
【産業上の利用可能性】
【０１４７】
本発明に係る映像送信装置および映像受信装置を含む映像伝送システムは、符号化効率を低下させることなく、高解像度映像中の注目領域の映像データのみを切り出して送信し復号化することが可能であり、注目領域の映像データを少ない伝送帯域で伝送することができ、低処理で復号化することができるとともに、映像再生中に注目領域を変更することができる効果を有し、伝送帯域や処理能力に制約のある状況において、低処理で注目領域の映像データを復号化させるのに有用である。
【図面の簡単な説明】
【０１４８】
【図１】本発明の実施の形態１に係る映像送信装置および映像受信装置を含む映像伝送システムの構成を示す図
【図２】実施の形態１に対応する映像送信装置の映像符号化部の動作を示すフローチャート
【図３】（Ａ）動作例１における入力映像の一例を示す図、（Ｂ）対応する領域マップの一例を示す図
【図４】（Ａ）動作例２における入力映像の一例を示す図、（Ｂ）対応する領域マップの一例を示す図
【図５】（Ａ）動作例３における入力映像の一例を示す図、（Ｂ）対応する領域マップの一例を示す図
【図６】（Ａ）動作例４における入力映像の一例を示す図、（Ｂ）対応する領域マップの一例を示す図
【図７】図２に示す拡張レイヤ符号化処理の内容を示すフローチャート
【図８】（Ａ）領域マップの一例を示す図、（Ｂ）対応するオフセットテーブルの一例を示す図
【図９】実施の形態１に対応する映像送信装置の映像配信部の動作を示すフローチャート
【図１０】実施の形態１に対応する映像受信装置の動作を示すフローチャート
【図１１】映像合成結果の一例を示す図
【図１２】本発明の実施の形態２に係る映像送信装置および映像受信装置を含む映像伝送システムの構成を示す図
【図１３】実施の形態２に対応する映像送信装置の映像配信部の動作を示すフローチャート
【図１４】（Ａ）領域マップの一例を示す図、（Ｂ）切り出された小領域の番号を示す図、（Ｃ）対応するデコードマップの一例を示す図
【図１５】実施の形態２に対応する映像受信装置の動作を示すフローチャート
【図１６】（Ａ）デコードマップの一例を示す図、（Ｂ）拡張されたデコードマップの一例を示す図
【符号の説明】
【０１４９】
１００、２００  映像送信装置
１１０  映像符号化部
１１２  映像入力部
１１４  映像縮小部
１１６  基本レイヤ符号化部
１１８  領域マップ算出部
１２０  拡張レイヤ符号化部
１２２  オフセットテーブル生成部
１３０、２０２  映像配信部
１３２  注目領域受信部
１３４  基本レイヤ送信部
１３６、１３６ａ  映像データ切り出し部
１３８  拡張レイヤ送信部
１４０  領域マップ送信部
１５０、２５０  映像受信装置
１５２  基本レイヤ受信部
１５４、１５４ａ  基本レイヤ復号化部
１５６  拡張レイヤ受信部
１５８  拡張レイヤ復号化部
１６０  領域マップ受信部
１６２  映像合成部
１６４  映像表示部
１６６  注目領域設定部
１６８  注目領域送信部
１９０  ネットワーク
２０４  デコードマップ生成部
２０６  デコードマップ送信部
２５２  デコードマップ受信部
【図１】
2005142654.tif 000003
【図２】
2005142654.tif 000004
【図３】
2005142654.tif 000005
【図４】
2005142654.tif 000006
【図５】
2005142654.tif 000007
【図６】
2005142654.tif 000008
【図７】
2005142654.tif 000009
【図８】
2005142654.tif 000010
【図９】
2005142654.tif 000011
【図１０】
2005142654.tif 000012
【図１１】
2005142654.tif 000013
【図１２】
2005142654.tif 000014
【図１３】
2005142654.tif 000015
【図１４】
2005142654.tif 000016
【図１５】
2005142654.tif 000017
【図１６】
2005142654.tif 000018