(57)【要約】【課題】画像のデータ量を削減できるだけでなく、重要度の高い領域を容易に高画質で提示可能とする。【解決手段】領域設定部２１は、予め設定された解像度よりも高解像度の画像に対して領域サイズが異なる複数のレイヤ領域を階層化して設定する。画像データ抽出部２２は、画像データＤＶinからレイヤ領域毎に画像データを抽出する。画像データ変換部２３は、レイヤ領域毎に抽出した画像データＤＷaを予め設定された解像度にダウンコンバートする。ダウンコンバート後のレイヤ領域毎の画像データの符号化処理等を行い出力部３０から出力する。予め設定された解像度にダウンコンバートするのでデータ量が削減される。各レイヤ領域の画像を重ね合わせて表示すれば、重要度の高い領域を高画質で提示することが可能となる。【選択図】        図１
2009194763.tif 000002
【特許請求の範囲】
【請求項１】
予め設定された解像度よりも高解像度の画像に対して領域サイズが異なる複数のレイヤ領域を階層化して設定する領域設定部と、
前記画像の画像データから前記レイヤ領域毎に画像データを抽出する画像データ抽出部と、
前記レイヤ領域毎の画像データを前記予め設定された解像度の画像データにダウンコンバートする画像データ変換部と、
前記ダウンコンバートが行われたレイヤ領域毎の画像データを出力する出力部を備える
ことを特徴とする画像処理装置。
【請求項２】
前記レイヤ領域における該レイヤ領域よりも領域サイズが小さいレイヤ領域との重複領域の画像データを、無効領域データに置き換える無効領域付加部をさらに備える
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記領域設定部は、前記画像に設定されたレイヤ領域をそれぞれ判別可能とするレイヤ領域情報を生成するものとし、
前記出力部は、前記出力する画像データに前記レイヤ領域情報を対応させて、該画像データとレイヤ領域情報を出力する
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記レイヤ領域情報は、レイヤ領域の基準位置と領域サイズを示す情報を有する
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記レイヤ領域毎の画像データ、または前記レイヤ領域を結合させた画像データを符号化処理する符号化部をさらに備え、
前記出力部は、前記符号化部で符号化処理された画像データを出力する
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記出力部から出力する画像データを記録媒体に記録する記録部をさらに備える
ことを特徴とする請求項１記載の画像処理装置。
【請求項７】
予め設定された解像度よりも高解像度の画像に対して領域サイズが異なる複数のレイヤ領域を階層化して設定する領域設定ステップと、
前記画像の画像データから前記レイヤ領域毎に画像データを抽出する画像データ抽出ステップと、
前記レイヤ領域毎の画像データを前記予め設定された解像度の画像データにダウンコンバートする画像データ変換ステップと、
前記ダウンコンバートが行われたレイヤ領域毎の画像データを出力する出力ステップを有する
ことを特徴とする画像処理方法。
【請求項８】
予め設定された解像度よりも高解像度の画像に対して領域サイズが異なる複数のレイヤ領域を階層化して設定して、該レイヤ領域毎の画像データが前記予め設定された解像度の画像データにダウンコンバートされている画像データを用いる画像処理装置において、
前記ダウンコンバートされている画像データをそれぞれレイヤ領域の領域サイズに対応した画像データに変換して、該変換後の画像データを用いてレイヤ領域毎の画像の重ね合わせを行う重ね合わせ処理部と、
前記レイヤ領域毎の画像が重ね合わされている画像の画像データを表示画像データとして出力する表示画像データ出力部を備える
ことを特徴とする画像処理装置。
【請求項９】
予め設定された解像度よりも高解像度の画像に対して領域サイズが異なる複数のレイヤ領域を階層化して設定して、該レイヤ領域毎の画像データが前記予め設定された解像度の画像データにダウンコンバートされている画像データを用いる画像処理装置の画像処理方法において、
前記ダウンコンバートされている画像データをそれぞれレイヤ領域の領域サイズに対応した画像データに変換して、該変換後の画像データを用いてレイヤ領域毎の画像の重ね合わせを行う重ね合わせ処理ステップと、
前記レイヤ領域毎の画像が重ね合わされている画像の画像データを表示画像データとして出力する表示画像データ出力ステップを有する
ことを特徴とする画像処理方法。
【請求項１０】
予め設定された解像度よりも高解像度の画像の画像データを用いて画像処理を行う第１の画像処理装置と、前記第１の画像処理装置からの出力データを用いて画像処理を行い表示画像データを生成する第２の画像処理装置を用いて構成される画像処理システムにおいて、
前記第１の画像処理装置は、
前記高解像度の画像に対して領域サイズが異なる複数のレイヤ領域を階層化して設定する領域設定部と、
前記画像の画像データから前記レイヤ領域毎に画像データを抽出する画像データ抽出部と、
前記レイヤ領域毎の画像データを前記予め設定された解像度の画像データにダウンコンバートする画像データ変換部と、
前記ダウンコンバートが行われたレイヤ領域毎の画像データを出力する出力部を備え、
前記第２の画像処理装置は、
前記レイヤ領域毎の画像データをそれぞれレイヤ領域の領域サイズに対応した画像データに変換して、該変換後の画像データを用いてレイヤ領域毎の画像の重ね合わせを行う重ね合わせ処理部を備える
ことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置と画像処理方法および画像処理システムに関する。詳しくは、画像に階層化して設定したレイヤ領域毎の画像データを、予め設定した解像度の画像データに変換する。また、この領域毎の画像データを用いて各レイヤ領域の画像を重ね合わせて表示画像データを生成することで、画像のデータ量を削減できるだけでなく、重要度の高い画像領域を容易に高画質で提示可能とするものである。
【背景技術】
【０００２】
従来、効率よく動画像を伝送するため、例えば特許文献１の動画像伝送装置は、監視動画像を複数の領域に分割して、監視の重要度に応じて各領域の解像度やコマ数を減少させることにより異なる圧縮率で動画像を伝送することが行われている。
【０００３】
【特許文献１】特開２０００−３３３１５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１の動画像伝送装置では、表示装置と解像度の等しい監視動画像を監視カメラで生成して、監視の重要度に応じて各領域の解像度やコマ数を減少させて伝送するものである。このため、例えば高解像度の表示装置を用いて監視動画像を全画面表示する場合、監視動画像は表示装置に対応した解像度となるように画素データを繰り返すことでアップコンバートすると、重要度の高い領域を高画質に提示することができない。また、重要度の高い領域を拡大して表示する場合も同様に、画素データを繰り返すことでアップコンバートすると拡大して表示される画像は高画質が低下したものとなってしまう。また、アップコンバートを行って高画質の画像を得るためには、高度な信号処理等を行わなければならなくなってしまう。
【０００５】
そこで、この発明では、画像のデータ量を削減できるだけでなく、重要度の高い領域を容易に高画質で提示可能とする画像処理装置と画像処理方法および画像処理システムを提供するものである。
【課題を解決するための手段】
【０００６】
この発明の概念は、予め設定された解像度よりも高解像度の画像に対して領域サイズが異なる複数のレイヤ領域を階層化して設定して、各レイヤ領域の画像データを予め設定された解像度の画像データにダウンコンバートすることにより、領域サイズの小さいレイヤ領域の画像は領域サイズの大きいレイヤ領域の画像よりも画素密度を高くする。このように、ダウンコンバートを行うことで画像のデータ量を削減し、領域サイズの小さいレイヤ領域の画像は画素密度を高くすることで、重要度の高い領域を領域サイズの小さいレイヤ領域の位置として、重要度の高い領域を高画質で提示可能とするものである。
【０００７】
この発明の画像処理装置は、予め設定された解像度よりも高解像度の画像に対して領域サイズが異なる複数のレイヤ領域を階層化して設定する領域設定部と、画像の画像データからレイヤ領域毎に画像データを抽出する画像データ抽出部と、レイヤ領域毎の画像データを予め設定された解像度の画像データにダウンコンバートする画像データ変換部と、ダウンコンバートが行われたレイヤ領域毎の画像データを出力する出力部を備えるものである。
【０００８】
また、この発明の画像処理装置は、予め設定された解像度よりも高解像度の画像に対して領域サイズが異なる複数のレイヤ領域を階層化して設定して、該レイヤ領域毎の画像データが予め設定された解像度の画像データにダウンコンバートされている画像データを用いる画像処理装置において、ダウンコンバートされている画像データをそれぞれレイヤ領域の領域サイズに対応した画像データに変換して、該変換後の画像データを用いてレイヤ領域毎の画像の重ね合わせを行う重ね合わせ処理部と、レイヤ領域毎の画像が重ね合わされている画像の画像データを表示画像データとして出力する表示画像データ出力部を備えるものである。
【０００９】
さらに、この発明に係る画像処理方法は、これらの画像処理装置に対応する方法であり、この発明に係る画像処理システムは、これらの画像処理装置を用いた画像処理システムである。
【発明の効果】
【００１０】
この発明によれば、予め設定された解像度よりも高解像度の画像に対して領域サイズが異なる複数のレイヤ領域が階層化して設定されて、各レイヤ領域の画像データが予め設定された解像度の画像データにダウンコンバートされる。このため、画像のデータ量が削減される。また、この領域毎の画像データを用いて各レイヤ領域の画像を重ね合わせて表示画像データを生成すれば、領域サイズの大きいレイヤ領域よりも領域サイズの小さいレイヤ領域で画素密度を高くすることができるので、重要度の高い画像領域を容易に高画質で提示することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は画像処理システムの構成を示している。画像処理システム１０は、録画側の画像処理装置２０と再生側の画像処理装置４０を用いて構成されている。録画側の画像処理装置２０は、予め設定された解像度よりも高解像度の画像、例えば撮像装置１１で生成された高解像度の動画像や、記録装置１２から読み出した高解像度の動画像に対して、領域サイズが異なる複数のレイヤ領域を階層化して設定する。さらに、画像処理装置２０は、レイヤ領域毎の画像データを予め設定された解像度にダウンコンバートすることで、レイヤ領域の動画像の画素密度がレイヤ領域毎に異なるものとされたレイヤ領域毎の画像データを生成する。再生側の画像処理装置４０は、画像処理装置２０で生成されたレイヤ領域毎の画像データを用いて、各レイヤ領域の動画像を重ね合わせて表示画像データを生成して表示装置８０に出力する。
【００１２】
ここで、録画側の画像処理装置２０で生成されたレイヤ領域毎の画像データは、例えば記録装置（記録媒体等も含む）６０に出力されて、記録装置６０を介して再生側の画像処理装置４０に供給される。なお、画像処理装置２０は、ネットワーク７０等を介して画像データを画像処理装置４０に出力するものとしてもよい。また、画像処理装置２０に記録装置６０を内蔵させて、画像処理装置２０から出力する画像データを内部の記録装置６０で記録媒体に記録して、この記録媒体を介して再生側の画像処理装置４０に画像データを供給するようにしてもよい。
【００１３】
また、画像処理装置２０は、画像処理装置４０に対して各レイヤ領域の画像データの供給を効率よく行うことができるように、画像データの符号化処理を行い、画像処理装置４０は符号化処理されている画像データの復号化処理を行う。
【００１４】
図２は、録画側の画像処理装置２０の構成を示している。なお、画像処理装置２０は、動作モードとして、レイヤ領域の画像の画素密度がレイヤ領域毎に異なるものとされた画像データを生成する階層化モードと、レイヤ領域を設定することなく高解像度の動画像から所望の解像度の画像データを生成する非階層化モードが設けられているものとする。
【００１５】
画像処理装置２０は、撮像装置１１または記録装置１２から供給された画像データＤＶinを、領域設定部２１と画像データ抽出部２２および画像データ変換部２６に供給する。この画像データＤＶinは、予め設定された解像度よりも高解像度である動画像の画像データである。
【００１６】
領域設定部２１は、画像データＤＶinに基づく動画像に対して、領域サイズが異なる複数のレイヤ領域を階層化して設定する。複数のレイヤ領域は、予め決められた位置および領域サイズで設定するものとしてもよく、動画像に応じてユーザが設定できるようにしてもよい。また、動画像に基づいて自動的にレイヤ領域を設定するものとしてもよい。
【００１７】
例えば、ユーザ操作に応じてレイヤ領域を設定する場合、表示部２１１と制御部２１３でＧＵＩ(Graphical User Interface)を構成する。表示部２１１は、画像データＤＶinに基づく動画像の表示や動画像上にカーソルの表示を行う。ユーザインタフェース部２１２は、マウスやタッチパネル等のポインティングデバイスあるいはキーボード等を用いて構成されており、ユーザ操作に応じた操作信号ＰＡを生成して制御部２１３に供給する。
【００１８】
制御部２１３は、操作信号ＰＡに応じた表示制御信号ＨＣを表示部２１１に供給して、表示部２１１で表示されている動画像上に、ユーザ操作に応じて移動されるカーソルを表示させる。さらに、制御部２１３は、操作信号ＰＡがレイヤ領域の決定操作を示すとき、カーソルが示す座標位置を基準として、領域サイズが異なる複数のレイヤ領域を階層化して設定する。また、制御部２１３は、操作信号ＰＡに基づき領域サイズやレイヤ領域の数を変更可能としてもよい。
【００１９】
また、動画像に基づいて自動的にレイヤ領域を設定する場合、識別部２１４を設ける。識別部２１４は、画像データＤＶinを用いて動き検出処理を行い、動きを生じた被写体を検出する。さらに、識別部２１４は動きのある被写体の位置を示す情報信号ＪＭを制御部２１３に供給する。また、識別部２１４は、画像データＤＶinを用いて色識別処理を行い、人物や顔等の位置を検出する。さらに、識別部２１４は人物や顔等の位置を示す情報信号ＪＰを制御部２１３に供給する。
【００２０】
制御部２１３は、情報信号ＪＭや情報信号ＪＰに基づき、動きのある被写体の位置や人物や顔等の位置を基準として、領域サイズが異なる複数のレイヤ領域を階層化して設定する。
【００２１】
また、制御部２１３は、レイヤ領域を階層化して設定したとき、動画像に設定されたレイヤ領域をそれぞれ判別可能とするレイヤ領域情報ＪＬを生成して、画像データ抽出部２２に供給する。レイヤ領域情報ＪＬとしては、各レイヤ領域の基準位置や領域サイズを示す情報を用いる。例えば基準とする画面上の座標位置や画像の領域サイズに対する倍率を示すものとする。また、レイヤ領域の四隅の座標位置等を示すものとしてもよい。制御部２１３は、画像処理装置４０でレイヤ領域を判別できないとき、画像データにレイヤ領域情報ＪＬを対応付けて出力できるようにレイヤ領域情報ＪＬを出力部３０に供給する。例えば、画像処理装置２０と画像処理装置４０との間で、レイヤ領域の数や基準位置および領域サイズを予め決めておけば、画像処理装置４０でレイヤ領域を判別できる。しかし、画像処理装置２０でレイヤ領域を自由に設定できるようにすると、画像処理装置４０でレイヤ領域を判別できない。このような場合、画像データにレイヤ領域情報ＪＬを対応付けて出力できるようにレイヤ領域情報ＪＬを出力部３０に供給する。
【００２２】
さらに、制御部２１３は、ユーザによって選択された動作モードに応じた制御信号ＣＴを生成してデータ選択部２８aに供給する。
【００２３】
画像データ抽出部２２は、画像データＤＶinから領域設定部２１で設定されたレイヤ領域の画像データをレイヤ領域毎に抽出して、抽出した画像データＤＷaを画像データ変換部２３に供給する。
【００２４】
画像データ変換部２３は、画像データＤＷaのダウンコンバートを行い、予め設定された解像度の画像データＤＷbに変換して無効領域付加部２４に供給する。すなわち、画像データ変換部２３は、画像データＤＷaに対して画素数変換やライン数変換を行い、予め設定されている水平画素数およびライン数である画像データＤＷbに変換する。
【００２５】
無効領域付加部２４は、無効領域付加処理を行う。無効領域付加部２４は、領域サイズが小さいレイヤ領域と重複する領域を無効領域として、この無効領域の画像データを無効領域データに置き換える無効領域付加処理を行う。無効領域データは、例えば後述するように画像データの符号化処理を行ったとき、データ量が少なくなるように設定する。具体的には、予め設定された固定レベル（例えば黒レベル等）のデータを用いるものとして、圧縮後のデータ量を少なくさせる。また、無効領域データは、無効領域を識別できるように特有のパターンのデータを用いるものとしてもよい。無効領域付加部２４は、画像データＤＷbに対して無効領域付加処理が行われた画像データＤＷcを結合処理部２５に供給する。
【００２６】
結合処理部２５は、各レイヤ領域の画像を結合した画像データＤＷdを生成して、この画像データＤＷdをデータ選択部２８aに供給する。例えば、レイヤ領域の数を「４」としたとき、１フレームの画像データＤＷaから生成した４つのレイヤ領域の画像データＤＷcを用いて、４つのレイヤ領域を結合した画像データ、すなわち予め設定された解像度に対して水平画素数とライン数が２倍とされた１フレームの画像データＤＷdを生成する。
【００２７】
画像データ変換部２６は、画像データＤＷaのダウンコンバートを行い、予め設定された解像度よりも高解像度の画像データＤＷeに変換してデータ選択部２８aに供給する。例えば、水平画素数とライン数が画像データＤＷdと等しくなるようにダウンコンバートを行う。
【００２８】
データ選択部２８aは、制御部２１３から供給された制御信号ＣＴに基づき、動作モードが階層化モードであるとき、画像データＤＷdを選択して画像データＤＷgとして符号化部２９aに供給する。また、データ選択部２８aは、制御部２１３から供給された制御信号ＣＴに基づき、動作モードが非階層化モードであるとき、画像データＤＷeを選択して画像データＤＷgとして符号化部２９aに供給する。
【００２９】
符号化部２９aは、符号化処理を行い画像データＤＷgを圧縮符号化する。また符号化部２９aは、符号化処理を行うことにより得られた符号化データＤＧaを出力部３０に供給する。
【００３０】
出力部３０は、符号化データＤＧaの出力を行う。例えば、出力部３０は、符号化データＤＧaを記録装置６０に供給して記録させる。また、ネットワーク等を介して符号化データＤＧaを画像処理装置４０に供給する。さらに、レイヤ領域情報ＪＬが制御部２１３から供給されたとき、このレイヤ領域情報ＪＬを対応する符号化データＤＧaに対応付けて、符号化データＤＧaとともに出力する。
【００３１】
なお、図２は、レイヤ領域の画像を結合してから符号化処理を行う場合の構成を示したが、レイヤ領域毎に画像データを符号化処理して出力するものとしてもよい。
【００３２】
図３は、録画側の画像処理装置の他の構成として、レイヤ領域毎に画像データを符号化処理して出力する場合を示している。
【００３３】
画像処理装置２０は、撮像装置１１または記録装置１２から供給された画像データＤＶinを、領域設定部２１と画像データ抽出部２２および画像データ変換部２６に供給する。この画像データＤＶinは、上述のように予め設定された解像度よりも高解像度である動画像の画像データである。
【００３４】
領域設定部２１は、画像データＤＶinに基づく動画像に対して、領域サイズが異なる複数のレイヤ領域を階層化して設定する。複数のレイヤ領域は、予め決められた位置および領域サイズで設定するものとしてもよく、動画像に応じてユーザが設定できるようにしてもよい。また、動画像に基づいて自動的にレイヤ領域を設定するものとしてもよい。
【００３５】
制御部２１３は、領域サイズが異なる複数のレイヤ領域を階層化して設定する。また、制御部２１３は、動画像に設定されたレイヤ領域をそれぞれ判別可能とするレイヤ領域情報ＪＬを生成して、画像データ抽出部２２に供給する。また、制御部２１３は、画像処理装置４０でレイヤ領域を判別できないとき、レイヤ領域情報ＪＬを出力部３０に供給する。さらに、制御部２１３は、ユーザによって選択された動作モードに応じた制御信号ＣＴを生成してデータ選択部２８bに供給する。
【００３６】
画像データ抽出部２２は、画像データＤＶinから領域設定部２１で設定されたレイヤ領域の画像データをレイヤ領域毎に抽出して、抽出した画像データＤＷaを画像データ変換部２３に供給する。
【００３７】
画像データ変換部２３は、画像データＤＷaのダウンコンバートを行い、予め設定された解像度の画像データＤＷbに変換して無効領域付加部２４に供給する。
【００３８】
無効領域付加部２４は、無効領域付加処理を行い、レイヤ領域が重複する領域を無効領域として、この無効領域の画像データを無効領域データに置き換える無効領域付加処理を行う。無効領域付加部２４は、画像データＤＷbに対して無効領域付加処理が行われた画像データＤＷcをデータ選択部２８bに供給する。
【００３９】
画像データ変換部２６は、画像データＤＷaのダウンコンバートを行い、予め設定された解像度よりも高解像度の画像データＤＷeに変換して分割処理部２７に供給する。
例えば、レイヤ領域の数を「４」としたとき、画像データ変換部２６は、予め設定された解像度よりも水平画素数およびライン数が２倍とされた画像データＤＷeに変換する。
【００４０】
分割処理部２７は、ダウンコンバート後の画像を予め設定された解像度の領域に分割して、分割領域毎の画像データＤＷfを生成してデータ選択部２８bに供給する。すなわち、分割処理部２７は、ダウンコンバート後の画像を予め設定された解像度である水平画素数およびライン数の画像に４分割して、分割領域毎の画像データＤＷfを生成してデータ選択部２８bに供給する。
【００４１】
データ選択部２８bは、制御部２１３から供給された制御信号ＣＴに基づき、レイヤ領域毎の画像データＤＷcまたは分割領域毎の画像データＤＷfのいずれかを選択して、選択した画像データＤＷhを符号化部２９bに供給する。
【００４２】
データ選択部２８bは、制御部２１３から供給された制御信号ＣＴに基づき、動作モードが階層化モードであるとき、画像データＤＷcを選択して画像データＤＷhとして符号化部２９bに供給する。また、データ選択部２８bは、制御部２１３から供給された制御信号ＣＴに基づき、動作モードが非階層化モードであるとき、画像データＤＷfを選択して画像データＤＷhとして符号化部２９bに供給する。
【００４３】
符号化部２９bは、領域毎に設けられており、領域毎に画像データＤＷhの符号化処理を行い画像データＤＷhを圧縮符号化する。また符号化部２９bは、符号化処理を行うことにより得られた領域毎の符号化データＤＧbを出力部３０に供給する。
【００４４】
出力部３０は、領域毎の符号化データＤＧbがいずれのレイヤ領域のデータであるか判別可能として出力する。また、出力部３０は、レイヤ領域情報ＪＬが制御部２１３から供給されたとき、このレイヤ領域情報ＪＬを対応する符号化データＤＧbに対応付けて、符号化データＤＧbとともに出力する。
【００４５】
さらに、出力部３０は、符号化データＤＧa，ＤＧbを出力する際に、階層化モードと非階層化モードのいずれの動作モードで生成された符号化データであるかを識別可能に出力する。また、レイヤ領域の数や符号化処理するレイヤ領域の順序、レイヤ領域を結合するときの順序等が予め規定されている場合、画像処理装置４０では、符号化データＤＧa，ＤＧbを順次復号化処理して得られた画像データがいずれのレイヤ領域や分割領域であるか等を判別できる。しかし、レイヤ領域の数や符号化処理するレイヤ領域の順序、レイヤ領域を結合するときの順序等が予め規定されていないと、画像処理装置４０では、画像データがいずれのレイヤ領域や分割領域に対応ものであるか判別できない。
【００４６】
そこで、出力部３０は、符号化データＤＧaを出力する場合、レイヤ領域の画像がどのように結合されている画像の符号化データであるか識別可能に出力する。例えば、符号化データＤＧaにレイヤ領域の画像がどのように結合されている画像の符号化データであるかを示す情報を対応させて出力する。また、この情報を符号化データＤＧaのヘッダに設けるものとしてもよい。さらに、符号化データＤＧaをファイル化して出力するものとして、レイヤ領域の画像がどのように結合されている画像の符号化データであるかをファイル名で識別可能としても良い。
【００４７】
同様に、出力部３０は、符号化データＤＧbを出力する場合、いずれのレイヤ領域や分割領域の符号化データであるか識別可能に出力する。例えば、符号化データＤＧaにいずれのレイヤ領域や分割領域の符号化データであるかを示す情報を対応させて出力する。また、この情報を符号化データＤＧaのヘッダに設けるものとしてもよい。さらに、符号化データＤＧaをファイル化して出力するものとして、いずれのレイヤ領域や分割領域の符号化データであるかをファイル名で識別可能としても良い。
【００４８】
図４は、再生側の画像処理装置４０の構成を示している。なお、図４では、レイヤ領域の画像データを結合して符号化処理を行うことにより得られた符号化データＤＧaを用いて表示画像データＤＶoutを生成する場合を示している。
【００４９】
記録装置６０から読み出された、またはネットワーク７０等を介して供給された符号化データＤＧaは、復号化部４１aに供給される。
【００５０】
復号化部４１aは、符号化データＤＧaの復号化処理を行う。ここで、復号化部４１aは復号化処理を行うことにより得られた画像データＤＲaが階層化モードで生成された画像データであるとき、画像データＤＲaをリサイズ処理部４２に供給する。また、復号化部４１aは復号化処理を行うことにより得られた画像データＤＲaが階層化モードで生成された画像データであるとき、画像データＤＲaを画像データ分離部４３に供給する。
【００５１】
なお、復号化部４１aは、符号化データＤＧaを読み出したときレイヤ領域情報ＪＬが対応付けられているとき、このレイヤ領域情報ＪＬを重ね合わせ処理部４６に供給する。
【００５２】
リサイズ処理部４２は、画像データＤＲaを表示装置８０の解像度にダウンコンバートすることで、画像データＤＲaに基づく画像を表示装置８０の表示画像サイズにリサイズする。リサイズ処理部４２は、リサイズ処理後の画像データＤＲbを表示画像データ出力部４７に供給する。例えばリサイズ処理部４２は、表示装置８０の解像度に対応するフレームバッファを設けて、このフレームバッファに画像データＤＲaを書き込む際に間引き等を行うことで、表示装置８０の解像度に対応する画像データをフレームバッファに記憶させる。さらに、リサイズ処理部４２は、フレームバッファに記憶された画像データを順次読み出して、リサイズ処理後の画像データＤＲbを表示画像データ出力部４７に供給させる。
【００５３】
画像データ分離部４３は、画像データＤＲaをレイヤ領域毎に分離してレイヤ領域毎の画像データＤＲcを重ね合わせ処理部４６に供給する。
【００５４】
重ね合わせ処理部４６は、レイヤ領域毎の画像データＤＲcを用いて、レイヤ領域の無効領域に他のレイヤ領域の画像を重ね合わせることで、画像処理装置２０に入力された動画像を示す画像データＤＲdを生成する処理を行う。
【００５５】
図５は重ね合わせ処理部４６の構成を示している。重ね合わせ処理部４６は、レイヤ領域毎に設けられたダウンコンバート部４６１と、ダウンコンバート部４６１でダウンコンバートを行うことにより得られた画像データが記憶されるフレームバッファ４６２を有している。なお、図５では、例えば、レイヤ領域の数が「４」とされて、ダウンコンバート部４６１-1は最も領域サイズが大きいレイヤ領域に対応し、ダウンコンバート部４６１-4は最も領域サイズが小さいレイヤ領域に対するものである。またフレームバッファ４６２は表示装置８０の解像度に対応する記憶容量を有するものである。
【００５６】
ダウンコンバート部４６１-1は、最も領域サイズが大きいレイヤ領域の画像を示す画像データＤＲc-1を、表示装置８０の解像度にダウンコンバートしてフレームバッファ４６２に記憶させる。ここで、上述の無効領域付加部２４は、領域サイズが小さいレイヤ領域と重複する領域が無効領域とされている。このため、ダウンコンバート部４６１-2は、フレームバッファ４６２において、最も領域サイズが大きいレイヤ領域に設けられた無効領域のサイズと、２番目に領域サイズが大きいレイヤ領域の画像が一致するように、２番目に大きいレイヤ領域の画像データＤＲc-2をダウンコンバートして、ダウンコンバート後の画像データを、フレームバッファ４６２における無効領域の位置に記憶させる。
【００５７】
また、領域サイズが２番目に大きいレイヤ領域の画像に対しても、無効領域付加部２４によって領域サイズが小さいレイヤ領域と重複する領域が無効領域とされている。このため、ダウンコンバート部４６１-3は、フレームバッファ４６２において、２番目に大きいレイヤ領域に設けられた無効領域のサイズと、３番目に領域サイズが大きいレイヤ領域の画像が一致するように３番目に領域サイズが大きいレイヤ領域の画像データＤＲc-3をダウンコンバートして、ダウンコンバート後の画像データを、フレームバッファ４６２における無効領域の位置に記憶させる。
【００５８】
さらに、領域サイズが３番目に大きいレイヤ領域の画像に対しても、無効領域付加部２４によって領域サイズが小さいレイヤ領域と重複する領域が無効領域とされている。このため、ダウンコンバート部４６１-3は、フレームバッファ４６２において、３番目に大きいレイヤ領域に設けられた無効領域のサイズと、領域サイズが最も小さいレイヤ領域の画像が一致するように、最も領域サイズが小さいレイヤ領域の画像データＤＲc-4をダウンコンバートして、ダウンコンバート後の画像データを、フレームバッファ４６２における無効領域の位置に記憶させる。
【００５９】
なお、領域サイズが最も小さいレイヤ領域では、領域サイズが小さいレイヤ領域と重複する領域がないので無効領域が設けられていない。すなわち、フレームバッファ４６２には、入力された画像と等しい画像であって無効領域が設けられていない画像データが記憶された状態となる。したがって、重ね合わせ処理部４６は、各レイヤ領域のダウンコンバート後の画像データが書き込まれてフレームバッファ４６２に記憶されている画像データを順次読み出して、読み出した画像データＤＲdを図４の表示画像データ出力部４７に供給する。すなわち、無効領域のない各レイヤ領域の画像が重ね合わされて表示装置８０の解像度とされた画像データＤＲdを、表示画像データ出力部４７に供給できる。
【００６０】
また、無効領域に領域サイズの小さいレイヤ領域の画像を重ね合わせる際に、各レイヤ領域の領域サイズや基準位置が明らかでないとき、重ね合わせ処理部４６は、レイヤ領域情報ＪＬを用いて、各レイヤ領域の領域サイズや基準位置を判別する。さらに、重ね合わせ処理部４６は、各レイヤ領域の領域サイズや基準位置の判別結果に基づき、重ね合わせ後の画像で無効領域が残らないように、ダウンコンバート後の画像データの書き込みを制御する。また、重ね合わせ処理部４６は、無効領域に書き込まれている無効領域データを利用して、重ね合わせ後の画像で無効領域が残らないように、ダウンコンバート後の画像データの書き込みを制御する。
【００６１】
表示画像データ出力部４７は、リサイズ処理部４２から供給された画像データＤＲbまたは重ね合わせ処理部４６から供給された画像データＤＲdを、表示装置８０に対応するフォーマットの表示画像データＤＶoutとして表示装置８０に供給する。
【００６２】
図６は、再生側の画像処理装置の他の構成として、領域毎の画像データを個々に符号化処理して得られた符号化データＤＧbを用いて表示画像データＤＶoutを生成する場合を示している。
【００６３】
記録装置６０から読み出された、またはネットワーク７０等を介して供給された符号化データＤＧaは、復号化部４１bに供給される。
【００６４】
復号化部４１bは、領域毎に設けられており、領域毎に符号化データＤＧbの復号化処理を行う。ここで、復号化部４１bは復号化処理を行うことにより得られた画像データＤＲeが非階層化モードで生成された画像データであるとき、画像データＤＲeをリサイズ処理部４４に供給する。また、復号化部４１bは復号化処理を行うことにより得られた画像データＤＲeが階層化モードで生成された画像データであるとき、画像データＤＲeを重ね合わせ処理部４６に供給する。
【００６５】
なお、復号化部４１bは、符号化データＤＧbを読み出したときレイヤ領域情報ＪＬが対応付けられているとき、このレイヤ領域情報ＪＬを重ね合わせ処理部４６に供給する。
【００６６】
リサイズ処理部４４は、画像データＤＲeのリサイズ処理を行う。リサイズ処理部４４は、画像処理装置２０の分割処理部２７で分割されている各分割領域の画像を結合させて分割前の状態としたとき、この結合された画像が表示装置８０の解像度の画像となるように、各領域の画像データＤＲeをダウンコンバートして、ダウンコンバート後の画像データＤＲfを結合処理部４５に供給する。
【００６７】
結合処理部４５は、分割されている各領域の画像を結合させて分割前の状態となるように、各領域の画像データＤＲfの結合処理を行う。例えば結合処理部４５に表示装置８０の解像度に対応するフレームバッファを設けて、結合処理部４５は、各領域の画像データＤＲfを分割前の対応する領域に書き込む。このように画像データＤＲfの書き込むを行うものとすると、フレームバッファには分割前の画像が記憶されることになる。したがって、結合処理部４５は、分割前の各領域の画像がフレームバッファに書き込まれたとき、このフレームバッファから順次画像データを読み出して、この読み出した画像データＤＲgを表示画像データ出力部４７に供給する。
【００６８】
重ね合わせ処理部４６は、上述のように、レイヤ領域毎の画像データＤＲeを用いて、レイヤ領域の無効領域に他のレイヤ領域の画像を重ね合わせることで、画像処理装置２０に入力された動画像を示し、表示装置８０の解像度である画像データＤＲhを生成して表示画像データ出力部４７に供給する。
【００６９】
表示画像データ出力部４７は、結合処理部４５から供給された画像データＤＲgまたは重ね合わせ処理部４６から供給された画像データＤＲhを、表示装置８０に対応するフォーマットの表示画像データＤＶoutとして表示装置８０に供給する。
【００７０】
ところで、画像処理装置２０，４０は、ハードウェアだけでなくソフトウェアで実現するものとしてもよい。ここで、ソフトウェアで実現する場合の画像処理装置の構成を図７に示す。
【００７１】
コンピュータは、ＣＰＵ(Central Processing Unit)５０１を内蔵しており、このＣＰＵ５０１にはバス５２０を介してＲＯＭ(Read Only Memory)５０２，ＲＡＭ(Random Access Memory)５０３，入出力インタフェース部５０５が接続されている。さらに、入出力インタフェース部５０５には、表示部５１１，ユーザインタフェース部５１２，通信部５１３が接続されている。
【００７２】
ＣＰＵ５０１は、ＲＯＭ５０２やＲＡＭ５０３に記憶されているプログラムを実行して画像データの信号処理を行う。ここで、動画像の画像データＤＶinを用いて複数のレイヤ領域の画像データを生成する場合、ＣＰＵ５０１は、入出力インタフェース部５０５に入力された画像データＤＶinから、レイヤ領域毎の画像データを抽出する処理や、抽出した画像データを予め設定された解像度にダウンコンバートする処理、無効領域の付加処理、ダウンコンバート後の画像データの圧縮符号化を行って符号化データＤＧaまたは符号化データＤＧbを入出力インタフェース部５０５または通信部５１３から出力する処理等を行う。また、符号化データＤＧaまたは符号化データＤＧbを用いて表示画像データＤＶoutを生成する場合、ＣＰＵ５０１は、入出力インタフェース部５０５または通信部５１３に入力された符号化データの復号化や画像の重ね合わせ等の処理を行い表示画像データＤＶoutを生成して、例えば入出力インタフェース部５０５から表示装置８０に出力する。
【００７３】
また、ＣＰＵ５０１がマルチコアＣＰＵである場合、レイヤ領域の画像データを抽出して予め設定した解像度に変換する処理や画像データの符号化処理、符号化データの復号化処理等をレイヤ領域毎、または分割された分割領域毎に並列して行う。
【００７４】
なお、ＣＰＵ５０１で実行するプログラムを記録媒体に記録しておき、記録媒体ドライブによって記録媒体からプログラムを読み出してＣＰＵ５０１で実行するものとしたり、通信部５１３によって、伝送路を介してプログラムの通信を行うものとし、受信したプログラムをＣＰＵ５０１で実行するものとしてもよい。
【００７５】
図８は、録画側の画像処理装置２０における処理を示すフローチャートである。なお、図８は、レイヤ領域の画像データを結合してから符号化処理して出力する場合を示している。
【００７６】
ステップＳＴ１で画像処理装置２０のＣＰＵ５０１は、動画像の画像データＤＶinを取得してステップＳＴ２に進む。例えば動画像の１フレーム分の画像データＤＶinを取得してステップＳＴ２に進む。
【００７７】
ステップＳＴ２でＣＰＵ５０１は、動作モードが階層化モードであるか否か判別する。ＣＰＵ５０１は、動作モードが階層化モードであるときステップＳＴ３に進み、非階層化モードであるときステップＳＴ８に進む。
【００７８】
ステップＳＴ３でＣＰＵ５０１は、レイヤ領域の設定を行う。ＣＰＵ５０１は、画像に対して領域サイズが異なる複数のレイヤ領域を階層化して設定してステップＳＴ４に進む。
【００７９】
ステップＳＴ４でＣＰＵ５０１は、画像データ抽出処理を行う。ＣＰＵ５０１は、レイヤ領域毎に画像データを抽出してステップＳＴ５に進む。
【００８０】
ステップＳＴ５でＣＰＵ５０１は、画像データ変換処理を行う。ＣＰＵ５０１は、レイヤ領域毎の画像データを予め設定された解像度の画像データにダウンコンバートしてステップＳＴ６に進む。
【００８１】
ステップＳＴ６でＣＰＵ５０１は、無効領域付加処理を行う。ＣＰＵ５０１は、領域サイズが小さいレイヤ領域と重複する領域を無効領域として、この無効領域の画像データを無効領域データに置き換えてステップＳＴ７に進む。
【００８２】
ステップＳＴ７でＣＰＵ５０１は、結合処理を行う。ＣＰＵ５０１は、各レイヤ領域の画像データを用いて各レイヤ領域の画像を結合した画像データを生成してステップＳＴ９に進む。
【００８３】
ステップＳＴ２からステップＳＴ８に進むと、ＣＰＵ５０１は画像データ変換処理を行う。ＣＰＵ５０１は、画像データＤＶinを予め設定された解像度よりも高解像度の画像データにダウンコンバートしてステップＳＴ９に進む。
【００８４】
ステップＳＴ９でＣＰＵ５０１は、画像データの符号化処理を行う。ＣＰＵ５０１は、ステップＳＴ７で結合処理を行うことにより得られた画像データ、またはステップＳＴ８で画像データ変換処理を行うことにより得られた画像データの符号化処理を行いステップＳＴ１０に進む。
【００８５】
ステップＳＴ１０でＣＰＵ５０１は、データ出力を行う。ＣＰＵ５０１は、生成された符号化データＤＧaを例えば記録装置６０に出力してステップＳＴ１１に進む。また、画像処理装置４０でレイヤ領域を判別できないとき、設定されたレイヤ領域をそれぞれ判別可能とするレイヤ領域情報を符号化データに対応付けて出力する。
【００８６】
ステップＳＴ１１でＣＰＵ５０１は、画像処理を終了するか否か判別する。ＣＰＵ５０１は、操作信号ＰＣが画像処理の終了操作を示していないときステップＳＴ１に戻り、操作信号ＰＣが画像処理の終了操作を示しているときや画像データＤＶinが終了したとき処理を終了する。
【００８７】
次に、録画側の画像処理装置２０における他の処理として、レイヤ領域毎に画像データを符号化処理して出力する場合を図８のフローチャートを用いて説明する。
【００８８】
ステップＳＴ２１で画像処理装置２０のＣＰＵ５０１は、動画像の画像データＤＶinを取得してステップＳＴ２２に進む。例えば動画像の１フレーム分の画像データＤＶinを取得してステップＳＴ２２に進む。
【００８９】
ステップＳＴ２２でＣＰＵ５０１は、動作モードが階層化モードであるか否か判別する。ＣＰＵ５０１は、動作モードが階層化モードであるときステップＳＴ２３に進み、非階層化モードであるときステップＳＴ２７に進む。
【００９０】
ステップＳＴ２３でＣＰＵ５０１は、レイヤ領域の設定を行う。ＣＰＵ５０１は、画像に対して領域サイズが異なる複数のレイヤ領域を階層化して設定してステップＳＴ２４に進む。
【００９１】
ステップＳＴ２４でＣＰＵ５０１は、画像データ抽出処理を行う。ＣＰＵ５０１は、レイヤ領域毎に画像データを抽出してステップＳＴ２５に進む。
【００９２】
ステップＳＴ２５でＣＰＵ５０１は、画像データ変換処理を行う。ＣＰＵ５０１は、レイヤ領域毎の画像データを予め設定された解像度の画像データにダウンコンバートしてステップＳＴ２６に進む。
【００９３】
ステップＳＴ２６でＣＰＵ５０１は、無効領域付加処理を行う。ＣＰＵ５０１は、領域サイズが小さいレイヤ領域と重複する領域を無効領域として、この無効領域の画像データを無効領域データに置き換えてステップＳＴ２９に進む。
【００９４】
ステップＳＴ２２からステップＳＴ２７に進むと、ＣＰＵ５０１は画像データ変換処理を行う。ＣＰＵ５０１は、画像データＤＶinを予め設定された解像度よりも高解像度の画像データにダウンコンバートしてステップＳＴ２８に進む。
【００９５】
ステップＳＴ２８でＣＰＵ５０１は、分割処理を行い、ダウンコンバート後の画像データを分割してステップＳＴ２９に進む。
【００９６】
ステップＳＴ２９でＣＰＵ５０１は、領域毎の符号化処理を行う。ＣＰＵ５０１は、ステップＳＴ２５で無効化処理が行われた画像データ、またはステップＳＴ２８で分割処理を行うことにより得られた画像データを、領域毎に符号化処理してステップＳＴ３０に進む。
【００９７】
ステップＳＴ３０でＣＰＵ５０１は、データ出力を行う。ＣＰＵ５０１は、生成された領域毎の符号化データＤＧbを例えば記録装置６０に出力してステップＳＴ３１に進む。また、画像処理装置４０でレイヤ領域を判別できないとき、設定されたレイヤ領域をそれぞれ判別可能とするレイヤ領域情報を符号化データに対応付けて出力する。
【００９８】
ステップＳＴ３１でＣＰＵ５０１は、画像処理を終了するか否か判別する。ＣＰＵ５０１は、操作信号ＰＣが画像処理の終了操作を示していないときステップＳＴ２１に戻り、操作信号ＰＣが画像処理の終了操作を示しているときや画像データＤＶinが終了したとき処理を終了する。
【００９９】
なお、図９に示すフローチャートでは、各領域の画像データをまとめて符号化処理するものしたが、ステップＳＴ２３〜ステップＳＴ２６と符号化処理およびステップＳＴ３０の処理を領域毎に繰り返し行い、各領域の符号化データを順次出力するように処理するものとしてもよい。また、マルチコアＣＰＵを用いて、ステップＳＴ２３〜ステップＳＴ２６と符号化処理およびステップＳＴ３０の処理を並列に行うものとしてもよい。
【０１００】
次に、再生側の画像処理装置４０における処理について図１０のフローチャートを用いて説明する。なお、図１０は、レイヤ領域の画像データを結合して符号化処理された画像データを用いる場合を示している。
【０１０１】
ステップＳＴ４１で画像処理装置４０のＣＰＵ５０１は、データ取得を行う。ＣＰＵ５０１は、記録装置６０から符号化データＤＧaを読み込みステップＳＴ４２に進む。または、ネットワーク等を介して符号化データＤＧaを取得してステップＳＴ４２に進む。
【０１０２】
ステップＳＴ４２でＣＰＵ５０１は、復号化処理を行う。ＣＰＵ５０１は、ステップＳＴ４１で読み込んだ符号化データＤＧaの復号化処理を行ってステップＳＴ４３に進む。
【０１０３】
ステップＳＴ４３でＣＰＵ５０１は、階層化モードで生成された画像データであるか否かを判別する。ＣＰＵ５０１はステップＳＴ４２の復号化処理を行うことにより得られた画像データが、階層化モードで生成された画像データであるときステップＳＴ４４に進む。また、ＣＰＵ５０１はステップＳＴ４２の復号化処理を行うことにより得られた画像データが、非階層化モードで生成された画像データであるときステップＳＴ４６に進む。
【０１０４】
ステップＳＴ４４でＣＰＵ５０１は、画像データ分離処理を行う。ＣＰＵ５０１は、復号化処理を行うことにより得られた画像データをレイヤ領域毎に分離してステップＳＴ４５に進む。
【０１０５】
ステップＳＴ４５でＣＰＵ５０１は、重ね合わせ処理を行う。ＣＰＵ５０１は、ステップＳＴ４４で得られたレイヤ領域毎の画像データを用いて、レイヤ領域の無効領域に他のレイヤ領域の画像を重ね合わせることで、画像処理装置２０に入力された動画像を示し、無効領域のない画像データを生成する。また、ＣＰＵ５０１は、レイヤ領域の画像の重ね合わせを行う際に、重ね合わせ後の画像が表示装置８０の解像度となるように処理してステップＳＴ４７に進む。なお、ＣＰＵ５０１は符号化データＤＧaにレイヤ領域情報ＪＬが対応付けられているとき、レイヤ領域情報ＪＬを用いて、各レイヤ領域の領域サイズや基準位置を判別して、判別結果に基づき重ね合わせ後の画像で無効領域が残らないように画像の重ね合わせを行う。
【０１０６】
ステップＳＴ４３からステップＳＴ４６に進むと、ＣＰＵ５０１はリサイズ処理を行う。ＣＰＵ５０１は、ステップＳＴ４２の復号化処理を行うことにより得られた画像データを、表示装置８０の解像度となるように処理してステップＳＴ４７に進む。
【０１０７】
ステップＳＴ４７でＣＰＵ５０１は、表示画像データ出力処理を行う。ＣＰＵ５０１は、ステップＳＴ４５またはステップＳＴ４６の処理を行うことにより得られた画像データを、表示装置８０に対応するフォーマットの表示画像データＤＶoutとして出力してステップＳＴ４８に進む。
【０１０８】
ステップＳＴ４８でＣＰＵ５０１は、画像処理を終了するか否か判別する。ＣＰＵ５０１は、操作信号ＰＣが画像処理の終了操作を示していないときステップＳＴ４１に戻り、操作信号ＰＣが画像処理の終了操作を示しているときや符号化データＤＧaが終了したとき処理を終了する。
【０１０９】
次に、再生側の画像処理装置における他の処理として、レイヤ領域毎に画像データが符号化処理された符号化データＤＧbを再生する場合を図１１のフローチャートを用いて説明する。
【０１１０】
ステップＳＴ５１で画像処理装置４０のＣＰＵ５０１は、データ取得を行う。ＣＰＵ５０１は、記録装置６０から符号化データＤＧaを読み込みステップＳＴ５２に進む。または、ネットワーク等を介して符号化データＤＧaを取得してステップＳＴ５２に進む。
【０１１１】
ステップＳＴ５２でＣＰＵ５０１は、領域毎に復号化処理を行う。ＣＰＵ５０１は、ステップＳＴ５１で読み込んだ符号化データＤＧbの復号化処理を領域毎に行ってステップＳＴ５３に進む。
【０１１２】
ステップＳＴ５３でＣＰＵ５０１は、階層化モードで生成された画像データであるか否かを判別する。ＣＰＵ５０１はステップＳＴ５２の復号化処理を行うことにより得られた画像データが、階層化モードで生成された画像データであるときステップＳＴ５４に進む。また、ＣＰＵ５０１はステップＳＴ５２の復号化処理を行うことにより得られた画像データが、非階層化モードで生成された画像データであるときステップＳＴ５５に進む。
【０１１３】
ステップＳＴ５４でＣＰＵ５０１は、重ね合わせ処理を行う。ＣＰＵ５０１は、ステップＳＴ５２で得られたレイヤ領域毎の画像データを用いて、レイヤ領域の無効領域に他のレイヤ領域の画像を重ね合わせることで、画像処理装置２０に入力された動画像を示し、無効領域のない画像データを生成する。また、ＣＰＵ５０１は、レイヤ領域の画像の重ね合わせを行う際に、重ね合わせ後の画像が表示装置８０の解像度となるように処理してステップＳＴ５７に進む。なお、ＣＰＵ５０１は符号化データＤＧaにレイヤ領域情報ＪＬが対応付けられているとき、レイヤ領域情報ＪＬを用いて、各レイヤ領域の領域サイズや基準位置を判別して、判別結果に基づき重ね合わせ後の画像で無効領域が残らないように画像の重ね合わせを行う。
【０１１４】
ステップＳＴ５３からステップＳＴ５５に進むと、ＣＰＵ５０１はリサイズ処理を行う。ＣＰＵ５０１は、画像処理装置２０で分割されている各領域の画像を結合させて分割前の状態としたとき、この結合された画像が表示装置８０の解像度の画像となるように、各領域の画像データをダウンコンバートしてステップＳＴ５６に進む。
【０１１５】
ステップＳＴ５６でＣＰＵ５０１は、結合処理を行う。ＣＰＵ５０１は、分割されている各領域の画像を結合させて分割前の状態となるように、各領域の画像データの結合処理を行いステップＳＴ５７に進む。
【０１１６】
ステップＳＴ５７でＣＰＵ５０１は、表示画像データ出力処理を行う。ＣＰＵ５０１は、ステップＳＴ５４またはステップＳＴ５６の処理を行うことにより得られた画像データを、表示装置８０に対応するフォーマットの表示画像データＤＶoutとして出力してステップＳＴ５８に進む。
【０１１７】
ステップＳＴ５８でＣＰＵ５０１は、画像処理を終了するか否か判別する。ＣＰＵ５０１は、操作信号ＰＣが画像処理の終了操作を示していないときステップＳＴ５１に戻り、操作信号ＰＣが画像処理の終了操作を示しているときや符号化データが終了したとき処理を終了する。
【０１１８】
次に、録画側の画像処理装置２０における階層化モードの動作について説明する。図１２の（Ａ）は、画像データＤＶinに基づく動画像を示している。また、画像データＤＶinに基づく動画像を例えば「水平画素数Ｐh×ライン数Ｐv」、予め設定された解像度を例えば「水平画素数1/8Ｐh×ライン数1/8Ｐv」とする。
【０１１９】
画像処理装置２０は、領域サイズが異なる複数のレイヤ領域を階層化して設定する。例えばレイヤ領域ＬＹ１は「水平画素数Ｐh×ライン数Ｐv」の領域とする。レイヤ領域ＬＹ２は、画像の中央Ｑ(x,y)を基準とした「水平画素数1/2Ｐh×ライン数1/2Ｐv」の領域とする。レイヤ領域ＬＹ３は、画像の中央Ｑ(x,y)を基準とした「水平画素数1/4Ｐh×ライン数1/4Ｐv」の領域とする。レイヤ領域ＬＹ４は、画像の中央Ｑ(x,y)を基準とした「水平画素数1/8Ｐh×ライン数1/8Ｐv」の領域とする。
【０１２０】
画像処理装置２０は、画像データＤＶinからレイヤ領域毎に画像データを抽出して画像データＤＷaを生成する。図１２の（Ｂ）は、画像データＤＷaに基づく画像を示している。
【０１２１】
さらに、画像処理装置２０は、レイヤ領域毎に画像データＤＷaを予め設定された解像度の画像データＤＷbにダウンコンバートする。すなわち、「水平画素数Ｐh×ライン数Ｐv」であるレイヤ領域ＬＹ１の画像データを、「水平画素数1/8Ｐh×ライン数1/8Ｐv」の画像データにダウンコンバートする。また、「水平画素数1/2Ｐh×ライン数1/2Ｐv」であるレイヤ領域ＬＹ２の画像データを、「水平画素数1/8Ｐh×ライン数1/8Ｐv」の画像データにダウンコンバートする。また、「水平画素数1/4Ｐh×ライン数1/4Ｐv」であるレイヤ領域ＬＹ３の画像データを、「水平画素数1/8Ｐh×ライン数1/8Ｐv」の画像データにダウンコンバートする。なお、レイヤ領域ＬＹ４は、「水平画素数1/8Ｐh×ライン数1/8Ｐv」の領域であることから、抽出した画像データをそのまま用いるものとする。このように、予め設定された解像度の画像データＤＷbにダウンコンバートすることで、各レイヤ領域の画像の総画素数（水平画素数×ライン数）を等しくする。
【０１２２】
ここで、レイヤ領域を設定する際に、レイヤ領域の領域サイズを予め設定された解像度の領域以上とすれば、画像処理装置２０は、レイヤ領域毎に画像データＤＷaを予め設定された解像度に変換するとき、例えば画素データを繰り返して水平画素数やライン数を増やすアップコンバートを行わないので、変換後の画像データＤＷbに基づく画像が画質の低下した画像となってしまうことを防止できる。また、最も領域サイズの小さいレイヤ領域では、抽出した画像データがそのまま用いられるようにすることで、最も領域サイズの小さいレイヤ領域の画像を、入力された動画像と等しい画素密度とすることができる。すなわち、最も領域サイズの小さいレイヤ領域の画像データを用いることで、入力された動画像と等しい画素密度の再生画像を提示することが可能となる。
【０１２３】
さらに、ダウンコンバート後の各レイヤ領域の画像の総画素数（水平画素数×ライン数）の合計が、画像データＤＶinに基づく動画像の総画素数より小さくなるようにレイヤ領域の数および予め設定される解像度を設定すれば、画像データＤＶinに基づく動画像よりもデータ量を削減できる。
【０１２４】
また、予め設定された解像度として、従来の符号化部例えば水平画素数が１９２０画素でライン数が１０８０ラインの画像データの符号化処理を行う符合化部や、水平画素数が３８４０画素でライン数が２１６０ラインの画像データの符号化処理を行う符合化部の解像度とすれば、高解像度の画像データＤＶinを用いる場合でも、画像データＤＶinに応じて新たな符号化部を設ける必要がない。
【０１２５】
さらに、画像処理装置２０は、画像データＤＷbを用いて無効領域付加処理を行い、領域サイズが小さいレイヤ領域と重複する領域を無効領域として、この無効領域の画像データを無効領域データに置き換えて画像データＤＷcを生成する。図１２の（Ｃ）は、画像データＤＷcに基づく画像を示している。なお、図１２の（Ｃ），（Ｄ）では、図１２の（Ａ），（Ｂ）に比べて画像を拡大して図示している。
【０１２６】
図１２の（Ｃ）において、レイヤ領域ＬＹ１では、レイヤ領域ＬＹ２と重複する領域を無効領域とする。レイヤ領域ＬＹ２では、レイヤ領域ＬＹ３と重複する領域を無効領域とする。レイヤ領域ＬＹ３では、レイヤ領域ＬＹ４と重複する領域を無効領域とする。なお、図１２の（Ｃ），（Ｄ）において、斜線の領域は、無効領域であることを示している。
【０１２７】
ここで、図２や図８に示すように、結合処理した画像データを符号化する場合、図１２の（Ｄ）に示すように、４つのレイヤ領域を結合して、「水平画素数1/4Ｐh×ライン数1/4Ｐv」である結合後の画像データＤＷdを符号化処理して符号化データＤＧaを生成する。
【０１２８】
また、図３や図９に示すように、予め設定された解像度にダウンコンバートした画像データを符号化する場合、図１２の（Ｃ）に示す各レイヤ領域の画像データＤＷcを符号化して符号化データＤＧbを生成する。
【０１２９】
このように無効領域を設けて、無効領域の画像データを予め設定された固定レベルの無効領域データに置き換えるものとすれば、レイヤ領域ＬＹ１〜ＬＹ３の画像データＤＷcの圧縮符号化や画像データＤＷdの符号化処理を行ったとき、無効領域を設けていない場合に比べてデータ量を少なくできる。
【０１３０】
なお、図示せずも非階層化モードでは、入力された動画像の画像データＤＶinを、「水平画素数1/4Ｐh×ライン数1/4Ｐv」にダウンコンバートして、ダウンコンバート後の画像データを符号化処理することで符号化データＤＧaを生成する。また、入力された動画像を４分割して、それぞれを「水平画素数1/8Ｐh×ライン数1/8Ｐv」にダウンコンバートして、領域毎の画像データを生成する。さらに生成した領域毎の画像データを符号化処理することで符号化データＤＧbを生成する。
【０１３１】
このように、領域サイズが異なる複数のレイヤ領域を階層化して設定して、各レイヤ領域の画像データＤＷaを予め設定された解像度の画像データＤＷbにダウンコンバートすると、レイヤ領域ＬＹ１の画素密度は低くなり、レイヤ領域ＬＹ４の画素密度はレイヤ領域ＬＹ１に比べて高いものとなる。すなわち、レイヤ領域ＬＹ１のダウンコンバート後の画像データに基づく画像は画素密度の低い画像となり、レイヤ領域ＬＹ４のダウンコンバート後の画像データに基づく画像は、レイヤ領域ＬＹ１の画像に比べて画素密度の高い画像となる。したがって、重要度の高い画像部分を領域サイズの小さいレイヤ領域ＬＹ４に含めるものとすると、この重要度の高い画像部分は画素密度は高い画像となるので、ダウンコンバートを行うことでデータ量を少なくしても、重要度の高い画像部分を高画質に表示することが可能となる。
【０１３２】
次に、再生側の画像処理装置４０における階層化モードの動作について説明する。図１３の（Ａ）は、符号化データＤＧaを復号化して得られた画像データＤＲaに基づく画像を示している。また、図１３の（Ｂ）は、符号化データＤＧbを復号化して得られたレイヤ領域毎の画像データＤＲeに基づく画像を示している。
【０１３３】
ここで、画像データＤＲaを用いる場合、画像処理装置４０は、画像データ分離処理を行い、レイヤ領域毎の画像データを生成して、レイヤ領域の画像のサイズを無効領域に合わせて無効領域に重ね合わせる重ね合わせ処理を、レイヤ領域毎の画像データを用いて行う。また、画像データＤＲeを用いる場合、画像処理装置４０は、レイヤ領域毎の画像データＤＲeを用いて重ね合わせ処理を行う。
【０１３４】
図１３の（Ｃ）は、重ね合わせ処理を示している。画像処理装置４０は、レイヤ領域ＬＹ１の無効領域に、レイヤ領域ＬＹ２の画像をレイヤ領域ＬＹ１の無効領域のサイズとして重ね合わせる。次に、画像処理装置４０は、レイヤ領域ＬＹ２の無効領域に、レイヤ領域ＬＹ３の画像をレイヤ領域ＬＹ２の無効領域のサイズとして重ね合わせる。画像処理装置４０は、レイヤ領域ＬＹ３の無効領域に、レイヤ領域ＬＹ４の画像をレイヤ領域ＬＹ３の無効領域のサイズとして重ね合わせる。
【０１３５】
このように重ね合わせを行うものとすると、図１３の（Ｄ）に示すように、入力された動画像と等しく、表示装置８０の解像度である再生画像を得ることができる。
【０１３６】
ここで、表示装置８０の解像度が予め設定されている解像度である「水平画素数1/8Ｐh×ライン数1/8Ｐv」であるとき、表示装置８０におけるレイヤ領域ＬＹ４の領域サイズは「水平画素数1/64Ｐh×ライン数1/64Ｐv」である。このため、レイヤ領域ＬＹ４の画像データＤＲcは、水平画素数とライン数が（１／８）倍となるように処理してから重ね合わせが行われることになる。
【０１３７】
また、表示装置８０の解像度を予め設定されている解像度の２倍（「水平画素数1/4Ｐh×ライン数1/4Ｐv」）とする場合、表示装置８０におけるレイヤ領域ＬＹ４の領域サイズは「水平画素数1/32Ｐh×ライン数1/32Ｐv」となる。このため、レイヤ領域ＬＹ４の画像データＤＲcは、水平画素数とライン数が（１／４）倍となるように処理してから重ね合わせが行われることになる。すなわち、表示装置８０の解像度が２倍となっても、レイヤ領域ＬＹ４は水平画素数とライン数が（１／４）倍となるように処理されるだけである。すなわち、従来のようにアップコンバートを行う必要がないので、レイヤ領域ＬＹ４の画像は、画質の劣化のない高画質な画像となる。
【０１３８】
また、レイヤ領域ＬＹ４の画像を拡大して表示する場合にも、レイヤ領域ＬＹ４の画像が「水平画素数1/8Ｐh×ライン数1/8Ｐv」の表示サイズを超えるまではアップコンバートを行う必要がないので、画像を拡大表示しても重要度の高い画像部分を高画質で表示することができる。
【０１３９】
図１４は、入力された動画像を子画面表示として、レイヤ領域ＬＹ４の動画像を主画面表示とした場合を例示している。ここで、レイヤ領域ＬＹ４の画像を主画面表示とした場合、レイヤ領域ＬＹ４の画像データＤＲcと予め設定されている解像度である表示装置８０は解像度が等しい。また、レイヤ領域ＬＹ４の画像データＤＲcはダウンコンバートが行われていない画像データである。したがって、画質の劣化を招くことなくレイヤ領域ＬＹ４の画像を高画質に表示できる。また、重ね合わせ後の画像データＤＲd，ＤＲhに基づく画像を子画面のサイズとして主画面表示に重畳させることで、入力された動画像も合わせて表示することができる。
【０１４０】
ところで、レイヤ領域を図１２の（Ａ）に示すように画像の中心として、各レイヤ領域のサイズを固定しておくものとすれば、再生側の画像処理装置４０は、復号化処理を行うことにより得られた画像データがいずれのレイヤ領域の画像データであるか判別するだけで、正しく重ね合わせ処理を行うことができる。すなわちレイヤ領域情報ＪＬを録画側の画像処理装置２０から再生側の画像処理装置４０に供給する必要がない。
【０１４１】
しかし、重要度の高い画像部分は、常に画像の中央に位置する場合に限られるものではない。したがって、ユーザ操作に応じてレイヤ領域を設定した場合、動き検出や色識別等を行いレイヤ領域を自動的に設定する場合は、再生側の画像処理装置４０にレイヤ領域情報ＪＬを供給して、このレイヤ領域情報ＪＬに基づき、正しく重ね合わせ処理を行う。なお、再生側の画像処理装置４０では、無効領域識別データを検出して、この検出結果に基づいて重ね合わせ処理を行うものとしてもよい。
【０１４２】
図１５は、画像の中央からオフセットした位置を基準としてレイヤ領域を設定した場合を示している。
【０１４３】
例えば入力された動画像が図１５の（Ａ）に示すようにサッカー中継の画像や図１５の（Ｂ）に示すように野球中継の画像であり、スタジアムや球場全体を広角レンズにて撮影されている場合、重要度の高い被写体がレイヤ領域の中心となるように、レイヤ領域ＬＹ１２，ＬＹ１３，ＬＹ１４を設定する。また、画像全体をレイヤ領域ＬＹ１１とする。重要度の高い被写体は、ユーザがユーザインタフェース部を操作して指定するものとしてもよく、動き検出を行うことでプレーヤーやボールを判別して、自動的にレイヤ領域を設定してもよい。さらに、顔認識等行うことで、プレーヤーを判別して、自動的にレイヤ領域を設定してもよい。
【０１４４】
また、図１２の（Ａ）では、領域サイズを順次２倍（または１／２倍）してレイヤ領域を設定したが、図１６に示すように順次１．５倍（または２／３倍）してレイヤ領域を設定するものとしてもよい。
【０１４５】
なお、上述の実施の形態では、動画像の画像データを用いて画像処理を行うものとしたが、静止画像の画像データを用いる場合にも同様に処理することで、データ量を削減できると共に、重要度の高い画像部分を高画質に提示することが可能となる。また、撮像装置１１と画像処理装置２０を一体に設けるものとすれば、データ量を削減できると共に、重要度の高い画像部分を高画質に提示することが可能であると共に、データ量の削減された画像データあるいは符号化データを、撮像時に出力することができる。
【産業上の利用可能性】
【０１４６】
この発明は、高精細な画像の画像データを記録あるいは伝送する場合に好適である。
【図面の簡単な説明】
【０１４７】
【図１】画像処理システムの構成を示す図である。
【図２】録画側の画像処理装置の構成を示す図である。
【図３】録画側の画像処理装置の他の構成を示す図である。
【図４】再生側の画像処理装置の構成を示す図である。
【図５】重ね合わせ処理部の構成を示す図である。
【図６】再生側の画像処理装置の他の構成を示す図である。
【図７】ソフトウェアで画像処理を行う場合の画像処理装置の構成を示す図である。
【図８】録画側の画像処理装置における処理を示すフローチャートである。
【図９】録画側の画像処理装置における他の処理を示すフローチャートである。
【図１０】再生側の画像処理装置における処理を示すフローチャートである。
【図１１】再生側の画像処理装置における他の処理を示すフローチャートである。
【図１２】録画側の画像処理装置における階層化モードの動作を説明するための図である。
【図１３】再生側の画像処理装置における階層化モードの動作を説明するための図である。
【図１４】表示画像を例示した図である。
【図１５】レイヤ領域の他の設定例を示す図である。
【図１６】レイヤ領域の他の設定例を示す図である。
【符号の説明】
【０１４８】
１０・・・画像処理システム、１１・・・撮像装置、１２・・・記録装置、２０，４０・・・画像処理装置、２１・・・領域設定部、２２・・・画像データ抽出部、２３・・・画像データ変換部、２４・・・無効領域付加部、２５・・・結合処理部、２６・・・画像データ変換部、２７・・・分割処理部、２８a，２８b・・・データ選択部、２９a，２９ｂ・・・符号化部、３０・・・出力部、４１a，４１b・・・復号化部、４２，４４・・・リサイズ処理部、４３・・・画像データ分離部、４５・・・結合処理部、４６・・・重ね合わせ処理部、４７・・・表示画像データ出力部、６０・・・記録装置、７０・・・ネットワーク、８０・・・表示装置、２１１，５１１・・・表示部、２１２，５１２・・・ユーザインタフェース部、２１３・・・制御部、２１４・・・識別部、４６１・・・ダウンコンバート部、４６２・・・フレームバッファ、５０１・・・ＣＰＵ、５０２・・・ＲＯＭ、５０３・・・ＲＡＭ、５０５・・・入出力インタフェース部、５１３・・・通信部、５２０・・・バス
【図１】
2009194763.tif 000003
【図２】
2009194763.tif 000004
【図３】
2009194763.tif 000005
【図４】
2009194763.tif 000006
【図５】
2009194763.tif 000007
【図６】
2009194763.tif 000008
【図７】
2009194763.tif 000009
【図８】
2009194763.tif 000010
【図９】
2009194763.tif 000011
【図１０】
2009194763.tif 000012
【図１１】
2009194763.tif 000013
【図１２】
2009194763.tif 000014
【図１３】
2009194763.tif 000015
【図１６】
2009194763.tif 000016
【図１４】
2009194763.tif 000017
【図１５】
2009194763.tif 000018