(57)【要約】【課題】安価な構成で画角や視点の異なる画像を容易に得ることができるようにする。【解決手段】領域設定部２１は、画像データＤＶinに基づく画像に対して複数の領域を設定する。画像データ抽出部２２は、画像データＤＶinから複数の領域の画像データＤＶaをそれぞれ抽出する。画像データ変換部２３は、画像データＤＶaをそれぞれ予め設定された解像度の画像データに変換する。画像データ結合部２４は、解像度変換後の複数の画像データＤＶbを結合して、結合画像データＤＶcを生成する。画角や視点の異なる複数の領域を設定すると、結合画像データＤＶcには画角や視点の異なる画像の画像データが含まれるので、この結合画像データＤＶcを分離して結合前の画像データを選択的に用いることで、画角や視点の異なる画像を容易に得られる。【選択図】        図２
2009177730.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対して複数の領域を設定する領域設定部と、
前記入力画像の画像データから前記複数の領域の画像データをそれぞれ抽出する画像データ抽出部と、
前記抽出したそれぞれの画像データを予め設定された解像度の画像データに変換する画像データ変換部と、
前記画像データ変換部で得られた複数の画像データを結合して結合画像データを生成する画像データ結合部を備える
ことを特徴とする画像処理装置。
【請求項２】
前記入力画像の画像データはプログレッシブ方式の画像データであり、前記画像データ変換部はインタレース方式の画像データに変換する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記領域設定部は、前記入力画像上の位置と入力画像に対する倍率を示す視点情報を生成し、
前記画像データ抽出部は、前記視点情報によって示される領域の画像データをそれぞれ抽出する
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記画像データ結合部で生成された画像データを符号化処理する符号化処理部をさらに備える
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
入力画像の画像処理を行う画像処理装置の画像処理方法において、
前記入力画像に対して複数の領域を設定する領域設定工程と、
前記入力画像の画像データから前記複数の領域の画像データをそれぞれ抽出する画像データ抽出工程と、
前記抽出したそれぞれの画像データを予め設定された解像度の画像データに変換する画像データ変換工程と、
前記画像データ変換工程で得られた複数の画像データを結合して結合画像データを生成する画像データ結合工程を有する
ことを特徴とする画像処理方法。
【請求項６】
入力画像に対して設定された複数の領域毎の画像データを予め設定された解像度に変換して結合した結合画像データを用いる画像処理装置において、
前記結合画像データを前記複数の領域毎の画像データに分離する画像データ分離部と、
前記分離後の画像データを用いて表示画像データを生成する表示画像データ生成部を備える
ことを特徴とする画像処理装置。
【請求項７】
入力画像に対して設定された複数の領域毎の画像データを予め設定された解像度に変換して結合した結合画像データを用いる画像処理装置の画像処理方法において、
前記結合画像データを前記複数の領域毎の画像データに分離する画像データ分離工程と、
前記分離後の画像データを用いて表示画像データを生成する表示画像データ生成工程を有する
ことを特徴とする画像処理方法。
【請求項８】
入力画像の画像データを用いて画像処理を行う第１の画像処理装置と、前記第１の画像処理装置から出力されたデータを用いて画像処理を行い、表示画像データを生成する第２の画像処理装置を用いた画像処理システムにおいて、
前記第１の画像処理装置は、
前記入力画像に対して複数の領域を設定する領域設定部と、
前記入力画像の画像データから前記複数の領域の画像データをそれぞれ抽出する画像データ抽出部と、
前記抽出したそれぞれの画像データを予め設定された解像度の画像データに変換する画像データ変換部と、
前記画像データ変換部で得られた複数の画像データを結合して結合画像データを生成する画像データ結合部を備え、
前記第２の画像処理装置は、
前記結合画像データを前記複数の領域毎の画像データに分離する画像データ分離部と、
前記分離後の画像データを用いて表示画像データを生成する表示画像データ生成部を備える
ことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置と画像処理方法および画像処理システムに関する。詳しくは、ズーム画像や広画角画像などの複数の画角の画像を容易に得られるようにするものである。
【背景技術】
【０００２】
従来、撮像画像の画像データは、撮像者の意図した画角で撮像された画像の画像データとされている。例えば、撮像者は、所望の被写体を大きく表示したいとき、所望の被写体にズームインして撮像動作を行っている。また、広画角の撮像画像を表示したいとき、ズームアウトして撮像動作を行っている。
【０００３】
このように、撮像者の意図した画角で撮像を行うものとすると、例えば所望の被写体にズームインして撮像動作が行われているとき、広画角の撮像画像を得ることができない。
【０００４】
このため、例えば特許文献１の発明のように、撮像画角の異なる２つのカメラを用いて画像データの切替えを行うようにすれば、所望の被写体にズームインして撮像動作が行われているとき、広画角の撮像画像を得ることができる。
【０００５】
【特許文献１】特開平０５−１１０９３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、撮像画角の異なる２つのカメラを用いるものでは、複数のカメラを用いることからコストアップとなってしまい、小型化も困難となる。
【０００７】
そこで、この発明では、安価な構成で画角や視点の異なる画像を容易に得ることができる画像処理装置と画像処理システムおよび画像処理方法を提供するものである。
【課題を解決するための手段】
【０００８】
この発明の概念は、入力画像に対して設定した複数の領域毎の画像データ、例えば広画角画像やズームイン画像など視点の異なる複数の画像データを抽出して、それぞれの画像データを予め設定された解像度の画像データに変換して結合することで１つの結合画像データとする。また、画像表示を行う際には、結合画像データを結合前の複数の画像データに分離して所望の画像データを用いることで、所望の視点の画像を容易に得られるようにすることにある。
【０００９】
この発明の画像処理装置は、入力画像に対して複数の領域を設定する領域設定部と、前記入力画像の画像データから前記複数の領域の画像データをそれぞれ抽出する画像データ抽出部と、前記抽出したそれぞれの画像データを予め設定された解像度の画像データに変換する画像データ変換部と、前記画像データ変換部で得られた複数の画像データを結合して結合画像データを生成する画像データ結合部を備えるものである。
【００１０】
また、この発明に係る画像処理装置は、入力画像に対して設定された複数の領域毎の画像データを予め設定された解像度に変換して結合した結合画像データを用いる画像処理装置において、前記結合画像データを前記複数の領域毎の画像データに分離する画像データ分離部と、前記分離後の画像データを用いて表示画像データを生成する表示画像データ生成部を備えるものである。
【００１１】
さらに、この発明に係る画像処理システムは、入力画像の画像データを用いて画像処理を行う第１の画像処理装置と、前記第１の画像処理装置から出力されたデータを用いて画像処理を行い、表示画像データを生成する第２の画像処理装置を用いた画像処理システムにおいて、前記第１の画像処理装置は、前記入力画像に対して複数の領域を設定する領域設定部と、前記入力画像の画像データから前記複数の領域の画像データをそれぞれ抽出する画像データ抽出部と、前記抽出したそれぞれの画像データを予め設定された解像度の画像データに変換する画像データ変換部と、前記画像データ変換部で得られた複数の画像データを結合して結合画像データを生成する画像データ結合部を備え、前記第２の画像処理装置は、前記結合画像データを前記複数の領域毎の画像データに分離する画像データ分離部と、前記分離後の画像データを用いて表示画像データを生成する表示画像データ生成部を備えるものである。
【発明の効果】
【００１２】
この発明によれば、入力画像に対して設定された複数の領域の画像データ、すなわち複数の視点の画像データを抽出して結合することで１つの結合画像データが生成される。また、結合画像データを用いる際には、結合画像データが複数の領域毎の画像データに分離されて、分離後の画像データを用いて表示画像データが生成される。このように結合画像データを生成することで、撮像画角の異なる複数のカメラを用いなくとも、安価な構成で画角の異なる画像を容易に得ることができるようになる。
【発明を実施するための最良の形態】
【００１３】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は画像処理システムの構成を示している。画像処理システム１０は、画像処理装置２０，３０を用いて構成されている。画像処理装置２０は、撮像装置１１で生成された画像データや記憶装置１２から読み出した画像データから、所望の領域の画像を示す所定の解像度の画像データを生成して、この画像データを結合することで結合画像データを生成する。また、画像処理装置３０は、画像処理装置２０で生成された結合画像データを、結合前の領域毎の画像データに分離して、この分離された画像データを選択的に用いることで表示画像データを生成して画像表示装置７０に供給する。なお、以下の説明では、結合画像データを生成する画像処理装置２０を録画側の画像処理装置、表示画像データを生成する画像処理装置３０を再生側の画像処理装置という。
【００１４】
録画側の画像処理装置２０で生成された結合画像データは、例えば記憶装置（記録媒体等も含む）５０を介して再生側の画像処理装置３０に供給される。また、有線や無線の伝送路６０を介して録画側の画像処理装置２０から再生側の画像処理装置３０に供給するものとしてもよい。さらに、画像処理装置２０から画像処理装置３０に対して結合画像データの供給を効率よく行うことができるように、画像処理装置２０は結合画像データの符号化処理を行い、画像処理装置３０は符号化されている結合画像データの復号化処理を行うものとしてもよい。
【００１５】
図２は、画像処理装置２０の構成を示している。撮像装置１１または記憶装置１２から供給された入力画像の画像データＤＶinは、領域設定部２１と画像データ抽出部２２に供給される。
【００１６】
領域設定部２１は、入力画像に対して複数の領域を設定するためのものであり、設定された領域を示す視点情報ＡＳを生成して画像データ抽出部２２に供給する。ここで、領域設定部２１は、ユーザ操作に応じて複数の領域を設定する。また、領域設定部２１は、複数の領域を予め設定しておくものとしてもよい。
【００１７】
ユーザ操作に応じて領域を設定する場合、例えば表示部２１１とユーザインタフェース部２１２および視点情報生成部２１３によって、ＧＵＩ(Graphical User Interface)を構成する。表示部２１１は、画像データＤＶinを用いて入力画像の表示を行う。また、表示部２１１は、視点情報生成部２１３から供給された表示制御信号ＣＫに基づいて入力画像上にカーソル表示を行う。ユーザインタフェース部２１２は、マウスやタッチパネル等のポインティングデバイスあるいはキーボード等を用いて構成されており、ユーザ操作に応じた操作信号ＰＡを生成して視点情報生成部２１３に供給する。
【００１８】
視点情報生成部２１３は、操作信号ＰＡに応じた表示制御信号ＣＫを表示部２１１に供給して、表示部２１１で表示されているカーソル表示を、ユーザ操作に応じて移動される。さらに、視点情報生成部２１３は、操作信号ＰＡが領域決定操作を示すとき、領域の位置や範囲を示す視点情報ＡＳを生成して画像データ抽出部２２に供給する。例えば、視点情報生成部２１３は、ズームインしたときの画像（ズーム画像）の範囲や、ズーム画像よりも広画角である画像の範囲がユーザ操作によって設定されたとき、ズーム画像の範囲と広画角画像の範囲を示す視点情報ＡＳを生成して画像データ抽出部２２に供給する。視点情報生成部２１３は、視点情報ＡＳとして領域の基準位置を示す座標値とズーム倍率や、領域の境界を示す座標値等を用いる。視点情報生成部２１３は、例えば領域の形状を画像表示装置７０の表示画面に対応する矩形状として、ユーザ操作によって設定された位置を基準位置例えば設定された位置を領域の１つの角や領域の中心位置として、この基準位置の座標値とズーム倍率を視点情報ＡＳとする。また、視点情報ＡＳは、領域の４つの角の座標値を用いるものとしてもよい。
【００１９】
画像データ抽出部２２は、画像データＤＶinから視点情報ＡＳで示された複数の領域の画像データを領域毎に抽出して、抽出した画像データＤＶaを画像データ変換部２３に供給する。
【００２０】
画像データ変換部２３は、画像データＤＶaのアップコンバートやダウンコンバートを行い、予め設定された解像度の画像データＤＶbに変換して画像データ結合部２４に供給する。画像データ変換部２３は、抽出した画像データの解像度が例えば画像表示装置７０の表示解像度よりも高いときダウンコンバートを行い、画像表示装置７０の表示解像度よりも低いときアップコンバートを行うことで、表示解像度と等しい画像データに変換する。
【００２１】
画像データ結合部２４は、領域毎の画像データＤＶbを結合して結合画像データＤＶcとして符号化処理部２５に供給する。符号化処理部２５は、結合画像データＤＶcの圧縮符号化を行い符号化データＤＧを生成する。
【００２２】
画像処理装置２０は、このように生成した符号化データＤＧを記憶装置５０に記憶させる。また、画像処理装置２０は、生成した符号化データＤＧを、伝送路６０を介して画像処理装置３０に供給する。
【００２３】
図３は、画像処理装置３０の構成を示している。記憶装置５０から読み出されたまたは伝送路６０を介して供給された符号化データＤＧは、復号化処理部３１に供給される。
【００２４】
復号化処理部３１は、符号化データＤＧの復号化処理を行い、得られた結合画像データＤＶdを画像データ分離部３２に供給する。
【００２５】
画像データ分離部３２は、結合画像データＤＶdの分離処理を行い、結合前の画像データすなわち領域毎の画像データに分離する。さらに、画像データ分離部３２は、分離処理を行うことにより得られた画像データＤＶeを表示画像データ生成部３３に供給する。ここで、画像データ分離部３２は、結合画像データＤＶdから領域毎の画像データを全て分離して表示画像データ生成部３３に供給する。また、画像データ分離部３２は、画像表示を行う領域の画像データのみを分離して表示画像データ生成部３３に供給するものとしてもよい。
【００２６】
表示画像データ生成部３３は、画像データ分離部３２から供給された画像データＤＶeを用いて表示画像データＤＶoutを生成する。表示画像データ生成部３３は、供給された画像データＤＶeから画像表示を行う領域の画像データを選択して例えばフレームバッファに書き込み、このフレームバッファに書き込まれた画像データを順次読み出して表示画像データＤＶoutを生成する。例えば、画像表示を行う１つの領域の画像データＤＶeを選択してフレームバッファに書き込む。また、複数の領域の画像を１画面に表示するマルチ画面表示を行う場合、画像表示を行う複数の領域の画像データＤＶeを選択して、表示位置に対応するフレームバッファのアドレス位置に書き込む。
【００２７】
表示制御部３５には、ユーザインタフェース部３６が接続されている。ユーザインタフェース部３６は、操作キー等で構成されており、画像表示を行う領域の切り換えやマルチ画面表示の設定等のユーザ操作が行われたとき、ユーザ操作に応じた操作信号ＰＢを生成して表示制御部３５に供給する。
【００２８】
表示制御部３５は、操作信号ＰＢに基づき表示設定信号ＣＴを生成して画像データ分離部３２や表示画像データ生成部３３に供給することで、ユーザ操作に応じた画像表示を行うことができるように、画像データ分離部３２や表示画像データ生成部３３を制御する。例えば表示制御部３５は、表示画像データ生成部３３を制御して、画像表示を行う領域の画像データＤＶeを選択してフレームバッファに書き込む処理を行わせる。または、画像データ分離部３２を制御して、画像表示を行う領域の画像データＤＶeのみを分離して表示画像データ生成部３３に供給させる。
【００２９】
ところで、画像処理装置２０，３０の動作は、ソフトウェアで実現するものとしてもよい。この場合の画像処理装置の構成を図４に示す。
【００３０】
画像処理装置２０（３０）のＣＰＵ(Central Processing Unit)４０１は、バス４２０を介してＲＯＭ(Read Only Memory)４０２，ＲＡＭ(Random Access Memory)４０３，入出力インタフェース部４０５が接続されている。さらに、入出力インタフェース部４０５には、表示部４１１，ユーザインタフェース部４１２，通信部４１３等が接続されている。
【００３１】
ＣＰＵ４０１は、ＲＯＭ４０２やＲＡＭ４０３に記憶されているプログラムを実行して画像処理を行う。ここで、入力画像の画像データＤＶinを用いて結合画像データＤＶcを生成する場合、ＣＰＵ４０１は、入出力インタフェース部４０５に入力された画像データＤＶinを用いて画像処理を行うことで結合画像データＤＶcを生成して、結合画像データＤＶcが符号化処理された符号化データＤＧを入出力インタフェース部４０５または通信部４１３から出力する。符号化データＤＧを用いて表示画像データＤＶoutを生成する場合、ＣＰＵ４０１は、入出力インタフェース部４０５または通信部４１３に入力された符号化データＤＧを用いて画像処理を行うことで、ユーザが所望する領域の画像を示す表示画像データＤＶoutを生成して、例えば入出力インタフェース部４０５から画像表示装置７０に出力する。
【００３２】
さらに、ＣＰＵ４０１がマルチコアＣＰＵである場合、複数の領域の画像データを予め設定された解像度の画像データに変換する処理は、領域毎に並列して行う。
【００３３】
なお、ＣＰＵ４０１で実行するプログラムを記録媒体に記録しておき、記録媒体ドライブによって記録媒体からプログラムを読み出してＣＰＵ４０１で実行するものとしたり、通信部４１３によって、伝送路を介してプログラムの通信を行うものとし、受信したプログラムをＣＰＵ４０１で実行するものとしてもよい。
【００３４】
図５は、画像処理システムの動作の概略を示すフローチャートである。図５において、ステップＳＴ１からステップＳＴ５は、録画側の画像処理装置２０の動作、ステップＳＴ６からステップＳＴ９は、再生側の画像処理装置３０の動作をそれぞれ示している。
【００３５】
ステップＳＴ１で画像処理装置２０のＣＰＵ４０１は、入力画像の画像データＤＶinを取得してステップＳＴ２に進む。
【００３６】
ステップＳＴ２でＣＰＵ４０１は、前処理を行いステップＳＴ３に進む。ＣＰＵ４０１は、前処理としてステップＳＴ１で取得した画像データＤＶinに基づく入力画像に対して設定した複数の領域の画像データを結合して結合画像データＤＶcを生成する。
【００３７】
図６は、前処理の動作を示すフローチャートである。ステップＳＴ２１でＣＰＵ４０１は、領域設定処理を行う。図７は領域設定処理を示すフローチャートである。ステップＳＴ２１１でＣＰＵ４０１は、ユーザ操作判別処理を行う。ＣＰＵ４０１は、供給された画像データＤＶinに基づき表示部４１１に入力画像を表示する。また、ＣＰＵ４０１は、入力画像上にカーソルを表示する。ＣＰＵ４０１は、ユーザインタフェース部４１２からの操作信号ＰＣに応じてカーソルの位置を移動させてステップＳＴ２１２に進む。
【００３８】
ステップＳＴ２１２でＣＰＵ４０１は、領域確定操作が行われたか否かを判別する。ＣＰＵ４０１は、操作信号ＰＣが領域確定操作を示したときステップＳＴ２１３に進み、領域確定操作を示していないときステップＳＴ２１４に進む。
【００３９】
ステップＳＴ２１３でＣＰＵ４０１は、視点情報の生成を行いステップＳＴ２１４に進む。この視点情報の生成において、ＣＰＵ４０１は、領域確定操作が行われたときにカーソルによって示されている領域を示す視点情報ＡＳを生成する。
【００４０】
ステップＳＴ２１４でＣＰＵ４０１は領域設定が完了したか否かを判別する。ここでＣＰＵ４０１は、操作信号ＰＣが領域の設定の完了を示していないステップＳＴ２１１に戻り、領域の設定の完了を示したとき領域設定処理を終了して図６のステップＳＴ２２に進む。
【００４１】
ステップＳＴ２２でＣＰＵ４０１は、画像データ抽出処理を行いステップＳＴ２３に進む。この画像データ抽出処理において、ＣＰＵ４０１は、領域設定処理で生成された視点情報ＡＳが示す１つの領域の画像データを抽出してステップＳＴ２３に進む。
【００４２】
ステップＳＴ２３でＣＰＵ４０１は、画像データ変換処理を行う。この画像データ変換処理において、ＣＰＵ４０１は、ステップＳＴ２２で抽出した画像データを予め設定されている解像度の画像データに変換してステップＳＴ２４に進む。
【００４３】
ステップＳＴ２４でＣＰＵ４０１は、ステップＳＴ２１の領域設定処理で生成された視点情報ＡＳが示す全ての領域について、処理が終了したか否かを判別する。ここでＣＰＵ４０１は、全ての領域について画像データの抽出と変換が行われていないと判別したときステップＳＴ２２に戻り、新たな領域について画像データの抽出と変換を行う。また、全ての領域について画像データの抽出と変換が行われたと判別したときステップＳＴ２５に進む。
【００４４】
ステップＳＴ２５でＣＰＵ４０１は、結合処理を行い図５のステップＳＴ３に進む。ＣＰＵ４０１は、結像処理として、ステップＳＴ２２からステップＳＴ２４の処理を行うことにより得られた領域毎の予め設定された解像度である画像データを結合して結合画像データを生成する。
【００４５】
図５のステップＳＴ３でＣＰＵ４０１は、結合画像データの符号化処理を行いステップＳＴ４に進む。
【００４６】
ステップＳＴ４でＣＰＵ４０１は、符号化データ出力処理を行う。ＣＰＵ４０１は、ステップＳＴ３で生成した符号化データを入出力インタフェース部４０５から記憶装置５０に、または通信部４１３を介して画像処理装置３０に供給する。
【００４７】
ステップＳＴ５でＣＰＵ４０１は、結合画像データの生成終了であるか否かを判別する。ＣＰＵ４０１は、了操作が行われていないと判別したときステップＳＴ１に戻り、終了操作が行われたと判別したとき、または画像データＤＶinの供給が終了したとき動作を終了する。
【００４８】
ところで、図６に示すフローチャートでは、領域毎に予め設定された画像データを順次生成するものとしたが、マルチコアＣＰＵを用いて並列処理を行うものとしてもよい。
【００４９】
図８は、マルチコアＣＰＵを用いて前処理を並列処理で行う場合のフローチャートを示している。なお、図８では、設定された領域が２つであるときの動作を示している。また、図８において図６と対応する処理は同一符号を付している。
【００５０】
ステップＳＴ２１でＣＰＵ４０１は、領域設定処理で２つの領域の設定を行い、設定された領域を示す視点情報ＡＳを生成してステップＳＴ２２-1，２２-2に進む。
【００５１】
ステップＳＴ２２-1でＣＰＵ４０１は、領域設定処理で生成された視点情報ＡＳに基づき。この視点情報ＡＳで示された１つの領域の画像データを抽出してステップＳＴ２３-1に進む。
【００５２】
ステップＳＴ２３-1でＣＰＵ４０１は、画像データ変換処理を行う。この画像データ変換処理において、ＣＰＵ４０１は、ステップＳＴ２２-1で抽出した画像データを予め設定されている解像度の画像データに変換してステップＳＴ２５に進む。
【００５３】
同様に、ステップＳＴ２２-2でＣＰＵ４０１は、領域設定処理で生成された視点情報ＡＳに基づき。この視点情報ＡＳで示された他の領域の画像データを抽出してステップＳＴ２３-2に進む。
【００５４】
ステップＳＴ２３-2でＣＰＵ４０１は、画像データ変換処理を行う。この画像データ変換処理において、ＣＰＵ４０１は、ステップＳＴ２２-2で抽出した画像データを予め設定されている解像度の画像データに変換してステップＳＴ２５に進む。
【００５５】
ステップＳＴ２５でＣＰＵ４０１は、ステップＳＴ２３-1，２３-2で得られた２つの画像データを結合することで結合画像データを生成して図５のステップＳＴ３に進む。
【００５６】
このように、領域毎の予め設定されている解像度の画像データを生成する処理を並列して行うことで、結合画像データを高速かつ効率よく生成できる。
【００５７】
図５のステップＳＴ６で再生側の画像処理装置３０のＣＰＵ４０１は、符号化データを取得してステップＳＴ７に進む。ＣＰＵ４０１は、記憶装置５０から読み出した符号化データ、または通信部４１３を介して供給された符号化データＤＧを取得する。
【００５８】
ステップＳＴ７でＣＰＵ４０１は、復号化処理を行いステップＳＴ８に進む。ＣＰＵ４０１は、ステップＳＴ６で取得した符号化データＤＧの復号化を行い、符号化前の結合画像データＤＶdとする処理を行う。
【００５９】
ステップＳＴ８でＣＰＵは、後処理を行いステップＳＴ８に進む。図９は後処理の動作を示すフローチャートである。
【００６０】
ステップＳＴ８１でＣＰＵ４０１は、結合画像データＤＶdの分離処理を行いステップＳＴ８２に進む。ＣＰＵ４０１は分離処理を行うことで、結合画像データＤＶdを結合前の画像データ、すなわち、設定された領域毎の画像データに分離する。
【００６１】
ステップＳＴ８２でＣＰＵ４０１は、表示画像データの生成処理を行う。ＣＰＵ４０１は、ステップＳＴ８１で得られた領域毎の画像データから、ユーザによって画像表示を行うものと指定された領域の画像データを選択して、選択した画像データを表示画像データとする。また、ＣＰＵ４０１は、ユーザによってマルチ画面表示の指定がなされたとき、ユーザによって指定されたそれぞれ領域の画像データを選択して、選択した複数の画像データからマルチ画面表示の表示画像データを生成する。表示画像データの生成処理では、例えばステップＳＴ８１で得られた結合画像データＤＶdをＲＡＭ４０３に書き込み、このＲＡＭ４０３に書き込まれた画像データを順次読み出して表示画像データとする。さらにＣＰＵ４０１は、生成した表示画像データを入出力インタフェース部４０５から画像表示装置７０に出力する。
【００６２】
なお、ステップＳＴ８１でＣＰＵ４０１は、画像表示を行う領域の画像データのみを分離するものとしてもよい。
【００６３】
図５のステップＳＴ９でＣＰＵ４０１は、表示画像データの生成終了であるか否かを判別する。ＣＰＵ４０１は、終了操作が行われていないときステップＳＴ６に戻り、ユーザによる終了操作が行われたとき、または符号化データＤＧの供給が終了したとき動作を終了する。
【００６４】
次に、画像処理システムの動作について図１０を用いて説明する。ここで、撮像装置１１は、例えば画素数が「３８４０×２１６０」である撮像素子を用いて構成されており、有効標本化数が３８４０サンプリングで有効走査線数が２１６０ラインのプログレッシブ方式の画像データＤＶinを生成して画像処理装置２０に供給する。図１０の（Ａ）は画像データＤＶinが示す入力画像を例示している。なお、図１０および図１２において２１６０ｐは２１６０ラインでプログレッシブ方式、２１６０ｉは２１６０ラインでインタレース方式、１０８０ｐは１０８０ラインでプログレッシブ方式、１０８０ｉは１０８０ラインでインタレース方式であることを示している。
【００６５】
画像処理装置２０は、入力画像を表示部２１１に表示して、この入力画像上にカーソル表示を行い、ユーザインタフェース部２１２において領域を設定するユーザ操作が行われたとき、設定された領域を示す視点情報ＡＳを生成する。例えばユーザ操作によって画角や視点の異なる領域ＡＲ-1と領域ＡＲ-2が設定されたとき、この領域を示す視点情報ＡＳを生成する。
【００６６】
次に、画像処理装置２０は、画像データ抽出処理を行い、画像データＤＶinから視点情報ＡＳによって示された領域ＡＲ-1の画像データＤＶa-1と領域ＡＲ-2の画像データＤＶa-2を抽出する。例えば画像データＤＶinをメモリに記憶して、記憶されている画像データＤＶinから領域ＡＲ-1の画像を示す画像データＤＶa-1と領域ＡＲ-2の画像を示す画像データＤＶa-2を新たなメモリあるいは画像データＤＶinが記憶されているメモリの新たな領域にコピーすることで、画像データＤＶa-1，ＤＶa-2を生成できる。なお、図１０の（Ｂ）は画像データＤＶa-1に基づく画像、図１０の（Ｃ）は画像データＤＶa-2に基づく画像をそれぞれ示している。
【００６７】
次に、画像処理装置２０は、抽出した画像データＤＶa-1，ＤＶa-2の変換処理を行う。画像処理装置２０は、アップコンバートやダウンコンバートおよび走査方式の変換を行い、例えば画像データＤＶa-1，ＤＶa-2をそれぞれ有効標本化数が１９２０サンプリングで有効走査線数が１０８０ラインのインタレース方式の画像データＤＶb-1，ＤＶb-2に変換する。なお、図１０の（Ｄ）は画像データＤＶb-1に基づく画像、図１０の（Ｅ）は画像データＤＶb-2に基づく画像をそれぞれ示している。
【００６８】
次に、画像処理装置２０は結合処理を行う。画像処理装置２０は、画像データＤＶb-1と画像データＤＶb-2を結合して結合画像データＤＶcを生成する。ここで、画像データＤＶb-1，ＤＶb-2は、１９２０サンプリングで１０８０ラインのインタレース方式の信号であり、画像処理装置２０は、２つの画像が垂直方向に結合するように画像データＤＶb-1，ＤＶb-2を結合して、有効標本化数が１９２０サンプリングで有効走査線数が１０８０ラインであるプログレッシブ方式の結合画像データＤＶcを生成する。図１０の（Ｆ）は、結合画像データＤＶcに基づく画像を示している。
【００６９】
画像処理装置２０は、結合処理を行うとき、結合画像データＤＶcを記憶するメモリを設けておき、画像データＤＶb-1を書き込む領域と画像データＤＶb-2を書き込む領域のアドレスを隣り合わせにしておく。図１１は結合処理動作を示している。図１１の（Ａ）に示す画像データＤＶinから読み出した図１１の（Ｂ）に示す領域ＡＲ-1の画像データＤＶa-1に対して変換処理を行うことにより得られた図１１の（Ｃ）に示す画像データＤＶb-1は、図１１の（Ｄ）に示すように領域ＭＡ-1に書き込む。また、画像データＤＶinから読み出した図１１の（Ｂ）に示す領域ＡＲ-2の画像データＤＶa-2対して変換処理を行うことにより得られた図１１の（Ｃ）に示す画像データＤＶb-2は、図１１の（Ｄ）に示すように領域ＭＡ-2に書き込む。さらに、画像処理装置２０は、領域ＭＡ-1の画像データにつづけて領域ＭＡ-2の画像データを読み出すことで、２つの画像が結合された結合画像データＤＶcを容易に得ることができる。
【００７０】
さらに、画像処理装置２０は、結合画像データＤＶcの符号化処理を行うことでデータ量が削減された符号化データＤＧを生成する。
【００７１】
次に、画像処理装置３０の動作について説明する。画像処理装置３０は、記憶装置５０または伝送路６０を介して取得した符号化データＤＧの復号化処理を行い、符号化処理前の結合画像データＤＶdを生成する。なお、図１０の（Ｇ）は、結合画像データＤＶdに基づく画像を示している。
【００７２】
画像処理装置３０は、結合画像データＤＶdの分離処理を行って、領域ＡＲ-1の画像を示す画像データＤＶe-1と領域ＡＲ-2の画像を示す画像データＤＶe-2に分離する。なお、図１０の（Ｈ）は、画像データＤＶe-1に基づく画像、図１０の（Ｉ）は、画像データＤＶe-2に基づく画像をそれぞれ示している。
【００７３】
画像処理装置３０は、表示画像データ生成処理を行い画像データＤＶe-1，ＤＶe-2のいずれか一方あるいは２つの画像データをユーザ操作に応じて選択して、選択した画像データから表示画像データＤＶoutを生成する。例えば、ユーザが広画角の画像を選択したとき、画像処理装置３０は、画像データＤＶe-1をインタレース方式の表示画像データＤＶoutとして出力する。このとき、表示画像データＤＶoutに基づく表示画像は、図１０の（Ｊ）に示すものとなる。また、ユーザがズーム画像を選択したとき、画像処理装置３０は、画像データＤＶe-2をインタレース方式の表示画像データＤＶoutとして出力する。このとき、表示画像データＤＶoutに基づく表示画像は、図１０の（Ｋ）に示すものとなる。さらに、ユーザがマルチ画面表示を選択したとき、画像処理装置３０は、例えば画像データＤＶe-2に画像データＤＶe-1を重畳させてインタレース方式の表示画像データＤＶoutとして出力する。このとき、表示画像データＤＶoutに基づく表示画像は、図１０の（Ｌ）に示すように、ズーム画像と広画角画像が表示されたマルチ画面表示となる。
【００７４】
また、図１０では、インタレース方式の２つの画像データを結合してプログレッシブ方式の結合画像データとする場合を示したが、インタレース方式の２つの画像データを結合してインタレース方式の画像データとしてもよい。例えば図１２の（Ａ）に示すように、有効標本化数が１９２０サンプリングで有効走査線数が１０８０ラインのインタレース方式の画像データＤＶb-1，ＤＶb-2を結合して、有効標本化数が１９２０サンプリングで有効走査線数が２１６０ラインのインタレース方式の結合画像データＤＶcを生成するものとしてもよい。さらに画像を垂直方向に結合させるだけでなく、水平方向にも結合させるものとしてもよい。例えば図１２の（Ｂ）に示すように、水平方向および垂直方向にそれぞれ２つの画像を結合させて合計４つの画像が結合されている結合画像データＤＶcを生成するものとしてもよい。
【００７５】
このように、画像処理システム１０の画像処理装置２０は、複数の領域の画像データが結合された結合画像データＤＶcの生成を行い、画像処理装置３０は、結合画像データＤＶdの分離を行って得られた画像データに基づいて表示画像データの生成が行われることから、複数の撮像装置を用いなくとも例えば広画角画像やズーム画像のように画角の異なる画像の切換表示やマルチ画像表示が、簡単な構成で容易に可能となる。また、速やかに画像の切り換えを行うことができる。なお、異なる視点の領域例えば２つの被写体の一方を中心とした領域と他方の被写体を中心とした領域を設定すれば、視点の異なる画像の切り換えも同様に行うことができる。
【００７６】
また、符号化処理前に前処理の工程を設け、復号化処理の後に後処理の工程を追加するだけでよいことから、従来の撮像装置や再生装置に対して大幅な変更を行う必要がなく、追加機能として盛り込むことができるメリットを有する。
【００７７】
また、画像処理装置２０は、変換処理を行うことで、抽出した画像データが予め設定された解像度の画像データに変換される。このため、ユーザの設定した領域のサイズが異なる場合でも、変換後の各領域の画像データは、解像度が等しいものとされていることから、各領域の画像データの結合を容易に行うことができる。
【００７８】
また、画像処理装置３０は画像表示装置７０の解像度となるように変換処理を行うことで、画像処理装置３０は結合画像データから表示画像データを生成する際に解像度変換を行う必要がなく、画像処理装置３０を簡単な構成とすることができる。
【００７９】
また、画像処理装置２０は、変換処理でインタレース方式の画像データに変換することから、２つの領域の画像を垂直方向に結合させたとき、有効走査線数がプログレッシブ方式の画像データと等しくなる。すなわち、結合画像データをプログレッシブ方式の画像データとして処理することができるので、プログレッシブ方式の画像データの符号化処理を行う従来の符号化処理部を用いて、結合画像データの符号化処理を行うことができる。
【００８０】
さらに、結合画像データよりも解像度の高い撮像素子を用いて生成された画像データＤＶinを用いるものとすれば、所望の解像度でズーム画像が得られるように撮像を行って画像データＤＶa-2を生成しても、ズーム画像よりも広い領域の画像データを読み出して画像データＤＶa-1を生成すれば、ズーム画像だけでなく広画角画像を高画質に表示することが可能となる。
【００８１】
また、画像処理装置２０は、専用コーデック（符号化処理と復号化処理）の新規開発を必要としない。すなわち、既存のコーデックを用いて、そのコーデックの前後に処理ブロックを設けるだけで作成することができる。
【図面の簡単な説明】
【００８２】
【図１】画像処理システムの構成を示す図である。
【図２】画像処理装置の構成（録画側）を示す図である。
【図３】画像処理装置の構成（再生側）を示す図である。
【図４】ソフトウェアで画像処理を行う場合の画像処理装置の構成を示す図である。
【図５】画像処理システムの動作を示すフローチャートである。
【図６】前処理の動作を示すフローチャートである。
【図７】領域設定処理を示すフローチャートである。
【図８】前処理の他の動作を示すフローチャートである。
【図９】後処理の動作を示すフローチャートである。
【図１０】画像処理システムの動作を説明するための図である。
【図１１】結合処理を説明するための図である。
【図１２】画像処理システムの他の動作を説明するための図である。
【符号の説明】
【００８３】
１０・・・画像処理システム、１１・・・撮像装置、１２，５０・・・記憶装置、２０，３０・・・画像処理装置、２１・・・領域設定部、２２・・・画像データ抽出部、２３・・・画像データ変換部、２４・・・画像データ結合部、２５・・・符号化処理部、３１・・・復号化処理部、３２・・・画像データ分離部、３３・・・表示画像データ生成部、３５・・・表示制御部、３６，２１２，４１２・・・ユーザインタフェース部、６０・・・伝送路、７０・・・画像表示装置、２１１，４１１・・・表示部、２１３・・・視点情報生成部、４０１・・・ＣＰＵ、４０２・・・ＲＯＭ、４０３・・・ＲＡＭ、４０５・・・入出力インタフェース部、４１３・・・通信部、４２０・・・バス
【図１】
2009177730.tif 000003
【図２】
2009177730.tif 000004
【図３】
2009177730.tif 000005
【図４】
2009177730.tif 000006
【図５】
2009177730.tif 000007
【図６】
2009177730.tif 000008
【図７】
2009177730.tif 000009
【図８】
2009177730.tif 000010
【図９】
2009177730.tif 000011
【図１０】
2009177730.tif 000012
【図１１】
2009177730.tif 000013
【図１２】
2009177730.tif 000014