(57)【要約】【課題】安価な構成で容易に良好な画質のズーム画像を得られるようにする。【解決手段】領域設定処理部２１は、動画像を表示する表示装置の表示解像度よりも高解像度の入力動画像に対して、複数のズーム領域を設定する。画像データ抽出部２２は、入力動画像の画像データＤＶinからズーム領域毎の画像データＤＶaを抽出する。画像データ変換部２３は、抽出した画像データＤＶaのダウンコンバートを行い、それぞれ表示解像度の画像データＤＶbに変換する。符号化部２４は画像データＤＶbの圧縮符号化を行い、符号化データＤＧを生成する。出力部２５は、符号化データＤＧにズーム領域を示す視点情報ＡＳを対応させて、符号化データＤＧと視点情報ＡＳを出力する。視点情報ＡＳに基づいてユーザがズーム倍率を指定されたときに、指定されたズーム倍率に対応する画像データを選択することで、容易に所望のズーム画像を良好な画質で提示できる。【選択図】        図２
2009192949.tif 000002
【特許請求の範囲】
【請求項１】
表示解像度よりも高解像度の入力動画像に対して、前記入力動画像の一部分を拡大して表示するズーム領域を複数設定して、該設定したズーム領域を示す視点情報を生成する領域設定処理部と、
前記入力動画像の画像データから前記設定されたズーム領域毎に画像データを抽出する画像データ抽出部と、
前記抽出した画像データを前記表示解像度の画像データにダウンコンバートする画像データ変換部と、
前記ダウンコンバート後の画像データに前記視点情報を対応させて、該ダウンコンバート後の画像データと視点情報を出力する出力部を備える
ことを特徴とする画像処理装置。
【請求項２】
前記領域設定処理部は、ズーム倍率の異なる複数のズーム領域を設定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記領域設定処理部は、前記複数のズーム領域の基準位置を等しくしてズーム領域の設定を行う
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記ダウンコンバート後の画像データを圧縮符号化する符号化部をさらに備え、
前記出力部は、前記圧縮符号化された画像データに前記視点情報を対応付けて出力する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
表示解像度よりも高解像度の入力動画像に対して、前記入力動画像の一部分を拡大して表示するズーム領域を複数設定して、該設定した複数のズーム領域を示す視点情報を生成する領域設定処理工程と、
前記入力動画像の画像データから前記設定されたズーム領域毎に画像データを抽出する画像データ抽出工程と、
前記抽出した画像データを前記表示解像度の画像データにダウンコンバートする画像データ変換工程と、
前記ダウンコンバート後の画像データに前記視点情報を対応させて、該ダウンコンバート後の画像データと視点情報を出力する出力工程を有する
ことを特徴とする画像処理方法。
【請求項６】
入力動画像の画像データの画像処理を行う第１の画像処理装置と、前記第１の画像処理装置からの出力データを用いて画像処理を行い表示画像の画像データを生成する第２の画像処理装置を用いて構成される画像処理システムにおいて、
前記第１の画像処理装置は、
表示解像度よりも高解像度の前記入力動画像に対して、該入力動画像の一部分を拡大して表示するズーム領域を複数設定して、該設定した複数のズーム領域を示す視点情報を生成する領域設定処理部と、
前記入力動画像の画像データから前記設定されたズーム領域毎に画像データを抽出する画像データ抽出部と、
前記抽出した画像データを前記表示解像度の画像データにダウンコンバートする画像データ変換部と、
前記ダウンコンバート後の画像データに前記視点情報を対応させて、該ダウンコンバート後の画像データと視点情報を前記出力データとして出力する出力部とを備え、
前記第２の画像処理装置は、
前記出力データから視点情報を抽出する視点情報抽出部と、
前記視点情報によって示されたズーム領域から画像表示を行うズーム領域を指定する領域指定部と、
前記出力された画像データから、前記指定されたズーム領域の画像データを選択する画像データ選択部と、
前記選択された画像データ用いて表示画像の画像データを生成する表示画像データ生成部を備える
ことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置と画像処理方法および画像処理システムに関する。詳しくは、良好な画質のズーム画像を容易に得られるようにするものである。
【背景技術】
【０００２】
従来の撮像装置では、撮像素子の多画素化によって静止画の高解像度化が進んでいる。一方、動画においては情報量を抑えるため、静止画に比べて解像度が低い状態となっている。このため、デジタルズームを行って得られた画像、すなわち動画の画像データを用いてトリミングやアップコンバートを行い撮像画像の一部領域を拡大したズーム画像は、画質が低下した画像となってしまう。
【０００３】
また、特許文献１では、複数の撮像装置を使って別々の方向から撮像したものを処理して動画配信する手法が提案されている。このように、複数の撮像装置を使用する場合、いずれかの撮像装置で所望の被写体にズームインした撮像画像を生成すれば、良好な画質のズーム画像を得ることができる。
【０００４】
【特許文献１】特開２００３−１８５８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、複数の撮像装置を用いるものとすると、安価な構成で良好な画質のズーム画像を得ることができない。また、動いている被写体を追従して撮像する場合、複数の撮像装置を同時に操作しなければならないことから、簡単に撮像操作を行うことができない。
【０００６】
そこで、この発明では、安価な構成で容易に良好な画質のズーム画像を得られる画像処理装置と画像処理方法および画像処理システムを提供するものである。
【課題を解決するための手段】
【０００７】
この発明の概念は、表示解像度すなわち動画像を表示する表示装置の解像度よりも高解像度の入力動画像に対して、複数のズーム領域を設定して、このズーム領域の画像データをそれぞれ表示解像度にダウンコンバートして出力するように処理を行う。また、ズーム領域を示す視点情報例えばズーム倍率等を示す情報を、表示解像度とされた画像データに対応させて出力して、この視点情報に基づいてズーム倍率等が指定されたときに、指定されたズーム倍率等に対応する画像データを選択することで、容易に所望のズーム画像を良好な画質で提示可能とすることにある。
【０００８】
この発明の画像処理装置は、表示解像度よりも高解像度の入力動画像に対して、入力動画像の一部分を拡大して表示するズーム領域を複数設定して、該設定したズーム領域を示す視点情報を生成する領域設定処理部と、入力動画像の画像データから設定されたズーム領域毎に画像データを抽出する画像データ抽出部と、抽出した画像データを表示解像度の画像データにダウンコンバートする画像データ変換部と、ダウンコンバート後の画像データに視点情報を対応させて、該ダウンコンバート後の画像データと視点情報を出力する出力部を備えるものである。
【０００９】
また、この発明に係る画像処理方法は、表示解像度よりも高解像度の入力動画像に対して、入力動画像の一部分を拡大して表示するズーム領域を複数設定して、該設定した複数のズーム領域を示す視点情報を生成する領域設定処理工程と、入力動画像の画像データから設定されたズーム領域毎に画像データを抽出する画像データ抽出工程と、抽出した画像データを表示解像度の画像データにダウンコンバートする画像データ変換工程と、ダウンコンバート後の画像データに視点情報を対応させて、該ダウンコンバート後の画像データと視点情報を出力する出力工程を有するものである。
【００１０】
さらに、この発明に係る画像処理システムは、入力動画像の画像データを用いて画像処理を行う第１の画像処理装置と、第１の画像処理装置からの出力データを用いて画像処理を行い表示画像の画像データを生成する第２の画像処理装置を用いて構成される画像処理システムにおいて、第１の画像処理装置は、表示解像度よりも高解像度の入力動画像に対して、該入力動画像の一部分を拡大して表示するズーム領域を複数設定して、該設定した複数のズーム領域を示す視点情報を生成する領域設定処理部と、入力動画像の画像データから設定されたズーム領域毎に画像データを抽出する画像データ抽出部と、抽出した画像データを表示解像度の画像データにダウンコンバートする画像データ変換部と、ダウンコンバート後の画像データに視点情報を対応させて、該ダウンコンバート後の画像データと視点情報を出力データとして出力する出力部とを備え、第２の画像処理装置は、出力データから視点情報を抽出する視点情報抽出部と、視点情報によって示されたズーム領域から画像表示を行うズーム領域を指定する領域指定部と、出力された画像データから、指定されたズーム領域の画像データを選択する画像データ選択部と、選択された画像データ用いて表示画像の画像データを生成する表示画像データ生成部を備えるものである。
【００１１】
この発明においては、表示解像度よりも高解像度の入力動画像に対して複数のズーム領域が設定される。例えばズーム倍率の異なる複数のズーム領域や、基準位置が等しくズーム倍率の異なる複数のズーム領域等が設定される。設定した複数のズーム領域を示す視点情報が生成される。また、入力動画像の画像データから各ズーム領域の画像データが抽出されて、この抽出された画像データが表示解像度の画像データにダウンコンバートされて出力される。また、画像データを出力する際には、視点情報が画像データに対応して出力される。さらに、画像データを出力する際には圧縮符号化されてデータ量が削減される。画像表示を行う際には、視点情報によって示されたズーム領域から画像表示を行うズーム領域が指定されて、このズーム領域に対応する画像データを選択して用いることで表示画像データの生成が行われる。
【発明の効果】
【００１２】
この発明によれば、入力動画像に対して複数のズーム領域が設定されて、各ズーム領域の画像データがそれぞれ表示解像度にダウンコンバートして出力される。また、画像データに対応させてズーム領域を示す視点情報が出力される。また、視点情報に基づき所望のズーム領域が指定されたとき、このズーム領域に対応する画像データを用いて表示画像データが生成される。このため、所望のズーム領域を指定することで、容易に良好な画質のズーム画像が得られるようになる。
【発明を実施するための最良の形態】
【００１３】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は画像処理システムの構成を示している。画像処理システム１０は、録画側の画像処理装置２０と再生側の画像処理装置３０を用いて構成されている。録画側の画像処理装置２０は、撮像装置１１で生成された表示解像度よりも高解像度の動画像の画像データや、記録装置１２から読み出した表示解像度よりも高解像度の動画像の画像データから、表示解像度である複数のズーム画像の画像データを生成する。再生側の画像処理装置３０は、画像処理装置２０で生成されたズーム画像毎の画像データから所望の画像データを用いて表示画像データを生成して表示装置７０に出力する。
【００１４】
ここで、録画側の画像処理装置２０で生成された複数のズーム画像の画像データは、例えば記録装置（記録媒体等も含む）５０を介して再生側の画像処理装置３０に供給される。また、画像処理装置２０から画像処理装置３０に対してズーム画像の画像データの供給を効率よく行うことができるように、画像処理装置２０は画像データの圧縮符号化を行い、画像処理装置３０は圧縮符号化されている画像データの復号化処理を行うものとしてもよい。
【００１５】
図２は、録画側の画像処理装置２０の構成を示している。撮像装置１１または記録装置１２から供給された画像データＤＶinは、領域設定処理部２１と画像データ抽出部２２に供給される。画像データＤＶinは、再生側の画像処理装置３０に接続された表示装置で表示されるズーム画像の表示解像度よりも高解像度である動画像の画像データとされている。
【００１６】
領域設定処理部２１は、画像データＤＶinに基づく入力動画像に対して、入力動画像の一部分を拡大して表示するズーム領域を複数設定して、この設定した複数のズーム領域を示す視点情報ＡＳを生成して、画像データ抽出部２２と出力部２５に供給する。複数のズーム領域は、固定して設定するものとしてもよく、入力動画像に応じてユーザが設定できるようにしてもよい。また、複数のズーム領域は、基準位置を等しくしてズーム倍率のみが異なるズーム領域や、基準位置が異なりズーム倍率が等しいズーム領域、または基準位置とズーム倍率が異なるズーム領域とする。なお、複数のズーム領域を固定して設定する場合、視点情報生成部２１３は、各ズーム領域を示す視点情報ＡＳを保持しておくものとする。
【００１７】
ユーザ操作に応じてズーム領域を設定する場合、例えば表示部２１１と視点情報生成部２１３でＧＵＩ(Graphical User Interface)を構成する。表示部２１１は、画像データＤＶinに基づく入力動画像表示やカーソル表示を行う。ユーザインタフェース部２１２は、マウスやタッチパネル等のポインティングデバイスあるいはキーボード等を用いて構成されており、ユーザ操作に応じた操作信号ＰＡを生成して視点情報生成部２１３に供給する。
【００１８】
視点情報生成部２１３は、操作信号ＰＡに応じた表示制御信号ＨＣを表示部２１１に供給して、表示部２１１で表示されている画像上に、ユーザ操作に応じて移動されるカーソルを表示させる。さらに、視点情報生成部２１３は、操作信号ＰＡがズーム領域の決定操作を示すとき、例えばズーム領域の基準とする位置の決定操作やズーム倍率の決定操作を示すとき、カーソルが示す座標位置やズーム倍率等を示す情報を視点情報ＡＳとする。
【００１９】
画像データ抽出部２２は、画像データＤＶinから視点情報ＡＳで示されたズーム領域の画像データをズーム領域毎に抽出して、抽出した画像データＤＶaを画像データ変換部２３に供給する。
【００２０】
画像データ変換部２３は、画像データＤＶaのダウンコンバートを行い、表示解像度の画像データＤＶbに変換して符号化部２４に供給する。すなわち、画像データ変換部２３は、画像データＤＶaに対して画素数変換や走査線数変換を行い、表示画像の画素数および走査線数である画像データＤＶbを生成する。
【００２１】
符号化部２４は、符号化処理を行い画像データＤＶbをそれぞれ圧縮符号化する。また符号化部２４は、符号化処理を行うことにより得られた符号化データＤＧを出力部２５に供給する。
【００２２】
出力部２５は、符号化データＤＧに視点情報ＡＳを対応付けて出力する。例えば、視点情報ＡＳにおいて各ズーム領域のズーム倍率が示されているとき、所望のズーム倍率を選択することで、選択したズーム倍率であるズーム領域に対応する符号化データを選択できるように、符号化データＤＧに視点情報ＡＳを対応付けて出力する。具体的には視点情報ＡＳと符号化データＤＧを個々にファイル化して視点情報ＡＳと符号化データＤＧのファイルをリンクさせて、視点情報ＡＳに基づいて所望のズーム領域が指定されたとき、指定されたズーム領域に対応する符号化データを選択できるようにする。また、符号化データＤＧのそれぞれにヘッダ情報を設け、該ヘッダ情報に視点情報ＡＳを含めて、何れのズーム領域の画像を示す符号化データであるか識別可能として、該ヘッダ情報に基づき、所望のズーム領域に対応する符号化データを選択できるようにしてもよい。
【００２３】
画像処理装置２０は、このように生成した符号化データＤＧと視点情報ＡＳを対応付けて出力して例えば記録装置５０に記録させる。なお、画像処理装置２０は、図１に示すネットワーク６０等を介して符号化データＤＧと視点情報ＡＳを画像処理装置３０に供給するものとしてもよい。
【００２４】
図３は、再生側の画像処理装置３０の構成を示している。記録装置５０から読み出した符号化データＤＧと視点情報ＡＳは、視点情報抽出部３１に供給される。なお、ネットワーク等を介して画像処理装置２０から供給された符号化データＤＧと視点情報ＡＳも視点情報抽出部３１に供給される。
【００２５】
視点情報抽出部３１は、符号化データＤＧに対応付けられている視点情報ＡＳを抽出して領域指定部３３に供給する。また、視点情報抽出部３１は、符号化データＤＧを復号化部３２に供給する。
【００２６】
復号化部３２は、符号化データＤＧの復号化処理を行い、得られた画像データＤＶcを画像データ選択部３４に供給する。
【００２７】
領域指定部３３は、ユーザインタフェース部３３１と表示制御部３３２を用いて構成されている。ユーザインタフェース部３３１は、マウスやタッチパネル等のポインティングデバイスあるいはキーボード等を用いて構成されており、ユーザ操作に応じた操作信号ＰＢを生成して表示制御部３３２に供給する。
【００２８】
表示制御部３３２は、操作信号ＰＢに基づき、ユーザがいずれのズーム領域を指定したが判別して、判別結果に基づき表示制御信号ＣＴを生成して画像データ選択部３４と表示画像データ生成部３５に供給する。
【００２９】
ここで、ユーザ操作に応じてズーム領域を指定する場合、例えば領域指定部３３と表示装置７０でＧＵＩ(Graphical User Interface)を構成する。表示制御部３３２は、視点情報ＡＳに基づき情報表示データを生成して表示画像データ生成部３５を介して表示装置７０に供給することで、選択可能なズーム領域を示す情報例えばズーム倍率等の表示を行う。なお、領域指定部３３に表示部を設けて、この表示部で選択可能なズーム倍率等の表示を行うものとしてもよい。
【００３０】
表示制御部３３２は、操作信号ＰＢに基づきズーム領域の指定が行われたことを判別したとき、指定されたズーム倍率のズーム画像を表示装置７０に表示させるための表示制御信号ＣＴを静止する。
【００３１】
画像データ選択部３４は、表示制御信号ＣＴに基づき、供給された画像データＤＶcから画像表示に用いる１あるいは複数のズーム領域の画像データを選択して、この選択した画像データＤＶdを表示画像データ生成部３５に供給する。
【００３２】
表示画像データ生成部３５は、画像データ選択部３４から供給された画像データＤＶdを例えばフレームバッファに書き込み、このフレームバッファに書き込まれた画像データを順次読み出して、表示装置７０に対応するフォーマットに変換したのち、表示画像データＤＶoutとして表示装置７０に供給する。
【００３３】
ところで、画像処理装置２０，３０は、ハードウェアだけでなくソフトウェアで実現するものとしてもよい。ここで、ソフトウェアで実現する場合の画像処理装置の構成を図４に示す。
【００３４】
コンピュータは、ＣＰＵ(Central Processing Unit)４０１を内蔵しており、このＣＰＵ４０１にはバス４２０を介してＲＯＭ(Read Only Memory)４０２，ＲＡＭ(Random Access Memory)４０３，入出力インタフェース部４０５が接続されている。さらに、入出力インタフェース部４０５には、表示部４１１，ユーザインタフェース部４１２，通信部４１３が接続されている。
【００３５】
ＣＰＵ４０１は、ＲＯＭ４０２やＲＡＭ４０３に記憶されているプログラムを実行して画像データの信号処理を行う。ここで、入力動画像の画像データＤＶinを用いて複数のズーム領域の画像データを生成する場合、ＣＰＵ４０１は、入出力インタフェース部４０５に入力された画像データＤＶinから、視点情報ＡＳに基づきズーム領域の画像データを抽出する処理や、抽出した画像データを表示解像度にダウンコンバートする処理、ダウンコンバート後の画像データの圧縮符号化を行って符号化データＤＧを生成する処理、符号化データＤＧに視点情報ＡＳを対応付けて入出力インタフェース部４０５または通信部４１３から出力する処理等を行う。また、符号化データＤＧや視点情報ＡＳを用いてズーム画像を示す表示画像データＤＶoutを生成する場合、ＣＰＵ４０１は、入出力インタフェース部４０５または通信部４１３に入力された符号化データＤＧと視点情報ＡＳを用いて画像処理を行うことで、ユーザが所望するズーム画像を示す表示画像データＤＶoutを生成して、例えば入出力インタフェース部４０５から表示装置７０に出力する。
【００３６】
さらに、ＣＰＵ４０１がマルチコアＣＰＵである場合、複数のズーム領域の画像データを表示解像度の画像データに変換する処理や各ズーム領域の画像データの圧縮符号化を、ズーム領域毎に並列して行う。また、符号化データの復号化処理を、ズーム領域毎に並列して行う。
【００３７】
なお、ＣＰＵ４０１で実行するプログラムを記録媒体に記録しておき、記録媒体ドライブによって記録媒体からプログラムを読み出してＣＰＵ４０１で実行するものとしたり、通信部４１３によって、伝送路を介してプログラムの通信を行うものとし、受信したプログラムをＣＰＵ４０１で実行するものとしてもよい。
【００３８】
図５は、録画側の画像処理装置２０における処理を示すフローチャートである。ステップＳＴ１で画像処理装置２０のＣＰＵ４０１は、入力動画像の画像データＤＶinを取得してステップＳＴ２に進む。例えば入力動画像の１フレーム分の画像データＤＶinを取得してステップＳＴ２に進む。
【００３９】
ステップＳＴ２でＣＰＵ４０１は、視点情報の設定や更新を行う。ＣＰＵ４０１は、表示部４１１の画面上に画像データＤＶinに基づく入力動画像と、入力動画像上に例えばズーム領域を設定するためのカーソルを表示させる。また、ＣＰＵ４０１は、ユーザインタフェース部４１２からの操作信号ＰＣに応じてカーソルを移動させて、ズーム領域の設定あるいは更新操作が行われたとき、設定されたズーム領域または更新されたズーム領域を示す視点情報ＡＳを生成してステップＳＴ３に進む。ズーム領域の設定や更新では、例えばズーム領域の範囲を示す矩形状のカーソルを設けて、カーソルの位置やサイズを調整可能とする。さらに、領域確定操作が行われたときにカーソルが示している範囲をズーム領域に決定して視点情報ＡＳの生成を行う。また、カーソルでズーム領域の基準位置を示すものとしてもよい。この場合、ズーム倍率を予め設定しておき、またはユーザ操作に応じてズーム倍率を設定しておき、基準位置の確定操作が行われたときに、カーソルの示す位置を基準とした予め設定されているズーム倍率のズーム領域を決定して視点情報ＡＳの生成を行う。また、他の方法を用いて視点情報ＡＳの設定や更新を行うものとしてもよい。
【００４０】
ステップＳＴ３でＣＰＵ４０１は、画像データ抽出処理を行う。ＣＰＵ４０１は、画像データＤＶinから１つのズーム領域の画像データを抽出して、ステップＳＴ４に進む。
【００４１】
ステップＳＴ４でＣＰＵ４０１は、ダウンコンバート処理を行う。ＣＰＵ４０１は、抽出したズーム領域の画像データを、表示解像度の画像データにダウンコンバートしてステップＳＴ５に進む。
【００４２】
ステップＳＴ５でＣＰＵ４０１は、符号化処理を行う。ＣＰＵ４０１は、ダウンコンバート後の画像データを用いて圧縮符号化を行い、符号化データを生成する。
【００４３】
ステップＳＴ６でＣＰＵ４０１は、データ出力を行う。ＣＰＵ４０１は、生成された符号化データに視点情報を対応付けて、この符号化データと視点情報を例えば記録装置５０に出力してステップＳＴ７に進む。
【００４４】
ステップＳＴ７でＣＰＵ４０１は、設定された全てのズーム領域についてデータ出力が完了した否かを判別する。ＣＰＵ４０１は、出力が完了していないズーム領域があるときにはステップＳＴ８に進み、全てのズーム領域について出力が完了したときはステップＳＴ９に進む。
【００４５】
ステップＳＴ８でＣＰＵ４０１は、ズーム領域の切り換えを行い、データ出力が完了していないズーム領域から１つのズーム領域を選択してステップＳＴ３に戻る。
【００４６】
ステップＳＴ９でＣＰＵ４０１は、ズーム画像の生成を終了するか否か判別する。ＣＰＵ４０１は、操作信号ＰＣがズーム画像の生成終了操作を示していないときステップＳＴ１０に進み、操作信号ＰＣがズーム画像の生成終了操作を示しているときや画像データＤＶinが終了したときズーム画像の生成を終了する。
【００４７】
ステップＳＴ１０でＣＰＵ４０１は、次のフレームの画像データを取得してステップＳＴ２に戻る。
【００４８】
ところで、図５に示すフローチャートでは、ズーム領域毎に表示解像度の画像データを順次生成するものとしたが、マルチコアＣＰＵを用いて表示解像度の画像データの生成を並列処理で行うものとしてもよい。
【００４９】
図６は、表示解像度の画像データの生成を並列処理で行う場合のフローチャートを示している。なお、図６では、ズーム領域をｍ個設定したときの処理を示している。また、図６において図５と対応する処理は同一符号を付している。
【００５０】
ステップＳＴ２でＣＰＵ４０１は、視点情報の設定／更新を行い、設定されたズーム領域を示す視点情報ＡＳを生成してステップＳＴ３-1〜ＳＴ３-mに進む。また、ズーム領域が変更されるときには、新たなズーム領域を示すように視点情報ＡＳの更新を行う。
【００５１】
ステップＳＴ３-1でＣＰＵ４０１は、画像データ抽出処理を行う。ＣＰＵ４０１は、画像データＤＶinから１つのズーム領域の画像データを抽出して、ステップＳＴ４-1に進む。また、ＣＰＵ４０１は、ステップＳＴ３-2〜ＳＴ３-mにおいてもステップＳＴ３-1と同様に画像データ抽出処理を行い、それぞれで異なるズーム領域の画像データを抽出する。
【００５２】
ステップＳＴ４-1でＣＰＵ４０１は、ダウンコンバート処理を行う。ＣＰＵ４０１は、抽出したズーム領域の画像データを、表示解像度の画像データにダウンコンバートしてステップＳＴ５-1に進む。また、ステップＳＴ４-2〜ＳＴ４-mにおいてもステップＳＴ４-1と同様に、ＣＰＵ４０１はダウンコンバート処理を行う。
【００５３】
ステップＳＴ５-1でＣＰＵ４０１は、符号化処理を行う。ＣＰＵ４０１は、ダウンコンバート後の画像データを用いて圧縮符号化を行い、符号化データを生成する。また、ステップＳＴ５-2〜ＳＴ５-mにおいてもステップＳＴ５-1と同様に、ＣＰＵ４０１は符号化処理を行う。
【００５４】
ステップＳＴ６-1でＣＰＵ４０１は、データ出力を行う。ＣＰＵ４０１は、生成された符号化データに視点情報を対応付けて、この符号化データと視点情報を例えば記録装置５０に出力してステップＳＴ９に進む。また、ステップＳＴ６-2〜ＳＴ６-mにおいてもステップＳＴ６-1と同様に、ＣＰＵ４０１はデータ出力を行う。
【００５５】
このように、ズーム領域毎に表示解像度の画像データを圧縮符号化して出力する処理を並列して行うことで、複数のズーム領域の動画像を高速かつ効率よく例えば記録装置５０に記録することができる。
【００５６】
次に、再生側の画像処理装置３０で行う処理について図７のフローチャートを用いて説明する。ステップＳＴ２１で画像処理装置３０のＣＰＵ４０１は、画像データと視点情報の取得を行う。ＣＰＵ４０１は、記録装置５０から画像データと視点情報を読み出してステップＳＴ２２に進む。
【００５７】
ステップＳＴ２２でＣＰＵ４０１は、画像データ選択処理を行う。ＣＰＵ４０１は、１つのズーム領域の符号化データを選択して、ステップＳＴ２３に進む。
【００５８】
ステップＳＴ２３でＣＰＵ４０１は、復号化処理を行う。ＣＰＵ４０１は、ステップＳＴ２２で選択した符号化データの復号化やデータ伸長を行ってステップＳＴ２４に進む。
【００５９】
ステップＳＴ２４でＣＰＵ４０１は、画像データの書き込み処理を行う。ＣＰＵ４０１は、メモリ部（例えばＲＡＭ４０３）に、ステップＳＴ２３の復号化処理で得られた画像データを書き込んでステップＳＴ２５に進む。
【００６０】
ステップＳＴ２５でＣＰＵ４０１は、全てのズーム領域について処理が完了したか否かを判別する。ＣＰＵ４０１は、全てのズーム領域について、ズーム領域の動画像を示す画像データをメモリ部に書き込む処理が完了したときステップＳＴ２７に進む。また、ＣＰＵ４０１は、復号化処理が行われていないズーム領域が残っているときステップＳＴ２６に進む。
【００６１】
ステップＳＴ２６でＣＰＵ４０１は、ズーム領域の切り換えを行い、復号化処理が行われていないズーム領域の画像データを選択してステップＳＴ２２に戻る。
【００６２】
ステップＳＴ２７でＣＰＵ４０１は、表示画像データ出力処理を行う。ＣＰＵ４０１は、視点情報ＡＳに基づきどのようなズーム領域の画像が選択可能であるかをユーザに通知して、ユーザが画像表示を行うものとして指定した１あるいは複数のズーム領域の画像データをメモリ部から読み出してフレームバッファに書き込む。なお、複数のズーム領域を指定して１画面上に表示するときには、表示するズーム領域のレイアウトに応じて画像縮小処理やフレームバッファへの画像データの書き込み位置制御を行う。さらに、ＣＰＵ４０１は、フレームバッファに書き込まれた画像データを順に読み出して、表示装置７０に対応するフォーマットとして例えば入出力インタフェース部４０５から表示画像データＤＶoutとして出力する。
【００６３】
ステップＳＴ２８でＣＰＵ４０１は、表示画像データの出力を終了するか否か判別する。ＣＰＵ４０１は、操作信号ＰＣが表示画像データの出力終了操作を示していないときステップＳＴ２９に進み、操作信号ＰＣが表示画像データの出力終了操作を示しているときや符号化データＤＧが終了したとき処理を終了する。
【００６４】
ステップＳＴ２９でＣＰＵ４０１は、次のフレームの画像データと視点情報を取得してステップＳＴ２２に戻る。
【００６５】
また、図７に示すフローチャートでは、画像データの選択や復号化処理をズーム領域毎に順次行うものとしたが、マルチコアＣＰＵを用いて画像データの選択や復号化処理を並列処理で行うものとしてもよい。
【００６６】
図８は、画像データの選択や復号化処理を並列処理で行う場合のフローチャートを示している。なお、図８において図７と対応する処理は同一符号を付している。
【００６７】
ステップＳＴ２２-1でＣＰＵ４０１は、画像データ選択処理を行う。ＣＰＵ４０１は、１つのズーム領域の符号化データを選択して、ステップＳＴ２３-1に進む。また、ＣＰＵ４０１は、ステップＳＴ２２-2〜ＳＴ２２-mにおいてもステップＳＴ２２-1と同様に画像データ選択処理を行い、それぞれでズーム領域が異なる画像データを選択する。
【００６８】
ステップＳＴ２３-1でＣＰＵ４０１は、復号化処理を行う。ＣＰＵ４０１は、ステップＳＴ２２-1で選択した符号化データの復号化処理を行ってステップＳＴ２４-1に進む。また、ステップＳＴ２３-2〜ＳＴ２３-mにおいてもステップＳＴ２３-1と同様に、ＣＰＵ４０１は復号化処理を行う。
【００６９】
ステップＳＴ２４でＣＰＵ４０１は、画像データの書き込み処理を行う。ＣＰＵ４０１は、ステップＳＴ２３-1〜２３-mで復号化処理を行うことにより得られた画像データを、メモリ部に書き込む。
【００７０】
ステップＳＴ２７でＣＰＵ４０１は、表示画像データ出力処理を行い、ユーザが画像表示を行うものとして指定した１あるいは複数のズーム領域の画像データをメモリ部から読み出してフレームバッファに書き込み、フレームバッファに書き込まれた画像データを順に読み出して、表示装置７０に対応するフォーマットとして入出力インタフェース部４０５から表示画像データＤＶoutとして出力する。
【００７１】
このように、各ズーム領域の符号化データの復号化処理を行い、得られた画像データがメモリ部に書き込まれているので、メモリ部から読み出してフレームバッファに書き込む画像信号を切り換えるだけで表示するズーム画像の切り換えが可能となり、ズーム画像の切り換えを遅延なく速やかに行うことができる。
【００７２】
なお、再生側の画像処理装置３０において、図３や図７，図８では、符号化データを復号化してから表示するズーム領域の画像データの選択を行うものとしたが、表示するズーム領域の符号化データを選択してから復号化処理を行うものとしてもよい。この場合、全ての符号化データを復号化処理する必要がないので、再生処理の負荷を軽くすることができる。
【００７３】
次に、録画側の画像処理装置の動作について図９を用いて説明する。画像処理装置２０は、入力動画像に対してズーム領域を設定して、設定したズーム領域を示す視点情報ＡＳを生成する。図９の(Ａ)は、画像データＤＶinに基づく入力動画像を示しており、被写体ＯＢを基準位置として設定されたズーム領域ＺＡ-x2，ＺＡ-x4，ＺＡ-x8を破線で示している。なお、入力動画像の全体はズーム倍率を「１倍」とした領域であることから、入力動画像の全体をズーム領域ＺＡ-x1とする。また、以下の説明では、例えば入力動画像の画像サイズを「１２８０画素×９６０ライン」、表示解像度を「３２０画素×２４０ライン」とする。また、図９および図１０では、動画像の１フレーム分を例示している。
【００７４】
ズーム領域ＺＡ-x2は、被写体ＯＢを基準位置としてズーム倍率を２倍としたズーム画像の領域である。このズーム領域ＺＡ-x2は、入力動画像に対して水平方向および垂直方向を（１／２）倍した「６４０画素×４８０ライン」の領域である。すなわち、「６４０画素×４８０ライン」の領域を表示解像度「３２０画素×２４０ライン」で表示する場合、「１２８０画素×９６０ライン」である入力動画像を表示解像度を「３２０画素×２４０ライン」で表示する場合に比べて画像は２倍に拡大されて表示されることとなり、ズーム倍率は２倍となる。
【００７５】
ズーム領域ＺＡ-x4は、基準位置がズーム領域ＺＡ-x2と等しく、ズーム倍率が４倍とされたズーム画像の領域である。このズーム領域ＺＡ-x2は、入力動画像に対して水平方向および垂直方向を（１／４）倍した「３２０画素×２４０ライン」の領域である。ズーム領域ＺＡ-x8は、基準位置がズーム領域ＺＡ-x2と等しく、ズーム倍率が８倍とされたズーム画像の領域である。このズーム領域ＺＡ-x8は、入力動画像に対して水平方向および垂直方向を（１／８）倍した「１６０画素×１２０ライン」の領域である。
【００７６】
画像処理装置２０は、画像データの抽出を行い、入力動画像の画像データＤＶinから設定されたズーム領域ＺＡ-x1，ＺＡ-x2，ＺＡ-x4，ＺＡ-x8の画像データを抽出する。図９の（Ｂ）は、抽出したズーム領域ＺＡ-x1の画像データＤＶa-x1に基づく画像、および抽出したズーム領域ＺＡ-x2，ＺＡ-x4，ＺＡ-x8の画像データＤＶa-x2，ＤＶa-x4，ＤＶa-x8に基づく動画像を示している。
【００７７】
画像処理装置２０は、画像データの変換を行い、各ズーム領域の動画像を示す画像データＤＶaを、表示解像度の画像データに変換する。ここで、表示解像度を例えば「３２０画素×２４０ライン」とした場合、ズーム領域ＺＡ-x1の動画像を示す画像データＤＶa-x1と、ズーム領域ＺＡ-x2の動画像を示す画像データＤＶa-x2についてはダウンコンバート処理を行い画像データＤＶb-x1，ＤＶb-x2を生成する。また、ズーム領域ＺＡ-x8の画像は、表示解像度よりも解像度が低いことから、ズーム領域ＺＡ-x8の動画像を示す画像データＤＶa-x8についてはアップコンバート処理を行い。画像データＤＶb-x8を生成する。なお、ズーム領域ＺＡ-x4の画像は、表示解像度と等しい解像度でることから、ズーム領域ＺＡ-x4の動画像を示す画像データＤＶa-x4はダウンコンバート処理やアップコンバート処理を行う必要がなく、画像データＤＶa-x4を画像データＤＶb-x4とする。図９の（Ｃ）は、画像データ変換後の画像データＤＶb-x1，ＤＶb-x2，ＤＶb-x4，ＤＶb-x8に基づく動画像を示している。
【００７８】
画像処理装置２０は、画像データＤＶb-x1，ＤＶb-x2，ＤＶb-x4，ＤＶb-x8について符号化処理を行い符号化データを生成する。さらに、画像処理装置２０は、符号化データを記録装置５０に供給してズーム領域ＺＡ-x1，ＺＡ-x2，ＺＡ-x4，ＺＡ-x8の動画像を記録させるとき、記録装置５０に記録された動画像を読み出して所望のズーム領域の動画像を容易に選択できるように、符号化データＤＧに対してズーム領域を示す視点情報ＡＳを対応付けて記録装置５０に供給する。
【００７９】
なお、図９の（Ａ）では、ズーム領域の基準位置を等しくして段階的にズーム倍率を替えて複数のズーム領域を設定するものとしたが、基準位置を異なるものとして複数のズーム領域を設定するものとしてもよい。例えば 図９の（Ｄ）に示すように、ズーム領域ＺＡ-x1と被写体ＯＢを基準位置としたズーム領域ＺＡ-x2，ＺＡ-x4だけでなく、被写体ＯＣを基準位置としてズーム領域ＺＢ-x4を設定するものとしてもよい。
【００８０】
次に、再生側の画像処理装置の動作について図１０を用いて説明する。画像処理装置３０は、記録装置５０から符号化データと視点情報ＡＳを読み出す。また、読み出した符号化データの復号化処理を行う。ここで、記録装置５０に、図９の（Ａ）に示すズーム領域ＺＡ-x1，ＺＡ-x2，ＺＡ-x4，ＺＡ-x8の動画像が記録されている場合、画像処理装置３０は、ズーム領域ＺＡ-x1の動画像の符号化データを読み出して復号化処理を行うことに画像データＤＶc-x1を生成する。同様に、ズーム領域ＺＡ-x2，ＺＡ-x4，ＺＡ-x8の動画像の符号化データを読み出して復号化処理を行うことに画像データＤＶc-x2，ＤＶc-x4，ＤＶc-x8を生成する。図１０の（Ａ）は、復号化処理を行うことによって生成された画像データＤＶc-x1，ＤＶc-x2，ＤＶc-x4，ＤＶc-x8に基づく動画像を示している。
【００８１】
画像処理装置３０は、視点情報ＡＳに基づいてどのようなズーム領域が選択可能であるかをユーザに通知して、ユーザが指定したズーム領域の画像データから表示画像データを生成して表示装置７０に供給する。
【００８２】
例えば、ユーザがズーム領域ＺＡ-x4を指定したとき、画像処理装置３０は、ズーム領域ＺＡ-x4の動画像を示す画像データＤＶc-x4を用いて表示画像データを生成する。このとき、図１０の（Ｂ）に示すように表示装置７０の画面上には、ズーム倍率を４倍とした動画像が表示される。また、画像データＤＶc-x4は、アップコンバート処理がなされた画像データでないことから、４倍のズーム倍率である動画像を良好な画質で表示することができる。
【００８３】
また、ユーザがズーム領域ＺＡ-x1，ＺＡ-x4を指定したとき、画像処理装置３０は、ズーム領域ＺＡ-x1，ＺＡ-x4の動画像を示す画像データＤＶc-x1，ＤＶc-x4を用いて表示画像データを生成する。このとき、図１０の（Ｃ）に示すように表示装置７０の画面上には、入力動画像とズーム倍率を４倍とした動画像が表示される。なお、図１０の（Ｃ）に示す表示画像では、ズーム領域ＺＡ-x4の動画像を主画面、入力動画像を副画面として表示した場合を例示している。なお、この場合、画像処理装置３０は、ズーム領域ＺＡ-x1である入力動画像を副画面の画面サイズに縮小する処理を行う。
【００８４】
また、画像処理装置３０は、ユーザがズーム領域ＺＡ-x1，ＺＡ-x2，ＺＡ-x4を順に指定したとき、表示画像データの生成に用いる画像データを、画像データＤＶc-x1，ＤＶc-x2，ＤＶc-x4の順に切り換える。ここで、ズーム領域ＺＡ-x2，ＺＡ-x4の基準位置を等しくしておけば、表示装置７０の画面上に良好な画質で被写体ＯＢを順に拡大して表示させることができる。
【００８５】
また、従来のようにアップコンバート処理を行うことにより得られた画像データＤＶc-x8を選択すれば、画質の低下を招くものの、高倍率のズーム画像を表示することができる。さらに、図９の（Ｄ）に示すように、基準位置を異なるものとしたズーム領域を選択可能とすれば、所望の被写体のズーム画像を良好な画質で表示することが可能となる。
【００８６】
なお、図１０では、復号化処理を行うことに得られた画像データＤＶc-x1，ＤＶc-x2，ＤＶc-x4，ＤＶc-x8から、ユーザが指定したズーム領域の画像データを選択して表示画像データを生成するものとしたが、上述のように、ユーザが指定したズーム領域の符号化データを選択して、選択された符号化データの復号化処理を行うことに得られた画像データから表示画像データを生成するものとしてもよい。
【００８７】
このように本願発明の画像処理装置によれば、表示解像度よりも高解像度の入力動画像に対して複数のズーム領域が設定されて、入力動画像の画像データからズーム領域毎に画像データが抽出される。さらに、抽出された画像データのダウンコンバートが行われて表示解像度の画像データに変換される。また、設定した複数のズーム領域を示す視点情報が生成されて、表示解像度の画像データに対応付けて出力される。このため、例えば視点情報に基づき選択可能なズーム領域をユーザに通知して、ズーム領域がユーザによって指定されたときに、指定されたズーム領域に対応する画像データを用いて、良好な画質でズーム領域の画像を表示することが可能となる。
【００８８】
なお上述の実施の形態では、録画側の画像処理装置を撮像装置と別個に構成するものとしたが、撮像装置に画像処理装置を内蔵して、撮像画像の記録時にズーム領域を設定するようにしてもよい。
【図面の簡単な説明】
【００８９】
【図１】画像処理システムの構成を示す図である。
【図２】録画側の画像処理装置の構成を示す図である。
【図３】再生側の画像処理装置の構成を示す図である。
【図４】ソフトウェアで画像処理を行う場合の画像処理装置の構成を示す図である。
【図５】録画側の画像処理装置における処理を示すフローチャートである。
【図６】表示解像度の画像データの生成を並列処理で行う場合のフローチャートである。
【図７】再生側の画像処理装置における処理を示すフローチャートである。
【図８】画像データの選択や復号化処理を並列処理で行う場合のフローチャートである。
【図９】録画側の画像処理装置の動作を説明するための図である。
【図１０】再生側の画像処理装置の動作を説明するための図である。
【符号の説明】
【００９０】
１０・・・画像処理システム、１１・・・撮像装置、１２，５０・・・記録装置、２０，３０・・・画像処理装置、２１・・・領域設定処理部、２２・・・画像データ抽出部、２３・・・画像データ変換部、２４・・・符号化部、２５・・・出力部、３０・・・画像処理装置、３１・・・視点情報抽出部、３２・・・復号化部、３３・・・領域指定部、３４・・・画像データ選択部、３５・・・表示画像データ生成部、５０・・・記録装置、７０・・・表示装置、２１１・・・表示部、２１２，３３１，４１２・・・ユーザインタフェース部、２１３・・・視点情報生成部、３３２・・・表示制御部、４０１・・・ＣＰＵ、４０２・・・ＲＯＭ、４０３・・・ＲＡＭ、４０５・・・入出力インタフェース部、４１１・・・表示部、４１３・・・通信部、４２０・・・バス
【図１】
2009192949.tif 000003
【図２】
2009192949.tif 000004
【図３】
2009192949.tif 000005
【図４】
2009192949.tif 000006
【図５】
2009192949.tif 000007
【図６】
2009192949.tif 000008
【図７】
2009192949.tif 000009
【図８】
2009192949.tif 000010
【図９】
2009192949.tif 000011
【図１０】
2009192949.tif 000012
【手続補正書】
【提出日】平成21年3月24日(2009.3.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
表示解像度よりも高解像度の入力動画像に対して、前記入力動画像の一部分を拡大して表示するズーム領域を複数設定して、該設定したズーム領域を示す視点情報を生成する領域設定処理部と、
前記入力動画像の画像データから前記設定されたズーム領域毎に画像データを抽出する画像データ抽出部と、
前記抽出した画像データを前記表示解像度の画像データにダウンコンバートする画像データ変換部と、
前記ダウンコンバート後の画像データに前記視点情報を対応させて、該ダウンコンバート後の画像データと視点情報を出力する出力部を備える画像処理装置。
【請求項２】
前記領域設定処理部は、ズーム倍率の異なる複数のズーム領域を設定する請求項１記載の画像処理装置。
【請求項３】
前記領域設定処理部は、前記複数のズーム領域の基準位置を等しくしてズーム領域の設定を行う請求項２記載の画像処理装置。
【請求項４】
前記ダウンコンバート後の画像データを圧縮符号化する符号化部をさらに備え、
前記出力部は、前記圧縮符号化された画像データに前記視点情報を対応付けて出力する請求項１記載の画像処理装置。
【請求項５】
表示解像度よりも高解像度の入力動画像に対して、前記入力動画像の一部分を拡大して表示するズーム領域を複数設定して、該設定した複数のズーム領域を示す視点情報を生成する領域設定処理工程と、
前記入力動画像の画像データから前記設定されたズーム領域毎に画像データを抽出する画像データ抽出工程と、
前記抽出した画像データを前記表示解像度の画像データにダウンコンバートする画像データ変換工程と、
前記ダウンコンバート後の画像データに前記視点情報を対応させて、該ダウンコンバート後の画像データと視点情報を出力する出力工程を有する画像処理方法。
【請求項６】
入力動画像の画像データの画像処理を行う第１の画像処理装置と、前記第１の画像処理装置からの出力データを用いて画像処理を行い表示画像の画像データを生成する第２の画像処理装置を用いて構成される画像処理システムは、
前記第１の画像処理装置が、
表示解像度よりも高解像度の前記入力動画像に対して、該入力動画像の一部分を拡大して表示するズーム領域を複数設定して、該設定した複数のズーム領域を示す視点情報を生成する領域設定処理部と、
前記入力動画像の画像データから前記設定されたズーム領域毎に画像データを抽出する画像データ抽出部と、
前記抽出した画像データを前記表示解像度の画像データにダウンコンバートする画像データ変換部と、
前記ダウンコンバート後の画像データに前記視点情報を対応させて、該ダウンコンバート後の画像データと視点情報を前記出力データとして出力する出力部とを備え、
前記第２の画像処理装置が、
前記出力データから視点情報を抽出する視点情報抽出部と、
前記視点情報によって示されたズーム領域から画像表示を行うズーム領域を指定する領域指定部と、
前記出力された画像データから、前記指定されたズーム領域の画像データを選択する画像データ選択部と、
前記選択された画像データ用いて表示画像の画像データを生成する表示画像データ生成部を備える画像処理システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
さらに、この発明に係る画像処理システムは、入力動画像の画像データを用いて画像処理を行う第１の画像処理装置と、第１の画像処理装置からの出力データを用いて画像処理を行い表示画像の画像データを生成する第２の画像処理装置を用いて構成される画像処理システムは、第１の画像処理装置が、表示解像度よりも高解像度の入力動画像に対して、該入力動画像の一部分を拡大して表示するズーム領域を複数設定して、該設定した複数のズーム領域を示す視点情報を生成する領域設定処理部と、入力動画像の画像データから設定されたズーム領域毎に画像データを抽出する画像データ抽出部と、抽出した画像データを表示解像度の画像データにダウンコンバートする画像データ変換部と、ダウンコンバート後の画像データに視点情報を対応させて、該ダウンコンバート後の画像データと視点情報を出力データとして出力する出力部とを備え、第２の画像処理装置が、出力データから視点情報を抽出する視点情報抽出部と、視点情報によって示されたズーム領域から画像表示を行うズーム領域を指定する領域指定部と、出力された画像データから、指定されたズーム領域の画像データを選択する画像データ選択部と、選択された画像データ用いて表示画像の画像データを生成する表示画像データ生成部を備えるものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
ステップＳＴ２８でＣＰＵ４０１は、表示画像データの生成を終了するか否か判別する。ＣＰＵ４０１は、操作信号ＰＣが表示画像データの出力終了操作を示していないときステップＳＴ２９に進み、操作信号ＰＣが表示画像データの出力終了操作を示しているときや符号化データＤＧが終了したとき処理を終了する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
ステップＳＴ２３-1でＣＰＵ４０１は、復号化処理を行う。ＣＰＵ４０１は、ステップＳＴ２２-1で選択した符号化データの復号化処理を行ってステップＳＴ２４に進む。また、ステップＳＴ２３-2〜ＳＴ２３-mにおいてもステップＳＴ２３-1と同様に、ＣＰＵ４０１は復号化処理を行う。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
画像処理装置２０は、画像データの変換を行い、各ズーム領域の動画像を示す画像データＤＶaを、表示解像度の画像データに変換する。ここで、表示解像度を例えば「３２０画素×２４０ライン」とした場合、ズーム領域ＺＡ-x1の動画像を示す画像データＤＶa-x1と、ズーム領域ＺＡ-x2の動画像を示す画像データＤＶa-x2についてはダウンコンバート処理を行い画像データＤＶb-x1，ＤＶb-x2を生成する。また、ズーム領域ＺＡ-x8の画像は、表示解像度よりも解像度が低いことから、ズーム領域ＺＡ-x8の動画像を示す画像データＤＶa-x8についてはアップコンバート処理を行い、画像データＤＶb-x8を生成する。なお、ズーム領域ＺＡ-x4の画像は、表示解像度と等しい解像度であることから、ズーム領域ＺＡ-x4の動画像を示す画像データＤＶa-x4はダウンコンバート処理やアップコンバート処理を行う必要がなく、画像データＤＶa-x4を画像データＤＶb-x4とする。図９の（Ｃ）は、画像データ変換後の画像データＤＶb-x1，ＤＶb-x2，ＤＶb-x4，ＤＶb-x8に基づく動画像を示している。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
次に、再生側の画像処理装置の動作について図１０を用いて説明する。画像処理装置３０は、記録装置５０から符号化データと視点情報ＡＳを読み出す。また、読み出した符号化データの復号化処理を行う。ここで、記録装置５０に、図９の（Ａ）に示すズーム領域ＺＡ-x1，ＺＡ-x2，ＺＡ-x4，ＺＡ-x8の動画像が記録されている場合、画像処理装置３０は、ズーム領域ＺＡ-x1の動画像の符号化データを読み出して復号化処理を行うことに画像データＤＶc-x1を生成する。同様に、ズーム領域ＺＡ-x2，ＺＡ-x4，ＺＡ-x8の動画像の符号化データを読み出して復号化処理を行うことにより画像データＤＶc-x2，ＤＶc-x4，ＤＶc-x8を生成する。図１０の（Ａ）は、復号化処理を行うことによって生成された画像データＤＶc-x1，ＤＶc-x2，ＤＶc-x4，ＤＶc-x8に基づく動画像を示している。