(57)【要約】      （修正有）【課題】撮像時及び撮像直後に、表示倍率などのユーザー指示に応じて適切な画像処理を施した映像を表示手段へ表示する。【解決手段】複数の撮像部により取得された複数の画像データを入力する入力手段と、前記複数の画像データの少なくとも一つの画像データに基づいて決定される出力画像の表示サイズと複数の画像データの少なくとも一つの画像データの表示サイズとのサイズ比に基づいて、前記複数の画像データの少なくとも一つの画像データから出力画像データを生成する画像処理を決定する決定手段と、前記決定手段により決定された処理を用いて、前記複数の画像データの少なくとも一つの画像データに基づいて前記出力画像データを生成する生成手段とを有する画像処理装置を構成する。【選択図】図１
2013172316.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像部により取得された複数の画像データを入力する入力手段と、
前記複数の画像データの少なくとも一つの画像データに基づいて決定される出力画像の表示サイズと複数の画像データの少なくとも一つの画像データの表示サイズとのサイズ比に基づいて、前記複数の画像データの少なくとも一つの画像データから出力画像データを生成する画像処理を決定する決定手段と、
前記決定手段により決定された処理を用いて、前記複数の画像データの少なくとも一つの画像データに基づいて前記出力画像データを生成する生成手段と、
を有する画像処理装置。
【請求項２】
前記決定手段は、位置合わせ処理を含む画像処理と、位置合わせ処理を含まない画像処理の中から一つの画像処理を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記複数の画像データの少なくとも一つの画像データに基づいて決定される前記出力画像の位置情報にさらに基づいて、前記出力画像データを生成する画像処理を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記サイズ比が、前記少なくとも一つの画像データが示す解像度よりも高い解像度の画像データを生成する画像処理を示す場合、前記位置合わせ処理を含む画像処理を決定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記決定手段は、
前記サイズ比が、第１のしきい値を超えない場合、前記少なくとも一つの画像データが示す解像度よりも低い解像度の画像データを生成する低解像処理を前記位置合わせ処理を含まない画像処理として決定し、
前記サイズ比が、前記第１のしきい値と等しい場合、前記少なくとも一つの画像データが示す解像度の画像データを生成する処理を前記位置合わせ処理を含まない画像処理として決定し、
前記サイズ比が、前記第１のしきい値を超える場合、前記少なくとも一つの画像データが示す解像度よりも高い解像度の画像データを前記複数の画像データの少なくとも二つを用いて生成する超解像処理を前記位置合わせ処理を含む画像処理として決定し、
前記サイズ比が、前記第１のしきい値よりも大きい第２のしきい値と等しい場合、前記第１のしきい値で等しいと判定された画像データの撮像に用いられる撮像部と異なる画角を有する撮像部により取得された画像データを用いて画像データを生成する処理を前記画像処理として決定する
ことを特徴とする請求項３または４のいずれかに記載の画像処理装置。
【請求項６】
前記サイズ比が前記第２のしきい値と等しい場合、前記出力画像が複数の撮像部から入力される画像データの領域と重複するかを前記位置情報に基づいて判定する判定手段をさらに有し、
前記決定手段は、前記判定手段によって重複すると判定された場合、前記第１のしきい値で等しいと判定された画像データの撮像に用いられる撮像部と異なる画角を有する複数の撮像部により取得された画像データを用いて画像データを生成する処理を前記位置合わせ処理を含む画像処理として決定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記決定手段は、前記超解像処理に用いる撮像部の数を前記サイズ比に基づいて決定することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記入力手段は、動作モードに応じて、前記複数の撮像部から前記画像データを入力するか、または、前記複数の撮像部からの画像データを一時保持する保持手段から入力するかを選択することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
【請求項９】
前記決定手段は、前記複数の画像データの少なくとも一つの画像データから出力画像データを生成する画像処理を少なくとも２つ決定する決定手段と、
前記生成手段は、前記決定手段により決定された少なくとも２つの画像処理を用いて、前記複数の画像データの少なくとも一つの画像データに基づいて少なくとも２つの前記出力画像データを生成することを特徴とする請求項１から８に記載の画像処理装置。
【請求項１０】
複数の撮像部により取得された複数の画像データを入力する入力ステップと、
前記複数の画像データの少なくとも一つの画像データに基づいて決定される出力画像の表示サイズと複数の画像データの少なくとも一つの画像データの表示サイズとのサイズ比に基づいて、前記複数の画像データの少なくとも一つの画像データから出力画像データを生成する画像処理を決定する決定ステップと、
前記決定ステップにより決定された処理を用いて、前記複数の画像データの少なくとも一つの画像データに基づいて前記出力画像データを生成する生成ステップと、
を有する画像処理方法。
【請求項１１】
コンピュータを請求項１から９のいずれかに記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像部から入力された画像データを処理する画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
現在、撮像装置において撮像画像を撮像時或いは撮像後に確認する方法として、いわゆる液晶ディスプレイなどのファインダを用いて画像を表示させ、確認する方法が知られている。
【０００３】
しかしながら、ファインダとして用いられる表示手段は撮像素子が備えている解像度よりも低解像度であることが通常である。従って、ファインダによる確認では、撮像画像と同画質の画像を確認することは困難であった。
【０００４】
この問題を解消するために、各種の技術が提案されている。例えば、表示対象の画像の表示領域を制限すること、言い換えると表示対象の画像の表示倍率を上げることにより、画像の一部を表示させ、その画像の一部に対する解像度を上げた表示を行う技術がある（例えば、特許文献１参照）。
【０００５】
また、複数フレームの画像を合成し１枚の画像を生成する過程で画質を上げた画像を生成し、この生成した画像を表示させる技術がある（例えば、特許文献２参照）。
【０００６】
さらに、撮像モードと再生モードとで、ファインダへの表示解像度を変え、再生モード時にフレームレートを落とす代わりに解像度を上げる技術がある（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１７５１７号公報
【特許文献２】特開２００７−２８８２３５号公報
【特許文献３】特開２０１０−２７３０３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した各技術のいずれも、撮像時あるいは撮像後に撮像画像と同画質の画像を表示手段で確認する際に、問題が生じてしまう。例えば、上記特許文献１に係る技術では、撮像素子の解像度までの表示が限界であり、複数の撮像画像を合成して得られる撮像画像のような、撮像素子の解像度以上の高解像度画像を表示することは不可能であった。
【０００９】
また、上記特許文献２に係る技術では、撮像素子の解像度以上の解像度での表示が可能であるが、動きのある被写体に適用した場合に、画質が落ちてしまう。また、フレーム間でのカメラ位置ずれを正確に測定することが必要であり、超解像処理における精度に課題が有った。
【００１０】
さらに、上記特許文献３に係る技術では、再生モード時に解像度を上げることが可能ではあるが、リサイズ処理に時間がかかる。従って、撮像モード時にリアルタイムに高解像度画像を表示することが不可能であった。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、複数の撮像部により取得された複数の画像データを入力する入力手段と、前記複数の画像データの少なくとも一つの画像データに基づいて決定される出力画像の表示サイズと複数の画像データの少なくとも一つの画像データの表示サイズとのサイズ比に基づいて、前記複数の画像データの少なくとも一つの画像データから出力画像データを生成する画像処理を決定する決定手段と、前記決定手段により決定された処理を用いて、前記複数の画像データの少なくとも一つの画像データに基づいて前記出力画像データを生成する生成手段と、を有する。
【発明の効果】
【００１２】
撮像時及び撮像直後に、表示倍率などのユーザー指示に応じて適切な画像処理を施した映像を表示手段へ表示することが可能になる。これにより、使用者にとって撮像後に最終的に得られる画像と同画質の画像を容易に確認することが可能となり、使い勝手が向上する。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例１における装置全体のハード構成ブロック図の一例を示す図である。
【図２】本発明の実施例１における各撮像部の配置例及び各撮像部の画角例を示した図である。
【図３】本発明の実施例１の撮像モードにおけるメイン動作フローチャートの一例を示す図である。
【図４】本発明の実施例１の撮像モードにおける低解像度表示ステップの詳細な動作フローチャートの一例を示す図である。
【図５】本発明の実施例１の撮像モードにおけるスルー表示ステップの詳細な動作フローチャートの一例を示す図である。
【図６】本発明の実施例１の撮像モードにおける超解像表示ステップの詳細な動作フローチャートの一例を示す図である。
【図７】本発明の実施例１の撮像モードにおけるスティッチ表示ステップの詳細な動作フローチャートの一例を示す図である。
【図８】本発明の実施例１のスティッチ処理適用の判定例を説明した図である。
【図９】本発明の実施例１の再生モードにおけるメイン動作フローチャートの一例を示す図である。
【図１０】本発明の実施例１の再生モードにおける低解像度表示ステップの詳細な動作フローチャートの一例を示す図である。
【図１１】本発明の実施例１の再生モードにおけるスルー表示ステップの詳細な動作フローチャートの一例を示す図である。
【図１２】本発明の実施例１の再生モードにおける超解像表示ステップの詳細な動作フローチャートの一例を示す図である。
【図１３】本発明の実施例１の再生モードにおけるスティッチ表示ステップの詳細な動作フローチャートの一例を示す図である。
【図１４】本発明の実施例２の撮像モードにおけるメイン動作フローチャートの一例を示す図である。
【図１５】本発明の実施例３における装置全体のハード構成ブロック図の一例を示す図である。
【図１６】本発明の実施例３の撮像モードにおけるメイン動作フローチャートの一例を示す図である。
【発明を実施するための形態】
【００１４】
[実施例１]
以下、図面を用いて本発明の実施例１について詳細に説明する。まず、本実施例で用いられる動作モードについて説明する。本実施例では動作モードとして、撮像モードと再生モードの２つのモードを使用する例について説明する。ここで撮像モードとは、ユーザーが撮像装置を用いて撮像しようとする撮像範囲（画角）の画像を撮像装置の表示部に連続的に表示するモードのことである。再生モードとは、撮像モードにおいて撮像した直前の画像を撮像装置の表示部に一時的に表示するモードのことである。
【００１５】
図１は本実施例における撮像装置１０の全体のハード構成ブロック図の一例を示す図である。撮像部は、不図示の光学系、撮像素子であるセンサ、及びセンサ制御部などを含み、撮像した画像の画像データ信号を生成して出力する。本実施例では、撮像部１００ａ及び１００ｂを含む撮像部群１００は、ほぼ同一の撮像範囲（画角）を撮像するものであり、撮像部群１００を標準撮像部群と総称し、標準撮像部群の個々の撮像部１００ａ及び１００ｂを標準撮像部と呼称する。撮像部１０１ａ及び撮像部１０１ｂは、標準撮像部の画角の一部を撮像範囲とするものであり、撮像部群１０１を望遠撮像部群と総称し、望遠撮像部群の個々の撮像部１０１ａ及び１０１ｂを望遠撮像部と呼称する。
【００１６】
上記２種類の撮像部郡に含まれる撮像部は、図１においては各２つずつ記載されているが、これは説明を簡略化するために表した例に過ぎず、さらに多くの数（例えば１００ｃ、１００ｄ、…、１０１ｃ、１０１ｄ、…）の撮像部を備えることも可能である。又、各々の撮像部にはＩＤが割り振られており、ＩＤ番号で管理されることができる。本実施例で想定している各撮像部の数及び構成例については、図２を用いて後程説明する。
【００１７】
映像キャプチャ部１０２は、各撮像部から取得した画像データ群を入力データ一時保持用バッファメモリ１０５などへ転送するメモリ転送制御部１０３と、同時に取得した画像データ群のうち一部を選択して後段へ出力するカメラ選択部１０４とを含む。すなわち、各撮像部から入力される画像データ群は、入力データ一時保持用バッファメモリ１０５へ転送され、かつ画像データ群の一部はカメラ選択部１０４によって選択されて後段に出力される。入力データ一時保持用バッファメモリ１０５に転送された画像データ群は、再生モード時に用いられる。入力データ一時保持用バッファメモリ１０５に転送された画像データ群はユーザーによって撮像された場合に記憶部１１５に転送されて記憶される。
【００１８】
カメラ制御部１０６は、全体制御部（ＣＰＵ）１０８からの指示により撮像部群１００及び１０１の個々の撮像部に対する制御を行う。
【００１９】
入力選択部１０７は、後段に接続される複数の画像処理部に対して、上記入力データ一時保持用バッファメモリ１０５のデータと、上記カメラ選択部１０４のデータのどちらを入力するかを選択する。入力の選択は、動作モードが撮像モードか再生モードかに応じて行われる。入力選択部１０７は、内部に後段に接続される複数の画像処理部毎に対応する複数の選択部１０７ａ、１０７ｂ、１０７ｃを備える。
【００２０】
全体制御部（ＣＰＵ）１０８は、カメラ制御部１０６及び入力選択部１０７への制御に加えて、映像キャプチャ部１０２、各画像合成／生成部１１０から１１２、表示制御部１１８など装置全体の制御を行う。
【００２１】
データ加工部１０９は、撮像した画像データに対してタグデータ付加などを行う。
【００２２】
超解像画像合成部１１０は、複数の画像データを入力していわゆる超解像画像処理を行い、各入力画像データの解像度よりも高解像度の画像データを生成し出力する。超解像処理の詳細については後述する。
【００２３】
スティッチ画像生成部１１１は、複数の画像データを入力して位置合わせを行い１枚の画像データを生成し出力する。スティッチ画像処理の詳細については後述する。
【００２４】
低解像度画像生成部１１２は、１枚の画像を入力して間引き処理やローパスフィルタ処理などを行い、入力画像データよりも低解像度の画像データを生成し出力する。
【００２５】
ＲＡＭ１１３は、プログラムのワーク領域として使用される。ＲＯＭ１１４は、プログラムを記憶しておくと共に、各撮像部の位置（配置）情報、性能情報が記憶される。
【００２６】
記憶部１１５は、撮像した画像データ群を記憶する。通信部１１６は、装置内のデータ転送、装置外のネットワーク接続、及びネットワーク２０上に存在する記憶装置３０との間でのデータ転送を行う。
【００２７】
表示用バッファメモリ１１７は、表示部１１９へ表示する表示用の出力画像データを記憶する。表示制御部１１８は、表示用バッファメモリ１１７及び表示部１１９の制御を行う。表示部１１９は、いわゆるファインダと呼ばれる液晶ディスプレイなどの表示部であり、撮像時或いは撮像後の画像データの確認に用いる。通常は、撮像部１００、１０１で生成される画像よりも表示部１１９の解像度は低い。
【００２８】
操作入力部１２０は、シャッターボタンや、操作ダイアルなどによってユーザーによる装置の操作の入力を受付ける。ネットワーク２０は、装置と通信部で接続される。記憶装置３０はネットワーク上に存在し、撮像した画像データを記憶しておくために用いられる。
【００２９】
図２は本実施例における撮像装置の各撮像部の配置例を模式的に示した図と各撮像部の撮像範囲（画角）例とを示した図である。図２（ａ）には、２５個の撮像部を配置した例を示している。撮像部１０１ａから１０１ｄの４個が望遠撮像部であり、それ以外の２１個の撮像部は標準撮像部である。図２（ｂ）は、図２（ａ）の各標準撮像部でカバーされる撮像範囲（画角）を示している。遠方距離であれば、標準撮像部は略一致する画角をカバーする。図２は、図２（ａ）の２つの望遠撮像部１０１ａと１０１ｂとでカバーされる撮像範囲（画角）を上方からみた図である。遠方距離で一部重なる撮像範囲があるが、多くの領域では異なる撮像範囲を有している。
【００３０】
図２（ｄ）は、ある平面上でみた撮像範囲（画角）の重なりを示した図である。領域２００は標準撮像部１００でカバーされる画角を示している。一方、領域２０１ａから２０１ｄは、各々望遠撮像部１０１ａから１０１ｄでカバーされる画角を示している。図２（ｄ）からわかる通り、画角２００の内、各々の望遠撮像部で、左下の略１／４の画角、右下の略１／４の画角、右上の略１／４の画角、左上の略１／４の画角をカバーする。又、望遠撮像部による４つの画角は、少しずつ重なるように配置される。
【００３１】
以下、本実施例の動作について詳細に説明する。尚、撮像前の画像表示モード（撮像モード）と撮像後の画像表示モード（再生モード）により、処理が異なるため、モード毎に説明する。
【００３２】
＜１．撮像前の画像表示モード（撮像モード）＞
図３に撮像モードにおけるメイン動作フローチャートを示す。ステップＳ３０１にて、撮像装置が撮像モードで電源Ｏｎされたか、もしくは他の動作モードから撮像モードに切り替えられると、ステップＳ３０２へすすむ。
【００３３】
ステップＳ３０２にて、低解像度画像生成部１１２により生成された画像データを用いてファインダへの表示を行う。一般的にファインダの解像度は標準撮像部の撮像素子の解像度よりも低いので、標準撮像部群の任意の標準撮像部でカバーされる全撮像範囲を有する画像データをそのままファインダに表示できない。従って、低解像度画像生成部１１２を介して解像度を下げることにより、標準撮像部群の任意の標準撮像部でカバーされる全撮像範囲を有する画像データをファインダに表示することができる。例えば、ファインダが６４０×４８０のＶＧＡの解像度を有している場合に、標準撮像部から１９２０×１０８０のフルＨＤの解像度を有する画像データが入力される場合を考える。この場合、フルＨＤの解像度の画像データ全体をファインダに表示することはできないので、ＶＧＡの解像度で表示可能な解像度に解像度を下げる低解像処理が行われる。この低解像処理された表示される画像の表示サイズは、フルＨＤの解像度の画像の表示サイズよりも小さくなる。なお、低解像度画像生成部１１２で生成される画像データは、１つの撮像部でカバーされる全撮像範囲に限られるものではなく、１つの撮像部で撮像された画像データの一部（すなわち、拡大した所定の表示領域）を生成することができる。低解像処理の詳細は後述する。
【００３４】
次にステップＳ３０３にて、撮像モードを終了する場合、或いはファインダ表示を終了する場合はステップＳ３４１へすすむ。終了しない場合は、ステップＳ３０４へすすみ、表示領域の変更（拡大／縮小表示）の指示が有るか否かの判定を行う。表示領域の変更指示は、例えば操作ダイアルを回すことにより行われることなどが考えられる。変更指示が無い場合は、ステップＳ３０２へ戻る。変更指示があった場合は、ステップＳ３０５へすすむ。
【００３５】
ステップＳ３０５にて、該指示が拡大表示・縮小表示のどちらであるかを判定し、拡大表示であればステップＳ３０６へすすみ、指示された表示領域のサイズ（解像度）が予め決められたしきい値を超えたか否かを判定する。この判定処理は、例えば、拡大した結果出力される画像データの表示サイズと、標準撮像部群のうちの任意の標準撮像部で撮像される画像データの表示サイズとのサイズ比に基づいて行われる。このサイズ比は、いわば画像データの表示倍率ということができる。より具体的には、サイズ比によって示される拡大した結果出力される画像データの表示サイズが、ファインダで表示可能な表示サイズと等しくなる場合にしきい値を超えたと判定される。つまり、しきい値には、拡大した結果出力される画像データの解像度がファインダの解像度に略一致する場合に、しきい値を超えたと判定されるような値が設定される。なお、このしきい値（第１のしきい値）は、所定の幅を持つように設定することができる。
【００３６】
ステップＳ３０６にて、指示された表示領域の解像度が予め決められたしきい値を超えた（上回った）場合、ステップＳ３１１へすすみ、そうでない場合は、ステップＳ３０２へ戻る。
【００３７】
一方、ステップＳ３０５にて、縮小表示を指示された場合は、ステップＳ３０２へ戻る。
【００３８】
ステップＳ３１１では、カメラ選択部１０４から出力された画像データを解像度変換することなしに用いてファインダへ表示する。この表示処理をスルー表示と称する。詳細は後述する。なお、カメラ選択部１０４から出力された画像データは、指定された拡大表示サイズ分の領域を表示するために、撮像部にて撮像された画像データから部分的に抽出（この抽出処理も画像処理の一種とみなすことができる）されたデータである。
【００３９】
ステップＳ３１２にて、撮像モードを終了する場合、或いはファインダ表示を終了する場合はステップＳ３４１へすすむ。終了しない場合は、ステップＳ３１３へすすみ、表示領域の変更（拡大／縮小表示）の指示が有るか否かの判定を行う。変更指示が無い場合は、ステップＳ３１１へ戻る。変更指示が有った場合は、ステップＳ３１４へすすむ。
【００４０】
ステップＳ３１４にて、該指示が拡大表示・縮小表示のどちらかを判定し、拡大表示であればステップＳ３２１へすすむ。縮小表示であればステップＳ３０２へ戻り、低解像度表示を行う。
【００４１】
ステップＳ３２１では、超解像画像合成部１１０を使用した画像を用いてファインダへの表示を行う。すなわち、拡大した結果出力される画像データの表示サイズが、ファインダで表示可能な表示サイズよりも小さく場合、換言すれば、拡大した結果出力される画像データの解像度が、ファインダの解像度よりも小さく場合、超解像合成処理を行う。本実施例のように複数の撮像部から得られる複数の画像データを用いることによって、撮像後に各種画像処理を施して得られる画像データは単一の撮像部で得られた画像データから得られる画像データよりも解像度が高い場合が想定される。本実施例によれば、このような解像度の高い画像データが結果的にどのように撮像されるかについてもファインダで撮像モード中に確認することが可能である。超解像合成処理の詳細は後述する。
【００４２】
ステップＳ３２２にて、撮像モードを終了する場合、或いはファインダ表示を終了する場合はステップＳ３４１へすすむ。終了しない場合は、ステップＳ３２３へすすみ、表示領域の変更（拡大／縮小表示）の指示が有るか否かの判定を行う。変更指示が無い場合は、ステップＳ３２１へ戻る。変更指示が有った場合は、ステップＳ３２４へすすむ。
【００４３】
ステップＳ３２４にて、該指示が拡大表示・縮小表示のどちらかを判定し、拡大表示であればステップＳ３２５へすすみ、縮小表示であればステップＳ３２６へすすむ。
【００４４】
ステップＳ３２５では、指示された拡大表示倍率に従った表示領域の解像度が、例えば望遠レンズを備えた望遠撮像部群１０１の任意の望遠撮像部から生成された画像データの解像度と一致するか否かを判定する。この判定処理は、例えば、拡大した結果出力される画像データの表示サイズと、標準撮像部群のうちの任意の撮像部で撮像される画像データの表示サイズとのサイズ比に基づいて行われる。あるいは、拡大した結果出力される画像データの表示サイズと、望遠撮像部群のうちの任意の撮像部で撮像される画像データの表示サイズとのサイズ比に基づいて行われてもよい。いずれの場合であっても、このサイズ比は、いわば画像データの表示倍率ということができる。より具体的には、サイズ比によって示される拡大した結果出力される画像データの表示サイズが、望遠撮像部群のうちの任意の撮像部で撮像される画像データの表示サイズと略等しい場合に、ステップＳ３２５で一致すると判定される。なお、望遠撮像部の撮像部から撮像された画像データの解像度は、ファインダの解像度よりも高いことが想定される。このため、ステップＳ３２５で一致する場合は望遠撮像部の撮像部から撮像された画像データの撮像範囲（画角）は、全撮像範囲ではなく、その一部であることが想定される。なお、ステップＳ３２５では「一致」と記載しているが、完全に一致していなくてもよい。また、例えば判定対象の解像度に一致の幅を持たせ、その一定の範囲内の解像度に一致した場合にステップＳ３２５で一致すると判定することもできる。つまり、第２のしきい値としてある程度の幅を有する解像度を設定することができる。
【００４５】
一致すると判定した場合には、ファインダで表示する画像データとして、望遠レンズを備えた望遠撮像部群１０１からの画像データを利用することができる。一致すれば、ステップＳ３３１へすすみ、一致しなければ、ステップＳ３２１へ戻る。
【００４６】
ステップＳ３２６では、ステップＳ３２５と同様に、指示された縮小表示倍率に従った表示領域の解像度が望遠レンズを備えた望遠撮像部１０１から生成された画像データの一部の解像度と一致するか否かを判定する。一致すれば、ステップＳ３３１へすすみ、一致しなければ、ステップＳ３２７へすすむ。すなわち、ステップＳ３２６の処理では、後述するスティッチ処理が可能な表示倍率よりもさらに拡大表示させて超解像表示を行っている場合において、その表示倍率を縮小することで再度スティッチ処理が可能な否かを判定している。
【００４７】
ステップＳ３２７にて、指示された縮小表示倍率に従った表示領域の解像度が予め決められたしきい値を超えた（下回った）場合、ステップＳ３１１へ戻り、スルー表示を行う。そうでない場合は、ステップＳ３２１へ戻る。
【００４８】
ステップＳ３３１では、スティッチ画像生成部１１１を使用した画像か、もしくはカメラ選択部１０４から出力された画像のいずれかを用いてファインダへ表示する。このステップＳ３３１では望遠レンズを備えた撮像部群１０１の撮像部から得られた画像データを利用することになる。詳細は後述する。
【００４９】
ステップＳ３３２にて、撮像モードを終了する場合、或いはファインダ表示を終了する場合はステップＳ３４１へすすむ。終了しない場合は、ステップＳ３３３へすすみ、表示領域の変更（拡大／縮小表示）の指示が有るか否かの判定を行う。変更指示が無い場合は、ステップＳ３３１へ戻る。変更指示が有った場合は、ステップＳ３２１へ戻る。
【００５０】
ステップＳ３４１では、撮像モード終了処理、もしくはファインダ表示終了処理を行う。
【００５１】
次に、図４から図７を用いて、上記低解像度表示（ステップＳ３０２）、スルー表示（Ｓ３１１）、超解像表示（Ｓ３２１）、スティッチ表示（Ｓ３３１）の動作の詳細を説明する。
【００５２】
＜低解像度表示（ステップＳ３０２）の説明＞
図３に示す低解像度表示（ステップＳ３２１）について、図４に示した動作フローチャートを用いて説明する。
【００５３】
ステップＳ４０１にて、全体制御部１０８は表示させたい領域の情報を取得する。領域情報は、例えば四角形領域の左上端の座標値と縦横各々の長さといった形式の情報である。即ち、領域情報とは、表示させたい領域の位置情報と大きさ情報とで与えられる。電源Ｏｎ時の初期値は標準撮像部群の任意の撮像部における全撮像範囲が与えられ、ＲＡＭ１１３に記憶される。
【００５４】
位置情報は、例えば操作入力部１２０に含まれる不図示の上下左右方向に設置された方向ボタンを押下するなどの操作により変更され、ＲＡＭ１１３の情報が変更される。大きさ情報は、例えば操作入力部１２０に含まれるダイアルを回す、或いはシャトルスイッチをどちらかの方向に倒すなどの操作により連続的に変更され、ＲＡＭ１１３の情報が変更される。ステップＳ４０１では、このようにＲＡＭ１１３に記憶されている領域情報を全体制御部１０８が取得する。
【００５５】
次にステップＳ４０２にて、全体制御部１０８はステップＳ４０１で取得した領域情報に基づいて、カメラ選択部１０４、入力選択部１０７及び低解像度画像生成部１１２への指示情報を生成する。より具体的には、全体制御部１０８はカメラ選択部１０４に対しては、標準撮像部の一つのカメラＩＤ番号、例えば標準撮像部１００ａのＩＤと、該標準撮像部の領域情報として全領域と、出力先を低解像度画像生成部１１２とする指示とを指示情報として生成する。全体制御部１０８は入力選択部１０７に対しては、後段へ出力する信号としてカメラ選択部１０４からの信号を選択する情報を指示情報として生成する。全体制御部１０８は低解像度画像生成部１１２に対しては、例えば全撮像範囲に対する表示領域の割合情報及び表示開始位置座標を、ＲＡＭ１１３に記憶されている位置情報と大きさ情報とに基づいて指示情報として生成する。
【００５６】
ステップＳ４０３にて、全体制御部１０８は該指示情報をカメラ選択部１０４、入力選択部１０７及び低解像度画像生成部１１２へそれぞれ送信する。
【００５７】
ステップＳ４０４では、該指示情報を受けたカメラ選択部１０４が標準撮像部１００ａの画像を入力選択部１０７を経由して、低解像度画像生成部１１２へ転送する。
【００５８】
ステップＳ４０５では、低解像度画像生成部１１２において、指示情報に基づき入力画像から低解像度画像を生成する。低解像度画像の生成手法については種々の手法が公知であり、ここでは述べない。
【００５９】
ステップＳ４０６では、生成された低解像度画像を、表示制御部１１８を経由して、表示用バッファメモリ１１７へ転送する。
【００６０】
最後にステップＳ４０７にて、表示制御部１１８が適切なタイミングで表示用バッファメモリ１１７から該低解像度画像を読み出して、表示部１１９へ転送することにより表示が為される。
【００６１】
上記動作を例えば１／３０秒毎に繰り返すことにより、表示部１１９上では動画像が表示される。
【００６２】
表示領域の位置情報が変更になった場合は、表示領域の位置が変更され、大きさ情報が変更になった場合は、表示領域の大きさが変更される。
【００６３】
＜スルー表示（ステップＳ３１１）の説明＞
次に、図３のスルー表示（ステップＳ３１１）の処理について、図５に示した動作フローチャートを用いて説明する。
【００６４】
ステップＳ５０１にて、全体制御部１０８は表示させたい領域の領域情報を取得する。これは、ステップＳ４０１と同等の動作である。
【００６５】
次にステップＳ５０２にて、全体制御部１０８は該取得した領域情報に基づいて、カメラ選択部１０４への指示情報を生成する。より具体的には、全体制御部１０８は、標準撮像部群の一つの撮像部のカメラＩＤ番号、例えば標準撮像部１００ａのＩＤと、出力先を表示制御部１１８を経由した表示用バッファメモリ１１７とする指示とを指示情報として生成する。この指示情報には、標準撮像部群の一つの撮像部の領域情報として、表示部の解像度と同等の領域をステップＳ５０１で取得した領域情報に基づいて指定する指示が含まれる。
【００６６】
ステップＳ５０３にて、全体制御部１０８は該指示情報をカメラ選択部１０４へ送信する。
【００６７】
ステップＳ５０４では、該指示情報を受けたカメラ選択部１０４が標準撮像部１００ａの画像データを表示制御部１１８経由で表示用バッファメモリ１１７へ転送する。ステップＳ５０４で転送される画像データは、取得した領域情報に対応する領域を、画像データから部分的に抽出したデータである。
【００６８】
最後にステップＳ５０５にて、表示制御部１１８が適切なタイミングで表示用バッファメモリ１１７から該低解像度画像を読み出して、表示部１１９へ転送することにより表示が為される。
【００６９】
上記動作の繰り返しにより動画像表示が為されること、及び領域情報の変更により表示が変更されることは低解像度表示と同様である。
【００７０】
＜超解像表示（ステップＳ３２１）の説明＞
まず、超解像画像合成処理について簡単に説明する。入力画像の解像度よりも高解像度の出力画像を生成する処理を一般にアップコンバートや超解像画像処理と呼ぶ。超解像画像処理には、いくつかの手法が知られており、大別すると、１枚の画像データ（フレーム）に対して輪郭補正やドットノイズ消去のような処理を行うフレーム内処理と、複数の画像データ（フレーム）に対して処理を行うフレーム間処理に分かれる。
【００７１】
フレーム間処理には、時間軸方向に複数撮像したフレームを使用する場合と、複数のカメラを用いて同時に撮像した複数フレームを使用する場合がある。本実施例は、複数のカメラを用いる場合を想定している。
【００７２】
次に、図３の超解像表示（ステップＳ３２１）について、図６に示した動作フローチャートを用いて説明する。
【００７３】
ステップＳ６０１にて、全体制御部１０８は表示させたい領域の領域情報を取得する。これは、ステップＳ４０１と同等の動作である。
【００７４】
次にステップＳ６０２にて、全体制御部１０８は該取得した領域情報に基づいて、カメラ選択部１０４への指示情報のうちカメラ選択数の情報を取得する。上述したように、本実施例で想定しているフレーム間処理は、フレーム内処理に比較して高い画質を得ることが可能であるが、必要な演算量が多く、またメモリ量も多く必要となる。このような処理をリアルタイムで実現するためには多大な演算能力が必要とされる。一方、表示領域が狭いほど、言い換えると表示倍率が高いほど、超解像画像合成処理に必要な画素数は少なくなる為、一定時間内（１／３０秒）で処理可能なフレーム数は高くなっていく。このことから、ステップＳ６０２では、ステップＳ６０１で取得した領域情報のうち、表示領域の大きさ情報に基づいて、決定したカメラ選択数を取得することができる。
【００７５】
ステップＳ６０３では、全体制御部１０８はＲＯＭ１１４から各撮像部の配置情報、性能情報を取得する。
【００７６】
次にステップＳ６０４にて、全体制御部１０８はステップＳ６０２及びステップＳ６０３で得た情報からどの撮像部で撮像された撮像データを使用するかを決定する。
【００７７】
次にステップＳ６０５にて、全体制御部１０８はカメラ選択部１０４、入力選択部１０７及び超解像画像合成部１１０への指示情報を生成する。
【００７８】
より具体的には、カメラ選択部１０４に対しては、標準撮像部のうち選択した複数のカメラＩＤ番号、出力画像を生成する為に必要な該複数の標準撮像部に対する領域情報、さらには出力先を超解像画像合成部１１０とする指示を指示情報として生成する。すなわち、全体制御部１０８は、カメラ選択部１０４に対して、どの撮像部からの画像データを使用するかについての指示を生成する。そして、画像データのうち、領域情報に対応する領域を指示する。これにより、ファインダで表示する際に必要なデータ部分のみが超解像合成部に送信されることになり、負荷をかけることなくリアルタイムでの超解像処理が行われることになる。
【００７９】
全体制御部１０８は入力選択部１０７に対しては、後段へ出力する信号としてカメラ選択部１０４からの信号を選択する情報を指示情報として生成する。
【００８０】
全体制御部１０８は超解像画像合成部１１０に対しては、例えば選択した標準撮像部の配置情報、カメラ選択部１０４から出力される画像の大きさ情報を指示情報として生成する。
【００８１】
ステップＳ６０６にて、全体制御部１０８は該指示情報をカメラ選択部１０４、入力選択部１０７及び超解像画像合成部１１０へそれぞれ送信する。
【００８２】
ステップＳ６０７では、該指示情報を受けたカメラ選択部１０４が複数の標準撮像部で撮像された画像データのうち指示された領域に対応するデータを入力選択部１０７を経由して、超解像画像合成部１１０へ転送する。
【００８３】
ステップＳ６０８では、超解像画像合成部１１０において、指示情報に基づき入力画像データから超解像画像データを生成する。上述したように、本実施例においては同時に撮像された複数枚の画像を用いて超解像処理を行う。本実施例で想定している複数画像を用いる超解像画像合成処理は、以下の２つの処理から成る。即ち、位置合わせ処理と画像合成処理である。
【００８４】
位置合わせ処理は、複数の画像から一枚の基準画像を選択し、他の画像と該選択された画像との相対移動量を算出する処理である。画像合成処理は、前記複数の画像から選択された一枚の画像（前記基準画像であることが望ましい）から補間処理などによって初期高解像画像を生成する。そして、選択されなかったその他の画像と位置合わせ処理で算出された相対移動量とから該初期高解像度画像を更新していくことにより、高解像度画像を得る処理である。以上が超解像処理の一例であるが、他の種々の手法を用いて超解像処理を行っても良い。
【００８５】
ステップＳ６０９では、生成された超解像画像を、表示制御部１１８を経由して、表示用バッファメモリ１１７へ転送する。
【００８６】
最後にステップＳ６１０にて、表示制御部１１８が適切なタイミングで表示用バッファメモリ１１７から該超解像画像を読み出して、表示部１１９へ転送することにより表示が為される。
【００８７】
上記動作の繰り返しにより動画像表示が為されること、及び領域情報の変更により表示が変更されることは低解像度表示と同様である。
【００８８】
なお、上記処理では、カメラ選択部において、超解像処理に必要な画像データの抽出を行う例について説明した。しかしながら、カメラ選択部から超解像画像生成部に対して複数の撮像部からの画像データをそのまま転送し、超解像生成部において必要な領域の抽出が行われても良い。
【００８９】
＜スティッチ表示（ステップＳ３３１）の説明＞
次に、図３のスティッチ表示（ステップＳ３３１）の処理について、図７に示した動作フローチャートを用いて説明する。
【００９０】
ステップＳ７０１にて、全体制御部１０８は表示させたい領域の領域情報を取得する。これは、ステップＳ４０１と同等の動作である。
【００９１】
次にステップＳ７０２にて、全体制御部１０８は該取得した領域情報に基づいて、スティッチ処理を適用すべきか否かを判定する。より具体的な判定方法について、図８に示す。
【００９２】
図８は、スティッチ処理の判定例の概要を説明した図である。領域８０１のように表示させたい領域が望遠撮像部群の複数の撮像部によってカバーされる（重複している）場合は、スティッチ処理を適用し、領域８０２のように望遠撮像部群の単一の撮像部によってカバーされる場合はスティッチ処理を適用しないと判定する。ステップＳ７０２においてスティッチ処理を適用すると判定された場合は、ステップＳ７０３へすすむ。
【００９３】
ステップＳ７０３にて、全体制御部１０８は上記取得した領域情報に基づいて、カメラ選択部１０４、入力選択部１０７及びスティッチ画像生成部１１１への指示情報を生成する。より具体的には、カメラ選択部１０４に対しては、表示させたい領域をカバーする望遠撮像部のカメラＩＤ番号と、望遠撮像部毎の領域情報と、出力先をスティッチ画像生成部１１１とする指示とを指示情報として生成する。ここで、カメラ選択部に対する指示情報には、望遠撮像部の領域情報として、表示部の解像度と同等の領域をステップＳ７０１で取得した領域情報に基づいて指定する指示が含まれる。
【００９４】
全体制御部１０８は入力選択部１０７に対しては、後段へ出力する信号としてカメラ選択部１０４からの信号を選択する情報を指示情報とする。
【００９５】
全体制御部１０８はスティッチ画像生成部１１１に対しては、例えば選択した望遠撮像部の配置情報、カメラ選択部１０４から出力される複数の画像データ毎の大きさ情報を指示情報とする。
【００９６】
ステップＳ７０４にて、全体制御部１０８はＳ７０３で生成された指示情報をカメラ選択部１０４、入力選択部１０７及びスティッチ画像生成部１１１へそれぞれ送信する。
【００９７】
ステップＳ７０５では、該指示を受けたカメラ選択部１０４が望遠撮像部群の複数の撮像部にて撮像された画像データを入力選択部１０７を経由して、スティッチ画像生成部１１１へ転送する。なお、カメラ選択部１０４から転送される画像データは、超解像表示の箇所で説明したように、必要な領域を抽出したデータであってもよいし、複数の撮像部で撮像された全てのデータであってもよい。
【００９８】
ステップＳ７０６では、スティッチ画像生成部１１１において、指示情報に基づき入力画像データからスティッチ処理を行い、スティッチ画像データを生成する。ここで、スティッチ処理とは、位置をずらして撮像した複数の画像から位置合わせ処理及び合成処理を行い１枚の画像を生成する処理のことである。ここで位置合わせ処理とは、オーバーラップ領域を持つ複数の画像における該オーバーラップ領域の対応する画素を一致させる為の相対移動量を算出する処理のことである。また、合成処理とは、位置合わせ処理結果に基づき、非オーバーラップ領域も含めて複数の画像を繋ぎ合せて一枚の画像を生成する処理のことである。
【００９９】
ステップＳ７０７では、生成されたスティッチ画像データを、表示制御部１１８を経由して、表示用バッファメモリ１１７へ転送する。
【０１００】
最後にステップＳ７０８にて、表示制御部１１８が適切なタイミングで表示用バッファメモリ１１７からスティッチ画像データを読み出して、表示部１１９へ転送することにより表示が為される。
【０１０１】
一方、ステップＳ７０２において、スティッチ処理を適用しないと判定された場合は、ステップＳ７０９へすすむ。
【０１０２】
ステップＳ７０９では、ステップＳ７０１にて取得した領域情報に基づいて全体制御部１０８はカメラ選択部１０４への指示情報を算出する。
【０１０３】
より具体的には、表示させたい領域をカバーする望遠撮像部群のうちの単一の撮像部のカメラＩＤ番号と、必要な領域情報、出力先を表示制御部１１８を経由した表示用バッファメモリ１１７とする指示を指示情報として生成する。この指示情報には、望遠撮像部群の一つの撮像部の領域情報として、表示部の解像度と同等の領域をステップＳ７０１で取得した領域情報に基づいて指定する指示が含まれる。
【０１０４】
次にステップＳ７１０では、全体制御部１０８は該指示情報をカメラ選択部１０４へ送信し、ステップＳ７０７へすすむ。ステップＳ７０７以降の動作は上述の通りである。上記動作の繰り返しにより動画像表示が為されること、及び領域情報の変更により表示が変更されることは低解像度表示と同様である。
【０１０５】
以上が撮影前の画像表示モード（撮像モード）についての説明である。次に、撮像後の画像表示モード（再生モード）について説明する。
【０１０６】
＜２．撮像後の画像表示モード（再生モード）＞
図９に再生モードにおけるメイン動作フローチャートを示す。尚、図３の撮像モードと共通する箇所について説明を省略し、撮像モードと異なる箇所を中心に以下に説明を行う。
【０１０７】
図３で説明した撮像モードの処理では、図１の表示用バッファメモリ１１７へ記憶する表示用画像データの生成に、カメラ選択部１０４から出力される画像を用いた。それに対して再生モードでは、表示用バッファメモリ１１７へ記憶する表示用画像データの生成の為に、入力データ一時保持用バッファメモリ１０５から転送した画像を選択し、各画像処理部に入力する。或いは、入力データ一時保持用バッファメモリ１０５から転送した画像を、直接表示用バッファメモリ１１７へ転送するように、全体制御部１０８が制御する。なお、入力データ一時保持用バッファメモリ１０５に格納される各撮像部からの画像データは、互いに関連付けられて保持されていることができる。
【０１０８】
ステップＳ９０１にて、再生モードで電源Ｏｎされたか、もしくは他モードから再生モードに切り替えられると、ステップＳ９０２へすすむ。
【０１０９】
ステップＳ９０２にて、入力データ一時保持用バッファメモリ１０５から転送した画像を低解像度画像生成部１１２を使用して加工し、ファインダへの表示を行う。ステップＳ９０２内の処理の詳細については後述する。
【０１１０】
ステップＳ９０３にて、再生モードを終了する場合は、ステップＳ９４１へすすみ、再生モードの終了処理を行う。終了しない場合は、ステップＳ３０４へすすむ。
【０１１１】
ステップＳ３０４の判定処理は図３と同様である。表示領域の変更指示が無い場合は、ステップＳ９０４へすすむ。変更指示があった場合は、ステップＳ３０５へすすむ。
【０１１２】
ステップＳ９０４にて、再生表示を行う画像の切り替え指示が有った場合は、ステップＳ９０５へすすみ、切り替え指示が無い場合は、ステップＳ９０２へ戻る。ステップＳ９０５では、画像の切り替え処理を行う。ステップＳ３０５以下の動作は撮像モードと同一であるので省略する。
【０１１３】
次に、ステップＳ９１１では、入力データ一時保持用バッファメモリ１０５から転送した画像をそのまま用いてファインダへ表示する。ステップＳ９１１内の処理の詳細については後述する。
【０１１４】
ステップＳ９１２にて、再生モードを終了する場合は、ステップＳ９４１へすすみ、再生モードの終了処理を行う。終了しない場合は、ステップＳ３１３へすすむ。以下の動作は撮像モードと同一であるので省略する。
【０１１５】
次に、ステップＳ９２１では、超解像画像合成部１１０を使用した画像を用いてファインダへの表示を行う。ステップＳ９２１内の処理の詳細については後述する。ステップＳ９２２にて、再生モードを終了する場合は、ステップＳ９４１へすすみ、再生モードの終了処理を行う。終了しない場合は、ステップＳ３２３へすすむ。以下の動作は撮像モードと同一であるので省略する。
【０１１６】
次に、ステップＳ９３１では、スティッチ画像生成部１１１を使用した画像か、もしくは入力データ一時保持用バッファメモリ１０５から転送した画像のいずれかを用いてファインダへ表示する。ステップＳ９３１内の処理の詳細については後述する。ステップＳ９３２にて、再生モードを終了する場合は、ステップＳ９４１へすすみ、再生モードの終了処理を行う。終了しない場合は、ステップＳ３３３へすすむ。以下の動作は撮像モードと同一であるので省略する。
【０１１７】
次に、図１０から図１３を用いて、上記低解像度表示（ステップＳ９０２）、スルー表示（Ｓ９１１）、超解像表示（Ｓ９２１）、及びスティッチ表示（Ｓ９３１）での動作の詳細を説明する。なお、図１０から図１３の説明においても、撮像モードと共通する部分についての説明は省略し、異なる部分を中心に説明を行う。
【０１１８】
＜低解像度表示（ステップＳ９０２）の説明＞
図９の低解像度表示（ステップＳ９０２）について図１０に示した動作フローチャートを用いて説明する。
【０１１９】
ステップＳ１００１では、全体制御部１０８はステップＳ４０１にて取得した領域情報に基づいて、メモリ転送制御部１０３及び低解像度画像生成部１１２への指示情報を生成する。すなわち、カメラ選択部１０４ではなくメモリ転送制御部１０３に対する指示情報を生成する点で撮像モードと相違している。より具体的には、メモリ転送制御部１０３に対しては、次の指示情報を生成する。すなわち、最後に撮像された画像データにおける標準撮像部群の撮像部の一つの画像データが記憶されているメモリアドレスの先頭番地、及び該画像データ全体を転送する為の転送量、転送先を低解像度画像生成部１１２とする指示を指示情報として生成する。
【０１２０】
全体制御部１０８は入力選択部１０７に対しては、後段へ出力する信号としてメモリ転送制御部１０３からの信号を選択する情報を指示情報として生成する。
【０１２１】
低解像度画像生成部１１２に対する指示は撮像モードと同様である。
【０１２２】
ステップＳ１００２では、全体制御部１０８は該指示情報をメモリ転送制御部１０３、入力選択部１０７及び低解像度画像生成部１１２へ送信する。
【０１２３】
ステップＳ１００３では、全体制御部１０８からの該指示情報を受けたメモリ転送制御部１０３が入力データ一時保持用バッファメモリ１０５からデータを読み出し、入力選択部１０７を経由して、低解像度画像生成部１１２へ転送する。
【０１２４】
以下の動作は撮像モードの図４と同一であるので説明を省略する。
【０１２５】
＜スルー表示（ステップＳ９１１）の説明＞
図９のスルー表示（ステップＳ９１１）について図１１に示した動作フローチャートを用いて説明する。
【０１２６】
ステップＳ１１０１では、全体制御部１０８はステップＳ５０１にて取得した領域情報に基づいて、メモリ転送制御部１０３への指示情報を生成する。
【０１２７】
より具体的には、ステップＳ９０２で表示している画像データの内、表示部の解像度と同等の領域を転送する為の転送量、及び該転送量と現在の転送メモリアドレス先頭番地から算出される新たな転送メモリアドレス先頭番地を指示情報として生成する。さらには指示情報には、転送先として表示制御部１１８を経由した表示用バッファメモリ１１７を指示することが含まれる。
【０１２８】
ステップＳ１１０２では、全体制御部１０８は該指示情報をメモリ転送制御部１０３へ送信する。
【０１２９】
以下の動作は撮像モードの図５と同一であるので説明を省略する。
【０１３０】
＜超解像表示（ステップＳ９２１）の説明＞
図９の超解像表示（ステップＳ９２１）について図１２に示した動作フローチャートを用いて説明する。
【０１３１】
Ｓ６０１からＳ６０４の動作は撮像モードの図６と同一であるので説明を省略する。ステップＳ１２０１では、全体制御部１０８はステップＳ６０４までに取得した領域情報に基づいて、メモリ転送制御部１０３、入力選択部１０７及び超解像画像合成部１１０への指示情報を生成する。
【０１３２】
より具体的には、メモリ転送制御部１０３に対しては、選択した各標準撮像部の領域に対応する転送メモリアドレス先頭番地、及び転送量、転送先を超解像画像合成部１１０とする指示を指示情報として生成する。
【０１３３】
入力選択部１０７に対しては、後段へ出力する信号としてメモリ転送制御部１０３からの信号を選択する情報を指示情報として生成する。
【０１３４】
超解像画像合成部１１０に対しては、例えば選択した標準撮像部の配置情報、メモリ転送制御部１０３から出力される画像の大きさ情報を指示情報として生成する。
【０１３５】
ステップＳ１２０２にて、全体制御部１０８は該指示情報をメモリ転送制御部１０３、入力選択部１０７及び超解像画像合成部１１０へそれぞれ送信する。
【０１３６】
Ｓ６０７以下の動作は撮像モードの図６と同一であるので説明を省略する。
＜スティッチ表示（ステップＳ９３１）の説明＞
図９のスティッチ表示（ステップＳ９３１）について図１３に示した動作フローチャートを用いて説明する。
【０１３７】
Ｓ７０１、Ｓ７０２の動作は撮像モードの図７と同一であるので説明を省略する。ステップＳ１３０１にて、全体制御部１０８はステップＳ７０１において取得した情報に基づいて、メモリ転送制御部１０３、入力選択部１０７及びスティッチ画像生成部１１１への指示情報を生成する。
【０１３８】
より具体的には、メモリ転送制御部１０３に対しては、選択した複数の望遠撮像部の領域に対応する転送メモリアドレス先頭番地、及び転送量、転送先をスティッチ画像生成部１１１とする指示を指示情報として生成する。
【０１３９】
入力選択部１０７に対しては、後段へ出力する信号としてメモリ転送制御部１０３からの信号を選択する情報を指示情報として生成する。
【０１４０】
スティッチ画像生成部１１１に対しては、例えば選択した望遠撮像部の配置情報、メモリ転送制御部１０３から転送される複数の画像毎の大きさ情報を指示情報として生成する。
【０１４１】
ステップＳ１３０２にて、該指示情報をメモリ転送制御部１０３、入力選択部１０７及びスティッチ画像生成部１１１へそれぞれ送信する。
【０１４２】
ステップＳ１３０３では、全体制御部１０８はステップＳ７０１において取得した情報に基づいて、メモリ転送制御部１０３への指示情報を生成する。
【０１４３】
より具体的には、選択した望遠撮像部の領域に対応する転送メモリアドレス先頭番地、及び転送量、転送先を表示制御部１１８を経由した表示用バッファメモリ１１７とする指示を指示情報として生成する。
【０１４４】
ステップＳ１３０４にて、該指示情報をメモリ転送制御部１０３へ送信する。Ｓ７０５以下の動作は撮像モードの図７と同一であるので説明を省略する。
【０１４５】
以上述べてきた動作により、撮像時及び撮像直後に、ユーザー指示に応じて適切な画像処理を施した画像を表示部へ表示することが可能になる。これにより、使用者にとって撮像後に最終的に得られる画像と同画質の画像を撮像装置の表示部で容易に確認することが可能となり、使い勝手が向上する。また、複数の撮像部からほぼ同時に撮像された画像を用いることで、動きのある被写体に適用した場合に、画質が落ちてしまうことなく、超解像処理における精度を維持することができる。また、超解像処理を行う場合、必要な画像データのみを用いることでリアルタイムで超解像画像を表示することができる。
【０１４６】
なお、複数の撮像部の数や配置については、本実施例に限定されるものではなく、様々な例が想定可能である。
【０１４７】
さらに、本実施例では複数の画像処理部（１１０、１１１、１１２）を使用する場合、そのうち一つを使用する例を示したが、例えばスティッチ画像生成部１１１の出力を、低解像度画像生成部１１２に入力して、生成された画像を用いるといった構成も可能である。例えば、望遠撮像部群の撮像部で得られた画像データを低解像度画像生成部１１２に入力することで、望遠撮像部群の撮像部の全撮像範囲（画角）の画像を低解像度表示処理をしてファインダに表示することも可能である。
【０１４８】
[実施例２]
実施例１においては、領域情報のうち大きさ情報に関してはダイアルを回す、或いはシャトルスイッチを倒すといった操作により連続的に変更することを想定していたが、これをボタン押下などの操作により離散的に変更することも考えられる。
【０１４９】
また、実施例１においては同じく位置情報に関しても方向ボタンの操作により連続的に変更することを想定していたが、これを例えばタッチパネルを備えた表示部とし、タッチパネル上のタッチ操作などにより離散的に変更することも考えられる。
【０１５０】
以下は、領域情報に含まれる大きさ情報と位置情報とが離散的に変更される例について説明する。尚、実施例１と共通する事項については説明を省略し、実施例１と異なる箇所を中心に説明を行う。
【０１５１】
図１４に本実施例における撮像モードのメイン動作フローチャートを示す。
【０１５２】
ステップＳ１４０２では、拡大表示の指示が有るか否かの判定を行う。上記で述べたように、本実施例では拡大表示ボタンの押下により該指示が為される。拡大表示指示が有った場合は、ステップＳ３１１へすすみ、無い場合はステップＳ１４０１へ戻る。ステップＳ１４０１及びＳ１４１１の詳細は後述する。
【０１５３】
ステップＳ１４１２では、拡大表示或いは縮小表示の指示が有るか否かの判定を行う。
拡大表示指示であれば、ステップＳ１４２１へすすむ。縮小表示指示であれば、ステップＳ１４０１へ戻る。ステップＳ１４２１の詳細は後述する。
【０１５４】
ステップＳ１４２２では、拡大表示或いは縮小表示の指示が有るか否かの判定を行う。拡大表示指示であれば、ステップＳ１４３１へすすむ。縮小表示指示であれば、ステップＳ１４１１へ戻る。ステップＳ１４３１の詳細は後述する。
【０１５５】
ステップＳ１４３２では、縮小表示の指示が有るか否かの判定を行う。縮小表示指示であれば、ステップＳ１４２１へ戻る。指示が無ければ、ステップＳ１４３１へ戻る。ステップＳ１４３１の詳細は後述する。
【０１５６】
次に、低解像表示（ステップＳ１４０１）、スルー表示（Ｓ１４１１）、超解像表示（Ｓ１４２１）、スティッチ表示（Ｓ１４３１）について説明する。なお、各種フローチャートについては図４から図７と同様の図を用いることができるので、図示を省略する。
【０１５７】
実施例１との差異は領域情報を取得するステップである。実施例１で説明したように、領域情報は、例えば四角形領域の左上端の座標値と縦横各々の長さといった形式、即ち位置情報と大きさ情報で与えられる。
【０１５８】
実施例２においては、位置情報の変更は、操作入力部１２０に含まれるタッチパネル上の一点を指やタッチペンなどで所望の領域の中心を指し示すことにより行われ、タッチされた座標が中心位置情報として変更され、ＲＡＭ１１３に記憶される。
【０１５９】
実施例２においては、大きさ情報は、低解像度表示、スルー表示、超解像表示、スティッチ表示で予め決められた情報が与えられる。
【０１６０】
再生モードにおける動作も上記に準じて、前述実施例から変更となるが、同様の説明の繰り返しとなるので、ここでは述べない。
【０１６１】
上記の動作により、ボタンの押下により素早く表示倍率を変更した画像を表示部へ表示することが可能となる為、使用者にとって撮像後に最終的に得られる画像と同画質の画像を前述実施例よりも容易に確認することが可能となり、使い勝手が向上する効果が有る。
【０１６２】
尚、本実施例ではボタンの押下により、拡大表示指示時には、低解像度表示、スルー表示、超解像表示、スティッチ表示を順次切り替える構成とした。
【０１６３】
しかしながらこれに限定されることなく、例えば、低解像度表示と超解像表示のみの切り替え、或いは低解像度表示とスティッチ表示のみの切り替えとするなど他の構成も考えられる。
【０１６４】
[実施例３]
実施例１及び２においては、表示部を一つだけ備えている構成であったが、これを複数備えた構成も考えられる。
【０１６５】
図１５に本実施例におけるハード構成ブロック図例を示す。
【０１６６】
図１５は、図１の構成から表示用バッファメモリ１１７ａ及び１１７ｂと、表示制御部１１８ａ及び１１８ｂと、表示部１１９ａ及び１１９ｂとの構成が相違する。
【０１６７】
本実施例では１１９ａをメイン表示部（メインファインダ）、１１９ｂをサブ表示部（サブファインダ）とする。
【０１６８】
メインファインダに対するメイン動作フローチャートは、実施例１における図３或いは実施例２における図１４と同等である。
【０１６９】
図２０に本実施例における撮像モード時のサブファインダに対するメイン動作フローチャートを示す。サブファインダへの表示は、ステップＳ２００１にて、サブファインダへの表示指示が有った場合に、ステップＳ２００２にてサブファインダ制御を行う。ステップＳ２００２の動作は、メインファインダと同様、実施例１における図３或いは実施例２における図１４と同等である。即ち、メイン・サブファインダの制御が同時に動作することになる。又、再生モード時も上記と同様である。
【０１７０】
上記の動作により、一度に複数解像度の画像を確認することが可能になる為、例えば低解像度画像で画角を確認しつつ、超解像画像で画質を確認するといった行為が可能となり、使用者にとり、使い勝手がより一層向上する効果が有る。
【０１７１】
尚、本実施例では複数の表示部を備えた構成の例で説明したが、一つの表示部に対して例えば親子画面表示とするなど、複数の画面表示を行うなどの構成も考えられる。
【０１７２】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013172316.tif 000003
【図２】
2013172316.tif 000004
【図３】
2013172316.tif 000005
【図４】
2013172316.tif 000006
【図５】
2013172316.tif 000007
【図６】
2013172316.tif 000008
【図７】
2013172316.tif 000009
【図８】
2013172316.tif 000010
【図９】
2013172316.tif 000011
【図１０】
2013172316.tif 000012
【図１１】
2013172316.tif 000013
【図１２】
2013172316.tif 000014
【図１３】
2013172316.tif 000015
【図１４】
2013172316.tif 000016
【図１５】
2013172316.tif 000017
【図１６】
2013172316.tif 000018