(57)【要約】      （修正有）【課題】撮像時及び撮像直後において撮像素子が持つ解像度よりも低解像度のファインダで画像表示する場合においても、最終的に得られる画像と同画質の画像を確認可能にする画像処理装置及び画像処理方法を提供する。【解決手段】複数の撮像部（標準カメラ群１００、ズームカメラ群１０１）から入力される画像データの出力画像の表示サイズと入力される画像データの表示サイズとのサイズ比に基づいて、出力画像データを生成する画像処理を決定する。【選択図】図１
2017038240.tif 000002
【特許請求の範囲】
【請求項１】
画角が固定されている複数の撮像部により取得された複数の画像データを入力する第一の入力手段と、
画角を制御可能な複数の撮像部により取得された複数の画像データを入力する第二の入力手段と、
前記第一及び第二の入力手段から得られる複数の画像データの少なくとも一つの画像データに基づいて決定される出力画像の表示サイズと複数の画像データの少なくとも一つの画像データの表示サイズとのサイズ比に基づいて、前記複数の画像データの少なくとも一つの画像データから出力画像データを生成する画像処理及び第二の入力手段の画角の制御を決定する決定手段と、
前記決定手段により決定された処理を用いて、前記複数の画像データの少なくとも一つの画像データに基づいて前記出力画像データを生成する生成手段と、
を有することを特徴する画像処理装置。
【請求項２】
前記決定手段は、位置合わせ処理を含む画像処理と、位置合わせ処理を含まない画像処理の中から一つの画像処理を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記複数の画像データの少なくとも一つの画像データに基づいて決定される前記出力画像の位置情報にさらに基づいて、前記出力画像データを生成する画像処理を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記サイズ比が、前記少なくとも一つの画像データが示す解像度よりも高い解像度の画像データを生成する画像処理を示す場合、前記位置合わせ処理を含む画像処理を決定することを特徴とする請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記決定手段は、
前記サイズ比が、第１のしきい値を超えない場合、前記少なくとも一つの画像データが示す解像度よりも低い解像度の画像データを生成する低解像処理を前記位置合わせ処理を含まない画像処理として決定し、
前記サイズ比が、前記第１のしきい値と等しい場合、前記少なくとも一つの画像データが示す解像度の画像データを生成する処理を前記位置合わせ処理を含まない画像処理として決定し、
前記サイズ比が、前記第１のしきい値を超える場合、前記少なくとも一つの画像データが示す解像度よりも高い解像度の画像データを前記複数の画像データの少なくとも二つを用いて生成する超解像処理を前記位置合わせ処理を含む画像処理として決定し、
前記サイズ比が、前記第１のしきい値よりも大きい第２のしきい値以上である場合、画角を制御可能な撮像部により取得された画像データを用いて画像データを生成する処理を前記画像処理として決定するとともに、前記制御可能な撮像部の画角を、該撮像部から得られる画像の解像度と出力画像の解像度が一致する位置に決定することを特徴とする請求項３又は請求項４に記載の画像処理装置。
【請求項６】
前記サイズ比が前記第２のしきい値以上である場合、前記出力画像が複数の撮像部から入力される画像データの領域と重複するかを前記位置情報に基づいて判定する判定手段をさらに有し、
前記決定手段は、前記判定手段によって重複すると判定された場合、画角を制御可能な複数の撮像部により取得された画像データを用いて画像データを生成する処理を前記位置合わせ処理を含む画像処理として決定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記決定手段は、前記判定手段によって重複すると判定され、また、重複する領域が規定の幅以上となる場合、重複する領域が前記既定の幅となるよう、前記画像データの一部を削減する処理を含む画像処理として決定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記決定手段は、前記超解像処理に用いる撮像部の数を前記サイズ比に基づいて決定することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記入力手段は、動作モードに応じて、前記複数の撮像部から前記画像データを入力するか、または、前記複数の撮像部からの画像データを一時保持する保持手段から入力するかを選択することを特徴とする請求項１乃至請求項８の何れか一項に記載の画像処理装置。
【請求項１０】
前記決定手段は、前記複数の画像データの少なくとも一つの画像データから出力画像データを生成する画像処理を少なくとも２つ決定する決定手段と、
前記生成手段は、前記決定手段により決定された少なくとも２つの画像処理を用いて、前記複数の画像データの少なくとも一つの画像データに基づいて少なくとも２つの前記出力画像データを生成することを特徴とする請求項１乃至請求項９の何れか一項に記載の画像処理装置。
【請求項１１】
画角が固定されている複数の撮像部により取得された複数の画像データを入力する第一の入力ステップと、
画角を制御可能な複数の撮像部により取得された複数の画像データを入力する第二の入力ステップと、
前記第一及び第二の入力ステップで得られる前記複数の画像データの少なくとも一つの画像データに基づいて決定される出力画像の表示サイズと複数の画像データの少なくとも一つの画像データの表示サイズとのサイズ比に基づいて、前記複数の画像データの少なくとも一つの画像データから出力画像データを生成する画像処理及び第二の入力ステップの画角の制御を決定する決定ステップと、
前記決定ステップにより決定された処理を用いて、前記複数の画像データの少なくとも一つの画像データに基づいて前記出力画像データを生成する生成ステップと、
を有することを特徴とする画像処理方法。
【請求項１２】
コンピュータを請求項１乃至請求項１０の何れか一項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像部から入力された画像データを処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
現在、撮像装置において撮像画像を撮像時或いは撮像後に確認する方法として、いわゆる液晶ディスプレイなどのファインダを用いて画像を表示させ、確認する方法が知られている。
【０００３】
しかしながら、ファインダとして用いられる表示手段は撮像素子が備えている解像度よりも低解像度であることが通常である。従って、ファインダによる確認では、撮像画像と同画質の画像を確認することは困難であった。
【０００４】
この問題を解消するために、各種の技術が提案されている。例えば、表示対象の画像の表示領域を制限すること、言い換えると表示対象の画像の表示倍率を上げることにより、画像の一部を表示させ、その画像の一部に対する解像度を上げた表示を行う技術がある(
(特許文献１参照）。
【０００５】
また、複数フレームの画像を合成し１枚の画像を生成する過程で画質を上げた画像を生成し、この生成した画像を表示させる技術がある（特許文献２参照）。
【０００６】
さらに、撮像モードと再生モードとで、ファインダへの表示解像度を変え、再生モード時にフレームレートを落とす代わりに解像度を上げる技術がある（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１７５１７号公報
【特許文献２】特開２００７−２８８２３５号公報
【特許文献３】特開２０１０−２７３０３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した各技術のいずれも、撮像時あるいは撮像後に撮像画像と同画質の画像を表示手段で確認する際に、問題が生じてしまう。
【０００９】
上記特許文献１に係る技術では、撮像素子の解像度までの表示が限界であり、複数の撮像画像を合成して得られる撮像画像のような、撮像素子の解像度以上の高解像度画像を表示することは不可能であった。
【００１０】
また、上記特許文献２に係る技術では、撮像素子の解像度以上の解像度での表示が可能であるが、動きのある被写体に適用した場合に、画質が落ちてしまう。また、フレーム間でのカメラ位置ずれを正確に測定することが必要であり、超解像処理における精度に課題が有った。
【００１１】
さらに、上記特許文献３に係る技術では、再生モード時に解像度を上げることが可能ではあるが、リサイズ処理に時間がかかる。従って、撮像モード時にリアルタイムに高解像度画像を表示することが不可能であった。
【課題を解決するための手段】
【００１２】
本発明に係る画像処理装置は、
画角が固定されている複数の撮像部により取得された複数の画像データを入力する第一の入力手段と、画角を制御可能な複数の撮像部により取得された複数の画像データを入力する第二の入力手段と、前記第一及び第二の入力手段から得られる複数の画像データの少なくとも一つの画像データに基づいて決定される出力画像の表示サイズと複数の画像データの少なくとも一つの画像データの表示サイズとのサイズ比に基づいて、前記複数の画像データの少なくとも一つの画像データから出力画像データを生成する画像処理及び第二の入力手段の画角の制御を決定する決定手段と、前記決定手段により決定された処理を用いて、前記複数の画像データの少なくとも一つの画像データに基づいて前記出力画像データを生成する生成手段と、を有することを特徴とする。
【発明の効果】
【００１３】
本発明に係る画像処理装置によれば、撮像時及び撮像直後に、表示倍率などのユーザー指示に応じて適切な画像処理を施した映像を表示手段へ表示することが可能になる。これにより、使用者にとって撮像後に最終的に得られる画像と同画質の画像を容易に確認することが可能となり、使い勝手が向上する。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例１における装置全体のハード構成ブロック図の一例を示す図である。
【図２】本発明の実施例１における各撮像部の配置例及び各撮像部の画角例を示した図である。
【図３】本発明の実施例１の撮像モードにおけるメイン動作フローチャートの一例を示す図である。
【図４】本発明の実施例１の撮像モードにおける低解像度表示ステップの詳細な動作フローチャートの一例を示す図である。
【図５】本発明の実施例１の撮像モードにおけるスルー表示ステップの詳細な動作フローチャートの一例を示す図である。
【図６】本発明の実施例１の撮像モードにおける超解像表示ステップの詳細な動作フローチャートの一例を示す図である。
【図７】本発明の実施例１の撮像モードにおけるスティッチ表示ステップの詳細な動作フローチャートの一例を示す図である。
【図８】本発明の実施例１のスティッチ処理適用の判定例を説明した図である。
【図９】本発明の実施例１の再生モードにおけるメイン動作フローチャートの一例を示す図である。
【図１０】本発明の実施例１の再生モードにおける低解像度表示ステップの詳細な動作フローチャートの一例を示す図である。
【図１１】本発明の実施例１の再生モードにおけるスルー表示ステップの詳細な動作フローチャートの一例を示す図である。
【図１２】本発明の実施例１の再生モードにおける超解像表示ステップの詳細な動作フローチャートの一例を示す図である。
【図１３】本発明の実施例１の再生モードにおけるスティッチ表示ステップの詳細な動作フローチャートの一例を示す図である。
【図１４】本発明の実施例２の撮像モードにおけるメイン動作フローチャートの一例を示す図である。
【発明を実施するための形態】
【００１５】
［実施例１］
以下、図面を用いて本発明の実施例１について詳細に説明する。まず、本実施例で用いられる動作モードについて説明する。本実施例では動作モードとして、撮像モードと再生モードの２つのモードを使用する例について説明する。ここで撮像モードとは、ユーザーが撮像装置を用いて撮像しようとする撮像範囲（画角）の画像を撮像装置の表示部に連続的に表示するモードのことである。再生モードとは、撮像モードにおいて撮像した直前の画像を撮像装置の表示部に一時的に表示するモードのことである。
【００１６】
図１は本実施例における撮像装置１０の全体のハード構成ブロック図の一例を示す図である。撮像部は、不図示の光学系、撮像素子であるセンサ、及びセンサ制御部などを含み、撮像した画像の画像データ信号を生成して出力する。本実施例では、撮像部１００ａ及び１００ｂを含む撮像部群１００は、ほぼ同一の撮像範囲（画角）を撮像するものであり、撮像部群１００を標準撮像部群と総称し、標準撮像部群の個々の撮像部１００ａ及び１００ｂを標準撮像部と呼称する。
【００１７】
撮像部１０１ａ及び撮像部１０１ｂは、一定の範囲内で可変な、標準撮像部の画角の一部を撮像範囲とするものであり、撮像部群１０１をズーム撮像部群と総称し、ズーム撮像部群の個々の撮像部１０１ａ及び１０１ｂをズーム撮像部と呼称する。
【００１８】
上記２種類の撮像部郡に含まれる撮像部は、図１においては各２つずつ記載されているが、これは説明を簡略化するために表した例に過ぎず、さらに多くの数（例えば１００ｃ、１００ｄ、…、１０１ｃ、１０１ｄ、…）の撮像部を備えることも可能である。又、各々の撮像部にはＩＤが割り振られており、ＩＤ番号で管理されることができる。本実施例で想定している各撮像部の数及び構成例については、図２を用いて後程説明する。
【００１９】
映像キャプチャ部１０２は、各撮像部から取得した画像データ群を入力データ一時保持用バッファメモリ１０５などへ転送するメモリ転送制御部１０３と、同時に取得した画像データ群のうち一部を選択して後段へ出力するカメラ選択部１０４とを含む。すなわち、各撮像部から入力される画像データ群は、入力データ一時保持用バッファメモリ１０５へ転送され、かつ画像データ群の一部はカメラ選択部１０４によって選択されて後段に出力される。入力データ一時保持用バッファメモリ１０５に転送された画像データ群は、再生モード時に用いられる。
【００２０】
入力データ一時保持用バッファメモリ１０５に転送された画像データ群はユーザーによって撮像された場合に記憶部１１５に転送されて記憶される。カメラ制御部１０６は、全体制御部（ＣＰＵ）１０８からの指示により撮像部群１００及び１０１の個々の撮像部に対する制御を行う。このカメラ制御には、ズーム撮像部群１０１の個々のズーム撮像部が撮像する画角を制御する、ズーム制御部を含む。
【００２１】
入力選択部１０７は、後段に接続される複数の画像処理部に対して、上記入力データ一時保持用バッファメモリ１０５のデータと、上記カメラ選択部１０４のデータのどちらを入力するかを選択する。入力の選択は、動作モードが撮像モードか再生モードかに応じて行われる。入力選択部１０７は、内部に後段に接続される複数の画像処理部毎に対応する複数の選択部１０７ａ、１０７ｂ、１０７ｃを備える。
【００２２】
全体制御部（ＣＰＵ）１０８は、カメラ制御部１０６及び入力選択部１０７への制御に加えて、映像キャプチャ部１０２、各画像合成／生成部１１０から１１２、表示制御部１１８など装置全体の制御を行う。データ加工部１０９は、撮像した画像データに対してタグデータ付加などを行う。超解像画像合成部１１０は、複数の画像データを入力していわゆる超解像画像処理を行い、各入力画像データの解像度よりも高解像度の画像データを生成し出力する。超解像処理の詳細については後述する。
【００２３】
スティッチ画像生成部１１１は、複数の画像データを入力して位置合わせを行い１枚の画像データを生成し出力する。スティッチ画像処理の詳細については後述する。低解像度画像生成部１１２は、１枚の画像を入力して間引き処理やローパスフィルタ処理などを行い、入力画像データよりも低解像度の画像データを生成し出力する。
【００２４】
ＲＡＭ１１３は、プログラムのワーク領域として使用される。ＲＯＭ１１４は、プログラムを記憶しておくと共に、各撮像部の位置（配置）情報、性能情報が記憶される。記憶部１１５は、撮像した画像データ群を記憶する。通信部１１６は、装置内のデータ転送、装置外のネットワーク接続、及びネットワーク２０上に存在する記憶装置３０との間でのデータ転送を行う。
【００２５】
表示用バッファメモリ１１７は、表示部１１９へ表示する表示用の出力画像データを記憶する。表示制御部１１８は、表示用バッファメモリ１１７及び表示部１１９の制御を行う。表示部１１９は、いわゆるファインダと呼ばれる液晶ディスプレイなどの表示部であり、撮像時或いは撮像後の画像データの確認に用いる。通常は、撮像部１００、１０１で生成される画像よりも表示部１１９の解像度は低い。
【００２６】
操作入力部１２０は、シャッターボタンや、操作ダイアルなどによってユーザーによる装置の操作の入力を受付ける。ネットワーク２０は、装置と通信部で接続される。記憶装置３０はネットワーク上に存在し、撮像した画像データを記憶しておくために用いられる。
【００２７】
図２は本実施例における撮像装置の各撮像部の配置例を模式的に示した図と各撮像部の撮像範囲（画角）例とを示した図である。
【００２８】
図２（ａ）には、４９個の撮像部を配置した例を示している。撮像部１０１ａから１０１ｉの９個がズーム撮像部であり、それ以外の４０個の撮像部は標準撮像部である。図２（ｂ）は図２（ａ）の各標準撮像部でカバーされる撮像範囲（画角）を示している。遠方距離であれば、標準撮像部は略一致する画角をカバーする。
【００２９】
図２（ｃ）は図２（ａ）の３つのズーム撮像部１０１ａと１０１ｂと１０１ｃとでカバーされる撮像範囲（画角）を上方からみた図である。遠方距離で一部重なる撮像範囲があるが、多くの領域では異なる撮像範囲を有している。ズーム状態を変更すれば、この図とは重なり具合が変わる。
【００３０】
図２（ｄ）はあるズーム状態でのある平面上でみた撮像範囲（画角）の重なりを示した図である。領域２００は標準撮像部１００でカバーされる画角を示している。一方、領域２０１ａから２０１ｃは、各々ズーム撮像部１０１ａから１０１ｃでカバーされる画角を示している。図２（ｄ）の例では、画角２００の内、各々のズーム撮像部で、左下の略１／９の画角、下中央の略１／９の画角、右下の略１／９の画角をカバーする。又、ズーム撮像部による９つの画角は、少しずつ重なっている。
【００３１】
以下、本実施例の動作について詳細に説明する。尚、撮像前の画像表示モード（撮像モード）と撮像後の画像表示モード（再生モード）により、処理が異なるため、モード毎に説明する。
【００３２】
＜１．撮像前の画像表示モード（撮像モード）＞
図３に、撮像モードにおけるメイン動作フローチャートを示す。
【００３３】
ステップＳ３０１にて、撮像装置が撮像モードで電源Ｏｎされたか、もしくは他の動作モードから撮像モードに切り替えられると、ステップＳ３０２へすすむ。
【００３４】
ステップＳ３０２にて、低解像度画像生成部１１２により生成された画像データを用いてファインダへの表示を行う。一般的にファインダの解像度は標準撮像部の撮像素子の解像度よりも低いので、標準撮像部群の任意の標準撮像部でカバーされる全撮像範囲を有する画像データをそのままファインダに表示できない。従って、低解像度画像生成部１１２を介して解像度を下げることにより、標準撮像部群の任意の標準撮像部でカバーされる全撮像範囲を有する画像データをファインダに表示することができる。
【００３５】
例えば、ファインダが６４０×４８０のＶＧＡの解像度を有している場合に、標準撮像部から１９２０×１０８０のフルＨＤの解像度を有する画像データが入力される場合を考える。この場合、フルＨＤの解像度の画像データ全体をファインダに表示することはできないので、ＶＧＡの解像度で表示可能な解像度に解像度を下げる低解像処理が行われる。この低解像処理された表示される画像の表示サイズは、フルＨＤの解像度の画像の表示サイズよりも小さくなる。
【００３６】
なお、低解像度画像生成部１１２で生成される画像データは、１つの撮像部でカバーされる全撮像範囲に限られるものではなく、１つの撮像部で撮像された画像データの一部（すなわち、拡大した所定の表示領域）を生成することができる。低解像処理の詳細は後述する。
【００３７】
次にステップＳ３０３にて、撮像モードを終了する場合、或いはファインダ表示を終了する場合はステップＳ３４１へすすむ。終了しない場合は、ステップＳ３０４へすすみ、表示領域の変更（拡大／縮小表示）の指示が有るか否かの判定を行う。表示領域の変更指示は、例えば操作ダイアルを回すことにより行われることなどが考えられる。変更指示が無い場合は、ステップＳ３０２へ戻る。変更指示があった場合は、ステップＳ３０５へすすむ。
【００３８】
ステップＳ３０５にて、該指示が拡大表示・縮小表示のどちらであるかを判定し、拡大表示であればステップＳ３０６へすすみ、指示された表示領域のサイズ（解像度）が予め決められたしきい値を超えたか否かを判定する。この判定処理は、例えば、拡大した結果出力される画像データの表示サイズと、標準撮像部群のうちの任意の標準撮像部で撮像される画像データの表示サイズとのサイズ比に基づいて行われる。このサイズ比は、いわば画像データの表示倍率ということができる。
【００３９】
より具体的には、サイズ比によって示される拡大した結果出力される画像データの表示サイズが、ファインダで表示可能な表示サイズと等しくなる場合にしきい値を超えたと判定される。つまり、しきい値には、拡大した結果出力される画像データの解像度がファインダの解像度に略一致する場合に、しきい値を超えたと判定されるような値が設定される。なお、このしきい値（第１のしきい値）は、所定の幅を持つように設定することができる。
【００４０】
ステップＳ３０６にて、指示された表示領域の解像度が予め決められたしきい値を超えた（上回った）場合、ステップＳ３１１へすすみ、そうでない場合は、ステップＳ３０２へ戻る。
【００４１】
一方、ステップＳ３０５にて、縮小表示を指示された場合は、ステップＳ３０２へ戻る。ステップＳ３１１では、カメラ選択部１０４から出力された画像データを解像度変換することなしに用いてファインダへ表示する。この表示処理をスルー表示と称する。詳細は後述する。なお、カメラ選択部１０４から出力された画像データは、指定された拡大表示サイズ分の領域を表示するために、撮像部にて撮像された画像データから部分的に抽出（この抽出処理も画像処理の一種とみなすことができる）されたデータである。
【００４２】
ステップＳ３１２にて、撮像モードを終了する場合、或いはファインダ表示を終了する場合はステップＳ３４１へすすむ。終了しない場合は、ステップＳ３１３へすすみ、表示領域の変更（拡大／縮小表示）の指示が有るか否かの判定を行う。変更指示が無い場合は、ステップＳ３１１へ戻る。変更指示が有った場合は、ステップＳ３１４へすすむ。
【００４３】
ステップＳ３１４にて、該指示が拡大表示・縮小表示のどちらかを判定し、拡大表示であればステップＳ３２１へすすむ。縮小表示であればステップＳ３０２へ戻り、低解像度表示を行う。
【００４４】
ステップＳ３２１では、超解像画像合成部１１０を使用した画像を用いてファインダへの表示を行う。すなわち、拡大した結果出力される画像データの表示サイズが、ファインダで表示可能な表示サイズよりも小さく場合、換言すれば、拡大した結果出力される画像データの解像度が、ファインダの解像度よりも小さく場合、超解像合成処理を行う。本実施例のように複数の撮像部から得られる複数の画像データを用いることによって、撮像後に各種画像処理を施して得られる画像データは単一の撮像部で得られた画像データから得られる画像データよりも解像度が高い場合が想定される。
【００４５】
本実施例によれば、このような解像度の高い画像データが結果的にどのように撮像されるかについてもファインダで撮像モード中に確認することが可能である。超解像合成処理の詳細は後述する。
【００４６】
ステップＳ３２２にて、撮像モードを終了する場合、或いはファインダ表示を終了する場合はステップＳ３４１へすすむ。終了しない場合は、ステップＳ３２３へすすみ、表示領域の変更（拡大／縮小表示）の指示が有るか否かの判定を行う。変更指示が無い場合は、ステップＳ３２１へ戻る。変更指示が有った場合は、ステップＳ３２４へすすむ。
【００４７】
ステップＳ３２４にて、該指示が拡大表示・縮小表示のどちらかを判定し、縮小表示であればステップＳ３２５へすすみ、拡大表示であればステップＳ３２６へすすむ。ステップＳ３２５では、指示された縮小表示倍率に従った表示領域の解像度が予め決められたしきい値を超えた（下回った）場合、ステップＳ３１１へ戻り、スルー表示を行う。そうでない場合は、ステップＳ３２１へ戻る。
【００４８】
ステップＳ３２６では、指示された拡大表示倍率に従った表示領域の解像度が、ズームレンズを備えたズーム撮像部群１０１の任意のズーム撮像部が最も広角側になっている状態で生成された画像データの解像度以上となっているかを判定する。この判定処理は、例えば、拡大した結果出力される画像データの表示サイズと、標準撮像部群のうちの任意の撮像部で撮像される画像データの表示サイズとのサイズ比に基づいて行われる。あるいは、拡大した結果出力される画像データの表示サイズと、ズーム撮像部群のうちの任意の撮像部で撮像される画像データの表示サイズとのサイズ比に基づいて行われてもよい。
【００４９】
いずれの場合であっても、このサイズ比は、いわば画像データの表示倍率ということができる。より具体的には、サイズ比によって示される拡大した結果出力される画像データの表示サイズが、ズーム撮像部群のうちの任意の撮像部で撮像される画像データの表示サイズの最も広角側の解像度以上となっているかどうか、ステップＳ３２６で判定される。なお、ズーム撮像部の撮像部から撮像された画像データの解像度は、ファインダの解像度よりも高いことが想定される。このため、ステップＳ３２６で最も広角側の解像度以上となっていると判定された場合、ズーム撮像部の撮像部から撮像された画像データの撮像範囲（画角）は、全撮像範囲ではなく、その一部であることが想定される。
【００５０】
ズーム撮像部が最も広角側になっている状態で生成された画像データの解像度以上となっていると判定した場合には、ステップＳ３３１にてズームの状態の制御を行う。この制御は、指示された拡大表示倍率に従った表示領域の解像度とズーム撮像部群１０１の任意のズーム撮像部の解像度が一致するように行われる。
【００５１】
ステップＳ３３２では、スティッチ画像生成部１１１を使用した画像か、もしくはカメラ選択部１０４から出力された画像のいずれかを用いてファインダへ表示する。このステップＳ３３１ではズームレンズを備えた撮像部群１０１の撮像部から得られた画像データを利用することになる。詳細は後述する。
【００５２】
ステップＳ３３３にて、撮像モードを終了する場合、或いはファインダ表示を終了する場合はステップＳ３４１へすすむ。終了しない場合は、ステップＳ３３４へすすみ、表示領域の変更（拡大／縮小表示）の指示が有るか否かの判定を行う。変更指示が無い場合はステップＳ３３２へ戻る。
【００５３】
変更指示が有った場合は、ステップＳ３３５にて、該指示が拡大表示・縮小表示のどちらかを判定し、縮小表示であればステップＳ３３６へすすみ、拡大表示であればステップＳ３３１へ戻る。
【００５４】
ステップＳ３３６では、指示された縮小表示倍率に従った表示領域の解像度が予め決められたしきい値を超えた（下回った）場合、ステップＳ３２１へ戻り、超解像表示を行う。そうでない場合は、ステップＳ３３１へ戻る。ステップＳ３４１では、撮像モード終了処理、もしくはファインダ表示終了処理を行う。
【００５５】
次に、図４から図７を用いて、上記低解像度表示（ステップＳ３０２）、スルー表示（Ｓ３１１）、超解像表示（Ｓ３２１）、スティッチ表示（Ｓ３３２）の動作の詳細を説明する。
【００５６】
＜低解像度表示（ステップＳ３０２）の説明＞
図３に示す低解像度表示（ステップＳ３２１）について、図４に示した動作フローチャートを用いて説明する。
【００５７】
ステップＳ４０１にて、全体制御部１０８は表示させたい領域の情報を取得する。領域情報は、例えば四角形領域の左上端の座標値と縦横各々の長さといった形式の情報である。即ち、領域情報とは、表示させたい領域の位置情報と大きさ情報とで与えられる。電源Ｏｎ時の初期値は標準撮像部群の任意の撮像部における全撮像範囲が与えられ、ＲＡＭ１１３に記憶される。
【００５８】
位置情報は、例えば操作入力部１２０に含まれる不図示の上下左右方向に設置された方向ボタンを押下するなどの操作により変更され、ＲＡＭ１１３の情報が変更される。大きさ情報は、例えば操作入力部１２０に含まれるダイアルを回す、或いはシャトルスイッチをどちらかの方向に倒すなどの操作により連続的に変更され、ＲＡＭ１１３の情報が変更される。ステップＳ４０１では、このようにＲＡＭ１１３に記憶されている領域情報を全体制御部１０８が取得する。
【００５９】
次にステップＳ４０２にて、全体制御部１０８はステップＳ４０１で取得した領域情報に基づいて、カメラ選択部１０４、入力選択部１０７及び低解像度画像生成部１１２への指示情報を生成する。より具体的には、全体制御部１０８はカメラ選択部１０４に対しては、標準撮像部の一つのカメラＩＤ番号、例えば標準撮像部１００ａのＩＤと、該標準撮像部の領域情報として全領域と、出力先を低解像度画像生成部１１２とする指示とを指示情報として生成する。全体制御部１０８は入力選択部１０７に対しては、後段へ出力する信号としてカメラ選択部１０４からの信号を選択する情報を指示情報として生成する。
【００６０】
全体制御部１０８は低解像度画像生成部１１２に対しては、例えば全撮像範囲に対する表示領域の割合情報及び表示開始位置座標を、ＲＡＭ１１３に記憶されている位置情報と大きさ情報とに基づいて指示情報として生成する。ステップＳ４０３にて、全体制御部１０８は該指示情報をカメラ選択部１０４、入力選択部１０７及び低解像度画像生成部１１２へそれぞれ送信する。ステップＳ４０４では、該指示情報を受けたカメラ選択部１０４が標準撮像部１００ａの画像を入力選択部１０７を経由して、低解像度画像生成部１１２へ転送する。
【００６１】
ステップＳ４０５では、低解像度画像生成部１１２において、指示情報に基づき入力画像から低解像度画像を生成する。低解像度画像の生成手法については種々の手法が公知であり、ここでは述べない。ステップＳ４０６では、生成された低解像度画像を、表示制御部１１８を経由して、表示用バッファメモリ１１７へ転送する。
【００６２】
最後にステップＳ４０７にて、表示制御部１１８が適切なタイミングで表示用バッファメモリ１１７から該低解像度画像を読み出して、表示部１１９へ転送することにより表示が為される。
【００６３】
上記動作を例えば１／３０秒毎に繰り返すことにより、表示部１１９上では動画像が表示される。表示領域の位置情報が変更になった場合は、表示領域の位置が変更され、大きさ情報が変更になった場合は、表示領域の大きさが変更される。
【００６４】
＜スルー表示（ステップＳ３１１）の説明＞
次に、図３のスルー表示（ステップＳ３１１）の処理について、図５に示した動作フローチャートを用いて説明する。
【００６５】
ステップＳ５０１にて、全体制御部１０８は表示させたい領域の領域情報を取得する。これは、ステップＳ４０１と同等の動作である。
【００６６】
次にステップＳ５０２にて、全体制御部１０８は該取得した領域情報に基づいて、カメラ選択部１０４への指示情報を生成する。より具体的には、全体制御部１０８は、標準撮像部群の一つの撮像部のカメラＩＤ番号、例えば標準撮像部１００ａのＩＤと、出力先を表示制御部１１８を経由した表示用バッファメモリ１１７とする指示とを指示情報として生成する。この指示情報には、標準撮像部群の一つの撮像部の領域情報として、表示部の解像度と同等の領域をステップＳ５０１で取得した領域情報に基づいて指定する指示が含まれる。
【００６７】
ステップＳ５０３にて、全体制御部１０８は該指示情報をカメラ選択部１０４へ送信する。ステップＳ５０４では、該指示情報を受けたカメラ選択部１０４が標準撮像部１００ａの画像データを表示制御部１１８経由で表示用バッファメモリ１１７へ転送する。ステップＳ５０４で転送される画像データは、取得した領域情報に対応する領域を、画像データから部分的に抽出したデータである。
【００６８】
最後にステップＳ５０５にて、表示制御部１１８が適切なタイミングで表示用バッファメモリ１１７から該低解像度画像を読み出して、表示部１１９へ転送することにより表示が為される。上記動作の繰り返しにより動画像表示が為されること、及び領域情報の変更により表示が変更されることは低解像度表示と同様である。
【００６９】
＜超解像表示（ステップＳ３２１）の説明＞
まず、超解像画像合成処理について簡単に説明する。
【００７０】
入力画像の解像度よりも高解像度の出力画像を生成する処理を一般にアップコンバートや超解像画像処理と呼ぶ。超解像画像処理には、いくつかの手法が知られており、大別すると、１枚の画像データ（フレーム）に対して輪郭補正やドットノイズ消去のような処理を行うフレーム内処理と、複数の画像データ（フレーム）に対して処理を行うフレーム間処理に分かれる。
【００７１】
フレーム間処理には、時間軸方向に複数撮像したフレームを使用する場合と、複数のカメラを用いて同時に撮像した複数フレームを使用する場合がある。本実施例は、複数のカメラを用いる場合を想定している。
【００７２】
次に、図３の超解像表示（ステップＳ３２１）について、図６に示した動作フローチャートを用いて説明する。
【００７３】
ステップＳ６０１にて、全体制御部１０８は表示させたい領域の領域情報を取得する。これは、ステップＳ４０１と同等の動作である。
【００７４】
次にステップＳ６０２にて、全体制御部１０８は該取得した領域情報に基づいて、カメラ選択部１０４への指示情報のうちカメラ選択数の情報を取得する。上述したように、本実施例で想定しているフレーム間処理は、フレーム内処理に比較して高い画質を得ることが可能であるが、必要な演算量が多く、またメモリ量も多く必要となる。このような処理をリアルタイムで実現するためには多大な演算能力が必要とされる。一方、表示領域が狭いほど、言い換えると表示倍率が高いほど、超解像画像合成処理に必要な画素数は少なくなる為、一定時間内（１／３０秒）で処理可能なフレーム数は高くなっていく。
【００７５】
このことから、ステップＳ６０２では、ステップＳ６０１で取得した領域情報のうち、表示領域の大きさ情報に基づいて、決定したカメラ選択数を取得することができる。ステップＳ６０３では、全体制御部１０８はＲＯＭ１１４から各撮像部の配置情報、性能情報を取得する。
【００７６】
次にステップＳ６０４にて、全体制御部１０８はステップＳ６０２及びステップＳ６０３で得た情報からどの撮像部で撮像された撮像データを使用するかを決定する。次にステップＳ６０５にて、全体制御部１０８はカメラ選択部１０４、入力選択部１０７及び超解像画像合成部１１０への指示情報を生成する。
【００７７】
より具体的には、カメラ選択部１０４に対しては、標準撮像部のうち選択した複数のカメラＩＤ番号、出力画像を生成する為に必要な該複数の標準撮像部に対する領域情報、さらには出力先を超解像画像合成部１１０とする指示を指示情報として生成する。すなわち、全体制御部１０８は、カメラ選択部１０４に対して、どの撮像部からの画像データを使用するかについての指示を生成する。
【００７８】
そして、画像データのうち、領域情報に対応する領域を指示する。これにより、ファインダで表示する際に必要なデータ部分のみが超解像合成部に送信されることになり、負荷をかけることなくリアルタイムでの超解像処理が行われることになる。
【００７９】
全体制御部１０８は入力選択部１０７に対しては、後段へ出力する信号としてカメラ選択部１０４からの信号を選択する情報を指示情報として生成する。全体制御部１０８は超解像画像合成部１１０に対しては、例えば選択した標準撮像部の配置情報、カメラ選択部１０４から出力される画像の大きさ情報を指示情報として生成する。
【００８０】
ステップＳ６０６にて、全体制御部１０８は該指示情報をカメラ選択部１０４、入力選択部１０７及び超解像画像合成部１１０へそれぞれ送信する。ステップＳ６０７では、該指示情報を受けたカメラ選択部１０４が複数の標準撮像部で撮像された画像データのうち指示された領域に対応するデータを入力選択部１０７を経由して、超解像画像合成部１１０へ転送する。
【００８１】
ステップＳ６０８では、超解像画像合成部１１０において、指示情報に基づき入力画像データから超解像画像データを生成する。上述したように、本実施例においては同時に撮像された複数枚の画像を用いて超解像処理を行う。本実施例で想定している複数画像を用いる超解像画像合成処理は、以下の２つの処理から成る。即ち、位置合わせ処理と画像合成処理である。
【００８２】
位置合わせ処理は、複数の画像から一枚の基準画像を選択し、他の画像と該選択された画像との相対移動量を算出する処理である。画像合成処理は、前記複数の画像から選択された一枚の画像（前記基準画像であることが望ましい）から補間処理などによって初期高解像画像を生成する。そして、選択されなかったその他の画像と位置合わせ処理で算出された相対移動量とから該初期高解像度画像を更新していくことにより、高解像度画像を得る処理である。以上が超解像処理の一例であるが、他の種々の手法を用いて超解像処理を行っても良い。
【００８３】
ステップＳ６０９では、生成された超解像画像を、表示制御部１１８を経由して、表示用バッファメモリ１１７へ転送する。最後にステップＳ６１０にて、表示制御部１１８が適切なタイミングで表示用バッファメモリ１１７から該超解像画像を読み出して、表示部１１９へ転送することにより表示が為される。
【００８４】
上記動作の繰り返しにより動画像表示が為されること、及び領域情報の変更により表示が変更されることは低解像度表示と同様である。なお、上記処理では、カメラ選択部において、超解像処理に必要な画像データの抽出を行う例について説明した。しかしながら、カメラ選択部から超解像画像生成部に対して複数の撮像部からの画像データをそのまま転送し、超解像生成部において必要な領域の抽出が行われても良い。
【００８５】
＜スティッチ表示（ステップＳ３３２）の説明＞
次に、図３のスティッチ表示（ステップＳ３３２）の処理について、図７に示した動作フローチャートを用いて説明する。
【００８６】
ステップＳ７０１にて、全体制御部１０８は表示させたい領域の領域情報を取得する。これは、ステップＳ４０１と同等の動作である。
【００８７】
次にステップＳ７０２にて、全体制御部１０８は該取得した領域情報に基づいて、スティッチ処理を適用すべきか否かを判定する。より具体的な判定方法について、図８に示す。
【００８８】
図８はスティッチ処理の判定例の概要を説明した図である。図８（ａ）と（ｂ）では、ズーム倍率の状態が異なっている。図８（ａ）の領域８０１や、図８（ｂ）の領域８２１のように表示させたい領域がズーム撮像部群の複数の撮像部を使用しなければカバーできない（重複が必要な）場合は、スティッチ処理を適用する。また、図８（ａ）領域８０２や図８（ｂ）領域８２２のようにズーム撮像部群の単一の撮像部によってカバーできる場合はスティッチ処理を適用しないと判定する。図８（ｃ）は、領域８２１をスティッチ処理で作成するときに必要な領域を示している。
【００８９】
ズーム撮像部１０１ｂ、１０１ｃの撮像範囲である８１０ｂ、８１０ｃから、各々領域８３１、８３２を切り出したデータを使用する。領域８３１、８３２の重なり部分は、重なりの中央で既定の幅に減らしたものとしている。ステップＳ７０２においてスティッチ処理を適用すると判定された場合は、ステップＳ７０３へすすむ。
【００９０】
ステップＳ７０３にて、全体制御部１０８は上記取得した領域情報に基づいて、カメラ選択部１０４、入力選択部１０７及びスティッチ画像生成部１１１への指示情報を生成する。より具体的には、カメラ選択部１０４に対しては、表示させたい領域をカバーするズーム撮像部のカメラＩＤ番号と、ズーム撮像部毎の領域情報と、出力先をスティッチ画像生成部１１１とする指示とを指示情報として生成する。ここで、カメラ選択部に対する指示情報には、ズーム撮像部の領域情報として、表示部の解像度と同等の領域をステップＳ７０１で取得した領域情報に基づいて指定する指示が含まれる。
【００９１】
全体制御部１０８は入力選択部１０７に対しては、後段へ出力する信号としてカメラ選択部１０４からの信号を選択する情報を指示情報とする。
【００９２】
全体制御部１０８はスティッチ画像生成部１１１に対しては、例えば選択したズーム撮像部の配置情報、カメラ選択部１０４から出力される複数の画像データ毎の大きさ情報を指示情報とする。このとき、図８（ｃ）で示したように、領域の重なり部分は既定の幅に抑えられる。
【００９３】
ステップＳ７０４にて、全体制御部１０８はＳ７０３で生成された指示情報をカメラ選択部１０４、入力選択部１０７及びスティッチ画像生成部１１１へそれぞれ送信する。ステップＳ７０５では、該指示を受けたカメラ選択部１０４がズーム撮像部群の複数の撮像部にて撮像された画像データを入力選択部１０７を経由して、スティッチ画像生成部１１１へ転送する。なお、カメラ選択部１０４から転送される画像データは、超解像表示の箇所で説明したように、必要な領域を抽出したデータであってもよいし、複数の撮像部で撮像された全てのデータであってもよい。
【００９４】
ステップＳ７０６では、スティッチ画像生成部１１１において、指示情報に基づき入力画像データからスティッチ処理を行い、スティッチ画像データを生成する。ここで、スティッチ処理とは、位置をずらして撮像した複数の画像から位置合わせ処理及び合成処理を行い１枚の画像を生成する処理のことである。ここで位置合わせ処理とは、オーバーラップ領域を持つ複数の画像における該オーバーラップ領域の対応する画素を一致させる為の相対移動量を算出する処理のことである。
【００９５】
また、合成処理とは、位置合わせ処理結果に基づき、非オーバーラップ領域も含めて複数の画像を繋ぎ合せて一枚の画像を生成する処理のことである。図８（ａ）の領域８０１のように重なり部分が少ないケースでは、領域内の重なり部分全てでスティッチ処理を行う。しかし、図８（ｂ）の領域８２１のように重なり部分が多いケースでは、領域内の重なり部分全てでスティッチ処理を行うと処理が重くなる為、重なり中央部分の既定の幅だけでスティッチ処理を行い、それ以外の部分のデータは片方のデータのみ使用する。
【００９６】
ステップＳ７０７では、生成されたスティッチ画像データを、表示制御部１１８を経由して、表示用バッファメモリ１１７へ転送する。
【００９７】
最後にステップＳ７０８にて、表示制御部１１８が適切なタイミングで表示用バッファメモリ１１７からスティッチ画像データを読み出して、表示部１１９へ転送することにより表示が為される。
【００９８】
一方、ステップＳ７０２において、スティッチ処理を適用しないと判定された場合は、ステップＳ７０９へすすむ。ステップＳ７０９では、ステップＳ７０１にて取得した領域情報に基づいて全体制御部１０８はカメラ選択部１０４への指示情報を算出する。
【００９９】
より具体的には、表示させたい領域をカバーするズーム撮像部群のうちの単一の撮像部のカメラＩＤ番号と、必要な領域情報、出力先を表示制御部１１８を経由した表示用バッファメモリ１１７とする指示を指示情報として生成する。この指示情報には、ズーム撮像部群の一つの撮像部の領域情報として、表示部の解像度と同等の領域をステップＳ７０１で取得した領域情報に基づいて指定する指示が含まれる。
【０１００】
次にステップＳ７１０では、全体制御部１０８は該指示情報をカメラ選択部１０４へ送信し、ステップＳ７０７へすすむ。ステップＳ７０７以降の動作は上述の通りである。上記動作の繰り返しにより動画像表示が為されること、及び領域情報の変更により表示が変更されることは低解像度表示と同様である。
【０１０１】
以上が撮影前の画像表示モード（撮像モード）についての説明である。次に、撮像後の画像表示モード（再生モード）について説明する。
【０１０２】
＜２．撮像後の画像表示モード（再生モード）＞
図９に、再生モードにおけるメイン動作フローチャートを示す。尚、図３の撮像モードと共通する箇所について説明を省略し、撮像モードと異なる箇所を中心に以下に説明を行う。
【０１０３】
図３で説明した撮像モードの処理では、図１の表示用バッファメモリ１１７へ記憶する表示用画像データの生成に、カメラ選択部１０４から出力される画像を用いた。それに対して再生モードでは、表示用バッファメモリ１１７へ記憶する表示用画像データの生成の為に、入力データ一時保持用バッファメモリ１０５から転送した画像を選択し、各画像処理部に入力する。
【０１０４】
或いは、入力データ一時保持用バッファメモリ１０５から転送した画像を、直接表示用バッファメモリ１１７へ転送するように、全体制御部１０８が制御する。なお、入力データ一時保持用バッファメモリ１０５に格納される各撮像部からの画像データは、互いに関連付けられて保持されていることができる。ステップＳ９０１にて、再生モードで電源Ｏｎされたか、もしくは他モードから再生モードに切り替えられると、ステップＳ９０２へすすむ。
【０１０５】
ステップＳ９０２にて、入力データ一時保持用バッファメモリ１０５から転送した画像を低解像度画像生成部１１２を使用して加工し、ファインダへの表示を行う。ステップＳ９０２内の処理の詳細については後述する。
【０１０６】
ステップＳ９０３にて、再生モードを終了する場合は、ステップＳ９４１へすすみ、再生モードの終了処理を行う。終了しない場合は、ステップＳ３０４へすすむ。ステップＳ３０４の判定処理は図３と同様である。表示領域の変更指示が無い場合は、ステップＳ９０４へすすむ。変更指示があった場合は、ステップＳ３０５へすすむ。
【０１０７】
ステップＳ９０４にて、再生表示を行う画像の切り替え指示が有った場合は、ステップＳ９０５へすすみ、切り替え指示が無い場合は、ステップＳ９０２へ戻る。ステップＳ９０５では、画像の切り替え処理を行う。ステップＳ３０５以下の動作は撮像モードと同一であるので省略する。
【０１０８】
次に、ステップＳ９１１では、入力データ一時保持用バッファメモリ１０５から転送した画像をそのまま用いてファインダへ表示する。ステップＳ９１１内の処理の詳細については後述する。
【０１０９】
ステップＳ９１２にて、再生モードを終了する場合は、ステップＳ９４１へすすみ、再生モードの終了処理を行う。終了しない場合は、ステップＳ３１３へすすむ。以下の動作は撮像モードと同一であるので省略する。
【０１１０】
次に、ステップＳ９２１では、超解像画像合成部１１０を使用した画像を用いてファインダへの表示を行う。ステップＳ９２１内の処理の詳細については後述する。ステップＳ９２２にて、再生モードを終了する場合は、ステップＳ９４１へすすみ、再生モードの終了処理を行う。終了しない場合は、ステップＳ３２３へすすむ。ステップＳ３２４、ステップＳ３２５の動作は撮像モードと同一であるので省略する。
【０１１１】
次に、ステップＳ９２６では、ステップＳ９２１の超解像画像合成で生成できる解像度を超える範囲の拡大指示がされたかどうかを、予め決められたしきい値との比較によって行い、しきい値を超えていなければステップＳ９２１へ戻って超解像表示を行う。しきい値を超えていた場合は、ステップＳ９３２へとすすむ。
【０１１２】
次に、ステップＳ９３２では、スティッチ画像生成部１１１を使用した画像か、もしくは入力データ一時保持用バッファメモリ１０５から転送した画像のいずれかを用いてファインダへ表示する。ステップＳ９３２内の処理の詳細については後述する。ステップＳ９３３にて、再生モードを終了する場合は、ステップＳ９４１へすすみ、再生モードの終了処理を行う。終了しない場合は、ステップＳ３３４へすすむ。以下の動作は撮像モードと同一であるので省略する。
【０１１３】
次に、図１０から図１３を用いて、上記低解像度表示（ステップＳ９０２）、スルー表示（Ｓ９１１）、超解像表示（Ｓ９２１）、及びスティッチ表示（Ｓ９３２）での動作の詳細を説明する。なお、図１０から図１３の説明においても、撮像モードと共通する部分についての説明は省略し、異なる部分を中心に説明を行う。
【０１１４】
＜低解像度表示（ステップＳ９０２）の説明＞
図９の低解像度表示（ステップＳ９０２）について図１０に示した動作フローチャートを用いて説明する。
【０１１５】
ステップＳ１００１では、全体制御部１０８はステップＳ４０１にて取得した領域情報に基づいて、メモリ転送制御部１０３及び低解像度画像生成部１１２への指示情報を生成する。すなわち、カメラ選択部１０４ではなくメモリ転送制御部１０３に対する指示情報を生成する点で撮像モードと相違している。
【０１１６】
より具体的には、メモリ転送制御部１０３に対しては、次の指示情報を生成する。すなわち、最後に撮像された画像データにおける標準撮像部群の撮像部の一つの画像データが記憶されているメモリアドレスの先頭番地、及び該画像データ全体を転送する為の転送量、転送先を低解像度画像生成部１１２とする指示を指示情報として生成する。
【０１１７】
全体制御部１０８は入力選択部１０７に対しては、後段へ出力する信号としてメモリ転送制御部１０３からの信号を選択する情報を指示情報として生成する。低解像度画像生成部１１２に対する指示は撮像モードと同様である。ステップＳ１００２では、全体制御部１０８は該指示情報をメモリ転送制御部１０３、入力選択部１０７及び低解像度画像生成部１１２へ送信する。
【０１１８】
ステップＳ１００３では、全体制御部１０８からの該指示情報を受けたメモリ転送制御部１０３が入力データ一時保持用バッファメモリ１０５からデータを読み出し、入力選択部１０７を経由して、低解像度画像生成部１１２へ転送する。以下の動作は撮像モードの図４と同一であるので説明を省略する。
【０１１９】
＜スルー表示（ステップＳ９１１）の説明＞
図９のスルー表示（ステップＳ９１１）について図１１に示した動作フローチャートを用いて説明する。
【０１２０】
ステップＳ１１０１では、全体制御部１０８はステップＳ５０１にて取得した領域情報に基づいて、メモリ転送制御部１０３への指示情報を生成する。
【０１２１】
より具体的には、ステップＳ９０２で表示している画像データの内、表示部の解像度と同等の領域を転送する為の転送量、及び該転送量と現在の転送メモリアドレス先頭番地から算出される新たな転送メモリアドレス先頭番地を指示情報として生成する。さらには指示情報には、転送先として表示制御部１１８を経由した表示用バッファメモリ１１７を指示することが含まれる。
【０１２２】
ステップＳ１１０２では、全体制御部１０８は該指示情報をメモリ転送制御部１０３へ送信する。
【０１２３】
以下の動作は撮像モードの図５と同一であるので説明を省略する。
【０１２４】
＜超解像表示（ステップＳ９２１）の説明＞
図９の超解像表示（ステップＳ９２１）について図１２に示した動作フローチャートを用いて説明する。
【０１２５】
Ｓ６０１からＳ６０４の動作は撮像モードの図６と同一であるので説明を省略する。ステップＳ１２０１では、全体制御部１０８はステップＳ６０４までに取得した領域情報に基づいて、メモリ転送制御部１０３、入力選択部１０７及び超解像画像合成部１１０への指示情報を生成する。
【０１２６】
より具体的には、メモリ転送制御部１０３に対しては、選択した各標準撮像部の領域に対応する転送メモリアドレス先頭番地、及び転送量、転送先を超解像画像合成部１１０とする指示を指示情報として生成する。入力選択部１０７に対しては、後段へ出力する信号としてメモリ転送制御部１０３からの信号を選択する情報を指示情報として生成する。超解像画像合成部１１０に対しては、例えば選択した標準撮像部の配置情報、メモリ転送制御部１０３から出力される画像の大きさ情報を指示情報として生成する。
【０１２７】
ステップＳ１２０２にて、全体制御部１０８は該指示情報をメモリ転送制御部１０３、入力選択部１０７及び超解像画像合成部１１０へそれぞれ送信する。Ｓ６０７以下の動作は撮像モードの図６と同一であるので説明を省略する。
【０１２８】
＜スティッチ表示（ステップＳ９３２）の説明＞
撮像モード時には、図３ステップＳ３３１の処理でズームの状態の制御を行うことによって、表示領域の解像度とズーム撮像部の解像度が一致するように制御したが、再生モードでは処理が異なる。本実施例では、撮像の直前に、ズーム撮像部群１０１の個々のズーム状態は最も拡大された状態となるよう制御される。
【０１２９】
ここから、図９のスティッチ表示（ステップＳ９３２）について図１３に示した動作フローチャートを用いて説明する。Ｓ７０１、Ｓ７０２の動作は撮像モードの図７と同一であるので説明を省略する。ステップＳ１３０１にて、全体制御部１０８はステップＳ７０１において取得した情報に基づいて、メモリ転送制御部１０３、入力選択部１０７及びスティッチ画像生成部１１１への指示情報を生成する。
【０１３０】
より具体的には、メモリ転送制御部１０３に対しては、選択した複数のズーム撮像部の領域に対応する転送メモリアドレス先頭番地、及び転送量、転送先をスティッチ画像生成部１１１とする指示を指示情報として生成する。また、後述の低解像度変換処理が必要な場合は、スティッチ画像生成部１１１からの転送先を低解像度画像生成部１１２とする指示を指示情報として生成する。
【０１３１】
入力選択部１０７に対しては、後段へ出力する信号としてメモリ転送制御部１０３からの信号を選択する情報を指示情報として生成する。スティッチ画像生成部１１１に対しては、例えば選択したズーム撮像部の配置情報、メモリ転送制御部１０３から転送される複数の画像毎の大きさ情報を指示情報として生成する。
【０１３２】
ステップＳ１３０２にて、該指示情報をメモリ転送制御部１０３、入力選択部１０７及びスティッチ画像生成部１１１へそれぞれ送信する。ステップＳ１３０３では、全体制御部１０８はステップＳ７０１において取得した情報に基づいて、メモリ転送制御部１０３への指示情報を生成する。
【０１３３】
より具体的には、選択したズーム撮像部の領域に対応する転送メモリアドレス先頭番地、及び転送量、転送先を指示情報として生成する。このとき、後述の低解像度変換処理の適用の有無によって、転送先は、表示制御部１１８を経由した表示用バッファメモリ１１７、または、低解像度画像生成部１１２として指示する。ステップＳ１３０４にて、該指示情報をメモリ転送制御部１０３へ送信する。ステップＳ７０５、ステップＳ７０６の動作は撮像モードの図７と同一であるので説明を省略する。
【０１３４】
ステップＳ１３０５では、表示領域の解像度とズーム撮像部の解像度を比較し、ズーム撮像部の解像度の方が高い場合、低解像度変換の適用を必要とし、ステップＳ１３０５へ進み、解像度がほぼ同程度であれば、ステップＳ７０７へと進む。ステップＳ１３０６及びステップＳ１３０７では、図１０のステップＳ１００３及びステップＳ４０５と同様の処理を行う。
【０１３５】
以上述べてきた動作により、撮像時及び撮像直後に、ユーザー指示に応じて適切な画像処理を施した画像を表示部へ表示することが可能になる。これにより、使用者にとって撮像後に最終的に得られる画像と同画質の画像を撮像装置の表示部で容易に確認することが可能となり、使い勝手が向上する。また、複数の撮像部からほぼ同時に撮像された画像を用いることで、動きのある被写体に適用した場合に、画質が落ちてしまうことなく、超解像処理における精度を維持することができる。また、超解像処理を行う場合、必要な画像データのみを用いることでリアルタイムで超解像画像を表示することができる。
【０１３６】
なお、複数の撮像部の数や配置については、本実施例に限定されるものではなく、様々な例が想定可能である。
【０１３７】
さらに、本実施例ではスティッチ画像生成部１１１の出力はそのまま表示制御部へ送られたが、低解像度画像生成部１１２に入力して、生成された画像を用いるといった構成も可能である。また、ズーム撮像部群１０１の広角側のズーム制御範囲を、標準撮像と同じ画角まで可能とすることにより、撮像モード時に超解像処理を行う事なく、ズームの制御のみでカバーすることも可能である。また、本実施例では撮像直前にズームを最も拡大された状態としたが、これに限ることはなく、フォーカス位置に基づいた距離でズームレンズ群の画角の重なりが最適になる位置とすることも可能である。
【０１３８】
［実施例２］
実施例１においては、領域情報のうち大きさ情報に関してはダイアルを回す、或いはシャトルスイッチを倒すといった操作により連続的に変更することを想定していたが、これをボタン押下などの操作により離散的に変更することも考えられる。
【０１３９】
また、実施例１においては同じく位置情報に関しても方向ボタンの操作により連続的に変更することを想定していたが、これを例えばタッチパネルを備えた表示部とし、タッチパネル上のタッチ操作などにより離散的に変更することも考えられる。
【０１４０】
以下は、領域情報に含まれる大きさ情報と位置情報とが離散的に変更される例について説明する。尚、実施例１と共通する事項については説明を省略し、実施例１と異なる箇所を中心に説明を行う。
【０１４１】
図１４に、本実施例における撮像モードのメイン動作フローチャートを示す。
【０１４２】
ステップＳ１４０２では、拡大表示の指示が有るか否かの判定を行う。上記で述べたように、本実施例では拡大表示ボタンの押下により該指示が為される。拡大表示指示が有った場合は、ステップＳ１４１１へすすみ、無い場合はステップＳ１４０１へ戻る。ステップＳ１４０１及びＳ１４１１の詳細は後述する。
【０１４３】
ステップＳ１４１２では、拡大表示或いは縮小表示の指示が有るか否かの判定を行う。拡大表示指示であれば、ステップＳ１４２１へすすむ。縮小表示指示であれば、ステップＳ１４０１へ戻る。ステップＳ１４２１の詳細は後述する。ステップＳ１４２２では、拡大表示或いは縮小表示の指示が有るか否かの判定を行う。拡大表示指示であれば、ステップＳ１４３１へすすむ。縮小表示指示であれば、ステップＳ１４１１へ戻る。ステップＳ１４３１の詳細は後述する。
【０１４４】
ステップＳ１４３１では、ズーム撮像部群１０１の個々のズーム状態を、最も広角側へと制御する。ステップＳ１４３３では、拡大表示或いは縮小表示の指示が有るか否かの判定を行う。指示がある場合にはステップＳ１４３４に進み、無ければステップＳ１４３２に戻る。ステップＳ１４３４では、拡大表示指示であれば、ステップＳ１４４１へすすむ。縮小表示指示であれば、ステップＳ１４２１へ戻る。ステップＳ１４３２の詳細は後述する。
【０１４５】
ステップＳ１４４１では、ズーム撮像部群１０１の個々のズーム状態を、最も拡大側へと制御する。ステップＳ１４４３では、撮像モード終了処理、もしくはファインダ表示終了処理を行う。ステップＳ１４４４では、縮小表示の指示が有るか否かの判定を行う。縮小表示指示があれば、ステップＳ１４３１へ進み、なければステップＳ１４４２へ戻る。ステップＳ１４４２の詳細は後述する。
【０１４６】
次に、低解像表示（ステップＳ１４０１）、スルー表示（Ｓ１４１１）、超解像表示（Ｓ１４２１）、スティッチ表示（Ｓ１４３２、Ｓ１４４２）について説明する。なお、各種フローチャートについては図４から図７と同様の図を用いることができるので、図示を省略する。
【０１４７】
実施例１との差異は領域情報を取得するステップである。実施例１で説明したように、領域情報は、例えば四角形領域の左上端の座標値と縦横各々の長さといった形式、即ち位置情報と大きさ情報で与えられる。
【０１４８】
実施例２においては、位置情報の変更は、操作入力部１２０に含まれるタッチパネル上の一点を指やタッチペンなどで所望の領域の中心を指し示すことにより行われ、タッチされた座標が中心位置情報として変更され、ＲＡＭ１１３に記憶される。
【０１４９】
実施例２においては、大きさ情報は、低解像度表示、スルー表示、超解像表示、スティッチ表示で予め決められた情報が与えられる。再生モードにおける動作も上記に準じて、前述実施例から変更となるが、同様の説明の繰り返しとなるので、ここでは述べない。
【０１５０】
上記の動作により、ボタンの押下により素早く表示倍率を変更した画像を表示部へ表示することが可能となる為、使用者にとって撮像後に最終的に得られる画像と同画質の画像を前述実施例よりも容易に確認することが可能となり、使い勝手が向上する効果が有る。      
【０１５１】
尚、本実施例ではボタンの押下により、拡大表示指示時には、低解像度表示、スルー表示、超解像表示、スティッチ表示（広角、拡大）を順次切り替える構成とした。
【０１５２】
しかしながらこれに限定されることなく、例えば、低解像度表示と超解像表示のみの切り替え、或いは低解像度表示とスティッチ表示のみの切り替えとするなど他の構成も考えられる。
【０１５３】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１５４】
１０  撮像装置、２０  ネットワーク、３０  記憶装置、１００  標準撮像部群、
１００，１００ｂ  標準撮像部、１０１  ズーム撮像部群、
１０１ａ，１０１ｂ  ズーム撮像部、１０２  映像キャプチャ部、
１０３  メモリ転送制御部、１０４  カメラ選択部、
１０５  入力データ一時保持用バッファメモリ、１０６  カメラ制御部、
１０７  入力選択部、１０８  全体制御部（ＣＰＵ）、１０９  データ加工部、
１１０  各画像合成／生成部、１１１  スティッチ画像生成部、
１１２  低解像度画像生成部、１１３  ＲＡＭ、１１４  ＲＯＭ、
１１５  大容量記憶装置、１１６  通信部、１１７  表示用バッファメモリ、
１１８  表示制御部、１１９  表示手段、１２０  操作入力部
【図１】
2017038240.tif 000003
【図２】
2017038240.tif 000004
【図３】
2017038240.tif 000005
【図４】
2017038240.tif 000006
【図５】
2017038240.tif 000007
【図６】
2017038240.tif 000008
【図７】
2017038240.tif 000009
【図８】
2017038240.tif 000010
【図９】
2017038240.tif 000011
【図１０】
2017038240.tif 000012
【図１１】
2017038240.tif 000013
【図１２】
2017038240.tif 000014
【図１３】
2017038240.tif 000015
【図１４】
2017038240.tif 000016