(57)【要約】【課題】使用者の意思をリアルタイムで反映させた高解像度の画像を得ることができる撮像装置、撮像方法およびプログラムを提供する。【解決手段】撮像装置１は、タッチパネル６に対する接触位置の位置される時間に基づいて、位置変更部３を制御することによって、光学系２１と撮像素子２２との位置を所定の距離毎に変更させる位置制御部９３と、光学系２１と撮像素子２２との位置が変更する毎に、撮像素子２２が順次生成した画像データに対応する画像に対して、位置信号に対応するタッチ位置を含む領域を順次切り出してトリミング画像データを生成するトリミング部９４と、複数のトリミング画像データを用いて画素補間を行うことによって、解像度が高い超解像画像データを生成する超解像処理部９５と、を備える。【選択図】図１
2016111652.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影するための光学系と、
前記光学系が結像した前記被写体の被写体像を受光して前記被写体の画像データを連続的に生成する撮像素子と、
前記光学系の光軸と直交する面において、前記光学系と前記撮像素子との位置を相対的に変更する位置変更部と、
前記撮像素子が生成した前記画像データに対応する画像を表示可能な表示部と、
前記表示部の表示領域に重畳して設けられ、外部の物体が接触した接触位置を検出し、この接触位置に応じた位置信号を周期的に出力するタッチパネルと、
前記接触位置の位置が維持される時間に基づいて、前記位置変更部を制御することによって、前記光学系と前記撮像素子との位置を所定の距離毎に変更させる位置制御部と、
前記光学系と前記撮像素子との位置が変更する毎に、前記撮像素子が順次生成した前記画像データに対応する画像に対して、前記位置信号に対応するタッチ位置を含む領域を順次切り出してトリミング画像データを生成するトリミング部と、
前記トリミング部が順次生成した複数の前記トリミング画像データを用いて画素補間を行うことによって、前記トリミング画像データの解像度より高い超解像画像データを生成する超解像処理部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記タッチパネルから出力される前記位置信号の継続に応じて、前記超解像処理部が生成した前記超解像画像データに対応する超解像画像を前記表示部に拡大して表示させる表示制御部をさらに備えたことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記超解像処理部が生成した前記超解像画像データに基づいて、前記超解像処理部が生成した前記超解像画像データに対応する超解像画像の画素数が前記光学系の解像度を超えたか否かを判定する判定部と、
前記判定部によって前記超解像画像の画素数が前記光学系の解像度を超えたと判定された場合、前記超解像処理部による前記超解像画像データの生成を終了させる撮像制御部と、
を備えたことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
被写体を撮影するための光学系と、前記光学系が結像した前記被写体の被写体像を受光して前記被写体の画像データを連続的に生成する撮像素子と、前記光学系の光軸と直交する面において、前記光学系と前記撮像素子との位置を相対的に変更する位置変更部と、前記撮像素子が生成した前記画像データに対応する画像を表示可能な表示部と、前記表示部の表示領域に重畳して設けられ、外部の物体が接触した接触位置を検出し、この接触位置に応じた位置信号を周期的に出力するタッチパネルと、を備えた撮像装置が実行する撮像方法であって、
前記接触位置の位置が維持される時間に基づいて、前記位置変更部を制御することによって、前記光学系と前記撮像素子との位置を所定の距離毎に変更させる位置制御ステップと、
前記光学系と前記撮像素子との位置が変更する毎に、前記撮像素子が順次生成した前記画像データに対応する画像に対して、前記位置信号に対応するタッチ位置を含む領域を順次切り出してトリミング画像データを生成するトリミングステップと、
前記トリミングステップで順次生成した複数の前記トリミング画像データを用いて画素補間を行うことによって、前記トリミング画像データの解像度より高い超解像画像データを生成する超解像処理ステップと、
を含むことを特徴とする撮像方法。
【請求項５】
被写体を撮影するための光学系と、前記光学系が結像した前記被写体の被写体像を受光して前記被写体の画像データを連続的に生成する撮像素子と、前記光学系の光軸と直交する面において、前記光学系と前記撮像素子との位置を相対的に変更する位置変更部と、前記撮像素子が生成した前記画像データに対応する画像を表示可能な表示部と、前記表示部の表示領域に重畳して設けられ、外部の物体が接触した接触位置を検出し、この接触位置に応じた位置信号を周期的に出力するタッチパネルと、を備えた撮像装置に、
前記接触位置の位置が維持される時間に基づいて、前記位置変更部を制御することによって、前記光学系と前記撮像素子との位置を所定の距離毎に変更させる位置制御ステップと、
前記光学系と前記撮像素子との位置が変更する毎に、前記撮像素子が順次生成した前記画像データに対応する画像に対して、前記位置信号に対応するタッチ位置を含む領域を順次切り出してトリミング画像データを生成するトリミングステップと、
前記トリミングステップで順次生成した複数の前記トリミング画像データを用いて画素補間を行うことによって、前記トリミング画像データの解像度より高い超解像画像データを生成する超解像処理ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置、撮像方法およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置において、撮影された複数の低解像度の画像を用いて高解像度の画像を生成する技術が知られている（特許文献１参照）。この技術では、表示部が表示する画像の全領域に対して高解像処理を行う前に、所定の領域のみ高解像処理を行うことで、表示部が表示する画像の高解像度の仕上がり具合を把握させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−９２２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、使用者は、撮影時のシーンによっては、一部の領域のみ高解像度の画像が欲しい場合がある。しかしながら、上述した特許文献１では、全領域の画像を複数回撮影した後でなければ、使用者が所望する領域の高解像度の画像を得ることができないため、使用者の意思をリアルタイムに反映させることができなかった。
【０００５】
本発明は、上記に鑑みてなされたものであって、使用者の意思をリアルタイムで反映させた高解像度の画像を得ることができる撮像装置、撮像方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮影するための光学系と、前記光学系が結像した前記被写体の被写体像を受光して前記被写体の画像データを連続的に生成する撮像素子と、前記光学系の光軸と直交する面において、前記光学系と前記撮像素子との位置を相対的に変更する位置変更部と、前記撮像素子が生成した前記画像データに対応する画像を表示可能な表示部と、前記表示部の表示領域に重畳して設けられ、外部の物体が接触した接触位置を検出し、この接触位置に応じた位置信号を周期的に出力するタッチパネルと、前記接触位置の位置が維持される時間に基づいて、前記位置変更部を制御することによって、前記光学系と前記撮像素子との位置を所定の距離毎に変更させる位置制御部と、前記光学系と前記撮像素子との位置が変更する毎に、前記撮像素子が順次生成した前記画像データに対応する画像に対して、前記位置信号に対応するタッチ位置を含む領域を順次切り出してトリミング画像データを生成するトリミング部と、前記トリミング部が順次生成した複数の前記トリミング画像データを用いて画素補間を行うことによって、前記トリミング画像データの解像度より高い超解像画像データを生成する超解像処理部と、を備えたことを特徴とする。
【０００７】
また、本発明に係る撮像方法は、被写体を撮影するための光学系と、前記光学系が結像した前記被写体の被写体像を受光して前記被写体の画像データを連続的に生成する撮像素子と、前記光学系の光軸と直交する面において、前記光学系と前記撮像素子との位置を相対的に変更する位置変更部と、前記撮像素子が生成した前記画像データに対応する画像を表示可能な表示部と、前記表示部の表示領域に重畳して設けられ、外部の物体が接触した接触位置を検出し、この接触位置に応じた位置信号を周期的に出力するタッチパネルと、を備えた撮像装置が実行する撮像方法であって、前記接触位置の位置が維持される時間に基づいて、前記位置変更部を制御することによって、前記光学系と前記撮像素子との位置を所定の距離毎に変更させる位置制御ステップと、前記光学系と前記撮像素子との位置が変更する毎に、前記撮像素子が順次生成した前記画像データに対応する画像に対して、前記位置信号に対応するタッチ位置を含む領域を順次切り出してトリミング画像データを生成するトリミングステップと、前記トリミングステップで順次生成した複数の前記トリミング画像データを用いて画素補間を行うことによって、前記トリミング画像データの解像度より高い超解像画像データを生成する超解像処理ステップと、を含むことを特徴とする。
【０００８】
また、本発明に係るプログラムは、被写体を撮影するための光学系と、前記光学系が結像した前記被写体の被写体像を受光して前記被写体の画像データを連続的に生成する撮像素子と、前記光学系の光軸と直交する面において、前記光学系と前記撮像素子との位置を相対的に変更する位置変更部と、前記撮像素子が生成した前記画像データに対応する画像を表示可能な表示部と、前記表示部の表示領域に重畳して設けられ、外部の物体が接触した接触位置を検出し、この接触位置に応じた位置信号を周期的に出力するタッチパネルと、を備えた撮像装置に、前記接触位置の位置が維持される時間に基づいて、前記位置変更部を制御することによって、前記光学系と前記撮像素子との位置を所定の距離毎に変更させる位置制御ステップと、前記光学系と前記撮像素子との位置が変更する毎に、前記撮像素子が順次生成した前記画像データに対応する画像に対して、前記位置信号に対応するタッチ位置を含む領域を順次切り出してトリミング画像データを生成するトリミングステップと、前記トリミングステップで順次生成した複数の前記トリミング画像データを用いて画素補間を行うことによって、前記トリミング画像データの解像度より高い超解像画像データを生成する超解像処理ステップと、を実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、使用者の意思をリアルタイムで反映させた高解像度の画像を得ることができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の一実施の形態に係る撮像装置の機能構成を示すブロック図である。
【図２】図２は、本発明の一実施の形態に係る撮像装置が実行する処理の概要を示すフローチャートである。
【図３】図３は、本発明の一実施の形態に係る撮像装置の表示部が表示するライブビュー画像の一例を示す図である。
【図４】図４は、本発明の一実施の形態に係る撮像装置の表示部が表示する画像の一例を示す図である。
【図５】図５は、本発明の一実施の形態に係る撮像装置が生成した画像ファイルの構造を模式的に示す図である。
【図６】図６は、本発明の一実施の形態に係る撮像装置の表示部が表示する超解像画像の一例を示す図である。
【図７】図７は、本発明の一実施の形態に係る撮像装置の表示部が再生表示する超解像画像の一例を示す図である。
【図８】図８は、本発明の一実施の形態に係る撮像装置の表示部が再生表示する超解像画像の別の一例を示す図である。
【図９】図９は、本発明の一実施の形態に係る撮像装置の表示部が再生表示する超解像画像の別の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本発明は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。
【００１２】
〔撮像装置の構成〕
図１は、本発明の一実施の形態に係る撮像装置の機能構成を示すブロック図である。図１に示す撮像装置１は、撮像部２と、位置変更部３と、姿勢検出部４と、表示部５と、タッチパネル６と、操作部７と、記録部８と、制御部９と、を備える。
【００１３】
撮像部２は、被写体の被写体像を結像する光学系２１と、光学系２１が結像した被写体像を撮像して、この被写体像の画像データを生成する撮像素子２２と、を備える。光学系２１は、一または複数のレンズを用いて構成され、被写体を撮影する。撮像素子２２は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像センサを用いて構成され、光学系２１が結像した被写体の被写体像を受光して被写体の画像データを連続的に生成する。
【００１４】
位置変更部３は、撮像素子２２を保持する。位置変更部３は、制御部９の制御のもと、撮像素子２２を光軸Ｏと直交する面（水平方向および鉛直方向）に対して移動させることによって、光学系２１と撮像素子２２との位置を相対的に変更する。位置変更部３は、ボイスコイルモータや圧電素子等を用いて構成される。なお、位置変更部３は、撮像装置１に生じる手ブレを防止する手ブレ防止機構として機能する。
【００１５】
姿勢検出部４は、撮像装置１の姿勢を検出し、この検出結果を制御部９へ出力する。姿勢検出部４は、ジャイロセンサ等を用いて構成される。
【００１６】
表示部５は、制御部９の制御のもと、撮像部２が生成した画像データに対応する画像を表示する。表示部５は、液晶または有機ＥＬ（Electro  Luminescence）等からなる表示パネルを用いて構成される。
【００１７】
タッチパネル６は、表示部５の表示画面上に重ねて設けられ、外部からの物体が接触した接触位置（タッチ位置）を検出し、この検出した位置に応じた信号の入力を受け付ける。タッチパネル６は、外部からの物体が接触した接触位置に応じた信号を周期的に制御部９へ出力する。タッチパネル６の方式として、抵抗膜方式、静電容量方式、光学方式等のいずれの方式も適用可能である。
【００１８】
操作部７は、撮像装置１の各種操作の入力を受け付ける。操作部７は、例えば撮像装置１の電源をオフまたはオンする電源スイッチ、光学系２１のズーム倍率を変更するズームスイッチ、撮像装置１のモードを変更するモード変更スイッチおよび撮像装置１に撮影を指示するレリーズスイッチ等を用いて構成される。
【００１９】
記録部８は、撮像装置１が実行する各種プログラムを記録するプログラム記録部８１と、撮像部２が生成した画像データを記録する画像データ記録部８２と、を有する。記録部８は、Ｆｌａｓｈメモリ、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）およびメモリカード等を用いて構成される。
【００２０】
制御部９は、撮像装置１を構成する各部を統括的に制御する。制御部９は、ＣＰＵ（Central  Processing  Unit）等を用いて構成される。制御部９は、タッチ検出部９１と、判定部９２と、位置制御部９３と、トリミング部９４と、超解像処理部９５と、撮像制御部９６と、表示制御部９７と、を備える。
【００２１】
タッチ検出部９１は、タッチパネル６から入力された信号に基づいて、タッチパネル６上におけるタッチ位置を検出する。例えば、タッチ検出部９１は、タッチパネル６から周期的に入力される位置信号に基づいて、タッチパネル６上におけるタッチ位置を検出するとともに、時間的に変化するタッチ位置を検出する。
【００２２】
判定部９２は、姿勢検出部４から入力される撮像装置１の姿勢を示す姿勢信号に基づいて、撮像装置１にブレが生じているか否かを判定する。また、判定部９２は、超解像処理部９５が生成した超解像画像データに基づいて、超解像処理部９５が生成した超解像画像データに対応する超解像画像の画素数が光学系２１の解像度を超えたか否かを判定する。なお、判定部９２は、超解像処理部９５が生成した超解像画像データのデータ量が所定の値を超えた場合、光学系２１の解像度を超えたと判定してもよい。
【００２３】
位置制御部９３は、タッチパンル６にタッチされた外部からの物体の接触位置の位置が維持される時間（例えばタッチ期間やタッチ位置を継続した時間）に基づいて、位置変更部３を駆動することによって、撮像素子２２を移動させる。具体的には、位置制御部９は、タッチパンル６にタッチされた外部からの物体の接触位置の位置が維持されている場合、位置制御部９３は位置変更部３を駆動することによって、撮像素子２２を所定の画素、例えば０．５画素おきなど画素数が仮想的に増えるように撮像素子２２を所定の微少量を移動させることによって、光学系２１と撮像素子２２との相対的な位置関係を変更させる。
【００２４】
トリミング部９４は、タッチパネル６から入力される位置信号に基づいて、表示部５が表示する画像からタッチ位置を含む領域を順次切り出して複数のトリミング画像データを生成する。具体的には、トリミング部９４は、表示部５が表示する画像からタッチ位置を含む領域、例えば表示部５が表示する表示領域より小さく、かつ、タッチ位置の領域を含む矩形状の領域を順次切り出してトリミング画像データを生成する。
【００２５】
超解像処理部９５は、トリミング部９４が順次生成した複数のトリミング画像データを用いて超解像画像データを生成する。具体的には、超解像処理部９５は、画素補間を行うことによって、例えば低解像である複数のトリミング画像データを用いて超解像画像データを生成する。ここで、超解像画像データに対応する超解像画像の解像度は、撮像部２が生成する画像データに対応する画像よりも高い解像度を有する。
【００２６】
撮像制御部９６は、撮像部２の撮像を制御する。具体的には、撮像制御部９６は、操作部７から撮影を指示するレリーズ信号が入力された場合、撮像部２に撮影を実行させる。
【００２７】
表示制御部９７は、表示部５の表示態様を制御する。表示制御部９７は、撮像装置１に関する各種情報を表示部５に表示させる。また、表示制御部９７は、タッチパネル６から出力される位置信号の継続に応じて、超解像処理部９５が生成した超解像画像データに対応する超解像画像を表示部５に拡大して表示させる。具体的には、表示制御部９７は、表示部５が表示している画像に対して、タッチされた場合において、超解像処理部９５が超解像画像データを生成しているとき、タッチパネル６から出力される位置信号の継続に応じて、超解像処理部９５が生成した超解像画像データに対応する超解像画像を表示部５に拡大して表示させる。例えば、表示制御部９７は、タッチパネル６から出力される位置信号が停止した場合または位置信号が停止してから所定の時間（例えば１秒）経過した場合、表示部５が表示するライブビュー画像または再生画像に換えて、超解像処理部９５が生成した超解像画像データに対応する超解像画像を表示部５に拡大して表示させる。
【００２８】
〔撮像装置の処理〕
次に、撮像装置１が実行する処理について説明する。図２は、撮像装置１が実行する処理の概要を示すフローチャートである。
【００２９】
図２に示すように、まず、撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）について説明する。この場合、表示制御部９７は、撮像部２によって生成された画像データに対応するライブビュー画像を表示部５に表示させる（ステップＳ１０２）。例えば、図３に示すように、表示制御部９７は、撮像部２によって生成された画像データに対応するライブビュー画像ＬＶ１を表示部５に表示させる。
【００３０】
続いて、判定部９２は、撮像装置１に生じるブレを判定するブレ判定を開始する（ステップＳ１０３）。具体的には、判定部９２は、姿勢検出部４から入力される姿勢信号に基づいて、撮像装置１にブレが生じているか否かを判定するブレ判定を開始する。なお、判定部９２は、撮像部２が時間的に隣接する２つの画像データに基づいて、撮像装置１にブレが生じているか否かを判定するブレ判定を行ってもよい。
【００３１】
その後、表示制御部９７は、判定部９２の判定結果に基づいて、ライブビュー画像ＬＶ１上に超解像可否の情報を表示部５に表示させる（ステップＳ１０４）。具体的には、表示制御部９７は、判定部９２が撮像装置１にブレが生じていないと判定した場合、ライブビュー画像ＬＶ上に超解像が可能なことを示すアイコンを表示する一方、判定部９２が撮像装置１にブレが生じていると判定した場合、超解像が不可能なことを示す情報、例えば撮像装置１に生じているブレが大きいため、三脚を使用して下さい等のメッセージのアイコンを表示部５に表示させる。
【００３２】
続いて、タッチパネル６に対してタッチがあった場合（ステップＳ１０５：Ｙｅｓ）において、判定部９２は、被写体にブレが生じているか否かを判定する（ステップＳ１０６）。具体的には、判定部９２は、撮像部２が生成した時間的に前後する２つの画像データに基づいて、被写体にブレが発生しているか否かを判定する。なお、判定部９２は、撮像部２が生成した時間的に前後する２つの画像データに基づいて、被写体が動体であるか否かを判定し、被写体が動体の場合、被写体にブレが生じていると判定してもよい。判定部９２が被写体にブレが生じていると判定した場合（ステップＳ１０６：Ｙｅｓ）、撮像装置１は、後述するステップＳ１１２へ移行する。これに対して、判定部９２が被写体にブレが生じていないと判定した場合（ステップＳ１０６：Ｎｏ）、撮像装置１は、後述するステップＳ１０７へ移行する。
【００３３】
ステップＳ１０７において、撮像制御部９６は、撮像部２による連写を開始する（ステップＳ１０７）。この場合、位置制御部９３は、タッチパネル６から入力される信号に対応するタッチ位置を中心に所定の画素毎に移動するように撮像素子２２を光学系２１と直交する面に対して水平方向および鉛直方向に移動させる。これによって、特定の領域のブレだけを気にすれば良くなるので成功率が高まる。例えば、位置制御部９３は、超解像の際の画素間の画素を補間するため、撮像部２が撮像する毎に、画素間の移動が徐々に少なくなるように、あるいは四方または八方、ことなる方向に撮像素子２２を移動させる（例えば０.５画素→０．２画素、あるいは左右→上下→斜め右下→斜め右上→等々）。さらに、撮像制御部９６は、撮影枚数をＭ、画素の倍率をＮとした場合、以下の式（１）によって、撮像装置１が連写する枚数を決定する。
Ｍ＝（Ｎ＾0.5×２）＾2／２＝２Ｎ                  ・・・（１）
【００３４】
続いて、表示制御部９７は、撮像装置１が超解像中の情報をライブビュー画像ＬＶ１上に重畳して表示部５に表示させる（ステップＳ１０８）。具体的には、図４に示すように、表示制御部９７は、撮像装置１が超解像中であることを示すアイコンＡ１をライブビュー画像ＬＶ１上に重畳して表示部５に表示させる。なお、表示制御部９７は、超解像中であることを示す情報をアイコンＡ１に換えて、文字や図形等で表示部５に表示させてもよい。
【００３５】
その後、撮像装置１は、タッチパネル６から入力される信号に対応するタッチ位置を含む領域の超解像画像を生成する（ステップＳ１０９）。具体的には、トリミング部９４は、撮像部２が順次生成した画像データに対応する画像に対して、タッチパネル６から入力される信号に対応するタッチ位置を含む領域を順次切り出して複数のトリミング画像を生成するとともに、超解像処理部９５は、トリミング部９４が順次生成した複数のトリミング画像を用いて、解像度が不足する領域の画素をトリミング画像の画素を用いて補間することによってタッチ位置を含む領域の超解像画像データを生成する。超解像処理部９５による超解像処理が出来た部分（領域）は、後で拡大表示などの鑑賞に耐えることが出来る。さらに、超解像処理部９５による超解像処理が出来た部分（領域）は、後でトリミング処理を行う場合に、通常の画像と同様に解像度を保持することができる。
【００３６】
続いて、判定部９２は、超解像処理部９５によって生成された超解像画像の画素数が光学系２１の解像度を超えたか否かを判定する（ステップＳ１１０）。判定部９２が超解像処理部９５によって生成された超解像画像の画素数が光学系２１の解像度を超えたと判定した場合（ステップＳ１１０：Ｙｅｓ）、撮像装置１は、後述するステップＳ１１１へ移行する。これに対して、判定部９２が超解像処理部９５によって生成された超解像画像の画素数が光学系２１の解像度を超えていないと判定した場合（ステップＳ１１０：Ｎｏ）、撮像装置１は、ステップＳ１１２へ移行する。
【００３７】
ステップＳ１１１において、判定部９２は、撮像部２の連写が所定の枚数に到達したか否かを判定する。具体的には、判定部９２は、上述したステップＳ１０７で撮像制御部９６が算出した撮影枚数に、撮像部２の連写の撮影枚数が到達したか否かを判定する。判定部９２が撮像部２の連写が所定の枚数に到達したと判定した場合（ステップＳ１１１：Ｙｅｓ）、撮像装置１は、後述するステップＳ１１２へ移行する。これに対して、判定部９２が撮像部２の連写が所定の枚数に到達していないと判定した場合（ステップＳ１１１：Ｎｏ）、撮像装置１は、上述したステップＳ１０５へ移行する。
【００３８】
ステップＳ１０５において、タッチパネル６に対してタッチがない場合（ステップＳ１０５：Ｎｏ）、撮像装置１は、後述するステップＳ１１２へ移行する。なお、タッチパネル６に対してタッチがない場合には、タッチが離間した場合も含まれる。
【００３９】
続いて、超解像処理部９５による超解像画像を生成済みである場合（ステップＳ１１２：Ｙｅｓ）、撮像制御部９６は、撮像部２による連写を終了する（ステップＳ１１３）。この場合、表示制御部９７は、表示部５に超解像画像の生成が終了したことを示す情報または光学系２１の解像度を超えたことを示す情報を文字や図形等で表示させてもよい。
【００４０】
続いて、撮像制御部９６は、各種の情報を示す既存ヘッダと、タッチ検出部９１が検出したタッチパネル６上におけるタッチ位置を含む領域情報と、撮像部２が生成した画像データに対応する通常画像（非超解像画像）と、トリミング部９４が生成した部分超解像用画像の複数のトリミング画像データ、超解像処理部９５が生成した超解像画像データ、とを対応付けた画像ファイルを生成して記録部８に記録する（ステップＳ１１４）。具体的には、図５に示すように、撮像制御部９６は、各種の情報を示す既存ヘッダｈ１と、タッチ検出部９１が検出したタッチパネル６上におけるタッチ位置を含む領域情報ｈ２と、撮像部２が生成した画像データに対応する通常画像（非超解像画像）ｈ３と、トリミング部９４が生成した部分超解像用画像の複数のトリミング画像データｈ４、超解像処理部９５が生成した超解像画像データｈ５、とを対応付けた画像ファイルＤ１を生成して記録部８に記録する。
【００４１】
その後、表示制御部９７は、超解像処理部９５によって生成された超解像画像を表示部５の全画面領域に拡大して表示する（ステップＳ１１５）。具体的には、図６に示すように、表示制御部９７は、超解像処理部９５によって生成された超解像画像Ｔ２を表示部５の全画面領域に拡大して表示する。これにより、ユーザは、超解像画像Ｔ２を確認することができる。さらに、ユーザは、タッチの長さ（タッチ位置の継続時間）に応じて、好きな解像度を確認しながら選ぶことが出来る。表示制御部９７は、タッチが長いほど（タッチ位置の継続時間）画像の解像度が上がって拡大表示や鑑賞に耐えるので、超解像処理部９５による超解像処理による超解像画像データができるたびに、該超解像画像データに対応する超解像画像を拡大表示するようにしても良い。これにより、ユーザは、超解像処理部９５による超解像処理の効果を確認しながら、タッチ操作を止められる。なお、本実施の形態では、撮像装置１は、タッチの終わり（タッチパネル６からの位置信号の停止）ですぐに撮像部３の連写を止める必要がなく、タッチ終了後も、必要に応じて連写を継続させても良い。トリミング部９５は、タッチ継続時に、撮像素子８１が生成した画像データに対応する画像から切り出すトリミング領域を徐々に拡大してもよい。
【００４２】
その後、表示部５が画像を表示して所定時間経過（例えば３秒）した場合（ステップＳ１１６：Ｙｅｓ）、撮像装置１は、後述するステップＳ１１７へ移行する。これに対して、表示部５が画像を表示して所定時間経過していない場合（ステップＳ１１６：Ｎｏ）、撮像装置１は、この判断を続ける。
【００４３】
続いて、操作部７を介して撮像装置１の電源がオフになった場合（ステップＳ１１７：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、操作部７を介して撮像装置１の電源がオフになっていない場合（ステップＳ１１７：Ｎｏ）、撮像装置１は、上述したステップＳ１０１へ戻る。
【００４４】
ステップＳ１１２において、超解像処理部９５による超解像画像を生成済みでない場合（ステップＳ１１２：Ｎｏ）、撮像装置１は、後述するステップＳ１１８へ移行する。
【００４５】
続いて、タッチパネル６に対してタッチ済みである場合（ステップＳ１１８：Ｙｅｓ）、表示制御部９７は、最初の一枚を表示部５に表示させる（ステップＳ１１９）。具体的には、表示制御部９７は、撮像部２が生成した画像データに対応する画像を最初の一枚として表示部５に表示させる。ステップＳ１１９の後、撮像装置１は、ステップＳ１１６へ移行する。
【００４６】
ステップＳ１１８において、タッチパネル６に対してタッチ済みでない場合、即ち、タッチがない場合（ステップＳ１１８：Ｎｏ）、撮像装置１は、ステップＳ１２０へ移行する。
【００４７】
続いて、操作部７から撮影を指示するレリーズ信号があった場合（ステップＳ１２０：Ｙｅｓ）、撮像制御部９６は、撮像部２に撮影を実行させる（ステップＳ１２１）。
【００４８】
その後、表示制御部９７は、撮像部２が生成した画像データに対応する画像を表示部５に確認表示させる（ステップＳ１２２）。ステップＳ１２２の後、撮像装置１は、ステップＳ１１６へ移行する。
【００４９】
ステップＳ１２０において、操作部７から撮影を指示するレリーズ信号がない場合（ステップＳ１２０：Ｎｏ）、撮像装置１は、ステップＳ１１７へ移行する。
【００５０】
次に、撮像装置１が撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）において、撮像装置１が再生モードに設定されているとき（ステップＳ１２３：Ｙｅｓ）について説明する。この場合、表示制御部９７は、画像データ記録部８２に記録された複数の画像データに対応する複数のサムネイル画像を表示部５に表示させる（ステップＳ１２４）。
【００５１】
続いて、操作部７またはタッチパネル６を介して表示部５が表示する複数のサムネイル画像の中から画像が選択された場合（ステップＳ１２５：Ｙｅｓ）、撮像装置１は、後述するステップＳ１２６へ移行する。これに対して、操作部７またはタッチパネル６を介して表示部５が表示する複数のサムネイル画像の中から画像が選択されていない場合（ステップ１２５：Ｎｏ）、撮像装置１は、ステップＳ１２４へ戻る。
【００５２】
ステップＳ１２６において、操作部７またはタッチパネル６を介して選択された画像が超解像撮影画像である場合（ステップＳ１２６：Ｙｅｓ）、撮像装置１は、後述するステップＳ１２８へ移行する。これに対して、操作部７またはタッチパネル６を介して選択された画像が超解像撮影画像でない場合（ステップＳ１２６：Ｎｏ）、撮像装置１は、後述するステップＳ１２７へ移行する。
【００５３】
ステップＳ１２７において、表示制御部９７は、操作部７またはタッチパネル６を介して選択された画像を表示部５の表示領域に拡大して表示する通常表示を行う。ステップＳ１２７の後、撮像装置１は、後述するステップＳ１３４へ移行する。
【００５４】
ステップＳ１２８において、表示制御部９７は、超解像画像のベースの一枚の画像を表示部５に表示させる。具体的には、図７に示すように、表示制御部９７は、超解像画像の画像ファイルに含まれる通常の画像データに対応する画像Ｗ１をベースの一枚の画像として表示部５に表示させる。
【００５５】
続いて、表示制御部９７は、表示部５が表示する画像が超解像画像であることを示す超解像画像マークを重畳して表示部５に表示させる（ステップＳ１２９）。具体的には、表示制御部９７は、超解像画像の画像ファイルに含まれる領域情報に基づいて、超解像画像の領域に対応するマークＦ１を画像Ｗ１に重畳して表示部５に表示させる。これにより、ユーザは、超解像画像の領域を直感的に把握することができる。なお、表示制御部９７は、マークＦ１に換えて、文字や図形等で超解像画像であることを表示部５に表示させてもよい。
【００５６】
その後、操作部７を介して表示部５が表示する画像の一部を拡大する拡大操作が行われた場合（ステップＳ１３０：Ｙｅｓ）において、拡大後の画角（領域）に超解像領域があるとき（ステップＳ１３１：Ｙｅｓ）、超解像処理部９５は、画像ファイルに格納された複数の超解像用画像を使って画素補間して拡大する（ステップＳ１３２）。
【００５７】
続いて、表示制御部９７は、超解像処理部９５が画素補間した拡大画像を表示部５に表示させる（ステップＳ１３３）。
【００５８】
その後、操作部７を介して再生を終了する操作が行われた場合（ステップＳ１３４：Ｙｅｓ）、撮像装置１は、ステップＳ１１７へ移行する。これに対して、操作部７を介して再生を終了する操作が行われていない場合（ステップＳ１３４：Ｎｏ）、撮像装置１は、上述したステップＳ１２４へ戻る。
【００５９】
ステップＳ１３０において、操作部７を介して表示部５が表示する画像の一部を拡大する拡大操作が行われていない場合（ステップＳ１３０：Ｎｏ）、撮像装置１は、ステップＳ１３４へ移行する。
【００６０】
ステップＳ１３１において、拡大後の画角（領域）に超解像領域がないとき（ステップＳ１３１：Ｎｏ）、超解像処理部９５は、画角の画素を用いた画素補間を行って拡大する（ステップＳ１３５）。ステップＳ１３５の後、撮像装置１は、ステップＳ１３３へ移行する。
【００６１】
ステップＳ１２３において、撮像装置１が撮影モードに設定されていない場合（ステップＳ１２３：Ｎｏ）、撮像装置１は、ステップＳ１１７へ移行する。
【００６２】
以上説明した本実施の形態によれば、タッチ位置が継続されている場合、位置制御部９４が撮像素子２２を移動させ、かつ、トリミング部９５が撮像素子８１によって順次生成された画像データに対して、タッチ位置を含む領域を順次切り出してトリミング画像データを生成し、超解像処理部９５がトリミング部９５によって順次生成された複数のトリミング画像データを用いて超高解像画像データを生成するので、使用者の意思をリアルタイムで反映させた超高解像度の画像を得ることができる。
【００６３】
さらに、本実施の形態によれば、タッチ位置が継続されている場合、トリミング部９５が撮像素子８１によって順次生成された画像データに対して、タッチ位置を含む領域のみを順次切り出してトリミング画像データを生成することによって、全領域の超高解像画像データを比べて計算量を低減することができるので、リアルタイムで使用者の意思を反映させた超高解像度の画像を得ることができる。
【００６４】
また、本実施の形態によれば、判定部９２によって超解像画像の画素数が光学系２１の解像度を超えたと判定された場合、撮像制御部９６が超解像処理部９５による超解像画像データの生成を終了させるので、無駄な撮影を防止させることができる。
【００６５】
また、本実施の形態では、表示制御部９７が表示部５によって表示される画像が超解像画像である場合、超解像画像マークを重畳して表示部５に表示させていたが、例えば図８に示すように、超解像画像Ｔ２を画像Ｗ１に重畳して表示部５に表示させてもよい。さらに、図９に示すように、画像Ｗ１と超解像画像Ｔ２とを別々に表示部５に同時に表示させてもよい。
【００６６】
また、本発明に係る撮像装置は、デジタルスチイルカメラ以外にも、デジタルビデオカメラ、撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器および内視鏡や顕微鏡で撮像された医療用、産業用分野の画像データに対応する画像を表示する表示装置等にも適用することができる。ユーザが気になる所がどんどん拡大確認できるわけであるから、特に検査装置などでは有用なインターフェースとなる。いたずらに画素数を増やさず、装置を小型化したり、画素の面積を仮想的に大きくしたりして、感度を高めることも出来る。
【００６７】
また、本発明に係る撮像装置または撮像装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００６８】
また、本発明に係る撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明に係る撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００６９】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【００７０】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【００７１】
１・・・撮像装置；２・・・撮像部；３・・・位置変更部；４・・・姿勢検出部；５・・・表示部；６・・・タッチパネル；７・・・操作部；８・・・記録部；９・・・制御部；２１・・・光学系；２２・・・撮像素子；８１・・・プログラム記録部；８２・・・画像データ記録部；９１・・・タッチ検出部；９２・・・判定部；９３・・・位置制御部；９４・・・トリミング部；９５・・・超解像処理部；９６・・・撮像制御部；９７・・・表示制御部
【図１】
2016111652.tif 000003
【図２】
2016111652.tif 000004
【図３】
2016111652.tif 000005
【図４】
2016111652.tif 000006
【図５】
2016111652.tif 000007
【図６】
2016111652.tif 000008
【図７】
2016111652.tif 000009
【図８】
2016111652.tif 000010
【図９】
2016111652.tif 000011