(57)【要約】【課題】高解像度化画像を生成する超解像処理を行っている間においても、ライブビュー画像を更新することができる。【解決手段】制御部１０は、記録部１３が記録動作を行っていない場合に、映像生成部１１が出力する映像フレームを表示部１８に入力するように第１切替部１５を制御し、超解像処理部１４が出力する高解像度化画像を記録部１３に入力するように第２切替部１７を制御し、さらに、超解像処理部１４が高解像度化画像を生成して出力し、記録部１３が当該高解像度化画像を記録する処理と、映像生成部１１が出力する映像フレームに基づいたライブビュー画像を表示部１８が表示する処理とを同時に行うように制御する。【選択図】図１
2012124576.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像した画像からなる映像フレームを生成して出力する映像生成部と、
前記映像生成部が出力する映像フレームを蓄積するフレーム蓄積部と、
前記フレーム蓄積部が蓄積した前記映像フレームおよび高解像度化画像を記録する記録動作を行う記録部と、
前記記録部が記録する前記映像フレームを用いて前記高解像度化画像を生成して出力する超解像処理部と、
前記映像生成部が出力する前記映像フレームと、前記記録部が記録する前記映像フレームおよび前記高解像度化画像と、前記超解像処理部が出力する高解像度化画像とのうち、いずれか一つを出力する第１切替部と、
前記第１切替部が出力する前記映像フレームに基づいたライブビュー画像または前記高解像度化画像に基づいた静止画像を表示する表示部と、
前記第１切替部が出力する前記映像フレームと、前記超解像処理部が出力する前記高解像度化画像とのうち、いずれか一つを前記記録部に入力する第２切替部と、
前記記録部が前記記録動作を行っていない場合に、前記映像生成部が出力する前記映像フレームを前記表示部に入力するように前記第１切替部を制御し、前記超解像処理部が出力する前記高解像度化画像を前記記録部に入力するように前記第２切替部を制御し、さらに、前記超解像処理部が前記高解像度化画像を生成して出力し、前記記録部が当該高解像度化画像を記録する処理と、前記映像生成部が出力する前記映像フレームに基づいたライブビュー画像を前記表示部が表示する処理とを同時に行うように制御する制御部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記フレーム蓄積部は、前記映像生成部が生成して出力する前記映像フレームを取り込み、前記超解像処理に必要なフレーム数の前記映像フレームを蓄積する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記記録部は、前記フレーム蓄積部に蓄積された前記映像フレームをフレーム群としてまとめて記録する
ことを特徴とする請求項１または請求項２のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来、複数枚の静止画像を用いて１枚の高解像度化画像を生成することができる撮像装置が知られている。また、回路間の接続を切り替える切替部を備え、動画を撮影する場合には、切替部が動画撮影に用いる回路と共有回路とを接続し、静止画を撮影する場合には、切替部が静止画撮影に用いる回路と共有回路とを接続することで、一部の回路を動画の撮影と静止画の撮影とで共有することができる撮像装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２０６６５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来知られている複数枚の静止画像を用いて１枚の高解像度化画像を生成することができる撮像装置では、高解像度化画像の生成を行っている間にはライブビュー画像を表示することができないという問題がある。また、高解像度化画像の生成が完了するまでには時間が掛かるが、高解像度化画像の生成が完了するまでは高解像度化画像を表示部に表示する事ができないという問題がある。そのため、表示部に画像が表示されない時間（ブラックアウト時間）が長くなるという問題があった。また、特許文献１の技術では、静止画の撮影と動画の撮影という２つの処理を同時に行うことができないという問題がある。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、高解像度化画像を生成する超解像処理を行っている間においても、ライブビュー画像を更新することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、被写体を撮像した画像からなる映像フレームを生成して出力する映像生成部と、前記映像生成部が出力する映像フレームを蓄積するフレーム蓄積部と、前記フレーム蓄積部が蓄積した前記映像フレームおよび高解像度化画像を記録する記録動作を行う記録部と、前記記録部が記録する前記映像フレームを用いて前記高解像度化画像を生成して出力する超解像処理部と、前記映像生成部が出力する前記映像フレームと、前記記録部が記録する前記映像フレームおよび前記高解像度化画像と、前記超解像処理部が出力する高解像度化画像とのうち、いずれか一つを出力する第１切替部と、前記第１切替部が出力する前記映像フレームに基づいたライブビュー画像または前記高解像度化画像に基づいた静止画像を表示する表示部と、前記第１切替部が出力する前記映像フレームと、前記超解像処理部が出力する前記高解像度化画像とのうち、いずれか一つを前記記録部に入力する第２切替部と、前記記録部が前記記録動作を行っていない場合に、前記映像生成部が出力する前記映像フレームを前記表示部に入力するように前記第１切替部を制御し、前記超解像処理部が出力する前記高解像度化画像を前記記録部に入力するように前記第２切替部を制御し、さらに、前記超解像処理部が前記高解像度化画像を生成して出力し、前記記録部が当該高解像度化画像を記録する処理と、前記映像生成部が出力する前記映像フレームに基づいたライブビュー画像を前記表示部が表示する処理とを同時に行うように制御する制御部と、を備えることを特徴とする撮像装置である。
【０００７】
また、本発明の撮像装置において、前記フレーム蓄積部は、前記映像生成部が生成して出力する前記映像フレームを取り込み、前記超解像処理に必要なフレーム数の前記映像フレームを蓄積することを特徴とする。
【０００８】
また、本発明の撮像装置において、前記記録部は、前記フレーム蓄積部に蓄積された前記映像フレームをフレーム群としてまとめて記録することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、映像生成部は、被写体を撮像した画像からなる映像フレームを生成して出力する。また、フレーム蓄積部は、映像生成部が出力する映像フレームを蓄積する。また、記録部は、フレーム蓄積部が蓄積した映像フレームおよび高解像度化画像を記録する記録動作を行う。また、超解像処理部は、記録部が記録する映像フレームを用いて高解像度化画像を生成して出力する。また、第１切替部は、映像生成部が出力する映像フレームと、記録部が記録する映像フレームおよび高解像度化画像と、超解像処理部が出力する高解像度化画像とのうち、いずれか一つを出力する。また、表示部は、第１切替部が出力する映像フレームに基づいたライブビュー画像または高解像度化画像に基づいた静止画像を表示する。また、第２切替部は、第１切替部の出力と、超解像処理部の出力とのうち、いずれか一つを記録部に入力する。そして、制御部は、記録部が記録動作を行っていない場合に、映像生成部が出力する映像フレームを表示部に入力するように第１切替部を制御し、超解像処理部が出力する高解像度化画像を記録部に入力するように第２切替部を制御し、さらに、超解像処理部が高解像度化画像を生成して出力し、記録部が当該高解像度化画像を記録する処理と、映像生成部が出力する映像フレームに基づいたライブビュー画像を表示部が表示する処理とを同時に行うように制御する。
【００１０】
これにより、超解像処理部が超解像処理を行っている場合において、映像生成部が出力する映像フレームは表示部に入力されるため、高解像度化画像を生成する超解像処理を行っている間においても、表示部が表示するライブビュー画像を更新することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態における撮像装置の構成を示したブロック図である。
【図２】本発明の第１の実施形態において、映像生成部が生成した映像信号が各部に入力される時間と、超解像処理部が生成した高解像度化画像が記録部に記録される時間とを示したタイムチャートである。
【図３】本発明の第２の実施形態における撮像装置の構成を示したブロック図である。
【図４】本発明の第２の実施形態において、映像生成部が生成した映像信号が各部に入力される時間を示したタイムチャートである。
【図５】本発明の第２の実施形態において、記録部が記録したフレーム群が超解像処理部に入力される時間と、超解像処理部が生成した高解像度化画像が各部に入力される時間とを示したタイムチャートである。
【図６】本発明の第２の実施形態における撮像装置の動作手順を示したフローチャートである。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本実施形態における撮像装置の構成を示したブロック図である。図示する例では、撮像装置１は、制御部１０と、映像生成部１１と、フレーム蓄積部１２と、記録部１３と、超解像処理部１４と、第１切替部１５と、画像処理部１６と、第２切替部１７と、表示部１８と、操作入力部１９とを有する。
【００１３】
制御部１０は、撮像装置１が備える各部の制御を行う。映像生成部１１は、光学センサおよびレンズを有する。また、映像生成部１１は、被写体からの光学像を光電変換し、光電変換した信号を映像信号としてフレーム蓄積部１２と切替部１５とに出力する。この映像信号は、撮影するタイミングごとに生成される画像を時系列順に並べたものである。また、映像信号に含まれる各時刻の画像をフレームと呼ぶ。また、フレームを複数まとめたものをフレーム群と呼ぶ。また、映像生成部１１が画像を撮影するタイミングを例えば６０ｆｐｓとする。この撮影タイミングは、使用者が、操作入力部１９を操作して任意に設定できるようにしてもよい。
【００１４】
フレーム蓄積部１２は、超解像処理部１４が高解像度化画像を生成するために必要とする数のフレームを蓄積することができる蓄積領域を持ち、映像生成部１１が出力するフレームを複数枚蓄積する。また、フレーム蓄積部１２は、蓄積領域に空きが無い場合に映像生成部１１から新しいフレームが入力されると、蓄積している中で最も過去に入力されたフレームを消去して新しいフレームを蓄積する。また、フレーム蓄積部１２は、制御部１０の制御により、蓄積しているフレーム群を記録部１３に出力する。
【００１５】
記録部１３は、後述する静止画記録動作の際に、フレーム蓄積部１２が出力するフレーム群を記録する。なお、静止画記録動作の際に、フレーム蓄積部１２が出力するフレーム群を記録部１３が記録する処理を記録処理とする。また、記録部１３は、第２切替部１７が出力する高解像度化画像を記録する。また、記録部１３は、第２切替部１７が出力するライブビュー画像を動画像として記録する。また、記録部１３は、制御部１０の制御により、記録しているフレーム群を超解像処理部１４に出力する。また、記録部１３は、制御部１０の制御により、記録している高解像度化画像を第１切替部１５に出力する。
【００１６】
超解像処理部１４は、記録部１３が出力するフレーム群を用いて超解像処理動作を行い、解像度を増やした高解像度化画像を生成する。また、超解像処理部１４は、生成した高解像度化画像を第１切替部１５と第２切替部１７とに出力する。なお、高解像度化画像を生成するには処理時間が掛かるため、超解像処理部１４にフレーム群が入力されてから、超解像処理部１４が高解像度化画像を出力するまでに一定の処理遅延時間が存在する。
【００１７】
第１切替部１５は、制御部１０の制御により、映像生成部１１が出力する映像信号と、記録部１３が出力する高解像度化画像と、超解像処理部１４が出力する高解像度化画像とのうち一つを選択して画像処理部１６に出力する。画像処理部１６は、第１切替部１５が出力する映像信号に対して画像処理を行い、ライブビュー画像として第２切替部１７と表示部１８とに出力する。また、画像処理部１６は、第１切替部１５が出力する高解像度化画像に対して画像処理を行い、第２切替部１７と表示部１８とに出力する。
【００１８】
第２切替部１７は、制御部１０の制御により、超解像処理部１４が出力する高解像度化画像と、画像処理部１６が出力する高解像度化画像またはライブビュー画像とのうち一つを選択して記録部１３に出力する。表示部１８は、画像処理部１６が出力する高解像度化画像またはライブビュー画像を表示する。操作入力部１９は、シャッターボタンや入力キーなどを備えており、操作者からの指示の入力を受け付け、入力された指示に応じた信号を制御部１０に出力する。
【００１９】
次に、本実施形態において、静止画を撮影して高解像度化画像を生成する静止画撮影モードで動作する際の撮像装置１の動作手順について説明する。撮像装置１の動作モードについては、使用者が、操作入力部１９を操作して任意に設定することができる。静止画撮影モードで動作している場合、撮像装置１は、ライブビュー画像を表示するライブビュー画像表示動作と、静止画を記録する静止画記録動作と、記録した静止画を用いて高解像度化画像を生成する超解像処理動作とのいずれかの動作を実行する。
【００２０】
撮像装置１は、記録部１３が記録処理を行っておらず、記録部１３に超解像処理を行っていないフレーム群が記録されていない場合、ライブビュー画像表示動作を実行する。また、撮像装置１は、操作入力部１９が静止画記録動作の指示を受け付けた場合（例えば、シャッターボタンが押下された場合）、静止画記録動作を実行する。また、撮像装置１は、記録部１３が記録処理を行っておらず、記録部１３に超解像処理を行っていないフレーム群が記録されている場合、超解像処理動作を実行する。
【００２１】
なお、撮像装置１が静止画撮影モードで動作する場合、制御部１０は、映像生成部１１が出力する映像信号と、記録部１３が出力する高解像度化画像と、超解像処理部１４が出力する高解像度化画像とのうち、映像生成部１１が出力する映像信号を画像処理部１６に対して出力するように第１切替部１５を制御する。また、制御部１０は、超解像処理部１４が出力する高解像度化画像と、画像処理部１６が出力する高解像度化画像またはライブビュー画像とのうち、超解像処理部１４が出力する高解像度化画像を記録部１３に対して出力するように第２切替部１７を制御する。
【００２２】
（ライブビュー画像表示動作）
以下、撮像装置１が実行するライブビュー画像表示動作について説明する。映像生成部１１が出力する映像信号は、フレーム蓄積部１２と第１切替部１５とに出力される。フレーム蓄積部１２は、映像生成部１１が出力する映像信号のうち、最新のフレームから一定枚数のフレームを蓄積し、過去のフレームを破棄する。また、第１切替部１５は、映像生成部１１が出力する映像信号を画像処理部１６に出力する。画像処理部１６は、第１切替部１５が出力した映像信号を画像処理し、ライブビュー画像として表示部１８と第２切替部１７とに出力する。表示部１８は、画像処理部１６が出力したライブビュー画像を表示する。なお、第２切替部１７は、画像処理部１６が出力したライブビュー画像を破棄する。
【００２３】
このライブビュー画像表示動作を実行することにより、撮像装置１は、一定期間のフレーム群をフレーム蓄積部１２に蓄積しつつ、ライブビュー画像を表示部１８に表示することができる。なお、撮像装置１は、操作入力部１９が静止画記録動作の指示を受け付けた場合、ライブビュー画像表示動作を終了して静止画記録動作を実行する。
【００２４】
（静止画記録動作）
以下、撮像装置１が実行する静止画記録動作について説明する。制御部１０は、フレーム蓄積部１２が蓄積しているフレーム群を記録部１３に出力させる。記録部１３はフレーム蓄積部１２が出力するフレーム群を記録する。一方、映像生成部１１が出力する映像信号は、フレーム蓄積部１２と第１切替部１５とに出力される。フレーム蓄積部１２は、フレーム群を記録部１３に対して出力中であるため、入力された映像信号を破棄する。また、第１切替部１５は、映像生成部１１が出力した映像信号を画像処理部１６に出力する。画像処理部１６は、第１切替部１５が出力した映像信号を画像処理し、ライブビュー画像として表示部１８と第２切替部１７とに出力する。表示部１８は、画像処理部１６が出力したライブビュー画像を表示する。なお、第２切替部１７は、画像処理部１６が出力したライブビュー画像を破棄する。
【００２５】
この静止画像記録動作を実行することにより、撮像装置１は、フレーム蓄積部１２に蓄積されたフレーム群を記録部１３に記録しつつ、ライブビュー画像を表示部１８に表示することができる。なお、撮像装置１は、フレーム蓄積部１２に蓄積されているフレーム群を記録部１３に全て記録した場合、静止画記録動作を終了して超解像処理動作を実行する。
【００２６】
（超解像処理動作）
以下、撮像装置１が実行する超解像処理動作について説明する。制御部１０は、記録部１３が記録しているフレーム群を出力させる。超解像処理部１４は、記録部１３が出力するフレーム群を用いて高解像度化画像を生成する。また、超解像処理部１４は、生成した高解像度化画像を第１切替部１５と第２切替部１７とに出力する。第１切替部１５は、超解像処理部１４が出力する高解像度化画像を破棄する。また、第２切替部１７は、超解像処理部１４が出力する高解像度化画像を記録部１３に出力する。記録部１３は、第２切替部１７が出力する高解像度化画像を記録する。
【００２７】
一方、映像生成部１１が出力する映像信号は、フレーム蓄積部１２と第１切替部１５とに出力される。フレーム蓄積部１２は、映像生成部１１が出力する映像信号のうち、最新のフレームから一定枚数のフレームを蓄積し、過去のフレームを破棄する。また、第１切替部１５は、映像生成部１１が出力した映像信号を画像処理部１６に出力する。画像処理部１６は、第１切替部１５が出力した映像信号を画像処理し、ライブビュー画像として表示部１８と第２切替部１７とに出力する。表示部１８は、画像処理部１６が出力したライブビュー画像を表示する。なお、第２切替部１７は、画像処理部１６が出力したライブビュー画像を破棄する。
【００２８】
この超解像処理動作を実行することにより、撮像装置１は、記録部１３に記録したフレーム群を用いて高解像度化画像を生成しつつ、映像生成部１１が出力する映像信号に基づいたライブビュー画像を表示部１８に表示することができ、さらに、一定期間のフレーム群をフレーム蓄積部１２に蓄積することができる。
【００２９】
次に、撮像装置１が静止画撮影モードで動作する際において、映像生成部１１が生成した映像信号が各部に入力される時間と、超解像処理部１４が生成した高解像度化画像が記録部１３に記録される時間とについて説明する。図２は、本実施形態において、映像生成部１１が生成した映像信号が各部に入力される時間と、超解像処理部１４が生成した高解像度化画像が記録部１３に記録される時間とを示したタイムチャートである。なお、タイムチャートの横軸は時間を示している。
【００３０】
図示するように、ライブビュー画像表示動作を行っている場合、映像生成部１１が生成した映像信号は、フレーム蓄積部１２と画像処理部１６とに出力されている。フレーム蓄積部１２は、入力された映像信号を蓄積する。また、画像処理部１６は、入力された映像信号を画像処理し、ライブビュー画像として表示部１８に出力する。表示部１８は、画像処理部１６が出力するライブビュー画像を表示する。
【００３１】
操作者により静止画記録操作が行われると、撮像装置１は静止画記録動作を実行する。具体的には、フレーム蓄積部１２に蓄積されたフレーム群は記録部１３に転送され、記録部１３がフレーム群を記録する記録処理が開始される。一方、映像生成部１１が生成した映像信号は、画像処理部１６に出力されている。また、画像処理部１６は、入力された映像信号を画像処理し、ライブビュー画像として表示部１８に出力する。表示部１８は、画像処理部１６が出力するライブビュー画像を表示する。
【００３２】
静止画記録動作が完了すると、撮像装置１は超解像処理動作を実行する。具体的には、制御部１０は、記録部１３を制御し、記録部１３が記録しているフレーム群を出力させる。また、超解像処理部１４は、記録部１３が出力するフレーム群を読み込む。続いて、超解像処理部１４は、読み込んだフレーム群を用いて高解像度化画像を生成し、生成した高解像度化画像を第２切替部１７に出力する。第２切替部１７は、超解像処理部１４が出力した高解像度化画像を記録部１３に出力する。記録部１３は、第２切替部１７が出力した高解像度化画像を記録する。一方、映像生成部１１が生成した映像信号は、フレーム蓄積部１２と画像処理部１６とに出力されている。フレーム蓄積部１２は、入力された映像信号を蓄積する。また、画像処理部１６は、入力された映像信号を画像処理し、ライブビュー画像として表示部１８に出力する。表示部１８は、画像処理部１６が出力するライブビュー画像を表示する。なお、超解像処理動作が完了すると、撮像装置１はライブビュー画像表示動作を実行する。
【００３３】
このように、撮像装置１が静止画撮影モードで動作する際において、映像生成部１１が生成した映像信号が各部に入力され、超解像処理部１４が生成した高解像度化画像が記録部１３に記録される。また、表示部１８は、映像生成部１１が生成した映像信号に基づいたライブビュー画像を常に表示する。
【００３４】
次に、本実施形態において、超解像処理部１４が生成して記録部１３に記録した高解像度化画像を表示部１８に表示する高解像度化画像表示モードで動作する際の撮像装置１の動作手順について説明する。操作者により、撮像装置１の動作モードとして高解像度化画像表示モードが設定された場合、撮像装置１は、高解像度化画像を表示部１８に表示する高解像度化画像表示動作を実行する。なお、撮像装置１が高解像度化画像表示モードで動作する場合、制御部１０は、映像生成部１１が出力する映像信号と、記録部１３が出力する高解像度化画像と、超解像処理部１４が出力する高解像度化画像とのうち、記録部１３が出力する高解像度化画像を画像処理部１６に出力するように第１切替部１５を制御する。また、制御部１０は、超解像処理部１４が出力する高解像度化画像と、画像処理部１６が出力する高解像度化画像と、ライブビュー画像とを破棄するように第２切替部１７を制御する。
【００３５】
以下、撮像装置１が実行する高解像度化画像表示動作について説明する。制御部１０は、記録部１３が記録している高解像度化画像を出力させる。第１切替部１５は、記録部１３が出力する高解像度化画像を画像処理部１６に出力する。画像処理部１６は、第１切替部１５が出力した高解像度化画像を画像処理し、表示部１８と第２切替部１７とに出力する。表示部１８は、画像処理部１６が出力した高解像度化画像を表示する。
【００３６】
一方、映像生成部１１が出力する映像信号は、フレーム蓄積部１２と第１切替部１５とに出力される。フレーム蓄積部１２は、映像生成部１１が出力する映像信号のうち、最新のフレームから一定枚数のフレームを蓄積し、過去のフレームを破棄する。また、第１切替部１５は、映像生成部１１が出力した映像信号を破棄する。
【００３７】
この高解像度化画像表示動作を実行することにより、撮像装置１は、記録部１３に記録されている高解像度化画像を表示部１８に表示させつつ、一定期間のフレーム群をフレーム蓄積部１２に蓄積することができる。
【００３８】
次に、本実施形態において、動画を撮影する動画撮影モードで動作する際の撮像装置１の動作手順について説明する。操作者により、撮像装置１の動作モードとして動画撮影モードが設定された場合、撮像装置１は、動画を撮影する動画撮影動作を実行する。なお、撮像装置１が動画撮影モードで動作する場合、制御部１０は、映像生成部１１が出力する映像信号と、記録部１３が出力する高解像度化画像と、超解像処理部１４が出力する高解像度化画像とのうち、映像生成部１１が出力する映像信号を画像処理部１６に出力するように第１切替部１５を制御する。また、制御部１０は、超解像処理部１４が出力する高解像度化画像と、画像処理部１６が出力する高解像度化画像またはライブビュー画像とのうち、画像処理部１６が出力するライブビュー画像を記録部１３に出力するように第２切替部１７を制御する。
【００３９】
以下、撮像装置１が実行する動画撮影動作について説明する。映像生成部１１が出力する映像信号は、フレーム蓄積部１２と第１切替部１５とに出力される。フレーム蓄積部１２は、映像生成部１１が出力する映像信号のうち、最新のフレームから一定枚数のフレームを蓄積し、過去のフレームを破棄する。また、第１切替部１５は、映像生成部１１が出力した映像信号を画像処理部１６に出力する。画像処理部１６は、第１切替部１５が出力した映像信号を画像処理し、ライブビュー画像として表示部１８と第２切替部１７とに出力する。表示部１８は、画像処理部１６が出力したライブビュー画像を表示する。また、第２切替部１７は、画像処理部１６が出力したライブビュー画像を記録部１３に出力する。記録部１３は、第２切替部１７が出力したライブビュー画像を動画像として記録する。
【００４０】
この動画撮影処理動作を実行することにより、撮像装置１は、一定期間のフレーム群をフレーム蓄積部１２に蓄積しつつ、記録部１３に動画像を記録することができる。
【００４１】
上述したとおり、本実施形態によれば、撮像装置１は、静止画撮影モードで動作する際に、記録部１３が記録処理を行っておらず、記録部１３に超解像処理を行っていないフレーム群が記録されている場合、超解像処理動作を実行する。
【００４２】
具体的には、制御部１０は、映像生成部１１が出力する映像信号と、記録部１３が出力する高解像度化画像と、超解像処理部１４が出力する高解像度化画像とのうち、映像生成部１１が出力する映像信号を画像処理部１６に出力するように第１切替部１５を制御する。また、制御部１０は、超解像処理部１４が出力する高解像度化画像と、画像処理部１６が出力する高解像度化画像またはライブビュー画像とのうち、超解像処理部１４が出力する高解像度化画像を記録部１３に出力するように第２切替部１７を制御する。また、制御部１０は、記録部１３にフレーム群を出力させ、このフレーム群を用いて超解像処理部１４が高解像度化画像を生成する処理と、超解像処理部１４が生成した高解像度化画像を記録部１３に記録する処理と、映像生成部１１が出力する映像信号に基づいたライブビュー画像を表示部１８が表示する処理とを同時に行うように制御する。
【００４３】
このように、記録部１３が出力したフレーム群を用いて超解像処理部１４が高解像度化画像を生成している間、第１切替部１５は、超解像処理部１４の出力を画像処理部１６に出力するのではなく、映像生成部１１が出力する映像信号を画像処理部１６に出力する。そして、画像処理部１６は、第１切替部１５が出力する映像信号の画像処理を行いライブビュー画像として出力し、表示部１８がライブビュー画像を表示する。従って、撮像装置１は、超解像処理部１４が超解像処理を行っている間においても、映像生成部１１が出力する映像信号に基づいたライブビュー画像を表示部１８に表示する事ができる。
【００４４】
また、本実施形態によれば、撮像装置１は、高解像度化画像を表示部１８に表示する高解像度化画像表示モードで動作する場合、制御部１０は、映像生成部１１が出力する映像信号と、記録部１３が出力する高解像度化画像と、超解像処理部１４が出力する高解像度化画像とのうち、記録部１３が出力する高解像度化画像を画像処理部１６に出力するように第１切替部１５を制御する。また、画像処理部１６は、第１切替部１５が出力する高解像度化画像の画像処理を行って出力し、表示部１８は、画像処理部１６が出力する高解像度化画像を表示する。従って、表示部１８は、超解像処理部１４が生成した高解像度化画像を表示する事ができる
【００４５】
また、本実施形態によれば、撮像装置１は、動画を撮影する動画撮影モードで動作する場合、制御部１０は、映像生成部１１が出力する映像信号と、記録部１３が出力する高解像度化画像と、超解像処理部１４が出力する高解像度化画像とのうち、映像生成部１１が出力する映像信号を画像処理部１６に出力するように第１切替部１５を制御する。また、制御部１０は、超解像処理部１４が出力する高解像度化画像と、画像処理部１６が出力する高解像度化画像またはライブビュー画像とのうち、画像処理部１６が出力するライブビュー画像を記録部１３に出力するように第２切替部１７を制御する。また、制御部１０は、第２切替部１７が出力するライブビュー画像を動画像として記録部１３に記録する処理と、表示部１８がライブビュー画像を表示する処理とを同時に行うように制御する。従って、撮像装置１は、動画像の記録を行うことができる。
【００４６】
また、本実施形態によれば、撮像装置１は、ライブビュー画像表示動作中に、高解像度化画像を生成するために用いるフレーム群をフレーム蓄積部１２に蓄積する。そして、撮像装置１は、静止画記録動作を行う際には、フレーム蓄積部１２に蓄積されているフレーム群を記録部１３に記録させる。また、静止画記録動作を開始した後に映像生成部１１が新たに生成する映像信号を記録部１３に記録させるよりも、ライブビュー画像表示動作中にフレーム蓄積部１２が蓄積したフレーム群を記録部１３に記録させる方が早い。そのため、撮像装置１は静止画記録動作をより早く完了することができる。
【００４７】
（第２の実施形態）
次に、本発明の第２の実施形態について図面を参照して説明する。図３は、本実施形態における撮像装置の構成を示したブロック図である。図示する例では、撮像装置２は、制御部１０と、映像生成部１１と、フレーム蓄積部１２と、記録部１３と、超解像処理部１４と、切替部２１と、画像処理部１６と、表示部１８と、操作入力部１９とを有する。制御部１０と、映像生成部１１と、フレーム蓄積部１２と、記録部１３と、超解像処理部１４と、画像処理部１６と、表示部１８と、操作入力部１９とは、第１の実施形態の各部と同様の動作を行う。また、切替部２１は、第１の実施形態の第１切替部１５と同様の動作を行う。
【００４８】
本実施形態における撮像装置２と第１の実施形態における撮像装置１とで異なる点は、撮像装置２は第２切替部１７を備えていない点である。そのため、超解像処理部１４は、生成した高解像度化画像を切替部２１のみに出力する。また、画像処理部１６は、切替部２１から出力される映像信号および高解像度化画像に対して画像処理を行い、記録部１３と表示部１８とに出力する。
【００４９】
次に、撮像装置２がライブビュー画像を表示するライブビュー画像表示動作の動作手順について説明する。撮像装置２がライブビュー画像を表示する場合、制御部１０は、映像生成部１１が出力する映像信号と、記録部１３が出力する高解像度化画像と、超解像処理部１４が出力する高解像度化画像とのうち、映像生成部１１が出力する映像信号を画像処理部１６に出力するように切替部２１を制御する。
【００５０】
映像生成部１１が出力する映像信号は、フレーム蓄積部１２と切替部２１とに出力される。フレーム蓄積部１２は、映像生成部１１から出力される映像信号のうち、最新のフレームから一定枚数のフレームを蓄積し、過去のフレームを破棄する。また、切替部２１は、映像生成部１１が出力した映像信号を画像処理部１６に出力する。画像処理部１６は、切替部２１が出力した映像信号を画像処理し、ライブビュー画像として表示部１８と記録部１３とに出力する。表示部１８は、画像処理部１６が出力したライブビュー画像を表示する。なお、記録部１６は、画像処理部１６が出力したライブビュー画像を破棄する。このライブビュー画像表示動作により、撮像装置１は、一定期間のフレーム群をフレーム蓄積部１２に蓄積しつつ、ライブビュー画像を表示部１８に表示することができる。
【００５１】
次に、撮像装置２が静止画像を記録する静止画像記録動作の動作手順について説明する。撮像装置２が静止画像を記録する場合、制御部１０は、映像生成部１１が出力する映像信号と、記録部１３が出力する高解像度化画像またはフレームと、超解像処理部１４が出力する高解像度化画像とのうち、記録部１３が出力するフレームを画像処理部１６に出力するように切替部２１を制御する。
【００５２】
制御部１０は、フレーム蓄積部１２が蓄積しているフレーム群を記録部１３に出力させる。記録部１３はフレーム蓄積部１２が出力するフレーム群の記録を開始する。また、制御部１０は、記録部１３を制御し、記録中のフレーム群のうち最初のフレームを出力させる。また、切替部２１は、記録部１３が出力したフレームを画像処理部１６に出力する。画像処理部１６は、切替部２１が出力したフレームを画像処理し、表示部１８と記録部１３とに出力する。表示部１８は、画像処理部１６が出力したフレームに基づいた画像を表示する。一方、映像生成部１１が出力する映像信号は、フレーム蓄積部１２と切替部２１とに出力される。フレーム蓄積部１２は、フレーム群を記録部１３に出力中であるため、映像生成部１１が出力する映像信号を破棄する。また、切替部２１は、映像生成部１１が出力する映像信号を破棄する。この静止画記録動作により、撮像装置２は、静止画記録動作を開始する前にフレーム蓄積部１２に蓄積していたフレーム群を記録部１３に記録させることができる。また、撮像装置２は、フレーム蓄積部１２が蓄積したフレーム群を記録部１３が記録している間に、記録部１３が記録中のフレーム群のうち最初のフレームに基づいた画像を表示部１８に表示することができる。
【００５３】
次に、撮像装置２が静止画記録動作を行う際において、映像生成部１１が生成した映像信号が各部に入力される時間について説明する。図４は、本実施形態において、映像生成部１１が生成した映像信号が各部に入力される時間を示したタイムチャートである。なお、タイムチャートの横軸は時間を示している。
【００５４】
図示するように、操作者により静止画記録操作が行われる前、すなわち、撮像装置２が静止画記録動作を開始する前では、映像生成部１１が生成した映像信号は、フレーム蓄積部１２と画像処理部１６とに出力されている。フレーム蓄積部１２は、入力された映像信号を蓄積する。また、画像処理部１６は、入力された映像信号を画像処理し、ライブビュー画像として表示部１８に出力する。表示部１８は、画像処理部１６が出力するライブビュー画像を表示する。
【００５５】
操作者により静止画記録操作が行われると、撮像装置２は静止画記録動作を実行する。具体的には、フレーム蓄積部１２に蓄積されたフレーム群は記録部１３に転送され、記録部１３がフレーム群を記録する処理が開始される。また、制御部１０は、記録部１３を制御し、記録中のフレーム群のうち最初のフレームを出力させる。また、切替部２１は、記録部１３が出力したフレームを画像処理部１６に出力する。画像処理部１６は、切替部２１が出力したフレームを画像処理し、表示部１８と記録部１３とに出力する。表示部１８は、画像処理部１６が出力したフレームに基づいた一時停止画像（低解像度の画像）を表示する。このように、撮像装置２は、静止画像記録動作を実行中に、記録中のフレーム群のうち最初のフレームに基づいた画像を表示部１８に表示する。
【００５６】
次に、撮像装置２が超解像処理動作を行う際において、記録部１３が記録したフレーム群が超解像処理部１４に入力される時間と、超解像処理部１４が生成した高解像度化画像が各部に入力される時間とについて説明する。図５は、本実施形態において、記録部１３が記録したフレーム群が超解像処理部１４に入力される時間と、超解像処理部１４が生成した高解像度化画像が各部に入力される時間とを示したタイムチャートである。なお、タイムチャートの横軸は時間を示している。
【００５７】
図示するように、操作者により超解像処理開始操作が行われると、撮像装置２は超解像処理動作を実行する。具体的には、制御部１０は、記録部１３を制御し、記録部１３が記録しているフレーム群を出力させる。また、超解像処理部１４は、記録部１３が出力するフレーム群を読み込む。続いて、超解像処理部１４は、読み込んだフレーム群を用いて高解像度化画像を生成し、生成した高解像度化画像を切替部２１に出力する。切替部２１は、超解像処理部１４が出力した高解像度化画像を画像処理部１６に出力する。画像処理部１６は、切替部２１が出力した高解像度化画像を画像処理し、表示部１８と記録部１３とに出力する。表示部１８は、画像処理部１６が出力した高解像度化画像を表示する。また、記録部１３は、画像処理部１６が出力した高解像度化画像を記録する。このように、撮像装置２は、高解像度化画像を生成し、表示部１８に表示して記録部１３に記録する。
【００５８】
次に、撮像装置２の動作手順について説明する。図６は、本実施形態における撮像装置２の動作手順を示したフローチャートである。
（ステップＳ１０１）撮像装置２は、ライブビュー画像表示動作を行う。
（ステップＳ１０２）操作者は、静止画を撮影する場合、撮像装置２の操作部が備えるシャッターボタンを押下する。制御部１０は、操作部のシャッターボタンが押下された場合、静止画を記録すると判定してステップＳ１０３の処理に進み、それ以外の場合にはステップＳ１０２の処理を再度実行する。
【００５９】
（ステップＳ１０３）撮像装置２は静止画記録動作を開始する。制御部１０は、フレーム蓄積部１２が蓄積したフレーム群を記録部１３に出力させ、フレーム群を記録部１３に記録させる処理を開始する。その後、ステップＳ１０４の処理に進む。
（ステップＳ１０４）制御部１０は、記録部１３を制御し、記録を行っているフレーム群のうち最初のフレームを出力させる。また、切替部２１は、記録部１３が出力したフレームを画像処理部１６に出力する。画像処理部１６は、切替部２１が出力したフレームを画像処理し、表示部１８と記録部１３とに出力する。表示部１８は、画像処理部１６が出力したフレームに基づいた一時停止画像を表示する。その後、ステップＳ１０５の処理に進む。
【００６０】
（ステップＳ１０５）操作入力部１９は、超解像処理動作を実行するか否かを指示する入力を受け付ける。操作者は、撮像装置２の操作部が備えるキーを操作し、超解像処理動作を実行するか否かを指示する。制御部１０は、操作入力部１９が、超解像処理動作を実行する指示を受け付けた場合には、超解像処理を行うと判定してステップＳ１０６の処理に進む。また、制御部１０は、操作入力部１９が、超解像処理動作を実行しない指示を受け付けた場合には、超解像処理を行わないと判定してステップＳ１０１の処理に戻る。
【００６１】
（ステップＳ１０６）制御部１０は、ステップＳ１０３の処理で開始した、フレーム群を記録部１３に記録させる処理が完了し、フレーム蓄積部１２が蓄積したフレーム群が、記録部１３に全て記録されたか否かを判定する。フレーム蓄積部１２が蓄積したフレーム群が、記録部１３に全て記録されたと制御部１０が判定した場合にはステップＳ１０７の処理に進み、フレーム蓄積部１２が蓄積したフレーム群が、記録部１３に全て記録されていないと制御部１０が判定した場合にはステップＳ１０６の処理を再度実行する。
【００６２】
（ステップＳ１０７）撮像装置２は超解像処理を開始する。制御部１０は、記録部１３を制御し、記録部１３が記録しているフレーム群を出力させ、超解像処理部１４に入力する。その後、ステップＳ１０８の処理に進む。
（ステップＳ１０８）超解像処理部１４は、ステップＳ１０７の処理で入力されたフレーム群を用い、高解像度化画像を生成して出力する。制御部１０は、超解像処理部１４が高解像度化画像を出力したか否かを判定する。超解像処理部１４が高解像度化画像を出力したと制御部１０が判定した場合にはステップＳ１０９の処理に進み、それ以外の場合には、制御部１０は、超解像処理部１４が高解像度化画像を出力したか否かの判定を再度行う。
【００６３】
（ステップＳ１０９）切替部２１は、超解像処理部１４が出力する高解像度化画像を画像処理部１６に出力する。画像処理部１６は、切替部２１が出力する高解像度化画像の画像処理を行い、表示部１８と記録部１３とに出力する。表示部１８は、画像処理部１６が出力する高解像度化画像を表示する。また、記録部１３は、画像処理部１６が出力する高解像度化画像を記録する。その後、ステップＳ１０１の処理に戻る。
【００６４】
上述したとおり、本実施形態によれば、撮像装置２は、静止画記録動作を開始した後、超解像処理を実行するか否かの入力を受け付ける。そして、撮像装置２は、超解像処理動作を実行する指示を受け付けた場合には超解像処理動作を開始し、超解像処理動作を実行しない指示を受け付けた場合にはライブビュー画像表示動作を行う。これにより、撮像装置２は、静止画記録動作を実行した後に超解像処理を実行しないこともできるため、ライブビュー表示を行うことができない時間を短縮することができる。例えば、操作者は、静止画を記録後すぐに次の静止画を撮像したい場合など、ライブビュー表示を行うことができない時間を短縮したい場合には、超解像処理を実行しないことを入力することで、次の静止画を撮影することができるまでの時間を短縮することができる。
【００６５】
また、本実施形態によれば、撮像装置２は、ライブビュー画像表示動作中に、高解像度化画像を生成するために用いるフレーム群をフレーム蓄積部１２に蓄積する。そして、撮像装置２は、静止画記録動作を行う際には、フレーム蓄積部１２に蓄積されているフレーム群を記録部１３に記録させる。また、静止画記録動作を開始した後に映像生成部１１が新たに生成する映像信号を記録部１３に記録させるよりも、ライブビュー画像表示動作中にフレーム蓄積部１２が蓄積したフレーム群を記録部１３に記録させる方が早い。そのため、撮像装置２は静止画記録動作をより早く完了することができる。
【００６６】
以上、この発明の第１の実施形態および第２の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６７】
１，２・・・撮像装置、１０・・・制御部、１１・・・映像生成部、１２・・・フレーム蓄積部、１３・・・記録部、１４・・・超解像処理部、１５・・・第１切替部、１６・・・画像処理部、１７・・・第２切替部、１８・・・表示部、１９・・・操作入力部、２１・・・切替部
【図１】
2012124576.tif 000003
【図２】
2012124576.tif 000004
【図３】
2012124576.tif 000005
【図４】
2012124576.tif 000006
【図５】
2012124576.tif 000007
【図６】
2012124576.tif 000008