(57)【要約】【課題】  動画撮影時の処理量をほとんど増やさず、かつ、回路を増やさずに、所望の瞬間の高解像度の静止画を撮影できる撮影装置を提供する。【解決手段】複数のフレームレートにて動画を撮影できる撮影手段と、撮影手段により撮影された動画を蓄積する蓄積手段と、第１のフレームレートにて動画を撮影中に、高解像度化する核フレームを指定する信号を発生する信号発生手段と、信号発生手段により発生された前記核フレームを指定する信号を蓄積する蓄積手段と、核フレームの後は第１のフレームレートよりも高い第２のフレームレートにて動画を撮影させるフレームレート切替手段と、第２のフレームレートにて蓄積されたフレームを参照フレームとして決定する参照フレーム決定手段と、参照フレーム決定手段にて決定された参照フレームを参照して核フレームを高解像度に変換処理する高解像度化手段とを具備する。【選択図】  図１
2007067909.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームレートにて動画を撮影できる撮影手段と、
前記撮影手段により撮影された動画を蓄積する蓄積手段と、
前記撮影手段により第１のフレームレートにて動画を撮影中に、高解像度化する核フレームを指定する信号を発生する信号発生手段と、
前記信号発生手段により発生された前記核フレームを指定する信号を蓄積する蓄積手段と、
前記核フレームの後は前記第１のフレームレートよりも高い第２のフレームレートにて動画を撮影させるフレームレート切替手段と、
前記第２のフレームレートにて蓄積されたフレームを参照フレームとして決定する参照フレーム決定手段と、
前記参照フレーム決定手段にて決定された参照フレームを参照して前記核フレームを高解像度に変換処理する高解像度化手段とを具備する撮像装置。
【請求項２】
前記信号発生手段はシャッターが押し切られることによって前記信号を発生し、前記フレームレート切替手段によって前記シャッターの押し始めに前記第１のフレームレートよりも高い第３のフレームレートにて動画を撮影させ、前記参照フレーム決定手段は、前記第２及び前記第３のフレームレートにて蓄積されたフレームを参照フレームとして決定し、前記高解像度化手段は前記参照フレーム決定手段にて決定された参照フレームを参照して前記核フレームを高解像度に変換することを特徴とする請求項１記載の撮像装置。
【請求項３】
手ぶれ量を検出する手ぶれ検出手段と、
前記手ぶれ量を保持する手ぶれ量保持手段とをさらに具備し、
前記参照フレーム決定手段は、前記保持された手ぶれ量を用いて参照フレームを選択することを特徴とする請求項１或いは請求項２に記載の撮像装置。
【請求項４】
手ぶれ量を検出する手ぶれ検出手段と、
前記手ぶれ量を保持する手ぶれ量保持手段とを有し、
前記高解像度化手段は、前記保持された手ぶれ量と前記参照フレームを用いて、前記核フレームを高い解像度の画像に変換することを特徴とする請求項１或いは請求項２に記載の撮像装置。
【請求項５】
前記信号発生手段から信号が発生されたとき、前記核フレームが、他のフレームより空間解像度が高くなるように画像を撮影することを特徴とする請求項１或いは請求項２に記載の撮像装置。
【請求項６】
前記核フレームと前記参照フレーム間の動きを検出する動き検出手段をさらに具備し、その動きに基づき動き補償した参照フレームから高解像度化を行うことを特徴とする請求項１或いは請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画と高画質な静止画を一台で撮影可能な撮像装置に関する。
【背景技術】
【０００２】
近年、一台で、現行テレビサイズの動画と高画質な静止画を撮影できる撮像装置が提案されている。
【０００３】
しかし、従来の撮像装置には、特許文献１に記載されているように、動画撮影と静止画撮影を同時に行うための２系統の撮影・蓄積手段を備えるものがあった。しかしながらこの方法では、回路規模が大きくなりコストが高くなるという問題がある。
【０００４】
これを解決するために引用文献２には、動画撮影中に、静止画を撮影するためにシャッターを押しそのとき動画撮影しているフレーム番号を記録する。そしてそのフレーム番号が示すフレームを高解像度化するための核フレーム、その前後のフレームを高解像度化で用いる参照フレームとして、高解像度化を行う。こうして動画撮影時の処理量をほとんど増やさず、かつ、回路を増やさずに、所望の瞬間の高解像度の静止画を撮影可能とする撮像装置が記載されている。
【０００５】
しかしながらこの方法では、前後する参照フレームが最適ではなく高解像度を行うにしても限界があった。
【特許文献１】特開２００５−５７３７８公報
【特許文献２】特開２００５−１９７９１０公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、従来技術には、動画撮影と静止画撮影を同時に行うための２系統の撮影・蓄積手段を備える必要があり、回路規模を小さくすることができないという問題があった。また、静止画シャッターの瞬間に撮影した動画のフレーム番号を記録し、その後、フレーム番号が示すフレームを高解像度化する核フレーム、その前後のフレームを高解像度化で用いる参照フレームとし高解像度化を行う方法では、前後の参照フレームに制限があり高解像度化を行うにも限界があるという問題がある。
【０００７】
本発明は上記問題にかんがみてなされたもので、動画像撮影中に、所望の瞬間の高解像度の静止画を、回路規模が小さくても撮影可能とする撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の撮影装置は、複数のフレームレートにて動画を撮影できる撮影手段と、
前記撮影手段により撮影された動画を蓄積する蓄積手段と、
前記撮影手段により第１のフレームレートにて動画を撮影中に、高解像度化する核フレームを指定する信号を発生する信号発生手段と、
前記信号発生手段により発生された前記核フレームを指定する信号を蓄積する蓄積手段と、
前記核フレームの後は前記第１のフレームレートよりも高い第２のフレームレートにて動画を撮影させるフレームレート切替手段と、
前記第２のフレームレートにて蓄積されたフレームを参照フレームとして決定する参照フレーム決定手段と、
前記参照フレーム決定手段にて決定された参照フレームを参照して前記核フレームを高解像度に変換処理する高解像度化手段とを具備する撮像装置を提供する。
【発明の効果】
【０００９】
本発明によれば、動画撮影時において、静止画シャッターの瞬間に撮影した動画のフレーム番号を記録し、その後、フレーム番号が示すフレームを高解像度化する核フレーム、その後或いは前後のフレームを通常の撮像中よりも高いフレームレートで記録しておいて、これらを高解像度化で用いる参照フレームとし、高解像度化を行うことにより、動画撮影時の処理量をほとんど増やさず、かつ、回路を増やさずに、所望の瞬間の高解像度の静止画を撮影することが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の好ましい実施形態について説明する。なお、本発明は以下にあげる実施形態に限定されることはなく種々組み合わせて実施することができる。
【００１１】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置を示すブロック図である。
【００１２】
この第１の実施形態に係わる撮影装置は、複数のフレームレートにて動画を撮影することができる撮影部１０１と、撮影された動画を記録する蓄積部１０２と、動画の中で高解像度化するフレームである核フレームを指定する信号を発生する信号発生部１０３と、前記核フレームを高解像度化するために用いる参照フレームを決定する参照フレーム決定部１０４と、参照フレームを用いて、核フレームを高い解像度の画像に変換する高解像度化部１０５とを備えている。
【００１３】
撮影部１０１は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）素子等によって動画を撮影する撮影手段である。例えば、現行テレビのＮＴＳＣサイズをデジタル化したＶＧＡサイズ（６４０×４８０画素）の静止画を、時系列に３０ｆｐｓのフレームレートで撮影する。
【００１４】
蓄積部１０２は、動画を撮影する撮影部１０１によって撮影された画像を時系列的に蓄積する蓄積手段である。動画を、ＳＤメモリといったメモリ媒体や、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＤＶＤ、テープ媒体等に蓄積する。一般に、動画は、ＭＰＥＧ−２、ＭＰＥＧ−４といった動画像圧縮されたデータ形式で蓄積される。
【００１５】
信号発生部１０３は、動画の中で高解像度化するフレームである核フレームを指定する信号を発生する信号発生手段である。例えば、動画撮影中に、ユーザが、静止画シャッターを押し切った瞬間の動画のフレーム番号を、核フレームを指定する信号として発生する。
【００１６】
参照フレーム決定部１０４は、信号発生部１０３が発生した信号により、動画の中で高解像度化する核フレームの高解像度化に用いる参照フレームを、蓄積部１０２に蓄積されている時系列画像から決定する参照フレーム決定手段である。
【００１７】
高解像度化部１０５は、参照フレーム決定部１０４によって決定された参照フレームを用いて、信号発生部１０３によって指定される信号が発生された核フレームを高い解像度の画像に変換する高解像度化手段である。
【００１８】
次に図１および図２を用いて、本発明の第１の実施形態に係わる撮影装置の動作について説明する。なお、図２は、本発明の第１の実施形態に係わる撮影装置の動作を示すフローチャートである。
【００１９】
まず、撮影部１０１が第１のフレームレートにて動画の撮影を開始する（ステップＳ２０１）。
【００２０】
次に、蓄積部１０２が撮影された動画を蓄積する（ステップＳ２０２）。
【００２１】
次に、信号発生部１０３は、シャッターが押され切ったか否かを判断し（ステップＳ２０３）、シャッターが押され切った場合は（ステップＳ２０３：Ｙｅｓ）、信号発生部１０３は、動画の中で高解像度化するフレームである核フレームを指定する信号として、静止画シャッターの瞬間に撮影した動画のフレーム番号を記録し（ステップＳ２０４）、撮像部１０１は、第１のフレームレートよりも高い第２のフレームレートにて撮影を始め必要なフレーム数に達したところで第１のフレームレートに戻る。そして次の処理（ステップＳ２０５）に進む。シャッターが押され切っていない場合は（ステップＳ２０３：Ｎｏ）、信号を発生せずに、次の処理（ステップＳ２０５）に進む。
【００２２】
次に、撮影部１０１は、動画の撮影を終了するか否かを判断し（ステップＳ２０５）、動画の撮影を終了しない場合は（ステップＳ２０５：Ｎｏ）、撮影部１０１によって次の画像を撮影し（ステップＳ２０１）、撮影された画像を蓄積部１０２によって記録する（ステップＳ２０２）。例えば、動画の撮影を終了するか否かの判断は、ユーザからの撮影終了指示があるかないかで判断してもよいし、動画の撮影開始から一定時間経過しているかどうかで判断してもよい。
【００２３】
動画の撮影が終了した場合は（ステップＳ２０５：Ｙｅｓ）、参照フレーム決定部１０４が、信号発生部１０３から発生した核フレームを指定する信号、つまり、静止画シャッターの瞬間に撮影した動画のフレーム番号をもとに、蓄積部１０２から、核フレームの高解像度化に用いる参照フレームを決定する（ステップＳ２０６）。この参照フレームは、核フレームの後に記録された第１のフレームレートよりも高い第２のフレームレートにて蓄積されたフレームを参照フレームとして選択する。また、核フレームの前１フレーム分、核フレームの後ろ２フレーム分を選択してもよい。また、核フレームが高解像度化される倍率が高いほど、多くの参照フレームを選択しても良い。例えば、高解像度化の倍率が縦横２倍であるなら、核フレームを含めて４枚のフレームを選択し、高解像度化の倍率が縦横３倍であるなら、核フレームを含めて９枚のフレームを選択する。
【００２４】
図１０に第１のフレームレートとして、１／３０秒、第２のフレームレートとして１／６０秒の例を示す。このように指定された核フレーム後、一定時間内はそれ以前よりも高いフレームレートで動画を撮影する。こうすることで核フレームを高解像度化するときにより倍率を高くすることもできる。
【００２５】
次に、高解像度化部１０５は、参照フレーム決定部１０４によって決定された参照フレームを用いて、信号発生部１０３で信号が発生された核フレームを高い解像度の画像に変換し（ステップＳ２０７）、画像処理を終了する。高解像度化の方法は、核フレームと参照フレーム間の動きを検出し、その動きに基づき動き補償した参照フレームから高解像度化を行う。以下、再構成型超解像処理に分類されるＭＡＰ（Ｍａｘｉｍｕｎ  Ａ  Ｐｏｓｔｅｒｉｏｒ）法に基づく高解像度化手法について説明する。ＭＡＰ法は、撮影・蓄積された動画フレームの核フレーム、参照フレーム（以降、観測低解像度画像と呼ぶ）を条件としたときの事後確率を最大にする高解像度画像（以降、推定高解像度画像と呼ぶ）を求める方法である。事後確率をコスト関数として定式化し、最急降下法、共役勾配法、遺伝的アルゴリズム等を用いて最適化問題を解き、コスト関数の最小化を行い、高解像度画像を推定する。最小化問題のコスト関数は、（１）式に基づいて算出することができる。
【数１】
2007067909.tif 000003
ここで、xは推定高解像度画像のベクトル表現、ｙkはk番目の観測低解像度画像のベクトル表現、Ｗｋは推定高解像度画像からk番目の観測画像への変換を表す行列（核フレームと参照フレーム間の動き、撮影部１０１の点広がり関数、ダウンサンプリング等の情報）、Kは観測画像枚数、Cは事前情報を表す行列（一般にハイパスフィルタ）、αは拘束の強さを表すパラメータ、||・||はL2ノルムを、それぞれ表す。このように定式化されたコスト関数の最小化問題を解くことにより、推定高解像度画像xを算出する。なお、高解像度化の方法としては、ＭＡＰ法に限らず、不均一補間法（Ｎｏｎｕｎｉｆｏｒｍ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、凸射影法（ＰＯＣＳ：Ｐｒｏｊｅｃｔｉｏｎ  Ｏｎｔｏ  Ｃｏｎｖｅｘ  Ｓｅｔｓ）、バックプロジェクション法等の一般に使われているあらゆる方法を適用することができる。
【００２６】
このように、第１の実施形態に係わる撮影装置によれば、動画撮影時において、静止画シャッターの瞬間に撮影した動画のフレーム番号を記録し、その後、フレーム番号が示すフレームを高解像度化する核フレーム、より高いフレームレートで撮影したフレームを高解像度化で用いる参照フレームとし、高解像度化を行う。こうすることで、動画撮影時の処理量をほとんど増やさず、かつ、回路を増やさずに、所望の瞬間の高解像度の静止画を撮影することが可能となる。
【００２７】
（第２の実施形態）
次に、本発明の第２の実施形態に係わる撮影装置を説明する。この撮影装置は、撮影装置の余剰している処理能力を用いて、核フレームを高解像度化するためのより多くの情報を観測することで、より高精度に核フレームの高解像度化を行うものである。
【００２８】
図３は、本発明の第２の実施形態に係わる撮影装置を示すブロック図である。
【００２９】
図３に示すように、この撮影装置は、撮影部３０１と信号発生部３０３の機能が変更されたことが第１の実施形態と異なっている。その他の構成、および、機能は、第１の実施形態に係わる構成を示すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。
【００３０】
撮影部３０１は、第１の撮影モードと第２の撮影モードを持ち、モードを切り替えながら動画を撮影する撮影手段である。
【００３１】
信号発生部３０３は、動画の中で高解像度化するフレームである核フレームを指定する信号と、撮影部３０１の撮影モードの切り替え信号を発生する信号発生手段である。
【００３２】
次に、このように構成された第２の実施形態に係わる撮影装置のモード切り替えの動作について、図３、図４を用いて説明する。図４は、第２の実施形態に係わる撮影装置の動作を示すフローチャートである。
【００３３】
まず、撮影部３０１が第１の撮影モードで動画の撮影を開始する（ステップＳ４０１）。第１の撮影モードとは、例えば、現行テレビのＮＴＳＣサイズをデジタル化したＶＧＡサイズ（６４０×４８０画素）の静止画を、時系列に３０ｆｐｓのフレームレートで撮影するモードであり、一般的に動画を撮影するモードである。
【００３４】
次に、蓄積部１０２がステップＳ２０２と同様に、撮影された動画を蓄積する（ステップＳ４０２）。
【００３５】
次に、信号発生部３０３は、シャッターが押され切ったか否かを判断し（ステップＳ４０３）、シャッターが押され切った場合（ステップＳ４０３：Ｙｅｓ）、信号発生部３０３は、撮影部３０１の撮影モードを第２の撮影モードに切り替えて（ステップＳ４０４）、動画の中で高解像度化するフレームである核フレームを指定する信号として、静止画シャッターの瞬間に撮影した動画のフレーム番号を記録し（ステップＳ４０５）、次の処理（ステップＳ４０６）に進む。シャッターが押されていない場合は（ステップＳ４０３：Ｎｏ）、信号を発生せずに、次の処理（ステップＳ４０６）に進む。第２の撮影モードとは、例えば、核フレーム及び／或いは参照フレームは、他のフレームの解像度であるＶＧＡサイズ（６４０×４８０画素）より高い空間解像度で画像を撮影するモードである。撮影モードを第２の撮影モードに切り替えることで、撮影装置の余剰している処理能力を用いて、核フレームを高解像度化するためのより多くの情報を観測できる。
【００３６】
図１１に、第１のフレームレートとして、１／３０秒、第２のフレームレートとして１／６０秒の例を示す。さらに、核フレーム及び参照フレームは、それ以外のフレームよりも高い空間解像度の動画を撮影するようになっている。このように指定された核フレーム後、一定時間内はそれ以前よりも高いフレームレートでかつ高い空間解像度の動画を撮影する。こうすることで核フレームを高解像度化するときにより倍率を高くすることもできる。
【００３７】
ステップＳ４０６からステップＳ４０８までの動画撮影終了判定処理、参照フレーム決定処理、核フレーム高解像度化処理は、第１の実施形態に係わる撮影装置におけるステップＳ２０５からステップＳ２０７までと同様の処理なので、その説明を省略する。
【００３８】
このように、第２の実施形態に係わる撮影装置によれば、撮影装置の余剰している処理能力を用いて、核フレームの一定時間内においては、それ以外の時間よりも高いフレームレートでかつ高い空間解像度で動画を撮影する。こうすることで、より高精度に核フレームの高解像度化を行うことが可能となる。
【００３９】
（第３の実施形態）
一般に、ビデオカメラ等の撮影部を有する撮影装置においては、手ぶれ補正機能が備わっている。手ぶれ補正機能は、まず、映像検出方式や角速度検出方式と呼ばれる方法によって手ぶれ量を検出する。次に、手ぶれ量をもとに、画像処理によって画像の動きを補償する電子式手ぶれ補正方式や、光学系をシフトさせて画像を撮影する光学式手ぶれ補正方式によって、手ぶれ補正を行う。しかし、このような手ぶれ補正機能を搭載したカメラにおいて、動画撮影後に高解像度化処理を行う場合、手ぶれ量を検出した後、手ぶれ量を保持し、電子式手ぶれ補正方式や光学式手ぶれ補正方式によって画像の動き補償を行わずに動画を蓄積すれば、より多くの高解像度化に利用可能な情報を得ることができる。
【００４０】
そこで、第３の実施形態に係わる撮影装置は、映像検出方式や角速度検出方式によって検出した手ぶれ量を保持し、電子式手ぶれ補正方式や光学式手ぶれ補正方式による動き補償を行わず動画を蓄積することで、より高精度に核フレームの高解像度化を行うことが可能となる。
【００４１】
図５は、本発明の第３の実施形態に係わる撮影装置を示すブロック図である。
【００４２】
図５に示すように、この撮影装置は、手ぶれ検出部５０６と、手ぶれ量保持部５０７とを追加したこと、参照フレーム決定部５０４、高解像度化部５０５の機能が変更されたことが第１の実施形態と異なっている。その他の構成、および、機能は、第１の実施形態に係わる構成を示すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。
【００４３】
手ぶれ検出部５０６は、撮影装置が、基準となる位置から手ぶれによってどれだけずれたかを検出する手ぶれ検出手段である。
【００４４】
手ぶれ量保持部５０７は、手ぶれ検出部５０６によって検出された手ぶれ量を保持する手ぶれ量保持手段である。
【００４５】
参照フレーム決定部５０４は、信号発生部１０３が発生した信号と、手ぶれ量保持部５０７に保持された手ぶれ量を用いて、動画の中で高解像度化する核フレームの高解像度化に用いる参照フレームを、蓄積部１０２に蓄積されている時系列画像から決定する参照フレーム決定手段である。
【００４６】
高解像度化部１０５は、参照フレーム決定部１０４によって決定された参照フレームと、手ぶれ量保持部５０７に保持された手ぶれ量を用いて、信号発生部１０３によって指定される信号が発生された核フレームを高い解像度の画像に変換する高解像度化手段である。
【００４７】
次に、この手ぶれ量を用いた高解像度化の動作について、図５、図６を用いて説明する。図６は、第３の実施形態に係わる撮影装置の動作を示すフローチャートである。
【００４８】
まず、第１のフレームレートにて撮影部１０１が動画の撮影を開始する（ステップＳ６０１）。
【００４９】
次に、手ぶれ検出部５０６が、撮影部１０１で撮影された画像の基準となる位置からのずれを手ぶれ量として検出する（ステップＳ６０２）。手ぶれ量は、映像検出方式では、現在のフレームと参照フレームを用いて、これらのフレームの間の相関値が最も高くなるずれ量を手ぶれ量として算出する。また、角速度検出方式では、ジャイロと呼ばれる水平・垂直の２個の角速度センサにより、手ぶれによる機器自体の動きを検出する。
【００５０】
次に、手ぶれ量保持部５０７が、手ぶれ検出部５０６によって検出された手ぶれ量を保持する（ステップＳ６０３）。
【００５１】
ステップＳ６０４からステップＳ６０７までの蓄積処理、シャッター判定処理、核フレーム信号発生処理、動画撮影終了判定処理は、第１の実施形態に係わる撮影装置におけるステップＳ２０２からステップＳ２０５までと同様の処理なので、その説明を省略する。
【００５２】
参照フレーム決定部５０４は、信号発生部１０３から発生した核フレームを指定する信号と、手ぶれ量保持部５０７に保持された手ぶれ量もとに、蓄積部１０２から、核フレームの高解像度化に用いる参照フレームを決定する（ステップＳ６０８）。
【００５３】
一般に、核フレームと参照フレームの間の手ぶれ量は、半画素のずれ、つまり、位相差が１／２になっているのが望ましい。参照フレーム決定処理は、なるべく、位相差が１／２に近いフレームを参照フレームとして選択する。ただ、核フレームと参照フレームの間の時間差が大きくなると、被写体の動きなどにより、高解像度化に用いる参照フレームとして不適当になってくる。よって、核フレームの一定時間内における、位相差が１／２に近いフレームを参照フレームとして選択するのも良い。
【００５４】
次に、高解像度化部５０５は、参照フレーム決定部５０４によって決定された参照フレームと、手ぶれ量保持部５０７に保持された手ぶれ量を用いて、核フレームを高い解像度の画像に変換し（ステップＳ６０９）、画像処理を終了する。高解像度化処理においては、（１）式で示したように、推定高解像度画像からk番目の観測画像への変換を表す行列Ｗｋの正確さが、高解像度画像の精度に大きく係わる。手ぶれ検出部５０６によって検出され、手ぶれ量保持部５０７に記録された手ぶれ量を用いて行列Ｗｋを推定することで、行列Ｗｋの推定精度が高まり、高解像度画像も高画質化される。
【００５５】
また、手ぶれ検出部５０６において手ぶれ検出を行わず、手ぶれ量保持部５０７において手ぶれ量の保持を行わない。つまり、手ぶれ補正機能付きカメラにおいて、動画撮影の後、高解像度化処理を行う場合は、手ぶれ補正機能をOFFにして、位相ずれの生じた画像を蓄積部１０２に保存するだけでも、高解像度化に必要な位相ずれの生じた画像を観測することができ、より高画質化される。
【００５６】
このように、第３の実施形態に係わる撮影装置によれば、映像検出方式や角速度検出方式によって検出した手ぶれ量を保持し、電子式手ぶれ補正方式や光学式手ぶれ補正方式による動き補償を行わず動画を蓄積することで、より高精度に核フレームの高解像度化を行うことが可能となる。
【００５７】
（第４の実施形態）
第４の実施形態に係わる撮影装置は、信号発生部が、シャッターの押し始めと完全に押し下げられたとき（押し切ったとき）に信号を発生することで、核フレームより過去における高解像度化に有効な情報を撮影するものである。以降、第４の実施形態では、動画撮影中の核フレームの高解像度化と、スチルカメラを用いた複数静止画の高解像度化を説明するため、動画のことを時系列画像と記す。
【００５８】
図７は、本発明の第４の実施形態に係わる撮影装置を示すブロック図である。
【００５９】
図７に示すように、この撮影装置は、撮影部７０１、信号発生部７０３の機能が変更されたことが第１の実施形態と異なっている。その他の構成、および、機能は、第１の実施形態に係わる構成を示すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。
【００６０】
撮影部７０１は、第１の撮影モードと第２の撮影モードを持ち、モードを切り替えながら画像を時系列に撮影する撮影手段である。
【００６１】
信号発生部７０３は、撮影部３０１の撮影モードの切り替え信号である第１の信号と、時系列画像の中で高解像度化するフレームである核フレームを指定する第２の信号とを発生する信号発生手段である。
【００６２】
次に、このように構成された撮影装置の第１の信号と第２の信号による動作について、図７、図８を用いて説明する。図８は、第４の実施形態に係わる撮影装置の動作を示すフローチャートである。
【００６３】
まず、撮影部７０１が第１の撮影モードで時系列画像の撮影を開始する（ステップＳ８０１）。第１の撮影モードとは、例えば、
撮影モードＡ１、撮影モードＢ１：  現行テレビのＮＴＳＣサイズをデジタル化したＶＧＡサイズ（６４０×４８０画素）の静止画を、時系列に３０ｆｐｓのフレームレートで撮影するモードであり、一般的に動画を撮影するモード。
【００６４】
撮影モードＣ１：  時系列画像を撮影しないモード。
【００６５】
というモードがある。
【００６６】
次に、蓄積部１０２がステップＳ４０２と同様に、撮影された時系列画像を蓄積する（ステップＳ８０２）。
【００６７】
次に、信号発生部７０３は、シャッターが押し下げられ始めた瞬間か否かを判断し（ステップＳ８０３）、シャッターが押し下げられ始めた瞬間の場合は（ステップＳ８０３：Ｙｅｓ）、信号発生部７０３は、撮影部７０１の撮影モードを切り替える第１の信号を発生し、撮影部７０１の撮影モードを第２の撮影モードに切り替えて（ステップＳ８０４）、次の処理（ステップＳ８０７）に進む。第２の撮影モードとは、前述した第１の撮影モードである撮影モードＡ１、撮影モードＢ１、撮影モードＣ１に対応して、それぞれ、
撮影モードＡ２：  ＶＧＡサイズ（６４０×４８０画素）の静止画を、それ以前の時間のフレームレートである３０ｆｐｓより高いフレームレートで撮影するモード。
【００６８】
撮影モードＢ２：  他のフレームの解像度であるＶＧＡサイズ（６４０×４８０画素）より高い空間解像度で画像を撮影するモード。
【００６９】
撮影モードＣ２：  時系列画像を撮影するモード。
【００７０】
というモードがある。シャッターが押し下げられ始めた瞬間でない場合（ステップＳ８０３：Ｎｏ）、つまり、ユーザがシャッターを押し始めていないか、既に押し下げ始めている場合は、次の処理（ステップＳ８０５）に進む。撮影モードを第２の撮影モードである撮影モードＡ２、撮影モードＢ２に切り替えることで、動画撮影時の撮影装置の余剰している処理能力を用いて、今後、指定される（シャッターが完全に押し下げられる）核フレームより過去のフレームについても、核フレームを高解像度化するためのより多くの情報を観測できる。また、撮影モードを第２の撮影モードである撮影モードＣ２に切り替えることで、スチルカメラでの静止画（核フレーム）撮影時に、静止画シャッターが押される以前から静止画を撮影開始することができる。
【００７１】
図１４に、シャッターが押し下げられている様子と第１の信号発生時点と第２の信号発生時点を示した様子を示す。
【００７２】
図１４に示すように、シャッターに力が加わると、シャッターが押し下げられ始め力が除かれると元の位置にもどる。シャッターが押し下げられ始めると第１の信号が発生し、完全に押し下げられ切ったときに第２の信号を発生する。ここでは第２の信号が核フレームを指定する信号になる。第１の信号発生によってそれ以前よりも高いフレームレートによって参照フレームが蓄積始める。
【００７３】
次に、信号発生部７０３は、シャッターが完全に押し下げられたか否かを判断し（ステップＳ８０５）、シャッターが完全に押し下げられた場合は（ステップＳ８０３：Ｙｅｓ）、信号発生部７０３は、時系列画像の中で高解像度化するフレームである核フレームを指定する信号として、シャッターが完全に押し下げられた瞬間に撮影した時系列画像のフレーム番号を記録し、核フレームから一定時間後に撮影部７０１の撮影モードを第１の撮影モードに再び切り替える信号を発生し（ステップＳ８０６）、次の処理（ステップＳ８０７）に進む。シャッターが完全に押し下げられていない場合は（ステップＳ８０５：Ｎｏ）、次の処理（ステップＳ８０７）に進む。
【００７４】
ステップＳ８０７からステップＳ８０９までの画像撮影終了判定処理、参照フレーム決定処理、核フレーム高解像度化処理は、第１の実施形態に係わる撮影装置におけるステップＳ４０６からステップＳ４０８までと同様の処理なので、その説明を省略する。
【００７５】
図１１に、第１のフレームレートとして、１／３０秒、第２のフレームレートとして１／６０秒の例を示す。この例では核フレームを含めてこの前後にある参照フレームは第２のフレームレートである１／６０秒にて撮影されている。このように各フレームの前後、一定時間内においてはそれ以外の時間よりも高いフレームレートで動画を撮影する。こうすることで核フレームをさらに高解像度化するときにより倍率を高くすることもできる。
【００７６】
このように、第４の実施形態に係わる撮影装置によれば、信号発生部が、シャッターの押し始めと完全に押し下げられたときに信号を発生することで、核フレームより過去における高解像度化に有効な情報を撮影することで、より高精度に核フレームの高解像度化を行うことが可能となる。
【００７７】
なお、第４の実施形態では、核フレームと参照フレームは上記以外に、図１２に示すように、各フレームの前後、一定時間においては、それ以外の時間よりも高いフレームレートかつ高い空間解像度の動画を撮影することもできる。さらに図１３に示すように、各フレームの前後、一定時間においては、それ以外の時間よりも高いフレームレートにして、各フレームのみを空間解像度の高くして撮影することもできる。
【００７８】
また、これらに限定されることなく、複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７９】
【図１】本発明の第１の実施形態に係わる撮影装置の構成を示すブロック図。
【図２】本発明の第１の実施形態の動作を示すフローチャート。
【図３】本発明の第２の実施形態に係わる撮影装置の構成を示すブロック図。
【図４】本発明の第２の実施形態の動作を示すフローチャート。
【図５】本発明の第３の実施形態に係わる撮影装置の構成を示すブロック図。
【図６】本発明の第３の実施形態の動作を示すフローチャート。
【図７】本発明の第４の実施形態に係わる撮影装置の構成を示すブロック図。
【図８】本発明の第４の実施形態の動作を示すフローチャート。
【図９】核フレーム後、一定時間、それ以外の時間よりも高いフレームレートで動画を撮影する様子を示した図。
【図１０】核フレーム後、一定時間、それ以外の時間よりも高いフレームレートかつ高い空間解像度で動画を撮影する様子を示した図。
【図１１】核フレームの前後、一定時間、それ以外の時間よりも高いフレームレートで動画を撮影する様子を示した図。
【図１２】核フレームの前後、一定時間、それ以外の時間よりも高いフレームレートかつ高い空間解像度で動画を撮影する様子を示した図。
【図１３】核フレームの前後、一定時間、それ以外の字関与利も高いフレームレートで撮影し、さらに各フレームは高い解像度で撮影した様子を示した図。
【図１４】シャッターが押し下げられている様子と第１の信号発生時点と第２の信号発生時点を示した様子を示した図。
【符号の説明】
【００８０】
１０１、３０１、７０１・・・撮影部
１０２・・・蓄積部
１０３、３０３、７０３・・・信号発生部
１０４、５０４・・・参照フレーム決定部
１０５、５０５・・・高解像度化部
５０６・・・手ぶれ検出部
５０７・・・手ぶれ量保持部
【図１】
2007067909.tif 000004
【図２】
2007067909.tif 000005
【図３】
2007067909.tif 000006
【図４】
2007067909.tif 000007
【図５】
2007067909.tif 000008
【図６】
2007067909.tif 000009
【図７】
2007067909.tif 000010
【図８】
2007067909.tif 000011
【図９】
2007067909.tif 000012
【図１０】
2007067909.tif 000013
【図１１】
2007067909.tif 000014
【図１２】
2007067909.tif 000015
【図１３】
2007067909.tif 000016
【図１４】
2007067909.tif 000017