(57)【特許請求の範囲】
【請求項１】
動画像を撮影する撮像装置において、
第１の周期で１フレームの画像データを繰り返し取得可能であり、さらに上記１フレームの期間を所定数の分割フレームに分割し、該分割フレーム毎に繰り返し分割画像データを出力する撮像部と、
被写体輝度を検出し、上記撮像部から出力された複数の分割画像データに対してゲインを印加するゲイン印加部と、
上記ゲイン印加部によって上記ゲインが印加された複数の分割画像データを画像合成し、１フレームの合成画像データを生成する合成処理部と、
を有し、
上記撮像部において上記複数の分割画像データを取得する際に、上記第１の周期の期間中は分割フレームの数を変更することなく、また上記ゲイン印加部は、上記分割フレームの数を変更した上記第１の周期の次の周期は略同一の画像出力を得るように上記ゲインを変更することを特徴とする撮像装置。
【請求項２】
上記動画像を構成する１フレームの画像は、複数の分割された画像として、上記撮像部から第２の周期で上記分割画像データが繰り返し出力され、上記第２の周期および上記ゲインの変更は、上記動画像を構成する１フレームの画像となる変更タイミングと同期することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記合成処理部は、１フレームを構成する期間に読み出された全ての分割画像データを用いて１フレームの画像データとする画像合成を行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
動画像を撮影する撮像装置の制御方法において、
第１の周期で１フレームの画像データを繰り返し取得可能であり、さらに上記１フレームの期間を所定数の分割フレームに分割し、該分割フレーム毎に繰り返し分割画像データを出力する撮像ステップと、
被写体輝度を検出し、上記撮像ステップで出力された上記複数の分割画像データに対してゲインを印加するゲイン印加ステップと、
上記ゲイン印加ステップにおいて上記ゲインが印加された複数の分割画像データを画像合成し、１フレームの合成画像データを生成する合成処理ステップと、
を有し、
上記撮像ステップにおいて上記複数の分割画像データを取得する際に、上記第１の周期の期間中は分割フレームの数を変更することなく、また上記分割フレームの数を変更した上記ゲイン印加ステップでは上記第１の周期の次の周期は略同一の画像出力を得るように上記ゲインを変更することを特徴とする撮像装置の制御方法。
【請求項５】
動画像を撮影する撮像装置のコンピュータ上で実行されるプログラムにおいて、
第１の周期で１フレームの画像データを繰り返し取得可能であり、さらに上記１フレームの期間を所定数の分割フレームに分割し、該分割フレーム毎に繰り返し分割画像データを出力する撮像ステップと、
被写体輝度を検出し、上記撮像ステップで出力された上記複数の分割画像データに対してゲインを印加するゲイン印加ステップと、
上記ゲイン印加ステップにおいて上記ゲインが印加された複数の分割画像データを画像合成し、１フレームの合成画像データを生成する合成処理ステップと、
を有し、
上記撮像ステップにおいて上記複数の分割画像データを取得する際に、上記第１の周期の期間中は分割フレームの数を変更することなく、また上記分割フレームの数を変更した上記ゲイン印加ステップでは上記第１の周期の次の周期は略同一の画像出力を得るように上記ゲインを変更するように上記コンピュータ上で実行されることを特徴とするプログラム。
【請求項６】
動画像を撮影する撮像装置において、
第１の周期で１フレームの画像データを繰り返し取得可能であり、さらに上記１フレームの期間を所定数の分割フレームに分割し、該分割フレーム毎に繰り返し分割画像データを出力する撮像部と、
上記撮像部から出力された複数の分割画像データを画像合成し、１フレームの合成画像データを生成する合成処理部と、
被写体輝度を検出し、上記合成処理部から生成された合成画像に対してゲインを印加して画像データを出力するゲイン印加部と、
を有し、
上記撮像部において上記複数の分割画像データを取得する際に、上記第１の周期の期間中は分割フレームの数を変更することなく、また上記ゲイン印加部は、上記分割フレームの数を変更した上記第１の周期の次の周期は略同一の画像出力を得るように上記ゲインを変更することを特徴とする撮像装置。
【請求項７】
動画像を撮影する撮像装置の制御方法において、
第１の周期で１フレームの画像データを繰り返し取得可能であり、さらに上記１フレームの期間を所定数の分割フレームに分割し、該分割フレーム毎に繰り返し分割画像データを出力する撮像ステップと、
上記撮像ステップにおいて出力された上記複数の分割画像データを画像合成し、１フレームの合成画像データを生成する合成処理ステップと、
被写体輝度を検出し、上記合成処理ステップで出力された合成画像に対してゲインを印加するゲイン印加ステップと、
を有し、
上記撮像ステップにおいて上記複数の分割画像データを取得する際に、上記第１の周期の期間中は分割フレームの数を変更することなく、また上記分割フレームの数を変更した上記ゲイン印加ステップでは上記第１の周期の次の周期は略同一の画像出力を得るように上記ゲインを変更することを特徴とする撮像装置の制御方法。
【請求項８】
動画像を撮影する撮像装置のコンピュータ上で実行されるプログラムにおいて、
第１の周期で１フレームの画像データを繰り返し取得可能であり、さらに上記１フレームの期間を所定数の分割フレームに分割し、該分割フレーム毎に繰り返し分割画像データを出力する撮像ステップと、
上記撮像ステップにおいて出力された複数の分割画像データを画像合成し、１フレームの合成画像データを生成する合成処理ステップと、
被写体輝度を検出し、上記合成処理ステップで出力された合成画像に対してゲインを印加するゲイン印加ステップと、
を有し、
上記撮像ステップにおいて上記複数の分割画像データを取得する際に、上記第１の周期の期間中は分割フレームの数を変更することなく、また上記分割フレームの数を変更した上記ゲイン印加ステップでは上記第１の周期の次の周期は略同一の画像出力を得るように上記ゲインを変更するように上記コンピュータ上で実行されることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を撮影する際に、１フレームの露光時間を分割し、この分割されたフレームによって取得された画像データを合成して１フレームの画像データを生成するようにした撮像装置、撮像装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
動画撮影にあたっては、予め決められたフレームレートで画像データを取得している。一方、露出制御は、被写体（被写界）の輝度に応じて決定している。このため、シャッタ速度が速いと、画像再生の際に、被写体の動きがカクカクしてしまい、パラパラ画像のような動画となってしまう。そこで、特許文献１に開示の撮像装置においては、動きのある被写体ではシャッタ速度を長く、エッジ強調を弱め、一方、動きのない被写体ではシャッタ速度を速く、エッジ強調を強めるようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８９２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動画再生にあたってはフレームレートの制約があり、これにあわせて動画記録を行う必要がある。例えばフルハイビジョン（２Ｋ動画）の場合には６０ｆｐｓ（flame per sec）または３０ｆｐｓの規格があり、各々１秒間に６０フレームまたは３０フレームのコマを撮影する。この場合、画像の明るさを一定にするためにシャッタ速度にあわせて、絞り、ゲイン、ＮＤフィルタを変更する。
【０００５】
動きのある被写体の場合は、シャッタ速度は基本的にその記録されるフレームレートに合わせないと（例えばＨＤ３０Ｐの場合は、シャッタ速度が１／３０sec）全ての動きを記録しておくことができない。これより、低速のシャッタ速度を設定することができず、また高速のシャッタ速度を設定すると、一部露光されない時間が生じてしまう。従って、記録する規格に合わせてシャッタ速度が決まってしまうので、被写体輝度にあわせて中途半端にシャッタ速度を変えても、パラパラ感を完全に無くすことができない。
【０００６】
また、ＮＤフィルタを被写体輝度にあわせて高速に出し入れしたり、被写体輝度の変化に追従して高速で絞りを動作させる方法が考えられる。しかし、このような方法では、ＮＤフィルタの出し入れ時や絞りの変化時に、一瞬ではあるものの表示画像には出力変化のある画像が発生してしまい、人間の眼には被写体画像が瞬いたように感じるため、より高度な動画撮影においては、映像の質を落としてしまう。また、ゲインの変更によって被写体輝度の変化に追従させることができる。しかし、被写体輝度が明るくなるとゲインを落とす方向になるが、ゲイン０ｄＢ以下に変更したとしても、撮像素子の画素出力で既に飽和してしまったものについてはリニアリティが確保できない。
【０００７】
また、絞りをゆっくり動かすと上述の不具合を解決できる。しかし、静止画撮影では絞りを高速に動かす必要があり、このため動画と静止画の両撮影機能を有するカメラでは静止画用と動画撮影用にそれぞれ絞りを備えなければならず（すなわち、２つの絞り駆動機構）、機器の大型化を招いてしまう。また、絞り機構を有さない小型カメラではＮＤフィルタだけになるので上述の不具合を解決できない。
【０００８】
本発明は、このような事情を鑑みてなされたものであり、被写体輝度が変化する場合であっても、パラパラ感のない動画を撮影することができる撮像装置、撮像装置の制御方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため第１の発明に係る撮像装置は、動画像を撮影する撮像装置において、第１の周期で１フレームの画像データを繰り返し取得可能であり、さらに上記１フレームの期間を所定数の分割フレームに分割し、該分割フレーム毎に繰り返し分割画像データを出力する撮像部と、被写体輝度を検出し、上記撮像部から出力された複数の分割画像データに対してゲインを印加するゲイン印加部と、上記ゲイン印加部によって上記ゲインが印加された複数の分割画像データを画像合成し、１フレームの合成画像データを生成する合成処理部と、を有し、上記撮像部において上記複数の分割画像データを取得する際に、上記第１の周期の期間中は分割フレームの数を変更することなく、また上記ゲイン印加部は、上記分割フレームの数を変更した上記第１の周期の次の周期は略同一の画像出力を得るように上記ゲインを変更する。
【００１０】
第２の発明に係る撮像装置は、上記第１の発明において、上記動画像を構成する１フレームの画像は、複数の分割された画像として、上記撮像部から第２の周期で上記分割画像データが繰り返し出力され、上記第２の周期および上記ゲインの変更は、上記動画像を構成する１フレームの画像となる変更タイミングと同期する。
第３の発明に係る撮像装置は、上記第２の発明において、上記合成処理部は、１フレームを構成する期間に読み出された全ての分割画像データを用いて１フレームの画像データとする画像合成を行う。
【００１１】
第４の発明に係る撮像装置の制御方法は、動画像を撮影する撮像装置の制御方法において、第１の周期で１フレームの画像データを繰り返し取得可能であり、さらに上記１フレームの期間を所定数の分割フレームに分割し、該分割フレーム毎に繰り返し分割画像データを出力する撮像ステップと、被写体輝度を検出し、上記撮像ステップで出力された上記複数の分割画像データに対してゲインを印加するゲイン印加ステップと、上記ゲイン印加ステップにおいて上記ゲインが印加された複数の分割画像データを画像合成し、１フレームの合成画像データを生成する合成処理ステップと、を有し、上記撮像ステップにおいて上記複数の分割画像データを取得する際に、上記第１の周期の期間中は分割フレームの数を変更することなく、また上記分割フレームの数を変更した上記ゲイン印加ステップでは上記第１の周期の次の周期は略同一の画像出力を得るように上記ゲインを変更する。
【００１２】
第５の発明に係るプログラムは、動画像を撮影する撮像装置のコンピュータ上で実行されるプログラムにおいて、第１の周期で１フレームの画像データを繰り返し取得可能であり、さらに上記１フレームの期間を所定数の分割フレームに分割し、該分割フレーム毎に繰り返し分割画像データを出力する撮像ステップと、被写体輝度を検出し、上記撮像ステップで出力された上記複数の分割画像データに対してゲインを印加するゲイン印加ステップと、上記ゲイン印加ステップにおいて上記ゲインが印加された複数の分割画像データを画像合成し、１フレームの合成画像データを生成する合成処理ステップと、を有し、上記撮像ステップにおいて上記複数の分割画像データを取得する際に、上記第１の周期の期間中は分割フレームの数を変更することなく、また上記分割フレームの数を変更した上記ゲイン印加ステップでは上記第１の周期の次の周期は略同一の画像出力を得るように上記ゲインを変更するように上記コンピュータ上で実行される。
【００１３】
第６の発明に係る撮像装置は、動画像を撮影する撮像装置において、第１の周期で１フレームの画像データを繰り返し取得可能であり、さらに上記１フレームの期間を所定数の分割フレームに分割し、該分割フレーム毎に繰り返し分割画像データを出力する撮像部と、上記撮像部から出力された複数の分割画像データを画像合成し、１フレームの合成画像データを生成する合成処理部と、被写体輝度を検出し、上記合成処理部から生成された合成画像に対してゲインを印加して画像データを出力するゲイン印加部と、を有し、上記撮像部において上記複数の分割画像データを取得する際に、上記第１の周期の期間中は分割フレームの数を変更することなく、また上記ゲイン印加部は、上記分割フレームの数を変更した上記第１の周期の次の周期は略同一の画像出力を得るように上記ゲインを変更する。
【００１４】
第７の発明に係る撮像装置の制御方法は、動画像を撮影する撮像装置の制御方法において、
第１の周期で１フレームの画像データを繰り返し取得可能であり、さらに上記１フレームの期間を所定数の分割フレームに分割し、該分割フレーム毎に繰り返し分割画像データを出力する撮像ステップと、上記撮像ステップにおいて出力された上記複数の分割画像データを画像合成し、１フレームの合成画像データを生成する合成処理ステップと、被写体輝度を検出し、上記合成処理ステップで出力された合成画像に対してゲインを印加するゲイン印加ステップと、を有し、上記撮像ステップにおいて上記複数の分割画像データを取得する際に、上記第１の周期の期間中は分割フレームの数を変更することなく、また上記分割フレームの数を変更した上記ゲイン印加ステップでは上記第１の周期の次の周期は略同一の画像出力を得るように上記ゲインを変更する。
【００１５】
第８の発明に係るプログラムは、動画像を撮影する撮像装置のコンピュータ上で実行されるプログラムにおいて、第１の周期で１フレームの画像データを繰り返し取得可能であり、さらに上記１フレームの期間を所定数の分割フレームに分割し、該分割フレーム毎に繰り返し分割画像データを出力する撮像ステップと、上記撮像ステップにおいて出力された複数の分割画像データを画像合成し、１フレームの合成画像データを生成する合成処理ステップと、被写体輝度を検出し、上記合成処理ステップで出力された合成画像に対してゲインを印加するゲイン印加ステップと、を有し、上記撮像ステップにおいて上記複数の分割画像データを取得する際に、上記第１の周期の期間中は分割フレームの数を変更することなく、また上記分割フレームの数を変更した上記ゲイン印加ステップでは上記第１の周期の次の周期は略同一の画像出力を得るように上記ゲインを変更するように上記コンピュータ上で実行される。
【発明の効果】
【００１６】
本発明によれば、被写体輝度が変化する場合であっても、パラパラ感のない動画を撮影することができる撮像装置、撮像装置の制御方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係るカメラの主として電気回路を示すブロック図である。
【図２】本発明の一実施形態に係るカメラにおいて、１フレームを分割し、この分割された各フレームにおけるゲインの印加を説明する図である。
【図３】本発明の一実施形態に係るカメラにおいて、１フレーム当たりの分割数とゲインの関係を示す図表である。
【図４】本発明の一実施形態に係るカメラの動作を示すフローチャートである。
【図５】本発明の一実施形態に係るカメラの動作を示すフローチャートである。
【図６】本発明の一実施形態の変形例に係るカメラの動作を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係るカメラは、デジタルカメラであり、概略、撮像素子から読み出される画像信号に基づく画像データを表示部にライブビュー表示すると共に動画釦の操作に応じて、所定のフレームレートで動画撮影を行い、記録用に画像処理した動画の画像データを外部メモリに記録する。このとき被写体輝度が明るくなる場合には、１フレームを分割し、この分割されたフレームで取得した画像データ（以下、「分割画像データ」と称す）の各々を合成して１フレーム分の画像データを生成する。また、分割フレームで撮影中に、被写体輝度が暗くなると、分割フレーム数を減少させる。
【００１９】
図１は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。本実施形態におけるカメラは、撮像部１、画像処理部１０、システム制御部３０、およびバス３１とこれに接続された各部を有する。なお、本実施形態においては、撮像部１に含まれるレンズ２は、カメラ本体と一体に構成されているが、一体型の構成に限らず、レンズ交換式カメラに対応する交換レンズとしても勿論かまわない。
【００２０】
撮像部１内には、レンズ２、イメージセンサ４が設けられている。レンズ２は、イメージセンサ４に被写体の光学像を結像する。このレンズ２内には、露出量を調節するための絞り値を調節する絞りが設けられている。イメージセンサ４は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子を含み、システム制御部３０からの指示に従って、レンズ２により結像された被写体の光学像を画素毎に電気信号に変換し、画像信号を、画像処理部１０およびバス３１に出力する。バス３１は、各ブロック間で信号の送受信を行うための信号線である。
【００２１】
また、イメージセンサ４は、グローバルシャッタまたはローリングシャッタの電子シャッタを有し、１フレームまたは分割されたフレームに相当する露光時間を制御することができる。イメージセンサ４は、第１の周期で１フレームの画像データを繰り返し取得でき、さらに１フレームの露光期間を所定数の分割フレームに分割し、該分割フレーム毎に繰り返し分割画像データを出力する撮像部として機能する。
【００２２】
また、動画像を構成する１フレームの画像は、複数の分割された画像として、撮像部から第２の周期で分割画像データが繰り返し出力され、第２の周期およびゲインの変更は、動画像を構成する１フレームの画像となる変更タイミングと同期する。すなわち、図２を用いて後述するように、１フレームの露光期間は、複数の分割フレームに分割される。被写体輝度の変化に応じて、１フレームの分割数とゲインは変化するが、１フレームの期間中は、分割数は変更されず、略同一の画像出力レベルとなるように、ゲインを変化させる。
【００２３】
画像処理部１０は、イメージセンサ４から出力された画像信号に画像処理を施し、合成処理部１４、ゲイン印加部１５、および現像処理部１６を有する。
画像処理部１０は、イメージセンサ４から出力された画像信号に、欠陥補正、ＯＢ（Optical Black）調整、ＷＢ補正、デモザイキング、色変換補正、階調変換などの一般に基本画処理と呼ばれる処理を行う。これらの調整、補正、変換は、入力値に対して特性カーブを持っていることがあり、必ずしもリニアリティを持った特性ではない。したがって、被写体輝度の変化に応じて画像出力レベルは必ずしも正比例した値で出力されるわけではない。
【００２４】
合成処理部１４は、イメージセンサ４から読み出された複数の分割フレームに対応する画像データの内、それぞれ対応する画素毎に出力を合成処理し、合成画像データを生成する。この合成処理としては、加算平均合成、比較明合成、比較暗合成、スレッシュを決めた比較明合成、スレッシュを決めた比較暗合成がある。
【００２５】
合成処理部１４における比較明合成は、イメージセンサ４から読み出された複数の画像データの内、それぞれ対応する画素毎に出力を比較し出力が大きい方の画素出力を合成画像の画素データとする。また、比較暗合成は、それぞれ対応する画素毎に出力を比較し出力が小さい方の画素出力を合成画像の画素データとする。また、加算平均合成は、イメージセンサ４から読み出された複数の画像データの内、それぞれ対応する画素毎の出力を加算平均して合成画像を生成する。スレッシュを決めた比較明合成および比較暗合成は、比較明合成および比較暗合成において画素毎の出力を比較する際に、スレッシュ以上の差があるか否かに応じて合成を行うか否かを決定する。
【００２６】
合成処理部１４は、ゲイン印加部よってゲインが印加された複数の分割画像データを画像合成し、１フレームの合成画像データを生成する合成処理部として機能する。また、この合成処理部は、１フレームを構成する期間に読み出された全ての分割画像データを用いて１フレームの画像データとする画像合成を行う。
【００２７】
ゲイン印加部１５は、画像データに対して、所定のゲイン値を乗算する。ゲイン値としてはプラスゲイン以外にもマイナスゲインもあり、例えば、マイナスゲインの一例として、１／２のゲイン値を乗算することで画像データの出力が１／２となり、ＮＤ２フィルタ（光量を１／２に減光するフィルタ）と同等の減光効果を施すことができる。
【００２８】
ゲイン印加部１５は、後述するように、被写体輝度に応じて、分割フレームを増加させた場合、または減少させた場合に、画像の明るさの変化を抑えるために、分割数に応じたゲインを印加する（後述する図３参照）。ゲインは、基本画処理で行う画像出力を考慮して算出される。ゲインを調整することにより、１フレームの期間中のフレーム分割数が変化した場合でも略同一の画像出力を得るようにする。人間の眼は、画像出力のレベルが多少変動しても同一出力レベルと感じることから、人間の眼に変動が分からない程度の画像出力レベルの変化であれば、略同一とみなせる。そのため、撮影者にはフレーム間の分割数に変化があっても違和感を感じることがない。ゲイン印加部１５は、撮像部１から出力された複数の分割画像データに対してゲインを印加するゲイン印加部として機能する。また、分割されない画像データに対しては後述する露出検出部２１で検出された被写体輝度情報に応じたゲインを印加する。
【００２９】
現像処理部１６は、合成処理部１４において生成されたＲＡＷ画像データ（現像処理前の画像データ）に対して、デモザイキング（同時化処理）、ホワイトバランス調整、ガンマ補正、画像圧縮などの現像処理を行う。
【００３０】
レベル判定部１７は、画素データの出力レベルを判定する。本実施形態においては、画素データが飽和レベルに達しないように、１フレーム当たりで撮像を繰り返す分割数（フレーム分割数）を決めるので、このレベル判定部１７は飽和レベルに達しているか否かを判定することができる。画素データが飽和レベルに達しているか否かは、ＲＡＷ画像データのビット数の飽和出力を用いて判定する。画素データの出力レベルを表示させ、使用者が判断して、調整しながらフレーム分割数を設定させるようにしても良い。
【００３１】
分割フレーム数検出部１９は、レベル判定部１７において、画像データの画素出力が飽和すると判定された場合に、イメージセンサ４からの画像データが飽和しなくなるフレーム分割数を検出する。具体的には、記録開始前のライブビュー表示中に、予め決められている１フレームの露光時間を分割し、この分割したフレーム時間で露光を行い、レベル判定部１７において画素データが飽和していないかを判定し、画素データが飽和しなくなるまでフレーム分割数を増加させる。一方、記録開始後、画像データが飽和している場合には、分割数を１ずつ徐々に増やす。徐々に増やす工夫としては複数フレームで１ずつ増やすようにして、分割数の急激な変化を行わないようにすることも考えられる。本実施形態においては、分割フレームの周期（第２の周期）は１フレームの周期（第１の周期）を２以上の整数で分割した値を用いているが、きっちり２以上の整数で割り切れない周期としても良い。
【００３２】
なお、全ての画素データが飽和しなくなるまで、フレーム分割数を増加させてもよいが、飽和画素が全画素数に対して一定の割合以下になるまで、フレーム分割数を増加させるようにしてもよい。また、実際にフレーム分割数を変更しながら画素データのレベルを検出する以外にも、例えば、画素データのレベル（平均出力レベルやピーク出力レベル等）に基づいて、フレーム分割数を算出するようにしてもよい。１フレームの分割の具体的な動作については、後述する図４のＳ９〜Ｓ１３において説明する。
【００３３】
露出検出部２１は、イメージセンサ４からの画像データを入力し、被写体輝度を検出し、この検出された被写体輝度情報をゲイン印加部１５、システム制御部３０等に出力する。ゲイン印加部１５は、前述したように、取得した被写体輝度に基づいて、ゲインを算出し、印加する。
【００３４】
記録フォーマット設定部２３は、ユーザによる入力ＩＦでの指定に応じて、記録フォーマットを設定する。動画の記録にあたっては、種々の記録フォーマットがあり、記録フォーマット設定部２３によって設定される。例えば、ＨＤ３０Ｐの場合には、本件の１フレームは１／３０秒となり、ＨＤ６０Ｐの場合には、１／６０秒となる。
【００３５】
バス３１には、前述の撮像部１、画像処理部１０、レベル判定部１７、分割フレーム数検出部１９、露出検出部２１、記録フォーマット設定部２３のほか、内部メモリ３３、外部メモリ３６、表示部３７、入力ＩＦ３８、マイク３９、システム制御部３０が接続されている。
【００３６】
内部メモリ３３は、カメラの動作に必要な各種設定情報や、システム制御部３０が実行するために必要なプログラムコードを記憶したり、画像処理時に途中経過の画像を一時的に記憶する。内部メモリ３３は、フラッシュメモリ等の不揮発性メモリ、ＤＲＡＭ等の揮発性のメモリによって構成される。
【００３７】
外部メモリ３６は、カメラ本体に装填自在、または内部に固定された不揮発性の記憶媒体であり、例えば、ＳＤカードやＣＦカード等である。この外部メモリ３６は、現像処理部１６で現像処理された画像データを記録し、また再生時には、記録された画像データが読み出され、表示部３７に表示したり、カメラの外部に出力することができる。
【００３８】
表示部３７は、ＴＦＴ（Thin Film Transistor）液晶デバイスや有機ＥＬ表示デバイスなどからなる背面表示部やＥＶＦ（電子ビューファインダ）によって構成され、現像処理部１６によって現像された画像を表示する。
【００３９】
入力ＩＦ３８は、レリーズ釦、動画釦等の操作部材や、背面表示部等におけるタッチ操作を入力するためのタッチパネル等を有し、ユーザ操作に基づいて各種のモード設定や動画記録指示等の撮影動作の指示を行う。記録フォーマット設定部２３における記録フォーマットの設定は、メニュー画面において入力ＩＦ３８によって行う。
【００４０】
マイク３９は、動画記録時に周囲の音声をアナログ信号に変換する。なお、このアナログ音声信号はデジタル形式の音声データに変換され、動画の画像データと共に、外部メモリ３６に記録される。
【００４１】
システム制御部３０は、ＣＰＵ（Central Processing Unit）を有し、内部メモリ３３内に記憶されたプログラムコードに従ってカメラの全体制御を行う。システム制御部３０は、前述に示す撮像部１に含まれる各部位に対して制御信号を送信させる。同様に撮像部１からの出力信号に対してバス３１を介して受信を行う。そのほかに、前述の画像処理部１０、レベル判定部１７、分割フレーム数検出部１９、露出検出部２１のほか、内部メモリ３３、外部メモリ３６、表示部３７、入力ＩＦ３８およびマイク３９の各部位に対して制御信号の送受信を行う。
【００４２】
また、システム制御部３０は、撮像部において複数の分割画像データを取得する際に、第１の周期の期間中（１フレーム中）は分割フレームの数を変更することなく、またゲイン印加部は、分割フレームの数を変更した第１の周期の次の周期は略同一の画像出力を得るようにゲインを変更するように制御する（図２参照）。
【００４３】
次に、図２を用いて、本実施形態において被写体輝度が変化した場合における、フレーム分割数の変更とゲイン変更について説明する。図２（ａ）は、被写体輝度が次第に明るくなる場合を示し、図２（ｂ）被写体輝度が次第に暗くなる場合を示している（図２（ａ）（ｂ）の被写体輝度の変化のグラフを参照）。図２（ａ）（ｂ）のいずれの場合も、フレームレートは１／３０ｓｅｃである。なお、図２において、縦線を施した分割フレームは標準レベルの明るさを示しており、また横線を施した分割フレームはゲイン印加後の映像出力のレベルを示している。
【００４４】
今、時刻Ｔ０において、フレームの分割数が４だったとする。時刻Ｔ１になり、露出検出部２１によって被写体輝度が明るくなったことを検出し、レベル判別部１７において、飽和が認められたら、フレームの分割数が４から５に変化する。１フレームの周期（第１の周期）（この場合は、１／３０ｓｅｃ）は変わらないので、分割フレームの周期（第２の周期）が短くなる（この場合は、１／１２０ｓｅｃから１／１５０ｓｅｃ）。また、フレームの分割数を単純に増加させると、分割フレームの画像データの出力レベルは瞬時に低下することから、ゲイン印加部１５によって、標準レベルの明るさとなるように、プラスゲインを印加して、撮影者に違和感を感じさせないようにする。
【００４５】
なお、図２（ａ）の時刻Ｔ１と時刻Ｔ１ａ間の分割フレームにおける矢印は、ゲインアップを示す。以後、時刻Ｔ２、Ｔ３、Ｔ４、・・・と経過するにつれて、被写体輝度が増加することから、ゲイン印加部１５におけるゲインアップ量は低下する。この間、ゲイン印加部１５によって、略一定の明るさとなるように、画像データに対して、ゲインが印加されることから、記録画像用の映像出力は略一定のレベルを維持することができる（図２（ａ）中の横線を施した分割フレーム参照）。
【００４６】
被写体輝度が暗くなる場合を、図２（ｂ）に示す。今、時刻Ｔ１０において、フレームの分割数が６だったとする。時刻Ｔ１１になり、露出検出部２１によって被写体輝度が暗くなったことを検出すると、フレームの分割数が６から５に変化する。１フレームの周期（第１の周期）（この場合は、１／３０ｓｅｃ）は変わらないので、分割フレームの周期（第２の周期）が長くなる（この場合は、１／１８０ｓｅｃから１／１５０ｓｅｃ）。また、フレームの分割数を単純に減少させると、分割フレームの画像データの出力レベルは瞬時に上昇することから、ゲイン印加部１５によって、撮影者に違和感のない変化の範囲の明るさとなるように、マイナスゲインを印加する。
【００４７】
図２（ｂ）の時刻Ｔ１１と時刻Ｔ１１ａ間の分割フレームにおける矢印は、ゲインダウンを示す。以後、時刻Ｔ１２、Ｔ１３、Ｔ１４、・・・と経過するにつれて、被写体輝度が低下することから、ゲイン印加部１５におけるゲインアップ量は増加する。この間、ゲイン印加部１５によって、一定の明るさとなるように、画像データに対して、ゲインが印加されることから、記録画像用の映像出力は略一定のレベルを維持することができる（図２（ｂ）中の横線を施した分割フレーム参照）。
【００４８】
このように、本実施形態においては、動画の撮影中に被写体輝度が変化した場合には、被写体輝度の変化に応じて、１フレームの分割数を変化させている。但し、分割数は整数で飛び飛びの値しかとれないことから、ゲイン印加部１５において画像データに印加するゲインを調整し、フレーム分割数が変化した場合でも、撮影者に違和感を与えないように略一定出力レベルの画像データを得られるようにしている。また、１フレームの期間中は、分割数（第２の周期）を変更することがなく、またゲインを変更している。このため、各分割フレームにおいて、露光期間が途切れることがなく連続的に被写体像を露光し、略一定出力レベルの分割画像データを取得することができる。
【００４９】
次に、図３を用いて、１フレーム当たりの分割数とゲインの関係について説明する。図２（ａ）に示した例では、フレーム分割数を４から５に増加し、また図２（ｂ）に示した例では、分割数を６から５に減少していた。図３（ａ）は、被写体輝度が明るくなる場合に、フレームの分割数の増加に応じて、ゲインがどのように変化するかを示す。フレーム数が１から２に増加すると、ゲインは２倍にする。また、フレーム数が２から３に増加すると、３／２＝１．５で、１．５倍にする。図３（ａ）から分かるように、新たなフレーム数を現在のフレーム数で除算することにより、ゲインを求めることができる。
【００５０】
図３（ｂ）は、被写体輝度が暗くなる場合に、フレームの分割数の減少に応じて、ゲインがどのように変化するかを示す。フレーム数が８から７に減少すると、ゲインは０．８８倍になる。また、フレーム数が７から６に減少すると、６／７＝０．８６で、０．８６倍になる。図３（ｂ）から分かるように、新たなフレーム数を現在のフレーム数で除算することにより、ゲインを求めることができる。
【００５１】
次に、図４および図５に示すフローチャートを用いて、本実施形態の動作を説明する。これらのフローチャートは、内部メモリ３３に記憶されたプログラムコードに従って、システム制御部３０がカメラ内の各部を制御することにより実行する。
【００５２】
パワースイッチ等、電源が入ると、図４に示すフローがスタートする。まず、露光を開始し、表示部３７がライブビュー表示を行う（Ｓ１）。ここでは、イメージセンサ４からの画像データを画像処理部１０がライブビュー表示用に画像処理を行い、表示部３７にライブビュー表示を行う。撮影者はライブビュー表示を観察し、構図を決め、また静止画の撮影タイミングや動画の撮影タイミングを決める。
【００５３】
ステップＳ１においてライブビュー表示を行うと、次に、記録画質の設定を行う（Ｓ３）。ここでは、記録フォーマット設定部２３が、入力ＩＦ３８において入力されたフレームレートに基づいて、動画記録のためのフレームレートの設定を行う。フレームレートは、前述したように、動画記録時の１秒あたりの画像数を示し、一般的に、３０、６０といった値が設定される。
【００５４】
ステップＳ３において記録画質の設定を行うと、次に、絞り設定を行う（Ｓ５）。ここでは、必要なる被写界深度やボケの状態を確認し、絞り（レンズ２内に設けられている）の絞り値を算出し、この絞り値となるように絞りの制御を行う。
【００５５】
ステップＳ５において絞り設定を行うと、次に、１フレーム当たりで撮像を繰り返す分割数の検出を行う（Ｓ７）。ここでは、分割フレーム数検出部１９が、画像データに基づいて、画素データが飽和しないレベルとなる分割数を検出する。具体的には、画素データが飽和レベル以下となるまで、分割数を増加させる。したがって、ステップＳ３において設定されたフレームレートで取得した画像データの画素データのレベルが飽和レベル以下であれば、分割数の増加は行わず、また飽和レベルを超えていれば、レベル判定部１７によって飽和レベルを超えないと判定されるまで、分割数を増加させる。なお、１フレームを分割しても、まだ画素データが大きすぎる場合には、絞り値を変更する。また、分割数が１で、画素データが小さい場合には絞りを開くように制御する。記録開始前は絞り値を変更してもよいが、記録が始まると動画像の品位が劣化するので、絞り値の変更はできるだけ行わないようにする。
【００５６】
ステップＳ７においてフレームの分割数の検出を行うと、次に、１フレームを分割する必要があるか否かを判定する（Ｓ９）。ここでは、ステップＳ７におけるフレームの分割数の検出結果に基づいて判定する。すなわち、検出結果が１以下であったならば、１フレームを分割する必要はないと判定する。
【００５７】
ステップＳ９における判定の結果、フレーム分割が必要の場合には、フレームの分割の設定を行う（Ｓ１１）。ここでは、ステップＳ７において検出された分割数で１フレームを分割するための分割数の設定を行う。
【００５８】
一方、ステップＳ９における判定の結果、フレームの分割が必要ない場合には、設定フレームを固定する（Ｓ１３）。ここでは、ステップＳ３において設定されたフレームレートのままとする。なお、画像データのゲインが不足している場合には、ゲイン印加部１５がゲインを印加する。
【００５９】
ステップＳ１１またはＳ１３においてフレームの分割または固定を行うと、次に、記録開始か否かを判定する（Ｓ１５）。撮影者が動画の撮影を開始する場合には、動画釦（またはレリーズ釦）を操作するので、ここでは、入力ＩＦ３８からの動画釦（またはレリーズ釦）の操作状態を表す信号に基づいて判定する。この判定の結果、記録開始でない場合には、ステップＳ７に戻り、前述のライブビュー表示等の処理を繰り返す。
【００６０】
記録開始前であってライブビュー表示中は、見えを犠牲にして電池の消費電流を下げる工夫を行なうことも考えられる。具体的には、画像データが飽和するような被写体輝度であっても、フレーム分割は行わず、動画表示はカクカクすることを許容して、シャッタースピードを早くして、撮像動作を止める期間を設けることも考えられる。その他にタイマーを設け、ライブビュー開始から所定時間経過しても記録開始されない場合には、上記のような消費電流を下げる状態に遷移し、何らかのボタン操作でこの状態から元に戻るように工夫することも考えられる。
【００６１】
一方、ステップＳ１５における判定の結果、記録開始の場合には、動画の撮影を開始する。動画の撮影を開始すると、画像データが出力される毎に、画像処理部１０によって画像処理が行われる。後述するように、分割フレームの画像データが出力される毎に、合成処理部１４による合成処理が行われる。そして、動画撮影が開始されると、被写体輝度が明るくなっているか否かを判定する（Ｓ２１）。ここでは、露出検出部２１が画像データに基づいて、被写体輝度の変化を判定する。この他にもレベル判別部１７の出力を用いて被写体輝度の変化を判定しても良い。
【００６２】
ステップＳ２１における判定の結果、被写体輝度が明るくなっている場合には、レベル許容値を超えるか否かを判定する（Ｓ２３）。ここでは、露出検出部２１によって検出された被写体輝度が予め決められた許容値を超えているか否かを判定する。許容値は、被写体輝度が明るくなり、１フレームを分割して画像データを取得しないと、画素データが飽和してしまうかどうかを判定できる程度の値であれば良い。この判定の結果、レベル許容値を超えていない場合には、ステップＳ２１に戻る。
【００６３】
ステップＳ２３における判定の結果、レベル許容値を超えている場合には、フレーム分割増加と同時にゲインを変更する（Ｓ２５）。ここでは、図２（ａ）を用いて説明したように、フレーム分割数を増加する。この場合、現在、フレーム分割を行っていない場合には（すなわち、フレーム分割数が０の場合）、フレーム分割数を２にする。現在のフレーム分割数が２の場合には３にする等、現在のフレーム分割数に１を加算したフレーム分割数にする。システム制御部３０は、このフレーム分割数に応じてイメージセンサ４から画像データの読出しを行わせる。
【００６４】
また、ステップＳ２５においては、図２（ａ）を用いて説明したように、フレーム分割数を増加させると共にゲインの変更も行う。フレーム分割数は、整数で飛び飛びであることから、フレーム分割数が１増加すると、画像データの出力レベルの変動が大きく、そのままでは、再生画像を観察するユーザは違和感を感じてしまう。そこで、画像データにゲインを印加し、ユーザが違和感を感じない程度に出力レベルを略一定に保っている。但し、１つのフレームの中では、フレーム分割数は切り換えないものとする。フレーム分割数の変更はフレームの切り換りで行うようにする。
【００６５】
一方、ステップＳ２１における判定の結果、被写体輝度が明るくなっていない場合には、次に、被写体輝度が暗くなっているか否かを判定する（Ｓ２７）。ここでは、露出検出部２１が画像データに基づいて、被写体輝度の変化を判定する。この判定の結果、暗くなっていない場合、すなわち、被写体輝度が殆ど変っていない場合には、ステップＳ２１に戻り、判定を続行する。
【００６６】
ステップＳ２７における判定の結果、被写体輝度が暗くなっていた場合には、レベル許容値を下回っているか否かを判定する（Ｓ２９）。被写体輝度が段々暗くなってきた場合に、この被写体輝度の低下が許容値よりも低くなったについて、露出検出部２１によって検出された被写体輝度に基づいて判定する。許容値は、ステップＳ２３における値と同じでもよく、またフレーム分割数に応じて変化するようにテーブル参照や演算により求めるようにしてもよい。この判定の結果、レベル許容値を下回っていない場合には、ステップＳ２１に戻る。
【００６７】
ステップＳ２９における判定の結果、レベル許容値を超えていた場合には、次に、フレーム分割中か否かを判定する（Ｓ３１）。ステップＳ２５または後述するステップＳ３３において、フレーム分割を行っている状態で画像データを取得している際に、被写体輝度が低下する場合がある。このステップでは、２以上のフレームに分割しているか否かを判定する。
【００６８】
ステップＳ３１における判定の結果、フレーム分割中の場合には、フレーム分割減少と同時にゲイン変更を行う（Ｓ３３）。ステップＳ２７およびＳ２９における判定の結果、許容値を超える被写体輝度の低下があったことから、図２（ｂ）で説明したようなフレーム分割数の減少を行う。この場合、現在のフレーム分割数が３の場合には２にする等、現在のフレーム分割数から１を減算したフレーム分割数にする。システム制御部３０は、このフレーム分割数に応じてイメージセンサ４から画像データの読出しを行わせる。但し、ステップＳ２５と同様に１つのフレーム中では、フレーム分割数は切り換えないものとする。フレーム分割数の変更はフレームの切り換りで行うようにする。
【００６９】
また、ステップＳ３３においては、図２（ｂ）を用いて説明したように、フレーム分割数を減少させると共にゲインの変更も行う。フレーム分割数は、整数で飛び飛びであることから、フレーム分割数が１減少すると、画像データの出力レベルの変動が大きく、そのままでは、再生画像を観察するユーザは違和感を感じてしまう。そこで、画像データにゲインを印加し、ユーザが違和感を感じない程度に出力レベルを略一定に保っている。
【００７０】
一方、ステップＳ３１における判定の結果、フレーム分割中でない場合には、ゲイン変更を行う（Ｓ３５）。この場合は、ステップＳ２７における判定の結果、被写体輝度が暗くなっており、またステップＳ３１における判定の結果、フレーム分割中でない。このため、これ以上、フレーム分割数を減少させることはできず、適正な画像出力レベルにするには、画像データにゲインを印加することによって行う。
【００７１】
ステップＳ２５およびＳ３３において、フレーム分割数の変更やゲイン変更等を行うと、画像合成を行う（Ｓ３７）。ここでは、合成処理部１４が、複数の分割フレームの画像データデータを用いて、加算平均合成、比較明合成等の合成処理を行い、１フレーム分の画像データを生成する。
【００７２】
ステップＳ３７において画像合成を行うと、またはステップＳ３５においてゲイン変更を行うと、記録終了か否かを判定する（Ｓ３７）。ユーザが動画の撮影を終了する場合には、動画釦（またはレリーズ釦）を再度操作するので、ここでは、入力ＩＦ３８からの動画釦（またはレリーズ釦）の操作状態を表す信号に基づいて判定する。
【００７３】
こステップＳ３９における判定の結果、記録終了でない場合には、ステップＳ２１に戻り、撮像を行い、前述の処理を繰り返す。この間、１フレーム分の画像データが出力される毎に、動画用の画像データを生成し、外部メモリ３６に記録する。なお、時間軸方向の圧縮を行う場合には、数フレーム分の画像データの処理を行ってから外部メモリ３６に記録する。一方、ステップＳ３９における判定の結果、記録終了の場合には、このフローを終了し、電源をオフとする。
【００７４】
以上説明したように、本発明の一実施形態においては、第１の周期で１フレームの画像データを繰り返し取得することができ、さらに１フレームの期間を所定数の分割フレームに分割し、該分割フレーム毎に繰り返し分割画像データを出力する撮像部１と、被写体輝度を検出し、撮像部から出力された複数の分割画像データに対してそれぞれゲインを印加するゲイン印加部１５と、ゲイン印加部１５によってゲインが印加された複数の分割画像データを画像合成し、１フレームの合成画像データを生成する合成処理部１４を有し、撮像部において複数の分割画像データの取得する際に、第１の周期の期間中は分割フレームの数を変更することなく、また第１の周期の期間中は略同一の画像出力レベルを得るようにゲインを変更する（図３参照）。すなわち、被写体輝度が明るくなるか暗くなると、フレーム分割数を変更し、このフレーム分割数の変更に応じてゲインを変更する。そして、１フレーム分の撮影を行い、次の１フレーム分の撮影の際には、フレーム分割数を変更している。このため、被写体輝度が変化する場合であっても、パラパラ感のない動画を撮影することができる。
【００７５】
また、本発明の一実施形態においては、シャッタ速度が１フレームの露光期間より短い場合には、１フレームの露光期間を分割し、この分割したフレームの全露光期間を用いて画像データを取得するようにしている。このため、１フレーム中で露光が途切れることがなく、連続的に画像を得ることができる。また、フレーム分割して取得した複数の画像データを用いて合成処理を施して１フレーム分の画像を得ている。このため、各フレームについて適正レベルの画像データを得ることができる。
【００７６】
また、本発明の一実施形態においては、分割されたフレーム毎の撮像素子からの出力にゲインを掛けた後に、画像合成して合成画像を生成していたが、分割されたフレーム毎の出力を画像合成した後にゲインを掛けて合成画像を生成しても良い。その場合には、図６のように処理の順序が一部異なる。
【００７７】
図６に示すフローチャートを用いて、この変形例について説明する。図６において、図５に示すフローチャートと同一の処理を行うステップについては、同一のステップ番号を付して詳しい説明を省略し、相違点を中心に説明する。
【００７８】
ステップＳ２３における判定の結果、レベル許容値を超えた場合には、ステップＳ２５ａに移行して、フレーム分割数を増加させる。そしてフレーム分割数分の画像の取得が完了すると、ステップＳ３７で画像合成を行なう。その後、ステップＳ３８にてゲインの変更を行い、ステップＳ３７で生成した合成画像にゲインを掛けて画像を生成する。その後、ステップＳ３９に移行する。
【００７９】
また、ステップＳ２９における判定の結果、レベル許容量を下回った場合であって、ステップＳ３１における判定の結果、フレーム分割中であった場合には、ステップＳ３３ａに移行してフレーム分割数を減少させる。その後、ステップＳ３７に移行して前述の画像合成処理を行う。
【００８０】
このように、フレーム分割した画像にゲインを掛けた後に画像合成するか、画像合成した後にゲインを掛けるかの、２種類の処理方法を示したが、プログラムとして搭載する場合には、ハードウェアの機能と、画像処理を行なう演算能力や、ワークエリアの空き容量に応じて処理時間が最短になるように状況に合わせて切り換えても良い。
【００８１】
なお、本発明の一実施形態においては、画像処理部１０、レベル判別部１７、分割フレーム数検出部１９、露出検出部２１、記録フォーマット設定部２３等を、システム制御部３０とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、システム制御部３０によって実行するようにしても勿論かまわない。
【００８２】
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、動画を撮影する機器であれば、本発明を適用することができる。
【００８３】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定できることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【００８４】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【００８５】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００８６】
１・・・撮像部、２・・・レンズ、４・・・イメージセンサ、１０・・・画像処理部、１４・・・合成処理部、１５・・・ゲイン印加部、１６・・・現像処理部、１７・・・レベル判定部、１９・・・分割フレーム数検出部、２１・・・露出検出部、２３・・・記録フォーマット設定部、３０・・・システム制御部、３１・・・バス、３３・・・内部メモリ、３６・・・外部メモリ、３７・・・表示部、３８・・・入力ＩＦ、３９・・・マイク
【図１】
0006368618.tif 000002
【図２】
0006368618.tif 000003
【図３】
0006368618.tif 000004
【図４】
0006368618.tif 000005
【図５】
0006368618.tif 000006
【図６】
0006368618.tif 000007