(57)【要約】【課題】暗いシーンにおいてもフレームレートを低下させることなく動画撮影を行う。【解決手段】撮像装置であるデジタルカメラ１は、撮像部２９は、被写体を撮像し、画像信号を順次出力する。画像蓄積部１１ｄは、画像信号を取得して蓄積する。変化画像作成部１１ｆは、画像蓄積部１１ｄに蓄積された画像を加算して、徐々に輝度が増していく輝度変化画像を作成する。輝度変化画像は、表示部１８ａに表示される。撮影者は輝度変化画像が適度な輝度になったとき、タッチパネル１８ｂをタッチする。タッチ判定部１１ｃは、タッチパネルがタッチされたことを判定する。このタッチのタイミングに基づいて、期間決定部１１ｇは、加算期間を決定する。加算部１１ｅは、画像蓄積部１１ｄに蓄積された画像信号を加算期間毎に順次加算して加算画像動画を作成する。加算画像動画は、表示部１８ａに表示され、また、記録部１７に記録される。【選択図】図１
2014068075.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、画像信号を順次出力する撮像部と、
前記画像信号を取得して蓄積する画像蓄積部と、
前記画像蓄積部に蓄積された前記画像信号のうち各時点までの所定の加算期間に含まれる前記画像信号を加算することで順次各フレームの画像を作成した加算画像動画を生成する加算部と、
を具備する撮像装置。
【請求項２】
撮像開始以降の前記画像信号を順次加算して徐々に輝度が増す輝度変化画像を作成する変化画像作成部と、
前記輝度変化画像を表示する表示部と、
前記加算期間の指定が入力される入力部と、
前記入力部への入力に基づいて前記加算期間を決定する期間決定部と、
をさらに具備し、
前記輝度変化画像が前記表示部に表示され、前記入力部に前記加算期間が入力された後に、前記加算部は、前記期間決定部が決定した前記加算期間に基づいて前記加算画像動画を作成する、
請求項１に記載の撮像装置。
【請求項３】
前記入力部は、前記表示部に設けられたタッチパネルであり、
前記加算期間は前記撮影開始から前記タッチパネルがタッチされるまでの期間として入力される、
請求項２に記載の撮像装置。
【請求項４】
前記画像信号は、不連続である請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
一般に撮像装置を用いて暗いシーンの動画を撮像するとき、光量不足のため取得される動画が暗くなる。光量不足を補うため、暗いシーンの動画撮影においてはフレームレートを低下させる技術が例えば特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１６５１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
暗いシーンにおける動画撮影において、光量不足を補うためにフレームレートを低下させると、得られる動画は動きの滑らかさが低下してしまう。
【０００５】
そこで本発明は、明るさに関わらずにフレームレートを自由に設定して動画撮影や特殊な効果の静止画撮影を行える撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を果たすため、本発明の一態様によれば、撮像装置は、被写体を撮像し、画像信号を順次出力する撮像部と、前記画像信号を取得して蓄積する画像蓄積部と、前記画像蓄積部に蓄積された前記画像信号のうち各時点までの所定の加算期間に含まれる前記画像信号を加算することで順次各フレームの画像を作成した加算画像動画を生成する加算部と、を具備する。
【発明の効果】
【０００７】
本発明によれば、明るさに関わらずにフレームレートを自由に設定して動画撮影や特殊な効果の静止画撮影を行える撮像装置を提供できる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係るデジタルカメラの構成例を示すブロック図。
【図２】一実施形態に係るカメラ制御の一例を示すフローチャート。
【図３】一実施形態に係る撮影動作処理の一例を示すフローチャート。
【図４】一実施形態に係る撮影シーンの一例を示す模式図。
【図５】一実施形態に係る視認困難な場合に表示される画像の一例を示す図。
【図６】一実施形態に係る長秒露光処理における時間と撮像素子の電荷蓄積レベル及び電荷の読み出しのタイミングについて説明するための模式図。
【図７】一実施形態に係る長秒露光処理の一例を示すフローチャート。
【図８】一実施形態に係るフレーム毎増感処理と長秒露光処理の結果を説明するための模式図。
【図９】一実施形態に係る残像処理における時間と撮像素子の電荷蓄積レベル及び電荷の読み出しのタイミングについて説明するための模式図。
【図１０】一実施形態に係る残像処理における調整画面の一例を示す図。
【図１１】一実施形態に係る残像処理の結果を説明するための模式図。
【図１２】一実施形態に係る残像処理の一例を示すフローチャート。
【図１３】一実施形態に係る長秒露光処理について説明するための模式図。
【図１４】一実施形態に係る長秒露光処理に係る合成するフレーム数の調整のための表示画像の一例を示す図。
【図１５】一実施形態に係る残像処理について説明するための模式図。
【発明を実施するための形態】
【０００９】
本発明の一実施形態について図面を参照して説明する。本実施形態に係る撮像装置としてのデジタルカメラ１の概略を図１に示す。デジタルカメラ１は、例えば、レンズ交換式のカメラである。ただし、レンズ交換式に限る必要はなく、レンズが固定されたカメラにも本実施形態に係る技術は適用され得る。
【００１０】
レンズ交換式のデジタルカメラ１は、カメラ本体１０と、レンズ２０とを有する。ユーザは、カメラ本体１０に好みのレンズ２０を取り付けて撮影を行う。レンズ２０は、被写体像を後述するカメラ本体１０に設けられた撮像素子１２に導く。ここでは、レンズ２０は、ズームレンズであるものとして説明を行う。レンズ２０は、レンズ光学系２６を有する。レンズ光学系２６には、ズーム部２６ａと、ピント部２６ｂと、絞り部２６ｃとが設けられている。ズーム部２６ａは、複数のレンズ要素の位置を移動させてズーム機能を実現する。ピント部２６ｂは、ピント合わせ用レンズを移動させて、被写体像を撮像素子１２に合焦させる。絞り部２６ｃは、絞りの開閉動作をすることで、撮像素子１２に導かれる光の量を調整する。
【００１１】
レンズ２０は、ズーム部２６ａ、ピント部２６ｂ、絞り部２６ｃ等の動作を制御する制御部２１を有する。また、レンズ２０は、ズーム部２６ａ内の各要素の位置を検出する位置検出部２５ａと、ピント部２６ｂ内の各要素の位置を検出する位置検出部２５ｂと、絞り部２６ｃ内の各要素の位置を検出する位置検出部２５ｃとを有する。また、レンズ２０は、ズーム部２６ａ内のモータ等を駆動する駆動部２４ａと、ピント部２６ｂ内のモータ等を駆動する駆動部２４ｂと、絞り部２６ｃ内のモータ等を駆動する駆動部２４ｃとを有する。また、レンズ２０は、レンズ特性や制御データやプログラム等を記録している記憶部２７を有する。さらにレンズ２０は、カメラ本体１０と通信するための本体通信部２２とを有する。
【００１２】
制御部２１は、記憶部２７に記録された制御データやプログラム、本体通信部２２を介して取得された各種制御パラメータに基づき、位置検出部２５ａの出力を利用して、駆動部２４ａを動作させ、ズーム部２６ａを駆動する。また、制御部２１は、記憶部２７に記録された制御データやプログラム、本体通信部２２を介して取得された各種制御パラメータに基づき、位置検出部２５ｂの出力を利用して、駆動部２４ｂを動作させ、ピント部２６ｂを駆動する。また、制御部２１は、記憶部２７に記録された制御データやプログラム、本体通信部２２を介して取得された各種制御パラメータに基づき、位置検出部２５ｃの出力を利用して、駆動部２４ｃを動作させ、絞り部２６ｃを駆動する。
【００１３】
また、レンズ２０は、操作部２３ａ及び操作部２３ｂを有する。操作部２３ａ及び操作部２３ｂは、ズーム部２６ａ、ピント部２６ｂ、絞り部２６ｃ等の動作を入力するための操作部である。ユーザは、操作部２３ａ及び操作部２３ｂを操作することで、ズーム部２６ａ、ピント部２６ｂ、絞り部２６ｃ等の動作を調整することができる。例えば操作部２３ａ及び操作部２３ｂは、鏡筒に沿って回動するリング部を有している。リング部は、シフト操作も可能である。例えば、回転動作が操作部２３ａの入力に対応し、シフト動作が操作部２３ｂの入力に対応する。なお、操作部２３ａ及び操作部２３ｂは、操作スイッチなどでもよい。
【００１４】
例えばズームリングである操作部２３ａは、ズーム部２６ａとギアやカムを用いて機械的には連携していない。本実施形態のレンズ２０では、操作部２３ａの操作に応じて、例えば小型アクチュエータやメカトロニクス技術を用いた駆動部２４ａの機構によって、ズーム部２６ａが駆動される。
【００１５】
一方、カメラ本体１０は、各種信号を処理し、カメラ本体１０の各部を制御する信号処理制御部１１を有する。信号処理制御部１１は、例えば集積回路で構成される。この信号処理制御部１１には、後述するように例えば画像の表示や記録に必要な画像処理が可能な信号処理部１１ａが設けられている。
【００１６】
カメラ本体１０は、撮像素子１２を有する。撮像素子１２は、撮像動作をする。すなわち、撮像素子１２は、レンズ２０から入射した被写体像を電気信号に変換し、画像信号を生成する。撮像素子１２は、生成した画像信号を信号処理制御部１１に出力する。レンズ光学系２６と撮像素子１２とによって、撮像部２９として機能する部位を形成する。
【００１７】
カメラ本体１０は、例えばその背面に表示パネル１８を有している。表示パネル１８は、ヒンジ１８ｃでカメラ本体１０と接続されており、ヒンジ１８ｃを軸として、カメラ本体１０に対して位置及び姿勢を変化させ得る。表示パネル１８は、画像を表示する表示部１８ａを有する。表示部１８ａは、例えば液晶表示パネルを含む。表示部１８ａには、有機ＥＬパネル等、他の表示用デバイスが用いられてもよい。
【００１８】
表示パネル１８の表示部１８ａ上には、タッチパネル１８ｂが設けられている。タッチパネル１８ｂはユーザの指示の入力を受け取る。ユーザは、例えば表示部１８ａに表示されたアイコンに対応する位置を触れることにより、デジタルカメラ１の操作を行うことができる。本実施形態では、タッチパネル１８ｂは、例えば暗いシーンの撮影における撮影者の好みの明るさ等、合成するフレーム数に関する情報の入力に用いられ得る。ユーザによってタッチされたことによりタッチパネル１８ｂが発生する信号は、信号処理制御部１１内のタッチ判定部１１ｃに出力され、その信号はまずタッチ判定部１１ｃで処理される。
【００１９】
また、カメラ本体１０は、電子ビューファインダ（Ｅｌｅｃｔｒｏｎｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ；ＥＶＦ）等の接眼表示部１３ａと、接眼センサ１３ｂとを備える。接眼表示部１３ａは、小型の液晶パネル又は有機ＥＬパネル等を有している。接眼表示部１３ａは、表示画像を専用の光学系で拡大してユーザに目視可能にさせるものである。接眼センサ１３ｂは、接眼表示部１３ａがユーザによって覗かれているか否かに係る情報を信号処理制御部１１に出力する。表示部１８ａ及び接眼表示部１３ａは、信号処理制御部１１内の表示制御部１１ｂの制御下で動作する。
【００２０】
接眼表示部１３ａによれば、ユーザは、接眼表示部１３ａを覗き込む形で観察できるので、外光の影響を受けずに画像を観察できる。さらに、接眼表示部１３ａは、専用の光学系の調整によって、ユーザの視度に合わせた視度調整ができるように構成されている。この視度調整により、ユーザは、自身の視力に関わらず良好な画像の観察を行うことができる。また、接眼表示部１３ａによれば、ユーザはカメラ本体１０を顔の近くに位置させることで、デジタルカメラ１を安定して構えることができる。なお、接眼表示部１３ａ及び接眼センサ１３ｂは、カメラ本体１０に固定されず取り外し可能なものでもよい。
【００２１】
カメラ本体１０には、スイッチ等、ユーザの様々な操作による入力を受け取る操作部１６が設けられている。操作部１６は、ユーザの右手の人差し指が配置される位置に設けられたレリーズスイッチを含む。また、操作部１６は、動画撮影の開始及び終了を入力するための動画ボタンを含む。また、操作部１６は、シャッタースピード、絞り、露出補正、感度設定、ピント位置等の撮影パラメータの変更が入力されるスイッチやダイヤルや十字キー等を含む。
【００２２】
カメラ本体１０は、第１の記憶部１４ａと第２の記憶部１４ｂとを有する。第１の記憶部１４ａは、例えばＲＯＭであり、例えば信号処理制御部１１による制御に用いるプログラム等を記憶している。第２の記憶部１４ｂは、例えばＲＡＭであり、例えば信号処理制御部１１による処理結果を一時的に記憶する。さらに、カメラ本体１０には、撮影して生成された画像データを記録するための記録部１７が設けられている。この記録部１７は、一般的な記録媒体として、カメラ本体１０に対して取り外し可能に接続されている。
【００２３】
また、カメラ本体１０は、レンズ２０の本体通信部２２と通信するためのレンズ通信部１５ａを有する。カメラ本体１０からレンズ２０へのレンズ２０の動作の指示や、レンズ２０からカメラ本体１０へのレンズ２０の状態に係る情報の転送等は、レンズ通信部１５ａと本体通信部２２とを介して行われる。また、カメラ本体１０は、撮影した画像に撮影日時のデータを付加する等のため、時計１１ｈを有する。
【００２４】
信号処理制御部１１は、第１の記憶部１４ａに記憶されたプログラムに従って動作する。信号処理制御部１１には、信号処理部１１ａ、表示制御部１１ｂ、タッチ判定部１１ｃ、画像蓄積部１１ｄ、加算部１１ｅ、変化画像作成部１１ｆ、及び期間決定部１１ｇが設けられている。信号処理制御部１１内の信号処理部１１ａは、ユーザが表示部１８ａや接眼表示部１３ａを見ながら撮影できるように、撮像素子１２から入力された画像信号に基づいてプレビュー画像を作成する。また、信号処理部１１ａは、例えば操作部１６からの入力に応じて、撮影時には撮像素子１２から入力された画像信号に基づいて記録画像を作成し、この記録画像を記録部１７に記録させる。また、信号処理部１１ａは、後述の加算部１１ｅで作成した動画像を記録部１７に記録させる。その他、信号処理部１１ａは、カメラ本体１０に係る各種の処理を行う。
【００２５】
信号処理制御部１１内の表示制御部１１ｂは、信号処理部１１ａが作成したプレビュー画像やその他の画像を、表示部１８ａや接眼表示部１３ａに表示させる。信号処理制御部１１内のタッチ判定部１１ｃは、タッチパネル１８ｂから信号を取得して、タッチパネル１８ｂを介したユーザの指示を取得する。
【００２６】
信号処理制御部１１内の画像蓄積部１１ｄは、撮像部２９で生成された画像信号を一定期間蓄積する。画像蓄積部１１ｄは、後述の加算部１１ｅ又は変化画像作成部１１ｆからの要求に応じて蓄積した画像信号を加算部１１ｅ又は変化画像作成部１１ｆに出力する。信号処理制御部１１内の変化画像作成部１１ｆは、画像蓄積部１１ｄから蓄積された画像を取得し、撮影開始時からその時点までの画像を加算して時間経過とともに徐々に輝度が増していく輝度変化画像を作成する。
【００２７】
信号処理制御部１１内の期間決定部１１ｇは、後述の加算部１１ｅで画像信号を加算する期間である加算期間を決定する。例えば、表示部１８ａに変化画像作成部１１ｆで作成した輝度変化画像が表示部１８ａに表示され、撮影者がこの輝度変化画像を見ながら好みの輝度になったときにタッチパネル１８ｂをタッチするものとする。このとき、期間決定部１１ｇは、タッチ判定部１１ｃからタッチパネル１８ｂがタッチされたという信号を取得する。期間決定部１１ｇは、撮影開始からタッチパネル１８ｂがタッチされるまでの時間を加算期間として決定する。
【００２８】
信号処理制御部１１内の加算部１１ｅは、画像蓄積部１１ｄから蓄積された画像を取得し、加算期間の間に撮像部２９によって取得された画像信号を順次加算して、加算画像動画を作成する。例えば加算期間をＴとしたとき、時刻Ｔｎにおいては、時刻（Ｔｎ−Ｔ）から時刻Ｔｎまでに取得された画像を合成して１つの画像を作成し、時刻Ｔｎ＋１においては、時刻（Ｔｎ＋１−Ｔ）から時刻（Ｔｎ＋１）までに取得された画像を合成して１つの画像を作成するといったようにして、順次画像を作成して加算画像動画を作成する。
【００２９】
本実施形態に係るデジタルカメラ１の動作を説明する。このデジタルカメラ１の信号処理制御部１１によって行われる処理の一例を図２に示されるフローチャートを参照して説明する。ステップＳ１０１において信号処理制御部１１は、撮影モードであるか否かを判定する。撮影モードであると判定されたとき、処理はステップＳ１０２に進む。ステップＳ１０２において信号処理制御部１１は、レンズ交換が行われたか否かを判定する。レンズ交換が行われたと判定されたとき、処理はステップＳ１０３に進む。ステップＳ１０３において信号処理制御部１１は、レンズの情報を取得する等のレンズ通信を行う。その後、処理はステップＳ１０４に進む。ステップＳ１０２において、レンズ交換が行われていないと判定されたとき、処理はステップＳ１０４に進む。
【００３０】
ステップＳ１０４において信号処理制御部１１は、アイセンサがＯＮであるか否か、すなわち、接眼表示部１３ａが撮影者によって覗かれているか否かを判定する。アイセンサがＯＮでないと判定されたとき、処理はステップＳ１０５に進む。ステップＳ１０５において信号処理制御部１１は、表示パネル１８の表示部１８ａをスルー画の表示先として選択する。その後、処理はステップＳ１０７に進む。ステップＳ１０４においてアイセンサがＯＮであると判定されたとき、処理はステップＳ１０６に進む。ステップＳ１０６において信号処理制御部１１は、接眼表示部１３ａをスルー画の表示先として選択する。その後、処理はステップＳ１０７に進む。
【００３１】
ステップＳ１０７において信号処理制御部１１は、撮像素子１２から画像信号を取得する。信号処理制御部１１は、この画像信号に基づいて、スルー画を作成する。また、信号処理制御部１１は、ステップＳ１０５又はステップＳ１０６で選択された表示先に、スルー画の表示を開始させる。ステップＳ１０８において信号処理制御部１１は、撮影操作が行われたか否かを判定する。すなわち、例えば操作部１６のレリーズボタンや動画ボタンが押圧されたか否かが判定される。撮影操作が行われたとき、処理はステップＳ１０９に進む。
【００３２】
ステップＳ１０９において信号処理制御部１１は、撮影動作処理を行う。撮影動作処理について、図３に示すフローチャートを参照して説明する。ステップＳ２０１において信号処理制御部１１は、動画撮影であるか否かを判定する。動画撮影であると判定されたとき、すなわち、例えば動画ボタンが押圧されたと判定されたとき、処理はステップＳ２０２に進む。ステップＳ２０２において信号処理制御部１１は、視認が困難であるか、すなわち、光量が不十分であるか否かを判定する。視認が困難であると判定されたとき、処理はステップＳ２０３に進む。例えば、図４に示されるように、夜景を撮影者９０が撮影しているとき、光量が不十分であり、視認が困難であると判定される。
【００３３】
ステップＳ２０３において信号処理制御部１１は、例えば図５（ａ）のように視認性を優先する旨を例えば表示部１８ａに表示させ、例えば図５（ｂ）のように長秒露光処理と増感処理との選択肢を表示部１８ａに表示させるメニュー表示を行わせる。撮影者９０は、例えば図４に示されるように、タッチパネル１８ｂをタッチすることで、長秒露光処理と増感処理との何れかを選択することができる。長秒露光処理と増感処理との選択の入力は、タッチパネル１８ｂによらなくてもよい。例えば、操作部１６のボタン等を用いて入力されるように構成されてもよい。
【００３４】
ステップＳ２０４において信号処理制御部１１は、長秒露光処理が選択されているか否かを判定する。長秒露光処理が選択されていると判定されたとき、処理はステップＳ２０５に進む。ステップＳ２０５において信号処理制御部１１は、長秒露光処理を行う。
【００３５】
長秒露光処理の概略を図６を参照して説明する。図６（ａ）（ｂ）及び（ｃ）に時間に対する撮像素子１２の電荷蓄積レベル及び読出しのタイミングを示す。光量が十分であるとき、時間に対する撮像素子１２の電荷蓄積レベルは図６（ａ）のようになる。すなわち、フレームレートに係る時間ｔ毎に電荷蓄積レベルが適正レベルに達する。信号処理制御部１１は、時間ｔ毎に蓄積された電荷を読み出す。信号処理制御部１１は、読み出した電荷に基づいて、画像を作成し、例えば表示部１８ａにこの画像を表示させ、また、記録部１７に動画として記録させる。なお、例えばフレームレートが３０ｆｐｓのとき、時間ｔは１／３０秒となる。
【００３６】
一方、光量が不十分なときの時間に対する撮像素子１２の電荷蓄積レベルの関係を図６（ｂ）に示す。この図に示されるように、光量が不足しているので、撮像素子１２においてフレームレートに係る時間ｔの間に電荷蓄積レベルは適正レベルに達しない。本実施形態では図６（ｂ）に示されるように、電荷蓄積レベルが適正レベルに達していなくても、信号処理制御部１１は、撮像素子１２に蓄積された電荷を時間ｔ毎に読み出す。撮像素子１２から画像信号としての電荷を読み出した信号処理制御部１１は、適正な画像が得られるように、複数の画像信号を加算して１枚の画像を作成する。例えば図６（ｂ）に示される例では、時間ｔの間に適正レベルの１／６しか電荷が蓄積されないので、６つの画像信号が加算される。すなわち、信号処理制御部１１は、例えば時刻Ｔ６においては、時刻Ｔ１乃至Ｔ６で読み出された６つの信号が加算して１枚の画像を作成し、これを表示部１８ａに表示させ、また、記録部１７に記録させる。同様に、信号処理制御部１１は、時刻Ｔ７においては、時刻Ｔ２乃至Ｔ７で読み出された６つの信号を加算して１枚の画像を作成し、これを表示部１８ａに表示させ、また、記録部１７に記録させる。同様に以降においても６つの信号を加算して１枚の画像を作成する。このように読み出した複数の信号が加算されることで、適正な明るさの画像が作成され得る。なお、例えば図６（ｂ）に示される例では、１枚の画像の作成のために、６×ｔの時間がかかるが、動きが速い被写体でなければ問題とならない。また、本実施形態では、時刻Ｔ１には時刻Ｔ１に取得された画像が、時刻Ｔ２には時刻Ｔ１乃至Ｔ２に取得され加算された画像が、時刻Ｔ３には時刻Ｔ１乃至Ｔ３に取得され加算された画像が、以下同様に、徐々に加算量が多くなった画像が表示部１８ａに表示される。
【００３７】
本実施形態では、適正レベルは撮影者によって次のように決定される。すなわち、例えば図６（ｂ）における時刻Ｔ１乃至Ｔ６の期間のように、表示部１８ａには、加算される画像信号の数が徐々に増していき、その結果徐々に明るさが増していく画像が表示される。撮影者は、表示部１８ａを見ながら、適当だと思う明るさになったときにタッチパネル１８ｂをタッチする。信号処理制御部１１は、タッチされたタイミングを取得し、そのときの画像信号の加算数を合成コマ数Ｎとして決定する。例えば、図６（ｂ）の例では、時刻Ｔ６において撮影者は、タッチパネル１８ｂをタッチしたものとする。その結果、合成コマ数Ｎが６であると決定される。そこで、時刻Ｔ６以降では、６つの画像信号が加算されて、１フレームの画像が作成され、表示部１８ａに表示され、また、記録部１７に記録される。なお、夜景など暗いシーンで撮影が行われるときは、合成される画像は数秒間にわたって取得された画像になり得る。このようなとき、時間ｔは、０．５秒から数秒としてもよい。
【００３８】
このように、合成コマ数Ｎとフレームレートに係る時間ｔによって、１フレームの画像が作成されるために画像信号が加算される期間である加算期間がｔ×Ｎとして決定される。なお、このように複数フレームの画像が加算されることで作成される動画を加算画像動画と称することにする。また、時刻Ｔ０から時刻Ｔ６までの徐々に輝度が増加していく画像を輝度変化画像と称することにする。輝度変化画像は、記録部１７に記録されても記録されなくてもよい。
【００３９】
また、図６（ｂ）に示されるような手法に限らず、例えば図６（ｃ）に示されるような手法が用いられてもよい。すなわち、撮像素子１２が複数の蓄積回路を有するように構成され、電荷蓄積レベルが適正レベルに達した蓄積回路から順次電荷を読み出すように構成されてもよい。この場合も図６（ｂ）に示される場合と同様に、適正レベルの画像が順次作成されることになる。なお、図６（ｃ）に示す例では、時刻Ｔ０乃至Ｔ５の期間は、画像信号が取得されず、表示部１８ａには画像が表示されないことになる。
【００４０】
図６（ｂ）を参照して説明した長秒露光処理の一例を図７を参照して説明する。ステップＳ３０１において信号処理制御部１１は、表示部１８ａに表示された画像についてこれまでにタッチパネル１８ｂがタッチされたか否かを判定する。タッチされていないと判定されたとき、処理はステップＳ３０２に進む。ステップＳ３０２において信号処理制御部１１は、１コマ目であるか否かを判定する。１コマ目であると判定されたとき、長秒露光処理を終えて、処理は図３を参照して説明している撮影動作処理に戻る。
【００４１】
ステップＳ３０２において１コマ目でないと判定されたとき、処理はステップＳ３０３に進む。ステップＳ３０３において信号処理制御部１１は、長秒露光処理を開始してから現在のコマ数まで、読出しデータを合成する。すなわち、各時刻ｉにおける読出しデータをＲｉとし、現在のコマ数をｘとしたとき、合成された画像信号Ｉは、下記式（１）で与えられる。
【数１】
2014068075.tif 000003
その後、処理は図３を参照して説明している撮影動作処理に戻る。このようにして、タッチパネル１８ｂがタッチされるまで、画像は徐々に明るくなる。
【００４２】
ステップＳ３０１において、これまでにタッチパネル１８ｂがタッチされたと判定されたとき、処理はステップＳ３０４に進む。ステップＳ３０４において信号処理制御部１１は、現在タッチパネル１８ｂがタッチされているか否かを判定する。現在タッチされていると判定されたとき、処理はステップＳ３０５に進む。ステップＳ３０５において信号処理制御部１１は、合成コマ数Ｎを決定する。すなわち、例えば長秒露光処理を開始してから現在までのコマ数ｘを合成コマ数Ｎとする。その後、処理はステップＳ３０６に進む。ステップＳ３０４においてタッチされていないと判定されたとき、処理はステップＳ３０６に進む。
【００４３】
ステップＳ３０６において信号処理制御部１１は、Ｎ＝１であるか否かを判定する。Ｎ＝１であると判定されたとき、処理は図３を参照して説明している撮影動作処理に戻る。ステップＳ３０６においてＮ＝１でないと判定されたとき、処理はステップＳ３０７に進む。ステップＳ３０７において信号処理制御部１１は、現在のコマ数をｘ、合成コマ数をＮとしたときに、ｘ＋１−Ｎからｘまでの読出しデータを合成する。すなわち、各時刻ｉにおける読出しデータをＲｉとしたとき、画像信号Ｉは、下記式（２）で与えられる。
【数２】
2014068075.tif 000004
その後、処理は図３を参照して説明している撮影動作処理に戻る。このようにして、合成コマ数Ｎが決定された後は、合成コマ数Ｎだけ、画像信号が合成されて順次画像が作成される。
【００４４】
図３に示される撮影動作処理について説明を続ける。長秒露光処理の後、処理はステップＳ２１２に進む。
【００４５】
ステップＳ２０４において、長秒露光処理が選択されておらず、増感処理が選択されたと判定されたとき、処理はステップＳ２０６に進む。ステップＳ２０６において信号処理制御部１１は、フレーム毎の増感処理を行う。すなわち、信号処理制御部１１は、フレーム毎に増感して、被写体が視認され得る画像を作成する。その後、処理はステップＳ２１２に進む。
【００４６】
フレーム毎増感処理と長秒露光処理の結果の例の模式図を図８に示す。例えば図４に示されるような夜景を撮影しているとき、通常の処理によると、図８（ａ）に示されるように、光量不足のため、例えば真っ暗な画像が作成されることになる。これに対して、フレーム毎増感処理によれば、図８（ｂ）に示されるように、増感によって光量不足は補われるが、画質は悪くなる。一方で、長秒露光処理によれば、図８（ｃ）に示されるように、光量不足が補われ、かつ、増感処理をしていないので画質も良好となる。
【００４７】
図３に戻って撮影動作処理について説明を続ける。ステップＳ２０２において、視認が困難でないと判定されたとき、処理はステップＳ２０７に進む。ステップＳ２０７において信号処理制御部１１は、例えば操作部１６のモード選択スイッチや、表示部１８ａに表示された選択肢がタッチパネル１８ｂで選択されることによって残像動画が選択されているか否かを判定する。残像動画が選択されていないと判定されたとき、処理はステップＳ２０８に進む。ステップＳ２０８において信号処理制御部１１は、通常の処理によって画像を作成する。その後処理はステップＳ２１２に進む。通常の処理においては、例えば図６（ａ）に示されるように、フレームレートに係る時間ｔ毎に撮像素子１２からの読出しが行われ、フレーム毎に画像の作成が行われる。
【００４８】
ステップＳ２０７において残像動画が選択されていると判定されたとき、処理はステップＳ２０９に進む。ステップＳ２０９において信号処理制御部１１は、残像処理を行う。残像処理について図９を参照して説明する。残像処理が行われる状況では、撮像素子１２は、フレームレートに係る時間ｔの間に適正レベルまで電荷を蓄積できる。しかしながら残像処理では、適正レベルまで電荷が蓄積されていないうちに読出しが行われる。読出しが行われた後は、撮像素子１２は次のフレームまで電荷の蓄積を行わない。あるいは、次フレームの蓄積が始まる直前に電荷がリセットされる。すなわち、撮像素子１２で作成される画像信号は不連続となる。残像処理では、１フレームの画像が作成されるにあたり、複数の読み出された画像信号が合成される。
【００４９】
例えば図９の例では、信号処理制御部１１は、フレームレートに係る時間ｔの３分の１の時間で読出しを行い、３フレーム分の画像信号を合成して１枚の画像を作成する。例えば時刻Ｔ１，Ｔ２，Ｔ３，・・・に読出しが行われるとすると、最初の画像は、時刻Ｔ３の後に、時刻Ｔ１乃至Ｔ３のときに読み出された画像が合成されることで作成される。また、時刻Ｔ４の後に作成される画像は、時刻Ｔ２乃至Ｔ４のときに読み出された画像が合成されることで作成される。以下、同様に過去所定フレームの画像が合成されて作成される。
【００５０】
ここで、本実施形態では、合成される画像の枚数は撮影者によって選択される。このため、例えば表示部１８ａには、図１０に示されるような合成枚数の調整のための画像が表示される。例えば図１０（ａ）に示されるように、残像動画が選択されたとき、撮影者が合成する画像の枚数を選択できるように、合成枚数を選択するバーが表示される。また、例えば図１０（ｂ）に示されるように、撮影者が、合成する画像の１コマあたりの露光時間、すなわちシャッタ速を選択できるようにしてもよい。
【００５１】
本実施形態によれば、結果として、例えば図１１に示されるような画像が作成される。すなわち、取得される各画像は図１１上段に示されるように光量不足となっている。しかしながら、これら画像が所定数合成されると、図１０下段に示されるように、被写体のうち動いていない部分の光量は適正レベルとなる。一方、被写体のうち動いている部分は、非連続な画像が合成された動きが表現された画像となる。
【００５２】
残像処理について図１２に示されるフローチャートを参照して説明する。ここでは、図１０（ｂ）に示されるように、撮影者が合成する画像のシャッタ速を選択する場合を例に挙げて説明する。ステップＳ４０１において信号処理制御部１１は、被写体輝度に基づいて適正なシャッタ速ＳＳ１を決定する。ステップＳ４０２において信号処理制御部１１は、撮影者が選択したシャッタ速ＳＳ２を取得する。ステップＳ４０３において信号処理制御部１１は、被写体輝度に基づいて決定されたシャッタ速ＳＳ１と撮影者が決定したシャッタ速ＳＳ２とに基づいて、合成コマ数Ｎを下記式（３）により決定する。
【００５３】
Ｎ＝ＳＳ１／ＳＳ２      （３）
なお、図１０（ａ）に示されるように、撮影者が合成するコマ数を決定する場合、合成コマ数Ｎは、撮影者が指定したコマ数となり、１コマあたりのシャッタ速ＳＳ２は、適正なシャッタ速ＳＳ１と合成コマ数Ｎとから算出されることになる。
【００５４】
ステップＳ４０４において信号処理制御部１１は、１コマ目であるか否かを判定する。１コマ目であるとき、処理は図３を参照して説明している撮影動作処理に戻る。ステップＳ４０４において、１コマ目でないと判定されたとき、処理はステップＳ４０５に進む。ステップＳ４０５において信号処理制御部１１は、現在のコマ数ｘが合成コマ数Ｎよりも大きいか否かを判定する。現在のコマ数ｘが合成コマ数Ｎよりも大きくないと判定されたとき、処理はステップＳ４０６に進む。ステップＳ４０６において信号処理制御部１１は、現在のコマ数ｘまで、読出しデータを合成する。すなわち、読出しデータをＲｉとし、現在のコマ数をｘとしたとき、画像信号Ｉは、上記式（１）で与えられる。その後、処理は図３を参照して説明している撮影動作処理に戻る。
【００５５】
ステップＳ４０５の判定において現在のコマ数ｘが合成コマ数Ｎよりも大きいと判定されたとき、処理はステップＳ４０７に進む。ステップＳ４０７において信号処理制御部１１は、Ｎフレーム前のｘ＋１−Ｎフレーム目から現在のコマ数ｘまでのＮフレームの読出しデータを合成する。このとき、作成される画像信号Ｉは、上記式（２）で与えられる。その後、処理は図３を参照して説明している撮影動作処理に戻る。
【００５６】
図３に戻って撮影動作処理について説明する。残像処理の後、処理はステップＳ２１０に進む。ステップＳ２１０において信号処理制御部１１は、スロー記録設定が選択されているか否かを判定する。スロー記録設定が選択されているとき、処理はステップＳ２１１に進む。ステップＳ２１１において信号処理制御部１１は、残像処理がなされて作成された動画をスロー動画として記録部１７に記録させる。すなわち、再生したときにスロー画像として再生されるように、時間と映像との関係が加工された動画が、記録部１７に記録される。残像処理とスロー画像との組み合わせによって、効果的な画像が作成され得る。その後処理はステップＳ２１３に進む。一方、ステップＳ２１０でスロー記録設定が選択されていないと判定されたとき、処理はステップステップＳ２１２に進む。
【００５７】
ステップＳ２１２において信号処理制御部１１は、長秒露光処理、フレーム毎増感処理、通常処理又は残像処理がなされた動画像について、表示部１８ａへの表示と、記録部１７への記録をさせる。その後、処理はステップＳ２１３に進む。ステップＳ２１３において信号処理制御部１１は、撮影が終了したか否かを判定する。終了していないと判定されたとき、処理はステップＳ２０１に戻る。一方、撮影が終了したと判定されたとき、処理は図２を参照して説明しているカメラ制御に戻る。
【００５８】
ステップＳ２０１において動画撮影でないと判定されたとき、すなわち、例えば静止画撮影のためのレリーズボタンの押圧がなされたと判定されたとき、処理はステップＳ２２１に進む。すなわち、ステップＳ２２１以降、信号処理制御部１１は、静止画を撮影するための処理を行う。記録する画像が動画であるか静止画であるかの違いを除いて、ステップＳ２２１乃至ステップＳ２２８の処理は、基本的にステップＳ２０２乃至ステップＳ２０９の処理と同様である。すなわち、ステップＳ２２１において信号処理制御部１１は、ステップＳ２０２と同様に視認が困難であるか否かを判定する。視認が困難であると判定されたとき、処理はステップＳ２２２に進む。ステップＳ２２２において信号処理制御部１１は、ステップＳ２０３と同様に、表示部１８ａに図５（ｂ）のようなメニュー表示をさせる。
【００５９】
ステップＳ２２３において信号処理制御部１１は、ステップＳ２０４と同様に、長秒露光処理が選択されているか否かを判定する。長秒露光処理が選択されているとき、処理はステップＳ２２４に進む。ステップＳ２２４において信号処理制御部１１は、ステップＳ２０５と同様に、図７を参照して説明した長秒露光処理を行う。すなわち、デジタルカメラ１は、徐々に合成枚数を増やしながらスルー画を表示部１８ａに表示し、タッチパネル１８ｂがタッチされたときに合成コマ数Ｎを決定し、その合成コマ数Ｎだけ合成した画像を静止画像として作成する。その後、処理はステップＳ２２９に進む。
【００６０】
ステップＳ２２３において、長秒露光処理が選択されていないと判定されたとき、処理はステップＳ２２５に進む。ステップＳ２２５において信号処理制御部１１は、ステップＳ２０６と同様に、増感処理を行う。すなわち、取得された画像を増感処理して静止画像が作成される。その後、処理はステップＳ２２９に進む。
【００６１】
ステップＳ２２１において、視認が困難でないと判定されたとき、処理はステップＳ２２６に進む。ステップＳ２２６において信号処理制御部１１は、残像シーンが選択されているか否かを判定する。残像シーンが選択されていないとき、処理はステップＳ２２７に進む。ステップＳ２２７において信号処理制御部１１は、ステップＳ２０８と同様に、通常処理を行う。すなわち、通常の方法で静止画像が取得される。その後、処理はステップＳ２２９に進む。
【００６２】
ステップＳ２２６において、残像シーンが選択されたとき、処理はステップＳ２２８に進む。ステップＳ２２８において信号処理制御部１１は、ステップＳ２０９と同様に、図１２を参照して説明した残像処理を行う。すなわち、飛び飛びに取得された画像が合成され、被写体のうち動いていない部分は重なって、動いている部分は不連続になる画像が静止画像として作成される。なお、残像処理においては、動きの始点と終点とが撮影者によって選択され得るように構成されていてもよい。その後、処理はステップＳ２２９に進む。
【００６３】
ステップＳ２２９において信号処理制御部１１は、秒露光処理、フレーム毎増感処理、通常処理又は残像処理がなされた静止画像を記録部１７に記録させる。その後、処理はステップＳ２１３に進む。
【００６４】
図２に戻って、カメラ制御について説明する。ステップＳ１０９において撮影動作処理が行われたら、処理はステップＳ１０１に戻る。ステップＳ１０１において撮影モードでないと判定されたとき、処理はステップＳ１４１に進む。ステップＳ１４１において信号処理制御部１１は、再生モードであるか否かを判定する。再生モードであると判定されたとき、処理はステップＳ１４２に進む。ステップＳ１４２において信号処理制御部１１は、画像を再生し、表示部１８ａに画像を表示させる。ステップＳ１４３において信号処理制御部１１は、画像の変更が選択されたか否かを判定する。変更が選択されたと判定されたとき、処理はステップＳ１４４に進む。ステップＳ１４４において信号処理制御部１１は、表示画像を変更し他の画像を表示部１８ａに表示させる。その後、処理はステップＳ１０１に戻る。ステップＳ１４３において変更が選択されていないと判定されたとき処理はステップＳ１０１に戻る。ステップＳ１４１において再生モードが選択されていないと判定されたとき、処理はステップＳ１４５に進む。ステップＳ１４５において信号処理制御部１１は、他の端末等と通信を行う。その後処理はステップＳ１０１に戻る。なお、上記で説明した処理の順序は一例であり、処理可能な範囲で順序は適宜変更されてもよい。
【００６５】
本実施形態による動画撮影における長秒露光処理による処理とそれにより得られる画像例を図１３を参照して説明する。図１３の最上段のＶＤは、垂直駆動信号を表す。この信号ＶＤに応じて、２段目に記載されているようにフレーム毎の露光が順次行われる。露光に引き続き、読出しが順次行われる。読み出された画像について、図１３に示す例では、５フレームずつ画像が合成されて動画が作成される。このように合成されることにより、各フレームの画像は十分な光量を有することになる。なお、長秒露光処理では、フレーム間の画像を合成するため、時間差のある画像が同一フレームに記録されることになる。このことは、被写体の動きが小さいときは、特に問題とならないし、図１３に示すような例では、独特の効果が付与された画像が作成されることになる。
【００６６】
なお、長秒露光処理で合成されるフレーム数は、表示部１８ａに例えば図１４に示されるようなスライダ５１が表示されてこのスライダ５１が撮影者によって例えばタッチパネル１８ｂを用いて操作されることで、変更されるようにしてもよい。
【００６７】
また、残像処理では、例えば図１５に示すような処理が行われ、図１５に示すような動画像が作成される。すなわち、図１３の場合と同様に、図１５の最上段のＶＤは、垂直駆動信号を表す。この信号ＶＤに応じて、２段目に記載されているようにフレーム毎の露光が順次行われ、露光後に読出しが順次行われる。読み出された画像について、図１５に示される例では、３フレームずつ画像が合成され、合成された動画が作成される。このように合成されることにより、動きがある画像について、残像が残るような特殊効果が付与された動画像が得られる。
【００６８】
なお、本実施形態では、撮像装置としてのデジタルカメラに実装されて長秒露光処理や残像処理等が行われる例を示した。しかしながら、これに限らず、予め撮影された動画像に基づいて上述の処理を行い新たな動画像を作成する独立した画像処理装置や画像処理プログラムが構成されてもよい。
【００６９】
なお、本発明の上記の実施形態には、以下の発明も含まれる。
（１）
露光開始から露光終了までの期間が互いに異なり、前記期間が互いに重なり合う画像信号を順次出力する、複数の撮像回路を含む撮像部を具備する撮像装置。
【符号の説明】
【００７０】
１…デジタルカメラ、１０…カメラ本体、１１…信号処理制御部、１１ａ…信号処理部、１１ｃ…タッチ判定部、１１ｂ…表示制御部、１１ｄ…画像蓄積部、１１ｅ…加算部、１１ｆ…変化画像作成部、１１ｇ…期間決定部、１２…撮像素子、１３ａ…接眼表示部、１３ｂ…接眼センサ、１４ａ…第１の記憶部、１４ｂ…第２の記憶部、１５ａ…レンズ通信部、１６…操作部、１７…記録部、１８…表示パネル、１８ｃ…ヒンジ、１８ａ…表示部、１８ｂ…タッチパネル、２０…レンズ、２１…制御部、２２…本体通信部、２３ａ…操作部、２３ｂ…操作部、２４ａ…駆動部、２４ｂ…駆動部、２４ｃ…駆動部、２５ａ…位置検出部、２５ｂ…位置検出部、２５ｃ…位置検出部、２６…レンズ光学系、２６ａ…ズーム部、２６ｂ…ピント部、２６ｃ…絞り部、２７…記憶部、２９…撮像部。
【図１】
2014068075.tif 000005
【図２】
2014068075.tif 000006
【図３】
2014068075.tif 000007
【図４】
2014068075.tif 000008
【図５】
2014068075.tif 000009
【図６】
2014068075.tif 000010
【図７】
2014068075.tif 000011
【図８】
2014068075.tif 000012
【図９】
2014068075.tif 000013
【図１０】
2014068075.tif 000014
【図１１】
2014068075.tif 000015
【図１２】
2014068075.tif 000016
【図１３】
2014068075.tif 000017
【図１４】
2014068075.tif 000018
【図１５】
2014068075.tif 000019