(57)【要約】【課題】バルブ撮影の機能を備えた撮像装置において、所望の露光レベルの画像を容易に得ることができる撮像装置を提供する。【解決手段】固体撮像装置から入力された画素信号に応じた画像データを、第１の画像データとして出力する画像データインターフェース部と、第１の画像データに基づいた画像データを、データバスを介して記憶部に記憶させる第１の画像データ書き込み部と、記憶部に記憶されている画像データを、データバスを介して読み出して、第２の画像データとして出力する第１の画像データ読み出し部と、入力された２つの画像データを合成した第３の画像データを生成して出力する画像合成部と、第３の画像データを、データバスを介して記憶部に記憶させる第２の画像データ書き込み部と、記憶部に記憶されている画像データを、データバスを介して記憶部から読み出し、該読み出した画像データに応じた画像を表示する表示部と、を備える。【選択図】図１
2014121024.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像装置から入力された画素信号に応じた画像データを、第１の画像データとして出力する画像データインターフェース部と、
前記第１の画像データに基づいた画像データを、データバスを介して記憶部に記憶させる第１の画像データ書き込み部と、
前記記憶部に記憶されている画像データを、前記データバスを介して読み出し、該読み出した画像データを、第２の画像データとして出力する第１の画像データ読み出し部と、
入力された２つの画像データを合成した第３の画像データを生成して出力する画像合成部と、
前記第３の画像データを、前記データバスを介して前記記憶部に記憶させる第２の画像データ書き込み部と、
前記記憶部に記憶されている画像データを、前記データバスを介して前記記憶部から読み出し、該読み出した画像データに応じた画像を表示する表示部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記画像データインターフェース部は、
前記固体撮像装置による撮像の開始が指示された後、該固体撮像装置から順次入力されたそれぞれのフレームの画素信号に応じた複数の前記第１の画像データを順次出力し、
前記第１の画像データ書き込み部は、
前記画像データインターフェース部から順次出力されたそれぞれのフレームの前記第１の画像データに基づいた画像データを、前記記憶部に順次記憶させ、
前記第１の画像データ読み出し部は、
前記記憶部に記憶されている最初のフレームの前記第１の画像データに基づいた画像データに引き続き、前記画像合成部によって生成され、前記第２の画像データ書き込み部によって最後に前記記憶部に記憶された前記第３の画像データを、前記第２の画像データとして順次読み出し、
前記画像合成部は、
前記画像データインターフェース部から順次出力されてくる前記第１の画像データに基づいた画像データと、前記第１の画像データ読み出し部によって順次読み出された前記第２の画像データに基づいた画像データとを順次加算して合成した前記第３の画像データを順次出力し、
前記第２の画像データ書き込み部は、
前記画像合成部から順次出力された前記第３の画像データを、前記記憶部に順次記憶させ、
前記表示部は、
前記記憶部に記憶されている最初のフレームの前記第１の画像データに基づいた画像データに応じた画像に引き続き、前記画像合成部によって生成され、前記第２の画像データ書き込み部によって前記記憶部に記憶された前記第３の画像データに応じた画像を順次表示する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の画像データ読み出し部が前記記憶部から読み出す画像データと異なる画像データを、前記データバスを介して前記記憶部から読み出し、該読み出した画像データを、第４の画像データとして出力する第２の画像データ読み出し部、
をさらに備え、
前記記憶部は、
前記固体撮像装置が撮像を行った期間の間に前記画像データインターフェース部から順次出力され、前記第１の画像データ書き込み部によって順次記憶された全てのフレームの前記第１の画像データに基づいた画像データを記憶し、
前記固体撮像装置による撮像の停止が指示された後に、
前記第１の画像データ読み出し部は、
前記記憶部に記憶されているいずれか１つのフレームの前記第１の画像データに基づいた画像データを、前記第２の画像データとして読み出し、
前記第２の画像データ読み出し部は、
前記第１の画像データ読み出し部によって読み出された前記第１の画像データに基づいた画像データの次のフレームの前記第１の画像データに基づいた画像データ、または前記画像合成部によって生成され、前記第２の画像データ書き込み部によって最後に前記記憶部に記憶された前記第３の画像データを、前記第４の画像データとして読み出し、
前記画像合成部は、
前記第１の画像データ読み出し部によって読み出された前記第２の画像データに基づいた画像データと、前記第２の画像データ読み出し部によって読み出された前記第４の画像データに基づいた画像データとを加算して合成した前記第３の画像データを出力し、
前記表示部は、
前記画像合成部によって生成され、前記第２の画像データ書き込み部によって前記記憶部に記憶された前記第３の画像データに応じた画像を表示する、
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第１の画像データ読み出し部が前記記憶部から読み出す画像データと異なる画像データを、前記データバスを介して前記記憶部から読み出し、該読み出した画像データを、第４の画像データとして出力する第２の画像データ読み出し部、
をさらに備え、
前記記憶部は、
前記固体撮像装置による撮像の停止が指示されたときに、前記画像データインターフェース部から出力されて前記記憶部に記憶されたフレームの前記第１の画像データに基づいた画像データと、該撮像の停止が指示されたときの前後の期間に前記画像データインターフェース部から出力されて前記記憶部に記憶された予め定めたフレーム数の前記第１の画像データに基づいた画像データと、前記固体撮像装置による撮像の開始が指示された後に前記記憶部に記憶された最初のフレームの前記第１の画像データに基づいた画像データから、該撮像の停止が指示されたときよりも前の期間で、該予め定めたフレーム数よりも１つ前のフレームの前記第１の画像データに基づいた画像データまでを前記画像合成部が順次合成した前記第３の画像データとを記憶し、
前記固体撮像装置による撮像の停止が指示された後に、
前記第１の画像データ読み出し部は、
前記記憶部に記憶されている前記第３の画像データ、またはいずれか１つのフレームの前記第１の画像データに基づいた画像データを、前記第２の画像データとして読み出し、
前記第２の画像データ読み出し部は、
前記記憶部に記憶されている最も早いフレームの前記第１の画像データに基づいた画像データ、または前記第１の画像データ読み出し部によって読み出された前記第１の画像データに基づいた画像データの次のフレームの前記第１の画像データに基づいた画像データを、前記第４の画像データとして読み出し、
前記画像合成部は、
前記第１の画像データ読み出し部によって読み出された前記第２の画像データに基づいた画像データと、前記第２の画像データ読み出し部によって読み出された前記第４の画像データに基づいた画像データとを加算して合成した前記第３の画像データを出力し、
前記表示部は、
前記画像合成部によって生成され、前記第２の画像データ書き込み部によって前記記憶部に記憶された前記第３の画像データに応じた画像を表示する、
ことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記第１の画像データ読み出し部が前記記憶部から読み出す画像データと異なる画像データを、前記データバスを介して前記記憶部から読み出し、該読み出した画像データを、第４の画像データとして出力する第２の画像データ読み出し部、
をさらに備え、
前記記憶部は、
前記固体撮像装置による撮像の開始が指示された後に前記記憶部に記憶された最初のフレームの前記第１の画像データに基づいた画像データから、前記固体撮像装置による撮像の停止が指示されたときに、前記画像データインターフェース部から出力されて前記記憶部に記憶されたフレームの前記第１の画像データに基づいた画像データまでを前記画像合成部が順次合成した前記第３の画像データと、前記最初のフレームの前記第１の画像データに基づいた画像データから、該撮像の停止が指示されたときの前後の期間に前記画像データインターフェース部から出力されて前記記憶部に記憶された予め定めたフレーム数の前記第１の画像データに基づいた画像データまでを前記画像合成部が順次合成した該予め定めたフレーム数の前記第３の画像データとを記憶し、
前記固体撮像装置による撮像の停止が指示された後に、
前記第１の画像データ読み出し部は、
前記記憶部に記憶されているいずれか１つのフレームの前記第３の画像データを、前記第２の画像データとして読み出し、
前記第２の画像データ読み出し部は、
前記第１の画像データ読み出し部によって読み出された前記第３の画像データと異なるフレームの前記第３の画像データを、前記第４の画像データとして読み出し、
前記画像合成部は、
前記第１の画像データ読み出し部によって読み出された前記第２の画像データに基づいた画像データと、前記第２の画像データ読み出し部によって読み出された前記第４の画像データに基づいた画像データとを減算して合成した前記第３の画像データを出力し、
前記表示部は、
前記記憶部に記憶されている前記第３の画像データに応じた画像、または前記画像合成部によって生成され、前記第２の画像データ書き込み部によって前記記憶部に記憶された前記第３の画像データに応じた画像を表示する、
ことを特徴とする請求項２に記載の撮像装置。
【請求項６】
入力された画像データに対して、予め定められた処理を行う第１の前処理部と、
入力された画像データに対して、予め定められた処理を行う第２の前処理部と、
入力された画像データに対して、予め定められた処理を行う前記第２の前処理部と同じ構成の第３の前処理部、
をさらに備え、
前記第１の前処理部は、
入力された前記第１の画像データに対して、予め定められた処理を行った画像データを、前記第１の画像データに基づいた画像データとして出力し、
前記第２の前処理部は、
入力された前記第２の画像データに対して、予め定められた処理を行った画像データを、前記第２の画像データに基づいた画像データとして出力し、
前記第３の前処理部は、
入力された前記第４の画像データに対して、予め定められた処理を行った画像データを、前記第４の画像データに基づいた画像データとして出力する、
ことを特徴とする請求項３から請求項５のいずれか１の項に記載の撮像装置。
【請求項７】
前記第１の前処理部は、
入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの処理部であり、
前記第２の前処理部および前記第３の前処理部は、
入力された画像データを、予め定められた時間だけ遅延させて出力する処理を行う、少なくとも１つの遅延部である、
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記予め定められた時間は、
前記第１の前処理部に画像データが入力されてから、前記予め定められた補正処理を行って出力するまでの遅延時間と同じ時間である、
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記第１の前処理部は、
入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第１の処理部であり、
前記第２の前処理部および前記第３の前処理部は、
入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第２の処理部である、
ことを特徴とする請求項６に記載の撮像装置。
【請求項１０】
当該撮像装置は、
前記画像合成部を複数備え、
それぞれの前記前記画像合成部は、
入力された２つの画像データを合成したそれぞれの第３の画像データを同時に生成して出力する、
ことを特徴とする請求項１から請求項９のいずれか１の項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
撮像装置において、星空や花火、夜景などの長時間の露光が必要な被写体を撮影する際には、撮像装置に備えたバルブ撮影の機能を利用することが多い。このバルブ撮影の機能では、撮像装置の使用者（撮影者）が任意の時間だけシャッターを開ける操作を行うことによって、シャッターが開けられた時間だけ露光された画像が撮影される。図９は、撮像装置における露光時間と撮影される画像との関係を示した図である。図９に示したように、撮影される画像は、露光時間の経過に伴って、露光不足の状態から露光過多の状態に順次推移していく。
【０００３】
しかしながら、従来の撮像装置においては、現在の露光の状態を確認することができないため、露光時間の調整は撮影者の感覚によるところが大きく、常に所望の露光レベルの画像を撮影することができるとは限らない。例えば、図９に示した所望の露光レベルの画像Ｘを撮影しようとしたときに、シャッターを早めに切ってしまう（閉じてしまう）と、所望の露光レベルよりも露光不足の状態の画像Ｙが撮影されてしまう。また、例えば、シャッターを切り逃してしまう（開けすぎてしまう）と、所望の露光レベルよりも露光過多の状態の画像Ｚが撮影されてしまう。
【０００４】
このような問題を解決するため、近年のデジタルカメラなどの撮像装置では、例えば、特許文献１のように、バルブ撮影の機能を使用する際に、撮像装置に備えたモニタを確認しながら、画像の露光レベルをリアルタイムに確認することができる技術が開示されている。特許文献１で開示された技術では、所定の露光時間で生成したそれぞれのフレームの撮像画像を順次加算し、加算して生成したそれぞれのフレームの画像（以下、「累積加算画像」という）をモニタに順次表示させる。これにより、バルブ撮影の機能によって露光を行っている途中の累積加算画像がリアルタイムに更新表示され、撮影者は、容易に意図した露光レベルでシャッターを切ることができる。
【０００５】
図１０は、従来の撮像装置において画像を撮影しながら累積加算画像を表示する動作の一例を模式的に示した図である。図１０では、撮像装置が１０枚の撮像画像を撮影しながら、それぞれのフレームの撮像画像を累積加算した累積加算画像を順次モニタに表示する場合の一例を示している。そして、図１０には、撮像装置が８枚目の撮像画像を撮影したときに、撮影者が意図したシャッタータイミングであることを示す撮影停止の指示をした場合を示している。この撮影停止の指示によって、従来の撮像装置は、シャッタータイミングのときにモニタに表示している１枚目から８枚目の撮像画像を累積加算した累積加算画像を記録する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１１７３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、花火など、露光レベルの変化が速い被写体を撮影する場合には、特許文献１で開示された技術を用いて撮影を行っても、最適な露光のポイントでシャッターを切ることができるとは限らない。そして、例えば、シャッタータイミングが意図した露光のポイントからずれてしまった場合には、バルブ撮影の機能による撮影を再度行う、つまり、撮影のやり直しをしなくてはならない。
【０００８】
本発明は、上記の課題認識に基づいてなされたものであり、バルブ撮影の機能を備えた撮像装置において、所望の露光レベルの画像を容易に得ることができる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明の撮像装置は、固体撮像装置から入力された画素信号に応じた画像データを、第１の画像データとして出力する画像データインターフェース部と、前記第１の画像データに基づいた画像データを、データバスを介して記憶部に記憶させる第１の画像データ書き込み部と、前記記憶部に記憶されている画像データを、前記データバスを介して読み出し、該読み出した画像データを、第２の画像データとして出力する第１の画像データ読み出し部と、入力された２つの画像データを合成した第３の画像データを生成して出力する画像合成部と、前記第３の画像データを、前記データバスを介して前記記憶部に記憶させる第２の画像データ書き込み部と、前記記憶部に記憶されている画像データを、前記データバスを介して前記記憶部から読み出し、該読み出した画像データに応じた画像を表示する表示部と、を備えることを特徴とする。
【００１０】
また、本発明の前記画像データインターフェース部は、前記固体撮像装置による撮像の開始が指示された後、該固体撮像装置から順次入力されたそれぞれのフレームの画素信号に応じた複数の前記第１の画像データを順次出力し、前記第１の画像データ書き込み部は、前記画像データインターフェース部から順次出力されたそれぞれのフレームの前記第１の画像データに基づいた画像データを、前記記憶部に順次記憶させ、前記第１の画像データ読み出し部は、前記記憶部に記憶されている最初のフレームの前記第１の画像データに基づいた画像データに引き続き、前記画像合成部によって生成され、前記第２の画像データ書き込み部によって最後に前記記憶部に記憶された前記第３の画像データを、前記第２の画像データとして順次読み出し、前記画像合成部は、前記画像データインターフェース部から順次出力されてくる前記第１の画像データに基づいた画像データと、前記第１の画像データ読み出し部によって順次読み出された前記第２の画像データに基づいた画像データとを順次加算して合成した前記第３の画像データを順次出力し、前記第２の画像データ書き込み部は、前記画像合成部から順次出力された前記第３の画像データを、前記記憶部に順次記憶させ、前記表示部は、前記記憶部に記憶されている最初のフレームの前記第１の画像データに基づいた画像データに応じた画像に引き続き、前記画像合成部によって生成され、前記第２の画像データ書き込み部によって前記記憶部に記憶された前記第３の画像データに応じた画像を順次表示する、ことを特徴とする。
【００１１】
また、本発明の撮像装置は、前記第１の画像データ読み出し部が前記記憶部から読み出す画像データと異なる画像データを、前記データバスを介して前記記憶部から読み出し、該読み出した画像データを、第４の画像データとして出力する第２の画像データ読み出し部、をさらに備え、前記記憶部は、前記固体撮像装置が撮像を行った期間の間に前記画像データインターフェース部から順次出力され、前記第１の画像データ書き込み部によって順次記憶された全てのフレームの前記第１の画像データに基づいた画像データを記憶し、前記固体撮像装置による撮像の停止が指示された後に、前記第１の画像データ読み出し部は、前記記憶部に記憶されているいずれか１つのフレームの前記第１の画像データに基づいた画像データを、前記第２の画像データとして読み出し、前記第２の画像データ読み出し部は、前記第１の画像データ読み出し部によって読み出された前記第１の画像データに基づいた画像データの次のフレームの前記第１の画像データに基づいた画像データ、または前記画像合成部によって生成され、前記第２の画像データ書き込み部によって最後に前記記憶部に記憶された前記第３の画像データを、前記第４の画像データとして読み出し、前記画像合成部は、前記第１の画像データ読み出し部によって読み出された前記第２の画像データに基づいた画像データと、前記第２の画像データ読み出し部によって読み出された前記第４の画像データに基づいた画像データとを加算して合成した前記第３の画像データを出力し、前記表示部は、前記画像合成部によって生成され、前記第２の画像データ書き込み部によって前記記憶部に記憶された前記第３の画像データに応じた画像を表示する、ことを特徴とする。
【００１２】
また、本発明の撮像装置は、前記第１の画像データ読み出し部が前記記憶部から読み出す画像データと異なる画像データを、前記データバスを介して前記記憶部から読み出し、該読み出した画像データを、第４の画像データとして出力する第２の画像データ読み出し部、をさらに備え、前記記憶部は、前記固体撮像装置による撮像の停止が指示されたときに、前記画像データインターフェース部から出力されて前記記憶部に記憶されたフレームの前記第１の画像データに基づいた画像データと、該撮像の停止が指示されたときの前後の期間に前記画像データインターフェース部から出力されて前記記憶部に記憶された予め定めたフレーム数の前記第１の画像データに基づいた画像データと、前記固体撮像装置による撮像の開始が指示された後に前記記憶部に記憶された最初のフレームの前記第１の画像データに基づいた画像データから、該撮像の停止が指示されたときよりも前の期間で、該予め定めたフレーム数よりも１つ前のフレームの前記第１の画像データに基づいた画像データまでを前記画像合成部が順次合成した前記第３の画像データとを記憶し、前記固体撮像装置による撮像の停止が指示された後に、前記第１の画像データ読み出し部は、前記記憶部に記憶されている前記第３の画像データ、またはいずれか１つのフレームの前記第１の画像データに基づいた画像データを、前記第２の画像データとして読み出し、前記第２の画像データ読み出し部は、前記記憶部に記憶されている最も早いフレームの前記第１の画像データに基づいた画像データ、または前記第１の画像データ読み出し部によって読み出された前記第１の画像データに基づいた画像データの次のフレームの前記第１の画像データに基づいた画像データを、前記第４の画像データとして読み出し、前記画像合成部は、前記第１の画像データ読み出し部によって読み出された前記第２の画像データに基づいた画像データと、前記第２の画像データ読み出し部によって読み出された前記第４の画像データに基づいた画像データとを加算して合成した前記第３の画像データを出力し、前記表示部は、前記画像合成部によって生成され、前記第２の画像データ書き込み部によって前記記憶部に記憶された前記第３の画像データに応じた画像を表示する、ことを特徴とする。
【００１３】
また、本発明の撮像装置は、前記第１の画像データ読み出し部が前記記憶部から読み出す画像データと異なる画像データを、前記データバスを介して前記記憶部から読み出し、該読み出した画像データを、第４の画像データとして出力する第２の画像データ読み出し部、をさらに備え、前記記憶部は、前記固体撮像装置による撮像の開始が指示された後に前記記憶部に記憶された最初のフレームの前記第１の画像データに基づいた画像データから、前記固体撮像装置による撮像の停止が指示されたときに、前記画像データインターフェース部から出力されて前記記憶部に記憶されたフレームの前記第１の画像データに基づいた画像データまでを前記画像合成部が順次合成した前記第３の画像データと、前記最初のフレームの前記第１の画像データに基づいた画像データから、該撮像の停止が指示されたときの前後の期間に前記画像データインターフェース部から出力されて前記記憶部に記憶された予め定めたフレーム数の前記第１の画像データに基づいた画像データまでを前記画像合成部が順次合成した該予め定めたフレーム数の前記第３の画像データとを記憶し、前記固体撮像装置による撮像の停止が指示された後に、前記第１の画像データ読み出し部は、前記記憶部に記憶されているいずれか１つのフレームの前記第３の画像データを、前記第２の画像データとして読み出し、前記第２の画像データ読み出し部は、前記第１の画像データ読み出し部によって読み出された前記第３の画像データと異なるフレームの前記第３の画像データを、前記第４の画像データとして読み出し、前記画像合成部は、前記第１の画像データ読み出し部によって読み出された前記第２の画像データに基づいた画像データと、前記第２の画像データ読み出し部によって読み出された前記第４の画像データに基づいた画像データとを減算して合成した前記第３の画像データを出力し、前記表示部は、前記記憶部に記憶されている前記第３の画像データに応じた画像、または前記画像合成部によって生成され、前記第２の画像データ書き込み部によって前記記憶部に記憶された前記第３の画像データに応じた画像を表示する、ことを特徴とする。
【００１４】
また、本発明の撮像装置は、入力された画像データに対して、予め定められた処理を行う第１の前処理部と、入力された画像データに対して、予め定められた処理を行う第２の前処理部と、入力された画像データに対して、予め定められた処理を行う前記第２の前処理部と同じ構成の第３の前処理部、をさらに備え、前記第１の前処理部は、入力された前記第１の画像データに対して、予め定められた処理を行った画像データを、前記第１の画像データに基づいた画像データとして出力し、前記第２の前処理部は、入力された前記第２の画像データに対して、予め定められた処理を行った画像データを、前記第２の画像データに基づいた画像データとして出力し、前記第３の前処理部は、入力された前記第４の画像データに対して、予め定められた処理を行った画像データを、前記第４の画像データに基づいた画像データとして出力する、ことを特徴とする。
【００１５】
また、本発明の前記第１の前処理部は、入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの処理部であり、前記第２の前処理部および前記第３の前処理部は、入力された画像データを、予め定められた時間だけ遅延させて出力する処理を行う、少なくとも１つの遅延部である、ことを特徴とする。
【００１６】
また、本発明の撮像装置における前記予め定められた時間は、前記第１の前処理部に画像データが入力されてから、前記予め定められた補正処理を行って出力するまでの遅延時間と同じ時間である、ことを特徴とする。
【００１７】
また、本発明の前記第１の前処理部は、入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第１の処理部であり、前記第２の前処理部および前記第３の前処理部は、入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第２の処理部である、ことを特徴とする。
【００１８】
また、本発明の撮像装置は、前記画像合成部を複数備え、それぞれの前記前記画像合成部は、入力された２つの画像データを合成したそれぞれの第３の画像データを同時に生成して出力する、ことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、バルブ撮影の機能を備えた撮像装置において、所望の露光レベルの画像を容易に得ることができるという効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態における撮像装置の概略構成を示したブロック図である。
【図２】本実施形態の撮像装置による画像撮影および画像表示の動作の一例を模式的に示した図である。
【図３】本実施形態の撮像装置による画像撮影および画像表示動作の概略のタイミングの一例を示したタイミングチャートである。
【図４】本実施形態の撮像装置による加算画像生成の動作の一例を模式的に示した図である。
【図５】本実施形態の撮像装置による加算画像生成動作の概略のタイミングの一例を示したタイミングチャートである。
【図６】本実施形態の撮像装置における画像撮影および画像表示と記録加算画像の生成との関係の一例を模式的に示した図である。
【図７】本実施形態の撮像装置の第１の変形例における画像撮影および画像表示と記録加算画像の生成との関係の一例を模式的に示した図である。
【図８】本実施形態の撮像装置の第２の変形例における画像撮影および画像表示と記録加算画像の生成との関係の一例を模式的に示した図である。
【図９】撮像装置における露光時間と撮影される画像との関係を示した図である。
【図１０】従来の撮像装置において画像を撮影しながら累積加算画像を表示する動作の一例を模式的に示した図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態における撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、イメージセンサ１００と、撮像処理部２００と、画像処理部３００と、表示処理部４００と、表示デバイス４０１と、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）コントローラ５００と、ＤＲＡＭ５０１と、ＣＰＵ６００と、を備えている。
【００２２】
撮像装置１０内の撮像処理部２００と、画像処理部３００と、表示処理部４００と、ＤＲＡＭコントローラ５００と、ＣＰＵ６００とは、データバス７００を介してそれぞれ接続され、例えば、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）によってＤＲＡＭコントローラ５００に接続されたＤＲＡＭ５０１からのデータの読み出し、およびＤＲＡＭ５０１へのデータの書き込みを行う。
【００２３】
図１に示した撮像装置１０は、従来の撮像装置と同様の構成要素を備えている。ただし、撮像装置１０では、撮像処理部２００の構成が、従来の撮像装置に備えた撮像処理部の構成と異なる。図１には、従来の撮像装置と異なる構成の撮像処理部２００に注目し、その撮像処理部２００の概略構成も併せて示している。
【００２４】
撮像装置１０に備えた撮像処理部２００は、撮像ＩＦ（インターフェース）部２１０と、前処理部２２０と、２つの出力ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）部２３１および２３２と、２つの入力ＤＭＡ部２４１および２４２と、を備えている。
【００２５】
イメージセンサ１００は、図示しないレンズ（ズームレンズも含む）によって結像された被写体の光学像を光電変換するＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表される固体撮像装置である。
【００２６】
イメージセンサ１００には、例えば、ベイヤー配列のカラーフィルタが、撮像面に貼付されている。イメージセンサ１００は、被写体光に応じた各色（例えば、Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画素信号を、撮像処理部２００に出力する。なお、イメージセンサ１００の構成や動作は、従来の撮像装置に備えることが想定されるイメージセンサの構成や動作と同様であるため、詳細な説明は省略する。
【００２７】
撮像処理部２００は、イメージセンサ１００から入力された画素信号に各種の処理を施し、イメージセンサ１００から入力された画素信号に応じた画像データ（以下、「撮像画像」ともいう）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納（記憶）する。
【００２８】
また、撮像処理部２００は、ＤＲＡＭ５０１に格納されている複数の画像データ（撮像画像）を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した画像データ同士を加算（合成）することによって、撮像装置１０が記録をするための加算画像の画像データ（以下、「記録加算画像」という）を生成する。そして、撮像処理部２００は、生成した記録加算画像を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納（記憶）する。
【００２９】
また、撮像処理部２００は、イメージセンサ１００から入力された画素信号に応じた画像データ（現在のフレームの撮像画像）と、ＤＲＡＭコントローラ５００を介して取得した（読み出した）画像データ（以前のフレームの撮像画像）とを加算（合成）することによって、撮像装置１０において表示デバイス４０１に表示するための加算画像の画像データ（以下、「累積加算画像」という）を生成する。そして、撮像処理部２００は、生成した累積加算画像を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納（記憶）する。
【００３０】
撮像ＩＦ部２１０は、イメージセンサ１００から入力された画素信号を取り込み、取り込んだ画素信号を画像データ（現在のフレームの撮像画像）として前処理部２２０に出力する。撮像ＩＦ部２１０は、画像データを前処理部２２０に出力する際、イメージセンサ１００から入力された各色の画素信号のデータを、以降の処理に使用する画素の色の順番に並べ替える、並べ替え処理などを行う。また、撮像ＩＦ部２１０は、イメージセンサ１００が差動インターフェースによって画素信号を出力するイメージセンサである場合には、例えば、ＬＶＤＳ（Ｌｏｗ  ｖｏｌｔａｇｅ  ｄｉｆｆｅｒｅｎｔｉａｌ  ｓｉｇｎａｌｉｎｇ）の終端の処理なども行う。なお、撮像ＩＦ部２１０の構成や動作は、従来の撮像装置に備えることが想定される撮像ＩＦ部の構成や動作と同様であるため、詳細な説明は省略する。
【００３１】
前処理部２２０は、撮像ＩＦ部２１０から入力された画像データに対して、キズ補正やシェーディング補正などのイメージセンサ１００に起因する補正や、歪み補正などのレンズに起因する補正などの様々な前処理を施し、処理した結果の画像データ（以下、「前処理画像データ」という）を、出力ＤＭＡ部２３１に出力する。
【００３２】
また、前処理部２２０は、入力ＤＭＡ部２４１および入力ＤＭＡ部２４２のいずれか一方または両方から入力された画像データを予め定めた時間だけ遅らせた画像データ（以下、「遅延画像データ」という）を生成し、遅延画像データ同士、または前処理画像データと遅延画像データとを加算（合成）した画像データ（以下、「合成画像データ」という）を、出力ＤＭＡ部２３２に出力する。
【００３３】
図１に示したように、前処理部２２０は、セレクタ２２１と、３つの処理部２２２ａ〜２２２ｃと、３つのディレイ部２２３ａ〜２２３ｃおよび３つのディレイ部２２４ａ〜２２４ｃと、合成部２２５と、を備えている。
【００３４】
セレクタ２２１は、撮像ＩＦ部２１０から入力された画像データ（現在のフレームの撮像画像）、入力ＤＭＡ部２４１、および入力ＤＭＡ部２４２から入力された画像データ（以前のフレームの撮像画像）の出力先を選択する。より具体的には、セレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを、処理部２２２ａ、ディレイ部２２３ａ、またはディレイ部２２３ａのいずれか一方に出力する。また、セレクタ２２１は、入力ＤＭＡ部２４１から入力された画像データを、処理部２２２ａ、ディレイ部２２３ａ、またはディレイ部２２３ａのいずれか一方に出力する。また、セレクタ２２１は、入力ＤＭＡ部２４２から入力された画像データを、処理部２２２ａ、ディレイ部２２３ａ、またはディレイ部２２３ａのいずれか一方に出力する。
【００３５】
処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して、予め定められたそれぞれの処理（補正処理）を行う。例えば、処理部２２２ａは、入力された画像データに対して、キズ補正の処理を行う。また、例えば、処理部２２２ｂは、処理部２２２ａから入力されたキズ補正処理後の画像データに対して、シェーディング補正の処理を行う。また、例えば、処理部２２２ｃは、処理部２２２ｂから入力されたシェーディング補正処理後の画像データに対して、歪み補正の処理を行う。
【００３６】
このようにして、処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して、予め定められた処理（補正処理）を順次行う。そして、処理部２２２ｃが処理（補正処理）した後の画像データを、前処理画像データとして出力ＤＭＡ部２３１に出力する。また、前処理画像データは、合成部２２５にも出力される。なお、処理部２２２ａ〜２２２ｃのそれぞれの構成や動作は、従来の撮像装置に備えることが想定される前処理部の構成や動作と同様であるため、詳細な説明は省略する。
【００３７】
ディレイ部２２３ａ〜２２３ｃのそれぞれは、処理部２２２ａ〜２２２ｃのそれぞれに対応し、入力された画像データを、処理部２２２ａ〜２２２ｃのそれぞれにおける入力から出力までの遅延時間と同じ時間だけ遅らせて出力する。例えば、ディレイ部２２３ａは、入力された画像データを、処理部２２２ａのキズ補正の処理によって遅れる遅延時間（処理時間）と同じ時間だけ遅らせて出力する。また、例えば、ディレイ部２２３ｂは、ディレイ部２２３ａによって遅らされた画像データを、処理部２２２ｂのシェーディング補正の処理によって遅れる遅延時間（処理時間）と同じ時間だけ遅らせて出力する。また、例えば、ディレイ部２２３ｃは、ディレイ部２２３ｂによって遅らされた画像データを、処理部２２２ｃの歪み補正の処理によって遅れる遅延時間（処理時間）と同じ時間だけ遅らせて出力する。
【００３８】
ディレイ部２２４ａ〜２２４ｃのそれぞれは、ディレイ部２２３ａ〜２２３ｃと同様に、処理部２２２ａ〜２２２ｃのそれぞれに対応し、入力された画像データを、処理部２２２ａ〜２２２ｃのそれぞれにおける入力から出力までの遅延時間と同じ時間だけ遅らせて出力する。つまり、ディレイ部２２４ａは、入力された画像データをとディレイ部２２３ａと同じ時間だけ遅らせて出力する。同様に、ディレイ部２２４ｂは、入力された画像データをとディレイ部２２３ｂと同じ時間だけ遅らせて出力し、ディレイ部２２４ｃは、入力された画像データをとディレイ部２２３ｃと同じ時間だけ遅らせて出力する。
【００３９】
このようにして、ディレイ部２２３ａ〜２２３ｃおよびディレイ部２２４ａ〜２２４ｃのそれぞれは、入力された画像データを、対応する処理部の遅延時間（処理時間）と同じ時間だけ順次遅らせて出力する。そして、ディレイ部２２３ｃおよびディレイ部２２４ｃのそれぞれが遅らせた後のそれぞれの画像データを、それぞれの遅延画像データとして合成部２２５に出力する。
【００４０】
合成部２２５は、入力された前処理画像データと遅延画像データとを合成した合成画像データを生成する。例えば、処理部２２２ｃから入力された前処理画像データと、ディレイ部２２３ｃまたはディレイ部２２４ｃから入力された遅延画像データとを合成した合成画像データを生成する。また、例えば、ディレイ部２２３ｃから入力された遅延画像データと、ディレイ部２２４ｃから入力された遅延画像データとを合成した合成画像データを生成する。なお、合成部２２５による合成画像データの生成では、合成画像データの生成に用いる前処理画像データや遅延画像データに対して、例えば、加算処理、減算処理、重み付け加算処理、加算平均処理などの合成処理を施すことによって、合成画像データを生成する。そして、合成部２２５は、生成した合成画像データを出力ＤＭＡ部２３２に出力する。
【００４１】
出力ＤＭＡ部２３１は、前処理部２２０内の処理部２２２ｃから入力された前処理画像データを、ＤＭＡによって、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。これにより、イメージセンサ１００から撮像処理部２００に入力された画素信号に応じた、例えば、ベイヤー配列の前処理画像データが、画像処理部３００または表示処理部４００が処理する撮像画像（ベイヤーデータ）として、ＤＲＡＭ５０１に格納される。なお、出力ＤＭＡ部２３１の構成や動作は、従来の撮像装置に備えることが想定される出力ＤＭＡ部の構成や動作と同様であるため、詳細な説明は省略する。
【００４２】
出力ＤＭＡ部２３２は、前処理部２２０内の合成部２２５から入力された合成画像データを、ＤＭＡによって、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。これにより、撮像装置１０のバルブ撮影の機能によって記録または表示を行うために画像処理部３００または表示処理部４００が処理する記録加算画像または累積加算画像（ベイヤーデータ）として、ＤＲＡＭ５０１に格納される。なお、出力ＤＭＡ部２３２の構成や動作は、ＤＭＡによってＤＲＡＭ５０１に格納する画像データが異なる以外は、出力ＤＭＡ部２３１の構成や動作と同様であるため、詳細な説明は省略する。
【００４３】
入力ＤＭＡ部２４１および入力ＤＭＡ部２４２のそれぞれは、ＤＭＡによって、ＤＲＡＭ５０１に格納されている画像データ（以前のフレームの撮像画像）を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した画像データを前処理部２２０に出力する。なお、入力ＤＭＡ部２４１および入力ＤＭＡ部２４２のそれぞれが取得する画像データは、出力ＤＭＡ部２３１や出力ＤＭＡ部２３２によって格納された画像データのみではなく、例えば、画像処理部３００によって画像処理された後にＤＲＡＭ５０１に格納された画像データであってもよい。
【００４４】
画像処理部３００は、ＤＲＡＭ５０１に格納されている画像データ（撮像画像や記録加算画像）を取得し（読み出し）、取得した画像データに、ノイズ除去、ＹＣ変換処理、リサイズ処理、ＪＰＥＧ圧縮処理、およびＭＰＥＧ圧縮処理やＨ．２６４圧縮処理等の動画圧縮処理などの各種の画像処理を施して、記録用の画像データを生成する。そして、画像処理部３００は、生成した記録用の画像データを、再びＤＲＡＭ５０１に格納する（書き込む）。
【００４５】
また、画像処理部３００は、ＤＲＡＭ５０１に格納されている記録用の画像データを取得し（読み出し）、ＪＰＥＧ伸張処理、ＭＰＥＧ伸張処理やＨ．２６４伸張処理等の動画伸張処理などの各種の画像処理を施した画像データを生成する。そして、画像処理部３００は、生成した画像データを、再びＤＲＡＭ５０１に格納する（書き込む）。なお、画像処理部３００の構成や動作は、従来の撮像装置に備えることが想定される画像処理部の構成や動作と同様であるため、詳細な説明は省略する。
【００４６】
表示処理部４００は、ＤＲＡＭ５０１に格納されている画像データ（累積加算画像）を取得し（読み出し）、取得した画像データに、表示デバイス４０１が表示することができる画像の大きさにリサイズ（縮小）する表示用の画像処理や、ＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）表示用のデータを重畳する処理などの表示処理を施して、表示用の画像データ（以下、「表示画像」ともいう）を生成する。そして、表示処理部４００は、生成した表示用の画像データ（表示画像）を、表示デバイス４０１や図示しない外部ディスプレイに出力する。なお、表示処理部４００の構成や動作は、従来の撮像装置に備えることが想定される表示処理部の構成や動作と同様であるため、詳細な説明は省略する。
【００４７】
なお、表示処理部４００は、ＯＳＤ表示用のデータの重畳処理などの表示処理のみを施す構成であってもよい。この場合には、例えば、画像処理部３００が、ＤＲＡＭ５０１から取得（読み出し）した画像データ（累積加算画像）や記録用の画像データに対して表示用の画像処理を施して表示用の画像データ（表示画像）を生成し、生成した表示用の画像データを、再びＤＲＡＭ５０１に格納する（書き込む）。そして、表示処理部４００は、ＤＲＡＭ５０１に格納されている表示用の画像データを取得し（読み出し）、取得した表示用の画像データにＯＳＤ表示用のデータの重畳処理などの表示処理を施すことになる。
【００４８】
表示デバイス４０１は、ＴＦＴ（薄膜トランジスター：Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）や、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示デバイスである。表示デバイス４０１は、表示処理部４００から出力された表示用の画像データ（表示画像）に応じた画像を表示する。なお、表示デバイス４０１は、従来の撮像装置に備えることが想定される表示デバイスと同様であるため、詳細な説明は省略する。
【００４９】
ＤＲＡＭコントローラ５００は、データバス７００に接続されている撮像装置１０内の複数の構成要素からのＤＲＡＭ５０１へのアクセス要求、例えば、ＤＭＡのアクセス要求に応じて、接続されているＤＲＡＭ５０１へのデータの格納（書き込み）、およびＤＲＡＭ５０１からのデータの取得（読み出し）の制御を行う。なお、ＤＲＡＭコントローラ５００の構成や動作は、従来の撮像装置に備えることが想定されるＤＲＡＭコントローラの構成や動作と同様であるため、詳細な説明は省略する。
【００５０】
ＤＲＡＭ５０１は、ＤＲＡＭコントローラ５００によってアクセス制御されるメモリである。ＤＲＡＭ５０１は、撮像装置１０内のそれぞれの構成要素の処理過程における様々なデータを記憶する。なお、ＤＲＡＭ５０１は、従来の撮像装置に備えることが想定されるＤＲＡＭと同様であるため、詳細な説明は省略する。
【００５１】
ＣＰＵ６００は、撮像装置１０の構成要素、すなわち、撮像装置１０全体を制御する。例えば、撮像装置１０における撮影動作や再生動作に応じて、撮像装置１０内の各構成要素の動作を制御する。例えば、ＣＰＵ６００は、撮像装置１０が撮影動作を行う際に、イメージセンサ１００からの画素信号の出力の開始、撮像処理部２００内の撮像ＩＦ部２１０による画素信号の取り込みの開始を制御する。
【００５２】
また、ＣＰＵ６００は、前処理部２２０内の処理部２２２ａ〜２２２ｃの設定や制御、出力ＤＭＡ部２３１および出力ＤＭＡ部２３２の設定や、入力ＤＭＡ部２４１および入力ＤＭＡ部２４２の設定を行う。また、ＣＰＵ６００は、前処理部２２０内のセレクタ２２１による画像データの選択や、前処理部２２０内の合成部２２５が合成画像データを生成するために用いる画像データの選択を制御する。
【００５３】
次に、本実施形態の撮像装置１０のバルブ撮影の機能による撮影動作の一例について説明する。図２は、本実施形態の撮像装置１０による画像撮影および画像表示の動作の一例を模式的に示した図である。撮像装置１０のバルブ撮影機能による撮影では、イメージセンサ１００から出力された画素信号に応じた撮像画像をＤＲＡＭ５０１に格納しながら（記憶させながら）、それぞれの撮像画像を順次加算（累積加算）した累積加算画像を表示デバイス４０１に表示する。図２には、図１に示した撮像装置１０のブロック図上に、撮像画像の記憶動作、累積加算画像の生成および表示動作におけるデータの経路を示している。
【００５４】
以下に、撮像装置１０のバルブ撮影機能による撮影における撮像画像の記憶動作、累積加算画像の生成および表示動作のそれぞれの処理手順を、順を追って説明する。
【００５５】
（手順１）：まず、手順１では、ＣＰＵ６００が、セレクタ２２１を制御して、例えば、図２（ａ）に示した経路Ｃ１１を、データの経路として選択する。そして、撮像処理部２００は、イメージセンサ１００から出力された画素信号に応じた画像データを前処理した前処理画像データを撮像画像（ベイヤーデータ）として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。
【００５６】
より具体的には、イメージセンサ１００から出力された画素信号が、撮像処理部２００に入力され、撮像処理部２００内の撮像ＩＦ部２１０は、入力された画素信号を現在のフレームの画像データとして前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを処理部２２２ａに転送し、処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して順次前処理（補正処理）を施す。前処理部２２０は、処理部２２２ｃが前処理（補正処理）した前処理画像データを、出力ＤＭＡ部２３１に出力する。そして、出力ＤＭＡ部２３１は、前処理部２２０から入力された前処理画像データを、１フレーム目の撮像画像（ベイヤーデータ）として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。
【００５７】
その後、表示処理部４００は、ＤＲＡＭ５０１に格納されている１フレーム目の撮像画像（ベイヤーデータ）に応じた表示画像を、表示デバイス４０１に表示させる。このとき、例えば、図２（ａ）に示した経路Ｃ１２で、表示処理部４００にデータが入力される。
【００５８】
より具体的には、表示処理部４００が、ＤＲＡＭ５０１に格納されている１フレーム目の撮像画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した１フレーム目の撮像画像に対して表示処理を施して、表示用の画像データ（表示画像）を生成する。そして、表示処理部４００は、生成した表示画像を、表示デバイス４０１に出力する。これにより、表示画像（１フレーム目の撮像画像）が、表示デバイス４０１に表示される。
【００５９】
（手順２）：続いて、手順２では、ＣＰＵ６００が、セレクタ２２１および合成部２２５を制御して、例えば、図２（ｂ）に示した経路Ｃ１３、経路Ｃ１４、および経路Ｃ１５を、それぞれのデータの経路として選択する。そして、撮像処理部２００は、手順１と同様に、イメージセンサ１００から出力された画素信号に応じた画像データを前処理した前処理画像データを撮像画像（ベイヤーデータ）として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。
【００６０】
より具体的には、イメージセンサ１００から出力された画素信号が、撮像処理部２００に入力され、撮像処理部２００内の撮像ＩＦ部２１０は、入力された画素信号を現在のフレームの画像データとして前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを処理部２２２ａに転送し、処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して順次前処理（補正処理）を施す。前処理部２２０は、処理部２２２ｃが前処理（補正処理）した前処理画像データを出力ＤＭＡ部２３１に出力し、出力ＤＭＡ部２３１は、前処理部２２０から入力された前処理画像データを、２フレーム目の撮像画像（ベイヤーデータ）として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（経路Ｃ１３参照）。また、前処理部２２０内では、処理部２２２ｃが前処理（補正処理）した前処理画像データが、合成部２２５に出力される。
【００６１】
また、同時に、撮像処理部２００は、ＤＲＡＭ５０１に格納されている１フレーム目の撮像画像を取得し（読み出し）、取得した１フレーム目の撮像画像と、現在のフレーム（２フレーム目）の前処理した前処理画像データ（ベイヤーデータ）とを合成した合成画像データを累積加算画像（ベイヤーデータ）として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。
【００６２】
より具体的には、撮像処理部２００内の入力ＤＭＡ部２４１が、ＤＲＡＭ５０１に格納されている１フレーム目の撮像画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した１フレーム目の撮像画像を前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２４１から入力された１フレーム目の撮像画像をディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された１フレーム目の撮像画像を、予め定めた時間だけ遅らせて合成部２２５に出力する（経路Ｃ１４参照）。
【００６３】
そして、合成部２２５は、処理部２２２ｃが前処理（補正処理）した前処理画像データ、すなわち、２フレーム目の撮像画像と、ディレイ部２２３ｃが遅らせた遅延画像データ、すなわち、１フレーム目の撮像画像とを合成した合成画像データを生成する。そして、前処理部２２０は、合成部２２５が生成した合成画像データを、出力ＤＭＡ部２３２に出力する。そして、出力ＤＭＡ部２３２は、前処理部２２０から入力された合成画像データを、１枚目の累積加算画像（ベイヤーデータ）として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（経路Ｃ１５参照）。
【００６４】
その後、表示処理部４００は、ＤＲＡＭ５０１に格納されている１枚目の累積加算画像（ベイヤーデータ）に応じた表示画像を、表示デバイス４０１に表示させる。このとき、例えば、図２（ｂ）に示した経路Ｃ１６で、表示処理部４００にデータが入力される。
【００６５】
より具体的には、表示処理部４００が、ＤＲＡＭ５０１に格納されている１枚目の累積加算画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した１枚目の累積加算画像に対して表示処理を施して、表示用の画像データ（表示画像）を生成する。そして、表示処理部４００は、生成した表示画像を、表示デバイス４０１に出力する。これにより、表示画像（１枚目の累積加算画像）が、表示デバイス４０１に表示される。
【００６６】
（手順３）：続いて、手順３でも、手順２と同様に、ＣＰＵ６００が、セレクタ２２１および合成部２２５を制御して、例えば、図２（ｃ）に示した経路Ｃ１７、経路Ｃ１８、および経路Ｃ１９を、それぞれのデータの経路として選択する。そして、撮像処理部２００は、手順１および手順２と同様に、イメージセンサ１００から出力された画素信号に応じた画像データを前処理した前処理画像データを撮像画像（ベイヤーデータ）として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。
【００６７】
より具体的には、イメージセンサ１００から出力された画素信号が、撮像処理部２００に入力され、撮像処理部２００内の撮像ＩＦ部２１０から入力された現在のフレームの画像データに対して、処理部２２２ａ〜２２２ｃのそれぞれで順次前処理（補正処理）を施した前処理画像データを、３フレーム目の撮像画像（ベイヤーデータ）として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（経路Ｃ１７参照）。また、前処理部２２０内では、処理部２２２ｃが前処理（補正処理）した前処理画像データが、合成部２２５に出力される。
【００６８】
また、同時に、撮像処理部２００は、ＤＲＡＭ５０１に格納されている１枚目の累積加算画像を取得し（読み出し）、取得した１枚目の累積加算画像と、現在のフレーム（３フレーム目）の前処理した前処理画像データ（ベイヤーデータ）とを合成した合成画像データを累積加算画像（ベイヤーデータ）として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。
【００６９】
より具体的には、撮像処理部２００内の入力ＤＭＡ部２４１が、ＤＲＡＭ５０１に格納されている１枚目の累積加算画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した１枚目の累積加算画像を前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２４１から入力された１枚目の累積加算画像をディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された１枚目の累積加算画像を、予め定めた時間だけ遅らせて合成部２２５に出力する（経路Ｃ１８参照）。
【００７０】
そして、合成部２２５は、ディレイ部２２３ｃが遅らせた遅延画像データ、すなわち、１フレーム目と２フレーム目との撮像画像を合成した合成画像データに、処理部２２２ｃが前処理（補正処理）した前処理画像データ、すなわち、３フレーム目の撮像画像をさらに合成した合成画像データを生成する。そして、前処理部２２０は、合成部２２５が生成した合成画像データを、出力ＤＭＡ部２３２に出力する。そして、出力ＤＭＡ部２３２は、前処理部２２０から入力された合成画像データを、２枚目の累積加算画像（ベイヤーデータ）として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（経路Ｃ１９参照）。
【００７１】
その後、表示処理部４００は、例えば、図２（ｃ）に示した経路Ｃ２０で、ＤＲＡＭ５０１に格納されている２枚目の累積加算画像（ベイヤーデータ）に応じた表示画像を、表示デバイス４０１に表示させる。
【００７２】
より具体的には、表示処理部４００が、ＤＲＡＭ５０１に格納されている２枚目の累積加算画像を取得し（読み出し）、表示処理を施して生成した表示用の画像データ（表示画像）を、表示デバイス４０１に出力することにより、表示画像（２枚目の累積加算画像）が、表示デバイス４０１に表示される。
【００７３】
以降、撮像処理部２００は、手順３における現在のフレームの撮像画像（ベイヤーデータ）のＤＲＡＭ５０１への格納と、以前のフレームの撮像画像を合成（累積加算）した累積加算画像に対して現在のフレームの撮像画像をさらに合成した累積加算画像（ベイヤーデータ）のＤＲＡＭ５０１への格納とを繰り返す。また、表示処理部４００は、手順３における累積加算画像に応じた表示画像の生成および表示デバイス４０１への出力を繰り返す。
【００７４】
このように、撮像装置１０では、ＣＰＵ６００が、セレクタ２２１および合成部２２５を制御することによって、それぞれの処理手順で、図２に示したような、画像データを処理する経路を選択する。これにより、撮像装置１０のバルブ撮影機能による撮影では、イメージセンサ１００から出力された画素信号に応じた撮像画像をＤＲＡＭ５０１に格納しながら（記憶させながら）、それぞれの撮像画像を順次加算（累積加算）した累積加算画像に応じた表示画像を順次、表示デバイス４０１に表示する。これにより、撮影者は、撮像装置１０のバルブ撮影機能による撮影途中の露光レベルを確認することができ、シャッターを切るタイミングを決定することができる。
【００７５】
ここで、図２に示した撮像装置１０のバルブ撮影機能による撮影の撮像画像の記憶動作、累積加算画像の生成および表示動作の一例におけるタイミングの関係について説明する。図３は、本実施形態の撮像装置１０による画像撮影および画像表示動作の概略のタイミングの一例を示したタイミングチャートである。図３には、イメージセンサ１００から出力された画素信号に応じた撮像画像と、表示デバイス４０１に表示する表示画像とのタイミングの関係を示している。
【００７６】
図３において、「垂直同期信号」は、イメージセンサ１００から出力された画素信号の取り込みを開始するタイミングを表す信号である。表示デバイス４０１は、表示画像が入力される毎に、表示している画像を更新する。なお、図３では、撮像画像と表示画像とのタイミングの関係の比較を容易にするため、「垂直同期信号」のタイミングと表示デバイス４０１が表示している画像を更新するタイミングとが同期している場合を示している。
【００７７】
図３に示したように、撮像装置１０に備えた撮像処理部２００は、イメージセンサ１００から出力された画素信号に応じた撮像画像を、ＤＲＡＭ５０１に全て格納（記憶）する（手順１〜３参照）。また、撮像処理部２００は、合成部２２５によって、イメージセンサ１００から出力された画素信号に応じた現在のフレームの撮像画像と、ＤＲＡＭ５０１に格納されている以前のフレームの撮像画像または以前のフレームの撮像画像を累積加算した累積加算画像とを加算（合成）した合成画像データを生成する（手順２および３参照）。その後、撮像装置１０に備えた表示処理部４００は、ＤＲＡＭ５０１に格納されている撮像画像または累積加算画像を、表示画像として表示デバイス４０１に表示する（手順１〜３参照）。
【００７８】
このように、撮像装置１０では、イメージセンサ１００から出力された画素信号に応じた撮像画像を全て、ＤＲＡＭ５０１に格納（記憶）する。これにより、撮像装置１０では、撮影者が所望の露光レベルの画像（記録加算画像）を、バルブ撮影機能による撮影が終了した後に生成することができる。
【００７９】
次に、本実施形態の撮像装置１０のバルブ撮影の機能による記録加算画像の生成動作の一例について説明する。図４は、本実施形態の撮像装置１０による加算画像生成の動作の一例を模式的に示した図である。撮像装置１０のバルブ撮影機能による記録加算画像の生成では、ＤＲＡＭ５０１に格納（記憶）されている撮像画像を加算することによって、記録加算画像を生成する。また、生成した記録加算画像を表示デバイス４０１に表示する。図４には、図１に示した撮像装置１０のブロック図上に、記録加算画像の生成および表示動作におけるデータの経路を示している。
【００８０】
以下に、撮像装置１０のバルブ撮影機能による記録加算画像の生成および表示動作のそれぞれの処理手順を、順を追って説明する。
【００８１】
（手順１）：まず、手順１では、ＣＰＵ６００が、セレクタ２２１および合成部２２５を制御して、例えば、図４（ａ）に示した経路Ｃ２１、経路Ｃ２２、および経路Ｃ２３を、それぞれのデータの経路として選択する。そして、撮像処理部２００は、ＤＲＡＭ５０１に格納されている１フレーム目の撮像画像（ベイヤーデータ）と２フレーム目の撮像画像（ベイヤーデータ）とを取得し（読み出し）、取得した１フレーム目の撮像画像と２フレーム目の撮像画像とを合成した合成画像データを記録加算画像（ベイヤーデータ）として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。
【００８２】
より具体的には、撮像処理部２００内の入力ＤＭＡ部２４１が、ＤＲＡＭ５０１に格納されている１フレーム目の撮像画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した１フレーム目の撮像画像を前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２４１から入力された１フレーム目の撮像画像をディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された１フレーム目の撮像画像を、予め定めた時間だけ遅らせて合成部２２５に出力する（経路Ｃ２１参照）。
【００８３】
また、撮像処理部２００内の入力ＤＭＡ部２４２が、ＤＲＡＭ５０１に格納されている２フレーム目の撮像画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した２フレーム目の撮像画像を前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２４２から入力された２フレーム目の撮像画像をディレイ部２２４ａに転送し、ディレイ部２２４ａ〜２２４ｃのそれぞれは、入力された２フレーム目の撮像画像を、予め定めた時間だけ遅らせて合成部２２５に出力する（経路Ｃ２２参照）。
【００８４】
そして、合成部２２５は、ディレイ部２２３ｃが遅らせた遅延画像データ、すなわち、１フレーム目の撮像画像と、ディレイ部２２４ｃが遅らせた遅延画像データ、すなわち、２フレーム目の撮像画像とを合成した合成画像データを生成する。そして、前処理部２２０は、合成部２２５が生成した合成画像データを、出力ＤＭＡ部２３２に出力する。そして、出力ＤＭＡ部２３２は、前処理部２２０から入力された合成画像データを、１枚目の記録加算画像（ベイヤーデータ）として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（経路Ｃ２３参照）。
【００８５】
その後、表示処理部４００は、ＤＲＡＭ５０１に格納されている１枚目の記録加算画像（ベイヤーデータ）に応じた表示画像を、表示デバイス４０１に表示させる。このとき、例えば、図４（ａ）に示した経路Ｃ２４で、表示処理部４００にデータが入力される。
【００８６】
より具体的には、表示処理部４００が、ＤＲＡＭ５０１に格納されている１枚目の記録加算画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した１枚目の記録加算画像に対して表示処理を施して、表示用の画像データ（表示画像）を生成する。そして、表示処理部４００は、生成した表示画像を、表示デバイス４０１に出力する。これにより、表示画像（１枚目の記録加算画像）が、表示デバイス４０１に表示される。
【００８７】
（手順２）：続いて、手順２では、ＣＰＵ６００が、セレクタ２２１および合成部２２５を制御して、例えば、図４（ｂ）に示した経路Ｃ２５、経路Ｃ２６、および経路Ｃ２７を、それぞれのデータの経路として選択する。そして、撮像処理部２００は、手順１と同様に、ＤＲＡＭ５０１に格納されている１枚目の記録加算画像（ベイヤーデータ）と３フレーム目の撮像画像（ベイヤーデータ）とを取得し（読み出し）、取得した１枚目の記録加算画像と３フレーム目の撮像画像とを合成した合成画像データを記録加算画像（ベイヤーデータ）として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。
【００８８】
より具体的には、撮像処理部２００内の入力ＤＭＡ部２４１が、ＤＲＡＭ５０１に格納されている３フレーム目の撮像画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した３フレーム目の撮像画像を前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２４１から入力された３フレーム目の撮像画像をディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された３フレーム目の撮像画像を、予め定めた時間だけ遅らせて合成部２２５に出力する（経路Ｃ２５参照）。
【００８９】
また、撮像処理部２００内の入力ＤＭＡ部２４２が、ＤＲＡＭ５０１に格納されている１枚目の記録加算画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した１枚目の記録加算画像を前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２４２から入力された１枚目の記録加算画像をディレイ部２２４ａに転送し、ディレイ部２２４ａ〜２２４ｃのそれぞれは、入力された１枚目の記録加算画像を、予め定めた時間だけ遅らせて合成部２２５に出力する（経路Ｃ２６参照）。
【００９０】
そして、合成部２２５は、ディレイ部２２３ｃが遅らせた遅延画像データ、すなわち、３フレーム目の撮像画像と、ディレイ部２２４ｃが遅らせた遅延画像データ、すなわち、１フレーム目と２フレーム目との撮像画像を合成した１枚目の記録加算画像とを合成した合成画像データを生成する。そして、前処理部２２０は、合成部２２５が生成した合成画像データを、出力ＤＭＡ部２３２に出力する。そして、出力ＤＭＡ部２３２は、前処理部２２０から入力された合成画像データを、２枚目の記録加算画像（ベイヤーデータ）として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（経路Ｃ２７参照）。
【００９１】
その後、表示処理部４００は、例えば、図４（ｂ）に示した経路Ｃ２８で、ＤＲＡＭ５０１に格納されている２枚目の記録加算画像（ベイヤーデータ）に応じた表示画像を、表示デバイス４０１に表示させる。
【００９２】
より具体的には、表示処理部４００が、ＤＲＡＭ５０１に格納されている２枚目の記録加算画像を取得し（読み出し）、表示処理を施して生成した表示用の画像データ（表示画像）を、表示デバイス４０１に出力することにより、表示画像（２枚目の記録加算画像）が、表示デバイス４０１に表示される。
【００９３】
以降、撮像処理部２００は、手順２における前のフレームの撮像画像を合成（累積加算）した記録加算画像に対して、次のフレームの撮像画像をさらに合成した記録加算画像（ベイヤーデータ）のＤＲＡＭ５０１への格納を繰り返す。また、表示処理部４００は、手順２における記録加算画像に応じた表示画像の生成および表示デバイス４０１への出力を繰り返す。
【００９４】
このように、撮像装置１０では、ＣＰＵ６００が、セレクタ２２１および合成部２２５を制御することによって、それぞれの処理手順で、図４に示したような、画像データを処理する経路を選択する。これにより、撮像装置１０のバルブ撮影の機能による記録加算画像の生成では、撮像装置１０のバルブ撮影機能による撮影によって格納（記憶）した撮像画像を加算することによって、記録加算画像を生成しながら、生成した記録加算画像を表示デバイス４０１に表示する。これにより、撮影者は、記録する画像（記録加算画像）の露光レベルを確認することができ、所望の露光レベルの画像を、最終的に記録する画像として決定することができる。
【００９５】
ここで、図４に示した撮像装置１０のバルブ撮影機能による記録加算画像の生成および表示動作の一例におけるタイミングの関係について説明する。図５は、本実施形態の撮像装置１０による加算画像生成動作の概略のタイミングの一例を示したタイミングチャートである。図５には、ＤＲＡＭ５０１に格納（記憶）されている撮像画像と、表示デバイス４０１に表示する表示画像でもある、生成した記録加算画像とのタイミングの関係を示している。
【００９６】
図５に示したように、撮像装置１０に備えた撮像処理部２００は、合成部２２５によって、ＤＲＡＭ５０１に格納（記憶）された１フレーム目の撮像画像に以降のフレームの撮像画像を順次加算（合成）した合成画像データを、記録加算画像として順次生成する（手順１および２参照）。ここで生成されたそれぞれの記録加算画像は、撮像装置１０に備えた表示処理部４００によって、ＤＲＡＭ５０１から読み出され、表示画像として表示デバイス４０１に表示される（手順１および２参照）。
【００９７】
なお、図５を見てわかるように、撮像処理部２００による記録加算画像の生成においては、例えば、図３に示した撮像装置１０のバルブ撮影機能による撮影のタイミングにおける「垂直同期信号」のように、記録加算画像を生成する周期を決定するタイミングが存在しない。しかし、撮像処理部２００が生成した記録加算画像を表示デバイス４０１に表示させることを考慮すると、表示デバイス４０１が表示している画像を更新する、例えば、表示デバイス４０１の垂直同期信号のタイミングで、撮像処理部２００が記録加算画像を生成することが望ましいと考えられる。
【００９８】
このように、撮像装置１０では、バルブ撮影機能による撮影によって、イメージセンサ１００から出力された画素信号に応じた撮像画像を、ＤＲＡＭ５０１に全て格納（記憶）しているため、撮影者が所望の露光レベルの画像（記録加算画像）を、バルブ撮影機能による撮影が終了した後に生成することができる。このことにより、撮影者は、バルブ撮影機能による撮影においてシャッタータイミングが意図した露光のポイントからずれてしまった場合でも、バルブ撮影機能の撮影のやり直しをすることなく、所望の露光レベルの画像を得ることができる。
【００９９】
なお、記録加算画像の生成は、バルブ撮影機能による撮影が終了した後のいかなるタイミングでも行うことができる。また、バルブ撮影機能による１回の撮影から、複数の記録加算画像を生成することや、生成した記録加算画像を編集、つまり、異なる記録加算画像を再度生成することもできる。
【０１００】
ここで、撮像装置１０のバルブ撮影機能によって得られる記録加算画像について説明する。図６は、本実施形態の撮像装置１０における画像撮影および画像表示と記録加算画像の生成との関係の一例を模式的に示した図である。
【０１０１】
撮影者によって、バルブ撮影機能による撮影開始の指示がされると、図６に示したように、撮像装置１０は撮影を開始し、イメージセンサ１００から出力された画素信号に応じた撮像画像を、順次ＤＲＡＭ５０１に格納（記憶）する。このとき、撮像処理部２００内の合成部２２５は、それぞれの撮像画像を順次加算（累積加算）した累積加算画像を生成し、表示処理部４００は、累積加算画像を表示デバイス４０１に順次表示させる。図６には、撮像装置１０が８フレーム目の撮像画像を撮影したときに、撮影者が意図したシャッタータイミングであることを示す撮影停止の指示がされ、１０フレーム目までの撮像画像をＤＲＡＭ５０１に格納（記憶）した場合を示している。
【０１０２】
その後、撮像装置１０は、撮影者の指示に応じて、ＤＲＡＭ５０１に格納（記憶）している撮像画像の一部または全てを用いて、記録加算画像の生成を行う。上述したように、撮像装置１０では、イメージセンサ１００から出力された画素信号に応じた撮像画像の全てを、ＤＲＡＭ５０１に格納（記憶）している。このため、図６に示したように、様々な撮像画像を加算（合成）した記録加算画像を生成することができる。
【０１０３】
図６には、記録加算画像Ａとして、１フレーム目〜８フレーム目までの撮像画像（ベイヤーデータ）、すなわち、撮影開始からシャッタータイミングまでの撮像画像を加算（合成）した記録加算画像を生成した場合の一例を示している。また、図６には、記録加算画像Ｂとして、１フレーム目〜１０フレーム目までの撮像画像（ベイヤーデータ）、すなわち、ＤＲＡＭ５０１に格納（記憶）している全ての撮像画像を加算（合成）した記録加算画像を生成した場合の一例を示している。また、撮像装置１０では、図６に示したように、７フレーム目〜９フレーム目までの撮像画像（ベイヤーデータ）、すなわち、シャッタータイミングの撮像画像と、その前後１フレーム分の撮像画像とを加算（合成）した記録加算画像Ｃを生成することもできる。
【０１０４】
上記に述べたように、本実施形態における撮像装置１０では、バルブ撮影機能による撮影においてイメージセンサ１００から出力された画素信号を順次加算（累積加算）した累積加算画像に応じた表示画像を順次、表示デバイス４０１に表示する。これにより、撮影者は、撮像装置１０のバルブ撮影機能による撮影途中の露光レベルを確認することができ、シャッターを切るタイミングを決定することができる。
【０１０５】
また、本実施形態における撮像装置１０では、バルブ撮影機能による撮影においてシャッターを切ったタイミングで得られる累積加算画像のみではなく、イメージセンサ１００から出力された画素信号に応じた撮像画像を全て、ＤＲＡＭ５０１に格納（記憶）する。そして、本実施形態における撮像装置１０では、バルブ撮影機能による撮影が終了した後に、ＤＲＡＭ５０１に格納（記憶）された撮像画像を加算（合成）することによって記録加算画像を生成し、生成した記録加算画像に応じた表示画像を順次、表示デバイス４０１に表示する。これにより、撮影者は、記録加算画像の露光レベルを容易に確認することができ、所望の露光レベルの記録加算画像を、最終的に記録する画像として決定することができる。また、撮影者は、バルブ撮影機能による撮影においてシャッターを切るタイミングが意図したタイミングからずれてしまった場合でも、バルブ撮影機能の撮影のやり直しをすることなく、所望の露光レベルの画像を得ることができる。
【０１０６】
なお、本実施形態における撮像装置１０では、上述したように、イメージセンサ１００から出力された画素信号に応じた撮像画像を全て、ＤＲＡＭ５０１に格納（記憶）している。このため、バルブ撮影機能による撮影の露光時間が長くなると、その分の撮像画像を格納（記憶）することができるだけのＤＲＡＭ５０１の記憶容量が必要になる。しかし、撮像装置１０に備えるＤＲＡＭ５０１の記憶容量は有限であり、イメージセンサ１００から出力された画素信号に応じた撮像画像の全てをＤＲＡＭ５０１に格納（記憶）するのは現実的ではない。そこで、撮像画像を格納（記憶）するために撮像装置１０に備える必要があるＤＲＡＭ５０１の記憶容量を削減するために、以下のような撮像装置１０の変形例が考えられる。
【０１０７】
＜第１の変形例＞
第１の変形例では、撮影停止の指示がされたシャッタータイミングの撮像画像と、その前後の予め定めたフレーム数分の撮像画像とを、ＤＲＡＭ５０１に格納（記憶）する。すなわち、第１の変形例では、撮影開始からシャッタータイミングよりも前の予め定めたフレーム数までの撮像画像をＤＲＡＭ５０１に格納（記憶）しない。これは、バルブ撮影機能による撮影において露光レベルを調整するために有用な撮像画像は、シャッターを切ったタイミングの前後の数フレーム分の撮像画像であり、シャッタータイミングから離れた時間に撮影された撮像画像は、後に生成する記録加算画像において、撮影者が所望の露光レベルに調整するために用いられる可能性が低いという考え方に基づいた対応である。特に、暗闇の中で撮影を行うバルブ撮影においては、撮影を開始した直後の撮像画像は露光量が非常に低いため、この傾向は顕著であるといえる。また、第１の変形例では、撮像画像をＤＲＡＭ５０１に格納（記憶）しない期間における累積加算画像をＤＲＡＭ５０１に格納（記憶）することによって、その期間の撮像画像を補完する。
【０１０８】
これにより、第１の変形例では、ＤＲＡＭ５０１に格納（記憶）しない期間の撮像画像の枚数−１枚分のＤＲＡＭ５０１の記憶容量を削減することができる。また、第１の変形例では、一定のフレーム数分の撮像画像および累積加算画像をＤＲＡＭ５０１に格納（記憶）すればよい。つまり、第１の変形例による撮像画像の格納方法（記憶方法）では、（予め定めたフレーム数×２）＋１フレーム分の撮像画像と、１フレーム分の累積加算画像とのみを、ＤＲＡＭ５０１に格納（記憶）すればよい。このため、第１の変形例では、バルブ撮影機能による撮影の露光時間に関係なく、一定の記憶容量のＤＲＡＭ５０１を撮像装置１０に備えていればよくなり、撮像装置１０の実現が現実的になる。
【０１０９】
図７は、本実施形態の撮像装置１０の第１の変形例における画像撮影および画像表示と記録加算画像の生成との関係の一例を模式的に示した図である。図７には、シャッタータイミングの撮像画像と、その前後の２フレーム数分の撮像画像とを、ＤＲＡＭ５０１に格納（記憶）する場合において、撮像装置１０が８フレーム目の撮像画像を撮影したときにシャッタータイミングとして、撮影者によって撮影停止の指示がされた場合を示している。従って、撮像装置１０は、図７に示したように、６フレーム目〜１０フレーム目までの撮像画像（ベイヤーデータ）と、１フレーム目〜５フレーム目までの撮像画像（ベイヤーデータ）を順次加算（累積加算）した累積加算画像（ｓｕｍ（１−５））との６フレーム（枚）分の画像データを、ＤＲＡＭ５０１に格納（記憶）する。
【０１１０】
なお、シャッタータイミングの撮像画像と、その前後の２フレーム数分の撮像画像とを、ＤＲＡＭ５０１に格納（記憶）するための方法としては、一定のフレーム数分の撮像画像および累積加算画像をＤＲＡＭ５０１に格納（記憶）することを利用することが考えられる。例えば、イメージセンサ１００から出力された画素信号に応じた撮像画像を順次ＤＲＡＭ５０１に格納（記憶）していき、ＤＲＡＭ５０１に格納（記憶）している撮像画像のフレーム数が一定のフレーム数分だけ格納された後は、次のフレームの撮像画像が格納された後に、最初に格納した、すなわち、１フレーム目の撮像画像をＤＲＡＭ５０１から削除する方法が考えられる。また、例えば、ＤＲＡＭ５０１に格納（記憶）している撮像画像のフレーム数が一定のフレーム数分だけ格納された後、１フレーム目の撮像画像を格納しているＤＲＡＭ５０１の領域に、次のフレームの撮像画像を格納する、すなわち、上書きする方法も考えられる。
【０１１１】
その後、撮像装置１０は、撮影者の指示に応じて、ＤＲＡＭ５０１に格納（記憶）している撮像画像または累積加算画像を用いて、記録加算画像の生成を行うことにより、図６に示した一例と同様に、様々な撮像画像を加算（合成）した記録加算画像を生成することができる。すなわち、イメージセンサ１００から出力された画素信号に応じた撮像画像の全てをＤＲＡＭ５０１に格納（記憶）する場合と同様に、記録加算画像Ａや、記録加算画像Ｂや、記録加算画像Ｃなどの記録加算画像を生成することができる。
【０１１２】
ここで、第１の変形例における記録加算画像の生成方法について説明する。１フレーム目〜８フレーム目までの撮像画像（ベイヤーデータ）、すなわち、撮影開始からシャッタータイミングまでの撮像画像を加算（合成）した記録加算画像Ａは、撮像処理部２００が、ＤＲＡＭ５０１に格納されている累積加算画像（ｓｕｍ（１−５））に、６フレーム目〜８フレーム目までの撮像画像を順次加算（合成）することによって生成する。
【０１１３】
また、１フレーム目〜１０フレーム目までの撮像画像（ベイヤーデータ）、すなわち、イメージセンサ１００から出力された画素信号に応じた全ての撮像画像を加算（合成）した記録加算画像Ｂは、撮像処理部２００が、ＤＲＡＭ５０１に格納されている累積加算画像（ｓｕｍ（１−５））に、６フレーム目〜１０フレーム目までの撮像画像を順次加算（合成）することによって生成する。
【０１１４】
また、７フレーム目〜９フレーム目までの撮像画像（ベイヤーデータ）、すなわち、シャッタータイミングの撮像画像と、その前後１フレーム分の撮像画像とを加算（合成）した記録加算画像Ｃは、図６に示した一例と同様に、撮像処理部２００が、ＤＲＡＭ５０１に格納されている７フレーム目〜９フレーム目までの撮像画像を順次加算（合成）することによって生成する。
【０１１５】
このように、撮像装置１０における第１の変形例の方法でも、撮影者は、所望の露光レベルの画像（記録加算画像）を得ることができる。また、第１の変形例の方法では、イメージセンサ１００から出力された画素信号に応じた撮像画像の全てをＤＲＡＭ５０１に格納（記憶）せず、実用上、有用なフレーム数の撮像画像と累積加算画像とのみをＤＲＡＭ５０１に格納（記憶）する。これにより、第１の変形例では、撮像画像および累積加算画像を格納（記憶）するために撮像装置１０に備える必要があるＤＲＡＭ５０１の記憶容量を削減することができる。
【０１１６】
＜第２の変形例＞
第２の変形例では、撮影停止の指示がされたシャッタータイミングの累積加算画像と、その前後の予め定めた枚数分の累積加算画像とを、ＤＲＡＭ５０１に格納（記憶）する。すなわち、第２の変形例では、イメージセンサ１００から出力された画素信号に応じた全ての撮像画像をＤＲＡＭ５０１に格納（記憶）するのではなく、シャッタータイミングの前後の予め定めた枚数分の累積加算画像のみをＤＲＡＭ５０１に格納（記憶）する。これは、第１の変形例における対応の考え方と同様である。
【０１１７】
これにより、第２の変形例では、ＤＲＡＭ５０１に格納（記憶）しない期間の撮像画像の枚数分のＤＲＡＭ５０１の記憶容量を削減することができる。また、第２の変形例でも、第１の変形例と同様に、バルブ撮影機能による撮影の露光時間に関係なく、一定の枚数分の累積加算画像を格納（記憶）するための一定の記憶容量のＤＲＡＭ５０１を撮像装置１０に備えていればよくなり、撮像装置１０の実現が現実的になる。つまり、第２の変形例による撮像画像の格納方法（記憶方法）では、（予め定めた枚数×２）＋１枚分の累積加算画像のみを、ＤＲＡＭ５０１に格納（記憶）すればよい。
【０１１８】
図８は、本実施形態の撮像装置１０の第２の変形例における画像撮影および画像表示と記録加算画像の生成との関係の一例を模式的に示した図である。図８には、シャッタータイミングの累積加算画像と、その前後の２枚分の累積加算画像とを、ＤＲＡＭ５０１に格納（記憶）する場合において、撮像装置１０が８フレーム目の撮像画像を撮影したときにシャッタータイミングとして、撮影者によって撮影停止の指示がされた場合を示している。従って、撮像装置１０は、図８に示したように、６枚目〜１０枚目までの累積加算画像（ベイヤーデータ）、すなわち、１フレーム目〜６フレーム目までの撮像画像（ベイヤーデータ）を順次加算（累積加算）した累積加算画像（ｓｕｍ（１−６））以降の５枚分の累積加算画像を、ＤＲＡＭ５０１に格納（記憶）する。
【０１１９】
なお、シャッタータイミングの累積加算画像と、その前後の予め定めた枚数分の累積加算画像とを、ＤＲＡＭ５０１に格納（記憶）するための方法は、一定の枚数分の累積加算画像を格納（記憶）することを利用して、第１の変形例における考え方と同様に考えることができる。
【０１２０】
その後、撮像装置１０は、撮影者の指示に応じて、ＤＲＡＭ５０１に格納（記憶）している累積加算画像を用いて、記録加算画像の生成を行うことにより、図６に示した一例と同様に、様々な撮像画像を加算（合成）した記録加算画像を生成することができる。すなわち、イメージセンサ１００から出力された画素信号に応じた撮像画像の全てをＤＲＡＭ５０１に格納（記憶）する場合と同様に、記録加算画像Ａや、記録加算画像Ｂや、記録加算画像Ｃなどの記録加算画像を生成することができる。
【０１２１】
ここで、第２の変形例における記録加算画像の生成方法について説明する。第２の変形例では、累積加算画像をＤＲＡＭ５０１に格納（記憶）しているため、１フレーム目〜８フレーム目までの撮像画像（ベイヤーデータ）、すなわち、撮影開始からシャッタータイミングまでの撮像画像を加算（合成）した記録加算画像Ａは、ＤＲＡＭ５０１に格納されている８枚目の累積加算画像（ｓｕｍ（１−８））である。従って、撮像処理部２００が、ＤＲＡＭ５０１に格納されている累積加算画像に対して加算（合成）の処理をすることなく、ＤＲＡＭ５０１に格納されている累積加算画像（ｓｕｍ（１−８））を直接、記録加算画像Ａとすることができる。
【０１２２】
同様に、１フレーム目〜１０フレーム目までの撮像画像（ベイヤーデータ）、すなわち、イメージセンサ１００から出力された画素信号に応じた全ての撮像画像を加算（合成）した記録加算画像Ｂも、ＤＲＡＭ５０１に格納されている１０枚目の累積加算画像（ｓｕｍ（１−１０））であり、ＤＲＡＭ５０１に格納されている累積加算画像（ｓｕｍ（１−１０））を直接、記録加算画像Ｂとすることができる。
【０１２３】
また、７フレーム目〜９フレーム目までの撮像画像（ベイヤーデータ）、すなわち、シャッタータイミングの撮像画像と、その前後１フレーム分の撮像画像とを加算（合成）した記録加算画像Ｃも、ＤＲＡＭ５０１に格納されている累積加算画像に基づいて生成することができる。ただし、記録加算画像Ｃは、撮像処理部２００に備えた合成部２２５が加算の処理を行うのではなく、減算の処理を行うことによって生成する。より具体的には、記録加算画像Ｃは、ＤＲＡＭ５０１に格納されている９枚目の累積加算画像（ｓｕｍ（１−９））から、ＤＲＡＭ５０１に格納されている６枚目の累積加算画像（ｓｕｍ（１−６））を減算する処理を行うことによって生成する。なお、累積加算画像同士の減算の処理は、合成部２２５が行う代わりに、例えば、撮像装置１０に備えた画像処理部３００が行う構成にしてもよい。
【０１２４】
このように、撮像装置１０における第２の変形例の方法でも、撮影者は、所望の露光レベルの画像（記録加算画像）を得ることができる。また、第２の変形例の方法では、イメージセンサ１００から出力された画素信号に応じた撮像画像の全てをＤＲＡＭ５０１に格納（記憶）せず、実用上、有用な枚数の累積加算画像のみをＤＲＡＭ５０１に格納（記憶）する。これにより、第２の変形例では、撮像画像および累積加算画像を格納（記憶）するために撮像装置１０に備える必要があるＤＲＡＭ５０１の記憶容量を、第１の変形例よりもさらに削減することができる。
【０１２５】
また、第２の変形例では、撮像処理部２００が、ＤＲＡＭ５０１に格納されている累積加算画像に対して加算（合成）の処理をすることなく、ＤＲＡＭ５０１に格納されている累積加算画像を直接、記録加算画像とすることができる。これにより、第２の変形例では、記録加算画像（ベイヤーデータ）に応じた表示画像を表示デバイス４０１に表示させるまで時間を早くするができる。このことにより、撮影者は、記録する画像（記録加算画像）の露光レベルの確認を、迅速に行うことができる。
【０１２６】
上記に述べたとおり、本発明を実施するための形態では、撮像装置の撮像処理部内に、ＤＲＡＭに格納された画像データを取得する（読み出す）入力ＤＭＡ部（本実施形態においては、入力ＤＭＡ部２４１および入力ＤＭＡ部２４２）を設けた。また、撮像処理部に備えた前処理部（本実施形態においては、前処理部２２０）内に、現在のフレームの画像データと以前のフレームの画像データ、またはＤＲＡＭに格納された画像データ同士を合成した合成画像データを生成する合成部（本実施形態においては、合成部２２５）を設けた。また、撮像装置の撮像処理部内に、合成部が生成した合成画像データをＤＲＡＭの格納する（記憶させる）出力ＤＭＡ部（本実施形態においては、出力ＤＭＡ部２３２）を設けた。
【０１２７】
これにより、本発明を実施するための形態によれば、イメージセンサ（本実施形態においては、イメージセンサ１００）から出力された画素信号に応じた撮像画像をＤＲＡＭに格納しながら（記憶させながら）、それぞれの撮像画像を順次加算（累積加算）した累積加算画像を生成する撮像装置を実現することができる。そして、生成した累積加算画像に応じた表示画像を順次、撮像装置（本実施形態においては、撮像装置１０）に備えた表示デバイス（本実施形態においては、表示デバイス４０１）に表示させることができる。これにより、本発明を実施するための形態の撮像装置を使用する撮影者は、撮像装置のバルブ撮影機能による撮影途中の露光レベルを確認することができ、バルブ撮影においてシャッターを切るタイミングを容易に決定することができる。
【０１２８】
また、本発明を実施するための形態によれば、イメージセンサから出力された画素信号に応じた撮像画像や合成部が生成した合成画像データをＤＲＡＭに格納（記憶）する。これにより、本発明を実施するための形態の撮像装置では、バルブ撮影機能による撮影が終了した後に、ＤＲＡＭに格納（記憶）した撮像画像や合成画像データを加算（加算）した、バルブ撮影において記録する記録加算画像（長時間露光の画像）を生成する撮像装置を実現することができる。そして、生成した記録加算画像に応じた表示画像を順次、撮像装置に備えた表示デバイスに表示させることができる。これにより、本発明を実施するための形態の撮像装置を使用する撮影者は、生成された記録加算画像の露光レベルを確認することができ、所望の露光レベルの記録加算画像を、最終的に記録する画像として決定することができる。
【０１２９】
また、本発明を実施するための形態によれば、撮像装置のバルブ撮影機能による撮影によってイメージセンサから出力された画素信号に応じた撮像画像合成画像データをＤＲＡＭに格納（記憶）しているため、生成される記録加算画像の露光レベルを変更することができる。これにより、本発明を実施するための形態の撮像装置を使用する撮影者は、撮像装置のバルブ撮影機能による撮影においてシャッタータイミングが意図した露光のポイントからずれてしまった場合でも、バルブ撮影機能による撮影のやり直しをすることなく、所望の露光レベルの画像を得ることができる。
【０１３０】
なお、本実施形態においては、合成部２２５が、例えば、現在のフレームの撮像画像と以前のフレームの撮像画像とを、同じタイミングで処理している。ところで、撮像ＩＦ部２１０がイメージセンサ１００から画素信号が出力されるタイミングで取り込んで出力する現在のフレームの撮像画像と、入力ＤＭＡ部２４１や入力ＤＭＡ部２４２がＤＲＡＭ５０１から取得して（読み出して）出力する以前のフレームの撮像画像とのタイミングを合わせる別の方法も考えられる。これは、ＣＰＵ６００が、入力ＤＭＡ部２４１が以前のフレームの撮像画像を取得する（読み出す）タイミングを制御する方法である。しかし、ＣＰＵ６００が、入力ＤＭＡ部２４１や入力ＤＭＡ部２４２が以前のフレームの撮像画像を取得して（読み出して）出力するタイミングを、撮像ＩＦ部２１０がイメージセンサ１００からリアルタイムに出力される画素信号を取り込んで出力する現在のフレームの撮像画像と同じタイミングに制御するのは容易ではない。本実施形態の撮像装置１０では、前処理部２２０内にディレイ部２２３ａ〜２２３ｃやディレイ部２２４ａ〜２２４ｃを設けているため、容易に、以前のフレームの撮像画像のタイミングを、リアルタイムに取り込まれて出力される現在のフレームの撮像画像のタイミングと同じタイミングにすることができる。この構成によって、合成部２２５には、同じタイミングで合成処理に用いる２つの画像データが入力されるため、合成部２２５は、撮像ＩＦ部２１０が異なるタイミングで取り込んで出力する現在のフレームの撮像画像と、入力ＤＭＡ部２４１や入力ＤＭＡ部２４２がＤＲＡＭ５０１から取得して（読み出して）出力する以前のフレームの撮像画像とを、合成処理することができる。
【０１３１】
そして、本実施形態においては、バルブ撮影機能による撮影が終了した後に記録加算画像を生成する際にも、この構成を利用している。しかし、記録加算画像を生成するために用いる２つの撮像画像は共に、ＤＲＡＭ５０１に格納（記憶）されている画像データである。このため、ＣＰＵ６００が、入力ＤＭＡ部２４１と入力ＤＭＡ部２４２とを制御して、同じタイミングで２つの撮像画像をＤＲＡＭ５０１から取得して（読み出して）出力させることは容易である。従って、バルブ撮影機能による撮影が終了した後の記録加算画像の生成においては、前処理部２２０内に設けたディレイ部２２３ａ〜２２３ｃやディレイ部２２４ａ〜２２４ｃを利用しない方法も可能である。このため、前処理部２２０に、ディレイ部２２３ａ〜２２３ｃやディレイ部２２４ａ〜２２４ｃを介さずに、それぞれの撮像画像を合成部２２５に入力する構成を備えてもよい。この構成としては、例えば、セレクタ２２１による入力ＤＭＡ部２４１および入力ＤＭＡ部２４２から入力された画像データの出力先として、合成部２２５を追加する構成などが考えられる。これにより、バルブ撮影機能による撮影が終了した後に行う記録加算画像の生成に要する時間を短縮することができる。
【０１３２】
なお、例えば、撮像ＩＦ部２１０がリアルタイムに取り込んで出力した現在のフレームの撮像画像と、入力ＤＭＡ部２４１や入力ＤＭＡ部２４２がＤＲＡＭ５０１に格納されている以前のフレームの撮像画像を取得して（読み出して）出力するタイミングとを、同じタイミングに制御することができる場合にも、ディレイ部２２３ａ〜２２３ｃやディレイ部２２４ａ〜２２４ｃを介さずに、それぞれの画像データを合成部２２５に入力する構成にすることができる。
【０１３３】
なお、本実施形態においては、前処理部２２０内に備えた処理部２２２ａ〜２２２ｃのそれぞれに対応する３つのディレイ部２２３ａ〜２２３ｃおよびディレイ部２２４ａ〜２２４ｃを設け、それぞれのディレイ部が、入力された画像データを対応する処理部の入力から出力までの遅延時間と同じ時間だけ遅らせて出力する場合について説明した。しかし、ディレイ部の構成は、本発明を実施するための形態に限定されるものではない。例えば、ディレイ部２２３ａ〜２２３ｃやディレイ部２２４ａ〜２２４ｃの代わりに、入力された画像データを、処理部２２２ａ〜２２２ｃによる前処理（補正処理）の合計の遅延時間と同じ時間だけ遅らせて出力するディレイ部を１つのみ設ける構成にすることもできる。また、例えば、ディレイ部２２３ａ〜２２３ｃやディレイ部２２４ａ〜２２４ｃの代わりに、処理部２２２ａ〜２２２ｃをそれぞれ設けた構成にすることもできる。
【０１３４】
また、本実施形態においては、前処理部２２０内に、１つの合成部２２５を設けた場合について説明した。しかし、前処理部２２０内の構成は、本発明を実施するための形態に限定されるものではない。例えば、現在のフレームの撮像画像と以前のフレームの撮像画像との合成や、以前のフレームの撮像画像同士の合成によって、同時に複数（例えば、２つ）の合成画像データ（累積加算画像や記録加算画像）を生成する場合には、前処理部２２０内に複数（例えば、２つ）の合成部を備えた構成にすることもできる。この場合には、前処理部２２０内に備えた合成部の数や、同時に生成する合成画像データの数に応じて、撮像処理部２００内に備える入力ＤＭＡ部や出力ＤＭＡ部の数や構成を適宜変更することが考えられる。
【０１３５】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【０１３６】
１０・・・撮像装置
１００・・・イメージセンサ（固体撮像装置）
２００・・・撮像処理部
２１０・・・撮像ＩＦ部（画像データインターフェース部）
２２０・・・前処理部（画像合成部，第１の前処理部，第２の前処理部，第３の前処理部）
２２１・・・セレクタ）
２２２ａ，２２２ｂ，２２２ｃ・・・処理部（第１の前処理部，処理部，第１の処理部）
２２３ａ，２２３ｂ，２２３ｃ・・・ディレイ部（第２の前処理部，遅延部，第２の処理部）
２２４ａ，２２４ｂ，２２４ｃ・・・ディレイ部（第３の前処理部，遅延部，第２の処理部）
２２５・・・合成部（画像合成部）
２３１・・・出力ＤＭＡ部（第１の画像データ書き込み部）
２３２・・・出力ＤＭＡ部（第２の画像データ書き込み部）
２４１・・・入力ＤＭＡ部（第１の画像データ読み出し部）
２４２・・・入力ＤＭＡ部（第２の画像データ読み出し部）
３００・・・画像処理部
４００・・・表示処理部（表示部）
４０１・・・表示デバイス（表示部）
５００・・・ＤＲＡＭコントローラ（記憶部）
５０１・・・ＤＲＡＭ（記憶部）
６００・・・ＣＰＵ
７００・・・データバス
【図１】
2014121024.tif 000003
【図２】
2014121024.tif 000004
【図３】
2014121024.tif 000005
【図４】
2014121024.tif 000006
【図５】
2014121024.tif 000007
【図６】
2014121024.tif 000008
【図７】
2014121024.tif 000009
【図８】
2014121024.tif 000010
【図９】
2014121024.tif 000011
【図１０】
2014121024.tif 000012