(57)【要約】【課題】  トータルの露光時間の短縮を押さえ、ノイズの増加を抑制する為の技術を提供すること。【解決手段】  第１の露光時間に対応する第１のノイズ量、第２の露光時間に対応する第２のノイズ量を求める（Ｓ２０３）。第１のノイズ量が閾値より小さくなるように第１の露光時間を長くし、第２のノイズ量が閾値より小さくなるように第２の露光時間を長くする（Ｓ２０４）。高解像度モードがＯＮの場合、調整前の第１の露光時間での撮像、調整した第２の露光時間での撮像、を規定時間内でそれぞれ１回おこなうことで複数枚の画像を撮像する。高解像度モードがＯＦＦの場合、調整した第１の露光時間での撮像、調整した第２の露光時間での撮像、をそれぞれ１回以上おこなうことで複数枚の画像を撮像する。【選択図】  図１
2012039477.tif 000002
【特許請求の範囲】
【請求項１】
１枚の撮像画像を取得する手段と、
前記撮像画像を撮像した後の規定時間内に連続して複数枚の画像を撮像するために設定されたダイナミックアレンジの拡大率と予め対応付けられている、互いに異なる２つの露光時間を取得する取得手段と、
前記２つの露光時間のうち露光時間が長い方を第１の露光時間、露光時間が短い方を第２の露光時間としたとき、前記撮像画像を構成する各画素の画素値から、前記第１の露光時間と、前記撮像装置に設定されている撮像パラメータと、を用いて、前記撮像画像の第１のノイズ量を求める第１の計算手段と、
前記第２の露光時間と、前記撮像パラメータと、を用いて、前記撮像画像を構成する各画素の画素値から、前記撮像画像の第２のノイズ量を求める第２の計算手段と、
前記第１のノイズ量が閾値よりも小さくなるように前記第１の露光時間を長くすることで、該第１の露光時間を調整する第１の調整手段と、
前記第２のノイズ量が閾値よりも小さくなるように前記第２の露光時間を長くすることで、該第２の露光時間を調整する第２の調整手段と、
高解像度で撮像を行うための高解像度モードが設定されている場合には、前記第１の調整手段による調整前の第１の露光時間での撮像、前記第２の調整手段が調整した第２の露光時間での撮像、を前記規定時間内でそれぞれ１回おこなうことで前記複数枚の画像を撮像し、
前記高解像度モードが設定されていない場合には、前記第１の調整手段が調整した第１の露光時間での撮像、前記第２の調整手段が調整した第２の露光時間での撮像、をそれぞれ１回以上おこなうことで複数枚の画像を撮像する撮像手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記撮像手段は、前記高解像度モードが設定されていない場合には、
前記第１の調整手段により調整された第１の露光時間を、前記第１の調整手段による調整前の第１の露光時間で除した数を、前記第１の調整手段が調整した第１の露光時間での撮像を行う回数とし、
前記第２の調整手段により調整された第２の露光時間を、前記第２の調整手段による調整前の第２の露光時間で除した数を、前記第２の調整手段が調整した第２の露光時間での撮像を行う回数とする
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段は、前記高解像度モードが設定されていない場合、
前記第１の調整手段が調整した第１の露光時間と前記第２の調整手段が調整した第２の露光時間との合計が前記規定時間を越えており、且つ前記第１の調整手段が調整した第１の露光時間と前記第１の調整手段による調整前の第１の露光時間とが同じでない場合には、
前記第１の調整手段が調整した第１の露光時間を、該合計が前記規定時間以下となるように短くして調整し、該調整した第１の露光時間での撮像を行う
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像手段は、前記高解像度モードが設定されている場合、
前記第１の調整手段が調整した第１の露光時間と前記第２の調整手段が調整した第２の露光時間との合計が前記規定時間を越えており、且つ前記第２の調整手段が調整した第２の露光時間と前記第２の調整手段による調整前の第２の露光時間とが同じでない場合には、
前記第２の調整手段が調整した第２の露光時間を、該合計が前記規定時間以下となるように短くして調整し、該調整した第２の露光時間での撮像を行う
ことを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
【請求項５】
前記第１の計算手段は、
前記第１の露光時間と前記撮像パラメータとを用いて、基準感度の輝度値ＢＶ（ｌ）を求める手段と、
前記撮像画像を構成する各画素の画素値に前記輝度値ＢＶ（ｌ）を乗じた結果を合計し、該合計の値を前記撮像画像を構成する画素の数で除した結果を、前記撮像画像の第１の指標輝度値として求める手段と、
複数の輝度値と該複数の輝度値のそれぞれに対応するノイズ量とが予め登録されたテーブル情報を用いて、前記第１の指標輝度値に対応するノイズ量を前記第１のノイズ量として特定する手段を備え、
前記第２の計算手段は、
前記第２の露光時間と前記撮像パラメータとを用いて、基準感度の輝度値ＢＶ（ｓ）を求める手段と、
前記撮像画像を構成する各画素の画素値に前記輝度値ＢＶ（ｓ）を乗じた結果を合計し、該合計の値を前記撮像画像を構成する画素の数で除した結果を、前記撮像画像の第２の指標輝度値として求める手段と、
前記テーブル情報を用いて、前記第２の指標輝度値に対応するノイズ量を前記第２のノイズ量として特定する手段を備える
ことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
前記取得手段は、
設定可能なダイナミックアレンジの拡大率と、該拡大率に対応する前記２つの露光時間と、が予め登録されたテーブルを用いて、前記設定された拡大率に対応する前記２つの露光時間を取得することを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
【請求項７】
撮像装置の制御方法であって、
前記撮像装置の取得手段が、１枚の撮像画像を取得する工程と、
前記撮像装置の露光時間の取得手段が、前記撮像画像を撮像した後の規定時間内に連続して複数枚の画像を撮像するために設定されたダイナミックアレンジの拡大率と予め対応付けられている、互いに異なる２つの露光時間を取得する取得工程と、
前記撮像装置の第１の計算手段が、前記２つの露光時間のうち露光時間が長い方を第１の露光時間、露光時間が短い方を第２の露光時間としたとき、前記撮像画像を構成する各画素の画素値から、前記第１の露光時間と、前記撮像装置に設定されている撮像パラメータと、を用いて、前記撮像画像の第１のノイズ量を求める第１の計算工程と、
前記撮像装置の第２の計算手段が、前記第２の露光時間と、前記撮像パラメータと、を用いて、前記撮像画像を構成する各画素の画素値から、前記撮像画像の第２のノイズ量を求める第２の計算工程と、
前記撮像装置の第１の調整手段が、前記第１のノイズ量が閾値よりも小さくなるように前記第１の露光時間を長くすることで、該第１の露光時間を調整する第１の調整工程と、
前記撮像装置の第２の調整手段が、前記第２のノイズ量が閾値よりも小さくなるように前記第２の露光時間を長くすることで、該第２の露光時間を調整する第２の調整工程と、
前記撮像装置の撮像手段が、高解像度で撮像を行うための高解像度モードが設定されている場合には、前記第１の調整工程による調整前の第１の露光時間での撮像、前記第２の調整工程が調整した第２の露光時間での撮像、を前記規定時間内でそれぞれ１回おこなうことで前記複数枚の画像を撮像し、
前記高解像度モードが設定されていない場合には、前記第１の調整工程が調整した第１の露光時間での撮像、前記第２の調整工程が調整した第２の露光時間での撮像、をそれぞれ１回以上おこなうことで複数枚の画像を撮像する撮像工程と
を備えることを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像技術に関するものである。
【背景技術】
【０００２】
高速読出し可能なCMOSセンサの登場によって、従来よりも高速連写（高フレームレートも含む）機能が向上している。このような高速連写は静止画だけでなく動画への利用も期待されており、例えば、１／６０秒内で撮影した露光時間の異なる複数のサブフレーム画像からHDRフレームを生成する技術がある（引用文献１，２）。
【０００３】
引用文献１では、露光時間を短縮し、余剰の時間を用いて短秒露光画像を取得し、長秒短秒画像からHDR画像を生成する。引用文献２では、多数の短秒画像を取得し、全画像を加算することによってHDR画像を生成する（各画像は短秒のため白トビが抑制、トータル露光時間は保持されるためノイズも抑制）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2004-363666号公報
【特許文献２】特開2005-31854号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、引用文献１では、従来よりもトータルの露光時間が短くなるため、ノイズ特性が劣化するという問題がある。また、引用文献２では、単位時間あたりにセンサが読み出し可能な画素数は決まっているため、多数枚のサブフレームを読み出すためには、１サブフレームあたりの解像度を低下させなければいけないという問題がある。
【０００６】
本発明は以上の問題に鑑みてなされたものであり、トータルの露光時間の短縮を押さえ、ノイズの増加を抑制する為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の撮像装置は次の構成を備える。即ち、１枚の撮像画像を取得する手段と、前記撮像画像を撮像した後の規定時間内に連続して複数枚の画像を撮像するために設定されたダイナミックアレンジの拡大率と予め対応付けられている、互いに異なる２つの露光時間を取得する取得手段と、前記２つの露光時間のうち露光時間が長い方を第１の露光時間、露光時間が短い方を第２の露光時間としたとき、前記撮像画像を構成する各画素の画素値から、前記第１の露光時間と、前記撮像装置に設定されている撮像パラメータと、を用いて、前記撮像画像の第１のノイズ量を求める第１の計算手段と、前記第２の露光時間と、前記撮像パラメータと、を用いて、前記撮像画像を構成する各画素の画素値から、前記撮像画像の第２のノイズ量を求める第２の計算手段と、前記第１のノイズ量が閾値よりも小さくなるように前記第１の露光時間を長くすることで、該第１の露光時間を調整する第１の調整手段と、前記第２のノイズ量が閾値よりも小さくなるように前記第２の露光時間を長くすることで、該第２の露光時間を調整する第２の調整手段と、高解像度で撮像を行うための高解像度モードが設定されている場合には、前記第１の調整手段による調整前の第１の露光時間での撮像、前記第２の調整手段が調整した第２の露光時間での撮像、を前記規定時間内でそれぞれ１回おこなうことで前記複数枚の画像を撮像し、前記高解像度モードが設定されていない場合には、前記第１の調整手段が調整した第１の露光時間での撮像、前記第２の調整手段が調整した第２の露光時間での撮像、をそれぞれ１回以上おこなうことで複数枚の画像を撮像する撮像手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明の構成によれば、トータルの露光時間の短縮を押さえ、ノイズの増加を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置の構成を示す図。
【図２】撮像デューティー算出部１１６が行う処理のフローチャート。
【図３】ＧＵＩの表示例を示す図。
【図４】撮像装置の状態遷移図。
【図５】ステップＳ２０３の処理のフローチャート。
【図６】テーブル情報の構成例を示す図。
【図７】ステップＳ５０３の処理のフローチャート。
【図８】テーブル情報群の構成例を示す図。
【図９】ステップＳ２０４の処理のフローチャート。
【図１０】ステップＳ２０５における処理のフローチャート。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１１】
先ず、本実施形態に係る撮像装置について図１を用いて説明する。被写体（図１では一例として木を被写体としている）を含む外界からの光（点線）は、様々な種類のレンズ、シャッター、様々な種類の撮像センサ、様々な種類のフィルタ等から成る撮像部１０１によりアナログ信号に変換される。Ａ／Ｄ変換部１０２はこのアナログ信号をディジタル信号（撮像画像のデータ）に変換する。
【００１２】
信号処理部１０３は、Ａ／Ｄ変換部１０２から入力されたディジタル信号からダイナミックアレンジが拡大された１枚の撮像画像を生成し、生成した撮像画像に対して様々な画像処理を施すことで画像処理済みの撮像画像のデータを生成する。そのために信号処理部１０３は、最初に撮像された１枚の撮像画像のデータを用いて、この撮像画像を撮像した後の規定時間（例えば１／６０秒）内に連続して複数枚の撮像画像を撮像するために設定すべき情報を求める。上記ダイナミックアレンジが拡大された１枚の撮像画像は、この求めた情報に基づいて撮像された複数枚の撮像画像から生成する。信号処理部１０３は、カメラ制御部１１４、デモザイク部１１５、撮像デューティー算出部１１６、合成処理部１１７、色処理部１１８を有する。
【００１３】
カメラ制御部１１４は、Ａ／Ｄ変換部１０２から受けたディジタル信号が示す撮像画像を解析し、撮像系制御部１１０がAF（オートフォーカス）、AE（自動露出）、AWB（オートホワイトバランス）を行う為に必要な情報を収集する。この収集には、撮像デューティー算出部１１６から送出される情報も用いる。そしてカメラ制御部１１４は、この収集した情報を撮像系制御部１１０に送出する。
【００１４】
デモザイク部１１５は、カメラ制御部１１４を介して受けたディジタル信号から補間処理により、撮像画像（カラー画像）を構成する各画素の画素値（ＲＧＢ値）を求めることで、この撮像画像を生成する。
【００１５】
撮像デューティー算出部１１６は、上記規定時間内に撮像するそれぞれの撮像画像の画素数や撮像画像の枚数、それぞれの撮像画像を撮像する露光時間、を「撮像デューティー」として算出する。撮像デューティー算出部１１６は、この求めた撮像デューティーをカメラ制御部１１４に供給する。なお、この撮像デューティーは、撮像系制御部１１０にも供給される。
【００１６】
合成処理部１１７は、デモザイク部１１５から送出された、上記規定時間内に撮像された複数枚の撮像画像を合成して、ダイナミックアレンジが拡大された１枚の撮像画像を生成する。
【００１７】
色処理部１１８は、合成処理部１１７が生成した１枚の撮像画像に対して、色変換処理、γ処理、シャープネス処理、ノイズリダクション処理などの画像処理を施し、画像処理済みの撮像画像を生成する。
【００１８】
Ｄ／Ａ変換部１０４は、信号処理部１０３により生成された１枚の撮像画像を表すディジタル信号をアナログ信号に変換する。表示部１１３は、このアナログ信号に基づく画像表示を行う。これにより、撮像装置の撮像センサを介して連続的に入力される入力画像から生成された、ダイナミックアレンジが拡大された１枚の撮像画像を表示部１１３に表示することができる。なお、この表示部１１３には、キャラクタジェネレーション部１１２から送出された文字やウィンドウなども表示することができる。
【００１９】
エンコーダ部１０５は、信号処理部１０３により生成された１枚の撮像画像のデータをＪＰＥＧ等の符号化方式に従って符号化し、その符号化結果をＲＡＭ１０９やメディアＩ／Ｆ（インターフェース）１０６に接続されたメディア等に送出する。
【００２０】
ＣＰＵ１０７は、撮像装置を構成する各部の動作制御を行う。ＲＯＭ１０８には、予め作成された情報として後述する様々な情報や、撮像装置の動作制御をＣＰＵ１０７に実行させるためのコンピュータプログラムなどが格納されている。ＲＡＭ１０９は、ＣＰＵ１０７が各種の処理を実行する際に用いるワークエリアや、様々な情報を一時的に記憶する為のエリア等を有する。
【００２１】
撮像系制御部１１０は、カメラ制御部１１４から受けた様々な情報に基づいて撮像部１０１の動作制御を行う。なお、撮像デューティーを受けた場合には、これに基づいてカメラ制御部１１４や撮像部１０１を制御しても良い。
【００２２】
操作部１１１は、ボタン群などのユーザインターフェースにより構成されており、ユーザはこのこの操作部１１１を用いて各種の入力指示を行う。なお、表示部１１３がタッチパネル式の画面である場合には、操作部１１１が有するボタンやスライダの一部を画像としてこの表示部１１３に表示させても良い。この場合、ユーザは、この表示された画像としてのボタンやスライダを指で操作することになる。
【００２３】
次に、信号処理部１０３内の撮像デューティー算出部１１６が行う処理について、同処理のフローチャートを示す図２を用いてより詳細に説明する。なお、図２のフローチャートの各ステップにおける動作の主体は当然ながら撮像デューティー算出部１１６であるが、この撮像デューティー算出部１１６の動作制御についてはＣＰＵ１０７が行っている。
【００２４】
ステップＳ２０１では撮像デューティー算出部１１６は、自身が管理するメモリの初期化など、以下の処理を行うための様々な初期化を行う。ステップＳ２０２では撮像デューティー算出部１１６は、カメラ制御部１１４による制御結果や、ユーザが操作部１１１を操作して入力した様々な設定情報など、撮像を行うために設定されている撮像パラメータ（撮像条件）を取得する。
【００２５】
ステップＳ２０３では撮像デューティー算出部１１６は、互いに異なる２つの露光時間（露光時間が長い方を長秒露光時間（第１の露光時間）、露光時間が短い方を短秒露光時間（第２の露光時間）とする）のそれぞれに対応する画像のノイズ量を算出する。本ステップにおける処理については、図５を用いて後述する。
【００２６】
ステップＳ２０４では撮像デューティー算出部１１６は、長秒露光時間について求めたノイズ量（第１のノイズ量）が閾値よりも小さくなるように長秒露光時間を長くすることで、この長秒露光時間を調整する（第１の調整）。同様に撮像デューティー算出部１１６は、短秒露光時間について求めたノイズ量（第２のノイズ量）が閾値よりも小さくなるように短秒露光時間を長くすることで、この短秒露光時間を調整する（第２の調整）。即ち、それぞれの露光時間で画像を撮像したときの、この画像におけるノイズを低減させるような露光時間を求めることができる。ステップＳ２０４における処理については、図９のフローチャートを用いて後述する。
【００２７】
ステップＳ２０５では撮像デューティー算出部１１６は、上記の様々な情報を用いて、撮像デューティーを決定する。ステップＳ２０５における処理については、図１０のフローチャートを用いて後述する。
【００２８】
ユーザが操作部１１１を用いて様々な設定情報を入力するために用いるＧＵＩ（グラフィカルユーザインターフェース）の表示例について、図３を用いて説明する。このＧＵＩは、表示部１１３に表示される。
【００２９】
操作部１１１を操作してプルダウンメニュー３０１を指示すると、ダイナミックアレンジの拡大率の一覧が表示されるので、ユーザはこの一覧から所望の拡大率を操作部１１１を用いて選択することができる。
【００３０】
操作部１１１を操作してプルダウンメニュー３０２を指示すると、ＯＮ、ＯＦＦが表示され、ノイズを低減させるモード（ノイズ低減モード）をＯＮにするかＯＦＦにするかを選択することができる。操作部１１１を操作してＯＮを指示すると、ノイズ低減モードをＯＮにすることができ、ＯＦＦを指示すると、ノイズ低減モードをＯＦＦにすることができる。
【００３１】
操作部１１１を操作してプルダウンメニュー３０３を指示すると、ＯＮ、ＯＦＦが表示され、高解像度で撮像を行うモード（高解像度モード）をＯＮにするかＯＦＦにするかを選択することができる。操作部１１１を操作してＯＮを指示すると、高解像度モードをＯＮにすることができ、ＯＦＦを指示すると、高解像度モードをＯＦＦにすることができる。
【００３２】
操作部１１１を操作してボタン画像３０５を指示すると、プルダウンメニュー３０１〜３０３で設定したそれぞれの設定内容がＲＡＭ１０９に格納される。操作部１１１を操作してボタン画像３０６を指示すると、このＧＵＩを用いた設定処理を終了させると共に、表示部１１３の表示画面からこのＧＵＩを消去する。領域３０４内には、最近撮像された画像が表示される。
【００３３】
ここで、図３のＧＵＩを用いて様々な設定情報を設定する場合に、撮像装置が取りうる各状態の遷移関係について、図４の遷移図を用いて説明する。状態４０１は撮像装置のデフォルトの状態で、この状態においてユーザが操作部１１１を操作して設定情報を設定する旨の指示を入力すると、設定情報を設定する為のアルゴリズム（設定アルゴリズム）がＣＰＵ１０７により起動され、状態４０２に遷移する。
【００３４】
状態４０２では、設定アルゴリズムに従って、CPU１０７がキャラクタジェネレーション部１１２から文字や図３のＧＵＩを取得し、表示部１１３に送出する。これにより表示部１１３の表示画面には図３のＧＵＩが表示される。更にこのＧＵＩ内の領域３０４内に、Ｄ／Ａ変換部１０４から受けたアナログ信号に基づく画像等を表示する。そして入力待ちの状態４０３に遷移する。
【００３５】
この状態４０３においてユーザが操作部１１１を操作してプルダウンメニュー３０１を操作すると、状態４０４に遷移する。状態４０４においてユーザが操作部１１１を操作して所望の拡大率ＤＲを指示すると、状態は４０２に遷移する。ここでは拡大率ＤＲに応じて露光量、例えば露光時間を変更する。
【００３６】
状態４０３においてユーザが操作部１１１を操作してプルダウンメニュー３０２を操作すると、状態４０５に遷移する。状態４０５においてユーザが操作部１１１を操作してＯＮ／ＯＦＦの何れかを指示すると、状態４０３に遷移する。
【００３７】
状態４０３においてユーザが操作部１１１を操作してプルダウンメニュー３０３を操作すると、状態４０６に遷移する。状態４０６においてユーザが操作部１１１を操作してＯＮ／ＯＦＦの何れかを指示すると、状態４０３に遷移する。
【００３８】
状態４０３においてユーザが操作部１１１を操作してボタン画像３０５を指示すると、ＣＰＵ１０７は、プルダウンメニュー３０１〜３０３で設定したそれぞれの設定内容をＲＡＭ１０９に格納し、その後、状態４０３に遷移する。
【００３９】
状態４０３においてユーザが操作部１１１を操作してボタン画像３０６を指示すると、ＣＰＵ１０７はこのＧＵＩを用いた設定処理を終了させると共に、表示部１１３の表示画面からこのＧＵＩを消去する。
【００４０】
次に、上記のステップＳ２０３における処理の詳細について、図５のフローチャートを用いて説明する。ステップＳ５０１では撮像デューティー算出部１１６は、以降の処理を行うための様々な初期化処理を行う。
【００４１】
ステップＳ５０２では撮像デューティー算出部１１６は、図６のテーブル情報（ＬＵＴ）を参照し、ユーザが操作部１１１を用いてプルダウンメニュー３０１から選択した拡大率ＤＲに対応する長秒露光時間、短秒露光時間を特定する。図６のテーブル情報は、ＲＯＭ１０８内に格納されているものとするが、他のメモリに格納されていても良い。そして、本ステップで特定した長秒露光時間を初期長秒露光時間に設定すると共に、短秒露光時間を初期短秒露光時間に設定する。
【００４２】
なお、ステップＳ５０２で使用するテーブル情報は、設定可能なダイナミックアレンジの拡大率と、この拡大率に対応する２つの異なる露光時間と、が予め対応付けられて登録されているテーブル情報であれば、図６の構成に限定するものではない。
【００４３】
ステップＳ５０３では撮像デューティー算出部１１６は、初期長秒露光時間、及び上記の撮像パラメータを用いて、Ｓ／Ｎ比を算出する。ステップＳ５０３における処理の詳細について、図７のフローチャートを用いて説明する。
【００４４】
ステップＳ７０１では撮像デューティー算出部１１６は、以下の処理で用いる変数ｉを１に初期化すると共に、変数ｓｕｍの値を０に初期化するなど、必要な様々な初期化処理を行う。
【００４５】
ステップＳ７０２では撮像デューティー算出部１１６は、ステップＳ５０２で特定した初期長秒露光時間と、操作部１１１を用いて設定されたISO感度、絞り値と、を取得する。更にステップＳ７０２では、１枚の撮像画像Ｉを取得する。この撮像画像Ｉは上記の通り、上記規定時間前に撮像される１枚の撮像画像である。
【００４６】
ステップＳ７０３では撮像デューティー算出部１１６は、以下の式（１）を計算することで、初期長秒露光時間に対応する基準感度の輝度値ＢＶ（ｌ）を求める。
【００４７】
【数１】
2012039477.tif 000003
【００４８】
式（１）においてＴは初期長秒露光時間、Ｆは絞り値、ＳはISO感度、Ｎ、Ｋはそれぞれ規定の定数値である。
【００４９】
ステップＳ７０４では撮像デューティー算出部１１６は、撮像画像Ｉ中のｉ（ｉ＝１，…，Ｍ：Ｍは撮像画像Ｉの総画素数）番目の画素のＲ値、Ｇ値、Ｂ値から、上記輝度値ＢＶ（ｌ）を用いて以下の式（２）を計算することで、輝度値Ｙｉを求める。
【００５０】
【数２】
2012039477.tif 000004
【００５１】
ステップＳ７０６では撮像デューティー算出部１１６は、以下の式（３）に示す如く、輝度値Ｙｉを撮像画像Ｉの総画素数で除した結果を変数ｓｕｍの値に加算することで、この変数ｓｕｍの値を更新する。
【００５２】
【数３】
2012039477.tif 000005
【００５３】
ステップＳ７０７では撮像デューティー算出部１１６は、ｉ＝Ｍであるか否か、即ち、撮像画像Ｉ中の全ての画素についてステップＳ７０４，Ｓ７０６の処理を行ったか否かを判断する。この判断の結果、ｉ＝Ｍである場合、即ち、撮像画像Ｉ中の全ての画素についてステップＳ７０４，Ｓ７０６の処理を行った場合には処理はステップＳ７０８に進む。一方、ｉ＜Ｍである場合、即ち、撮像画像Ｉにおいて未だステップＳ７０４，Ｓ７０６の処理を行っていない画素が残っている場合、変数ｉの値を１つインクリメントしてからステップＳ７０４以降の処理を行う。
【００５４】
ステップＳ７０８では撮像デューティー算出部１１６は、図８のテーブル情報群のうち現在設定されている規定時間（例えば１／６０秒）に対応するテーブル情報を参照し、変数ｓｕｍの値（第１の指標輝度値）に対応するＳ／Ｎ比を特定する。なお、変数ｓｕｍの値がテーブル情報に登録されていない場合には、この変数ｓｕｍの値に近接する２つの輝度値に対応する２つのＳ／Ｎ比から補間計算により、ｓｕｍの値に対応するＳ／Ｎ比を求めても良い。図８のテーブル情報群は、ＲＯＭ１０８内に格納されているものとするが、他のメモリに格納されていても良い。
【００５５】
なお、本実施形態では、複数の輝度値と、複数の輝度値のそれぞれに対応するＳ／Ｎ比とが予め登録されたテーブル情報を用いて、ｓｕｍの値に対応するＳ／Ｎ比を特定している。しかし、輝度値とＳ／Ｎ比との関係を表す情報であれば、テーブル情報を用いることに限定するものではなく、例えば、輝度値とＳ／Ｎ比との関係を表す関数を用いても良い。そしてステップＳ７０８では更に撮像デューティー算出部１１６は、特定したＳ／Ｎ比をＲＡＭ１０９に格納する。
【００５６】
なお、ステップＳ５０４でも図７のフローチャートと同様の処理を行うことになる。即ち、Ｔとして初期短秒露光時間を用いて輝度値ＢＶ（ｓ）を求め、ＢＶ（ｌ）の代わりにＢＶ（ｓ）を用いて図７のフローチャートと同様の処理を行うことで得られるｓｕｍの値（第２の指標輝度値）に対応するＳ／Ｎ比を求めることができる。
【００５７】
これにより、初期長秒露光時間に対応するＳ／Ｎ比、初期短秒露光時間に対応するＳ／Ｎ比、を求めることができる（第１の計算、第２の計算）。なお、本実施形態では、初期長秒露光時間に対応するノイズ量（第１のノイズ量）、初期短秒露光時間に対応するノイズ量（第２のノイズ量）をＳ／Ｎ比として説明している。しかし、撮像画像における暗部や長秒短秒画素値切り替え過渡領域等における特定の輝度領域ノイズ特徴量を第１のノイズ量、第２のノイズ量としても良い。
【００５８】
次に、上記のステップＳ２０４における処理の詳細について、図９のフローチャートを用いて説明する。ステップＳ９０１では撮像デューティー算出部１１６は、以下の処理を行うために必要な様々な初期化処理を行う。
【００５９】
ステップＳ９０２では撮像デューティー算出部１１６は、初期長秒露光時間、初期短秒露光時間、初期長秒露光時間に対応するＳ／Ｎ比、初期短秒露光時間に対応するＳ／Ｎ比を取得する。そしてステップＳ９０２では撮像デューティー算出部１１６は、ノイズ低減長秒露光時間に初期長秒露光時間を設定すると共に、ノイズ低減短秒露光時間に初期短秒露光時間を設定する。
【００６０】
ステップＳ９０３では撮像デューティー算出部１１６は、ノイズ低減長秒露光時間に対応するＳ／Ｎ比が閾値（所定値）以上であるか否かを判断する。この判断の結果、閾値以上であれば処理はステップＳ９０５に進み、閾値未満であれば処理はステップＳ９０４に進む。
【００６１】
ステップＳ９０４で撮像デューティー算出部１１６は、ノイズ低減長秒露光時間を２倍に更新し、更新後のノイズ低減長秒露光時間を用いて図７のフローチャートの処理を実行することで、更新後のノイズ低減長秒露光時間に対応するＳ／Ｎ比を求める。そして処理をステップＳ９０３に戻す。一方、ステップＳ９０５では撮像デューティー算出部１１６は、ノイズ低減長秒露光時間をＲＡＭ１０９に格納する。
【００６２】
ステップＳ９０６では撮像デューティー算出部１１６は、ノイズ低減短秒露光時間に対応するＳ／Ｎ比が閾値（所定値）以上であるか否かを判断する。この判断の結果、閾値以上であれば処理はステップＳ９０８に進み、閾値未満であれば処理はステップＳ９０７に進む。
【００６３】
ステップＳ９０７で撮像デューティー算出部１１６は、ノイズ低減短秒露光時間を２倍に更新し、更新後のノイズ低減短秒露光時間を用いて図７のフローチャートの処理を実行することで、更新後のノイズ低減短秒露光時間に対応するＳ／Ｎ比を求める。そして処理をステップＳ９０６に戻す。一方、ステップＳ９０８では撮像デューティー算出部１１６は、ノイズ低減短秒露光時間をＲＡＭ１０９に格納する。
【００６４】
ステップＳ２０４では、如何なる情報をノイズ量として用いても、行う処理は実質的には同じである。即ち、第１のノイズ量が閾値より小さくなるように長秒露光時間を長くすることで長秒露光時間を調整し、第２のノイズ量が閾値より小さくなるように短秒露光時間を長くすることで短秒露光時間を調整する。
【００６５】
次に、上記ステップＳ２０５における処理の詳細について、図１０のフローチャートを用いて説明する。ステップＳ１００１では撮像デューティー算出部１１６は、以下の処理を行うために必要な様々な初期化処理を行う。
【００６６】
ステップＳ１００２では撮像デューティー算出部１１６は、初期長秒露光時間、初期短秒露光時間、ノイズ低減長秒露光時間、ノイズ低減短秒露光時間、そして図３のＧＵＩを用いて設定した各モード（ノイズ低減モード、高解像度モード）の設定値を取得する。
【００６７】
ステップＳ１００３では撮像デューティー算出部１１６は、ノイズ低減モードがＯＮになっているかＯＦＦになっているかを判断する。この判断の結果、ＯＮになっている場合には処理はステップＳ１００４に進み、ＯＦＦになっている場合には処理はステップＳ１０１１に進む。
【００６８】
ステップＳ１０１１では撮像デューティー算出部１１６は、長秒露光時間として、初期長秒露光時間（調整前の長秒露光時間）を設定する。短秒露光時間として、初期短秒露光時間（調整前の短秒露光時間）を設定する。また、長秒露光時間で撮像した撮像画像から読み出すべき画素数を、この撮像画像の総画素数の半分（１画素おきに読み出し）として設定する。また、短秒露光時間で撮像した撮像画像から読み出すべき画素数を、この撮像画像の総画素数の半分（１画素おきに読み出し）として設定する。この「読み出すべき画素数」は撮像センサからの読み出し画素数であっても良いし、撮像センサから撮像画像を取得した後、取得した撮像画像からＲＡＭ１０９に格納する画素を読み出す際の読み出し画素数であっても良い。これは以降についても同じである。また、長秒露光時間で撮像する回数を１回として設定する。また、短秒露光時間で撮像する回数を１回として設定する。これにより、ノイズ低減モードがＯＦＦになっている場合における撮像デューティーを決定することができる。
【００６９】
一方、ステップＳ１００４では撮像デューティー算出部１１６は、高解像度モードがＯＮになっているかＯＦＦになっているかを判断する。この判断の結果、ＯＮになっている場合には処理はステップＳ１００９に進み、ＯＦＦになっている場合には処理はステップＳ１００５に進む。
【００７０】
ステップＳ１００５では撮像デューティー算出部１１６は、ノイズ低減長秒露光時間とノイズ低減短秒露光時間との合計時間が上記規定時間（ここでは１／６０秒）以下であるか否かを判断する。この判断の結果、規定時間以下であれば処理はステップＳ１０１２に進み、規定時間よりも大きい場合には処理はステップＳ１００６に進む。
【００７１】
ステップＳ１０１２では撮像デューティー算出部１１６は、長秒露光時間として、ノイズ低減長秒露光時間を設定する。短秒露光時間として、ノイズ低減短秒露光時間を設定する。また、長秒露光時間で撮像した撮像画像から読み出すべき画素数（長秒露光画素数）、短秒露光時間で撮像した撮像画像から読み出すべき画素数（短秒露光画素数）を、それぞれ、以下の式（４）、式（５）を計算することで求める。
【００７２】
【数４】
2012039477.tif 000006
【００７３】
【数５】
2012039477.tif 000007
【００７４】
また、長秒露光時間で撮像する回数（長秒撮像回数）、短秒露光時間で撮像する回数（短秒撮像回数）、をそれぞれ以下の式（６）、式（７）を計算することで求める。何れの回数も１回以上となる。
【００７５】
【数６】
2012039477.tif 000008
【００７６】
【数７】
2012039477.tif 000009
【００７７】
これにより、ノイズ低減モードがＯＮになっており且つ高解像度モードがＯＦＦになっている場合における撮像デューティーを決定することができる。
【００７８】
ステップＳ１００６では撮像デューティー算出部１１６は、初期長秒露光時間とノイズ低減長秒露光時間とが同じであるか否かを判断する。この判断の結果、同じである場合には処理はステップＳ１０１０に進み、同じではない場合には処理はステップＳ１００７に進む。ステップＳ１００７では撮像デューティー算出部１１６は、ノイズ低減長秒露光時間を半分の時間に更新する。そして処理はステップＳ１００５に戻る。
【００７９】
ステップＳ１００８では撮像デューティー算出部１１６は、ノイズ低減長秒露光時間とノイズ低減短秒露光時間との合計時間が上記規定時間（ここでは１／６０秒）以下であるか否かを判断する。この判断の結果、規定時間以下であれば処理はステップＳ１０１３に進み、規定時間よりも大きい場合には処理はステップＳ１００９に進む。
【００８０】
ステップＳ１００９では撮像デューティー算出部１１６は、初期短秒露光時間とノイズ低減短秒露光時間とが同じであるか否かを判断する。この判断の結果、同じである場合には処理はステップＳ１０１３に進み、同じではない場合には処理はステップＳ１０１０に進む。ステップＳ１０１０では撮像デューティー算出部１１６は、ノイズ低減短秒露光時間を半分の時間に更新する。そして処理はステップＳ１００８に戻る。
【００８１】
ステップＳ１０１３では撮像デューティー算出部１１６は、長秒露光時間として、初期長秒露光時間を設定する。短秒露光時間として、ノイズ低減短秒露光時間を設定する。また、長秒露光時間で撮像した撮像画像から読み出すべき画素数を、この撮像画像の総画素数の半分（１画素おきに読み出し）として設定する。また、短秒露光時間で撮像した撮像画像から読み出すべき画素数を、この撮像画像の総画素数の半分（１画素おきに読み出し）として設定する。また、長秒露光時間で撮像する回数を１回として設定する。また、短秒露光時間で撮像する回数を１回として設定する。これにより、ノイズ低減モードがＯＮになっており且つ高解像度モードがＯＮになっている場合における撮像デューティーを決定することができる。
【００８２】
以上説明した各処理によって決定した撮像デューティーは、上記規定時間内で複数の画像を撮像する場合に適用されることになる。そのためにこの撮像デューティーは撮像系制御部１１０に供給され、撮像系制御部１１０は、この撮像デューティーに従って撮像部１０１を制御し、撮像部１０１は、この撮像デューティーに従って上記規定時間内で複数の画像を撮像する。
【００８３】
これにより、上記規定時間内で露光時間の異なる複数の画像を撮像する際に、露光時間の短縮により発生するノイズを低減することができる。更に、撮像する画像の画素数（撮像画像のサイズ）を縮小し、同一露光時間の撮像回数を増やす制御を行うことで、トータルの露光時間の短縮を押さえ、ノイズの増加を抑制することができる。また、解像度を維持したい場合には、短秒露光時間で撮像する画像にのみ上記制御を適応することで解像度を維持することができる。
【００８４】
なお、本実施形態では、ノイズ低減モードを設けたが、常にノイズ低減を行うことが要求される装置であれば、ノイズ低減モードを省き、図１０のフローチャートにおいて、ノイズ低減モードがＯＮである場合の処理を行うようにする。
【図１】
2012039477.tif 000010
【図２】
2012039477.tif 000011
【図３】
2012039477.tif 000012
【図４】
2012039477.tif 000013
【図５】
2012039477.tif 000014
【図６】
2012039477.tif 000015
【図７】
2012039477.tif 000016
【図８】
2012039477.tif 000017
【図９】
2012039477.tif 000018
【図１０】
2012039477.tif 000019