(57)【要約】【課題】実施形態は、カメラ起動時の自動露出の収束時間の短縮可能な固体撮像装置及び適正露出の推定方法を提供する。【解決手段】実施形態によれば、センサ部２は、行列状に二次元配置された複数の画素を含む画素領域部１１と、行間で前記画素の露光時間が異なるように複数の行の露光時間を制御するタイミングジェネレータ１４と、露光時間が制御された行毎の画素データの積算値と所定値との比較を行う比較器１６と、比較の結果、積算値と所定値との一致点の行の露光時間情報を保持するレジスタ１７を有する。【選択図】図２
2015171139.tif 000002
【特許請求の範囲】
【請求項１】
行列状に二次元配置された複数の画素を含む画素領域部と、
行間で前記画素の露光時間が異なるように前記複数の行の前記露光時間を制御するタイミングジェネレータと、
前記露光時間が制御された行毎あるいは所定数の行の画素データの積算値又は平均値と所定値との比較を行う比較器と、
前記比較の結果、前記積算値又は平均値が前記所定値と一致する一致点若しくは大小関係の変化点の行の露光時間情報を保持する保持部と、
を有する固体撮像装置。
【請求項２】
前記画素の前記露光時間が一定で、前記行間でゲインが異なるように前記複数の行のゲインを制御するゲイン制御部を有する請求項１に記載の固体撮像装置。
【請求項３】
前記積算値又は前記平均値は、それぞれ前記積算値の移動平均又は前記平均値の移動平均である請求項１又は２に記載の固体撮像装置。
【請求項４】
前記タイミングジェネレータは、１枚の画像データ中において、前記行間で前記画素の前記露光時間が異なるように前記露光時間を制御する請求項１から３のいずれか１つに記載の固体撮像装置。
【請求項５】
行列状に二次元配置された複数の画素を含む画素領域部と、
前記画素の露光時間が一定で、行間でゲインが異なるように前記複数の行のゲインを制御するゲイン制御部と、
前記ゲインが制御された行毎あるいは所定数の行の画素データの積算値又は平均値と所定値との比較を行う比較器と、
前記比較の結果、前記積算値又は平均値が前記所定値と一致する一致点若しくは大小関係の変化点の行の露光時間情報を保持する保持部と、
を有する固体撮像装置。
【請求項６】
行列状に二次元配置された複数の画素を含む画素領域部の行間で前記画素の露光時間が異なるように前記複数の行の前記露光時間を制御すること、
前記露光時間が制御された行毎あるいは所定数の行の画素データの積算値又は平均値と所定値との比較を行うこと、
前記比較の結果、前記所定値と一致した行の露光時間情報又は前記所定値との大小関係の変化点の行の露光時間情報を保持すること、
を有する適正露出の推定方法。
【請求項７】
さらに、前記画素の前記露光時間が一定で、前記行間でゲインが異なるように前記複数の行のゲインを制御すること、
を有する請求項６に記載の適正露出の推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、固体撮像装置及び適正露出の推定方法に関する。
【背景技術】
【０００２】
固体撮像装置は、デジタルカメラ、スマートフォンなどの様々な装置に搭載され、撮影に用いられている。撮影は、明るさの異なる種々の環境下で行われるため、デジタルカメラ等には、適正露出を自動で得るための自動露出機能が搭載されている。
【０００３】
自動露出は、撮影時に機能する。しかし、デジタルカメラの電源をオンにした直後等、自動露出が機能する前、適正露出のためのシャッタースピードなどは不明である。デジタルカメラの電源が暗い環境下でオンされたのか、明るい環境下でオンされたのかは不明である。
【０００４】
そのため、自動露出機能が働く前に、最初の適正露出を決定するための機能がデジタルカメラなどに備わっている。例えば、その機能によれば、シャッタースピードを、予め設定された初期値から徐々に変更しながら固体撮像装置により複数の画像を取得し、取得された各画像の明るさを評価することによって、適正露出のシャッタースピードは、探索されて決定される。
【０００５】
しかし、例えば、照度が１０ルクス以下のような極めて暗い室内環境下では、予め設定された初期値とその暗い室内環境における適正露出のシャッタースピードとの差が極めて大きい。その場合は、画像データの輝度値が小さく、画像の明るさの推定が難しい。そのため、より多くの画像データが必要となって、最初の適正露出が決定されるまでの時間は、その予め設定された初期値に近い環境下において最初の適正露出が決定されるまでの時間に比べて、長くなってしまう。
【０００６】
同様に、炎天下など、照度が１０万ルクス以上のような極めて明るい環境下の場合、画像データの輝度値は飽和しているために、画像の明るさの推定が難しい。この場合も、より多くの画像データが必要となって、最初の適正露出が決定されるまでの時間は、その予め設定された初期値に近い環境下において最初の適正露出が決定されるまでの時間に比べて、長くなってしまう。
【０００７】
固体撮像装置により得られる画像がほぼ適正露出でなければ、オートフォーカス機能等も機能しないため、最初の適正露出が決定されるまでの時間が長くなると、ユーザが撮影しようとしてから、撮影可能になるまでの時間が長くなってしまう。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−２８３６０９号公報
【特許文献２】特開２０１１−２５９２４５号公報
【特許文献３】特許第３９８９４２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
そこで、実施形態は、カメラ起動時の自動露出の収束時間の短縮可能な固体撮像装置及び適正露出の推定方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
実施形態の固体撮像装置は、行列状に二次元配置された複数の画素を含む画素領域部と、行間で前記画素の露光時間が異なるように前記複数の行の前記露光時間を制御するタイミングジェネレータと、前記露光時間が制御された行毎あるいは所定数の行の画素データの積算値又は平均値と所定値との比較を行う比較器と、前記比較の結果、前記積算値又は平均値が前記所定値と一致する一致点若しくは大小関係の変化点の行の露光時間情報を保持する保持部と、有する。
【００１１】
実施形態の固体撮像装置は、行列状に二次元配置された複数の画素を含む画素領域部と、前記画素の露光時間が一定で、行間でゲインが異なるように前記複数の行のゲインを制御するゲイン制御部と、前記ゲインが制御された行毎あるいは所定数の行の画素データの積算値又は平均値と所定値との比較を行う比較器と、前記比較の結果、前記積算値又は平均値が前記所定値と一致する一致点若しくは大小関係の変化点の行の露光時間情報を保持する保持部と、を有する。
【００１２】
実施形態の適正露出の推定方法は、行列状に二次元配置された複数の画素を含む画素領域部の行間で前記画素の露光時間が異なるように前記複数の行の前記露光時間を制御すること、前記露光時間が制御された行毎あるいは所定数の行の画素データの積算値又は平均値と所定値との比較を行うこと、前記比較の結果、前記所定値と一致した行の露光時間情報又は前記所定値との大小関係の変化点の行の露光時間情報を保持すること、を有する。
【００１３】
実施形態の適正露出の推定方法は、行列状に二次元配置された複数の画素を含む画素領域部において、前記画素の露光時間が一定で、行間でゲインが異なるように前記複数の行のゲインを制御すること、前記ゲインが制御された行毎あるいは所定数の行の画素データの積算値又は平均値と所定値との比較を行うこと、前記比較の結果、前記積算値又は平均値が前記所定値と一致する一致点若しくは大小関係の変化点の行の露光時間情報を保持すること、を有する。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に関わるスマートフォン１の構成を示すブロック図である。
【図２】第１の実施形態に関わるセンサ部２の構成を説明するためのブロック図である。
【図３】第１の実施形態に関わる、画素領域部１１の各ラインの露光時間を示すタイムチャートである。
【図４】第１の実施形態に関わる、ライン間でリセットのタイミングが異なる場合の、画素領域部１１の各ラインの露光時間を示すタイムチャートである。
【図５】第２の実施形態に関わる、画素領域部１１の各ラインの露光時間とゲインを示すタイムチャートである。
【図６】第３の実施形態に関わる、画素領域部１１の各ラインの露光時間とゲインを示すタイムチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照して実施形態を説明する。
（第１の実施形態）
（構成）
図１は、第１の実施形態に関わるスマートフォン１の構成を示すブロック図である。スマートフォン１は、カメラ機能を有し、カメラ機能がオンになると、撮影が可能となる撮影装置である。そのため、スマートフォン１は、撮影用のセンサ部２と、画像処理部３と、レジスタ部４と、制御部５と、表示部６と、通信部７を含んで構成されている。センサ部２、レジスタ部４及び画像処理部３は、固体撮像装置に含まれる。なお、固定撮像装置の各部は、１つの半導体装置に含まれていてもよいし、２以上の半導体装置に分かれていてもよい。  
ここでは、スマートフォン１における固体撮像装置を用いた撮影機能に関連する構成について主として説明し、他の機能に関する構成については、説明を省略する。
【００１６】
センサ部２は、例えばCMOSイメージセンサであるイメージセンサを含み、画像処理部３からの駆動信号により駆動される固体撮像装置である。イメージセンサにより得られた画像データは、画像処理部３へ出力される。
【００１７】
画像処理部３は、センサ部２から出力される画像データに対して、各種画像処理を施して、表示部６へ画像信号を出力する。また、画像処理部３は、自動露出アルゴリズムを含み、撮影時に、画像データから算出した画像の明るさに基づいて、撮影画像が適正露出になるように、露光時間を制御する露出制御用のパラメータデータをセンサ部２へ出力する。
【００１８】
レジスタ部４は、センサ部２の動作に必要な各種パラメータデータを格納する複数のレジスタを含む記憶部である。センサ部２は、レジスタ部４に格納された各パラメータデータに基づいて、撮像を行う。
【００１９】
制御部５は、中央処理部（CPU）、ROM、RAM等を有し、スマートフォン１の全体の動作の制御を行う。  
表示部６は、液晶表示器とタッチパネルからなり、制御部５からの画像信号と、画像処理部３からの画像信号とを受信して、画像を液晶表示器の画面上に表示する。さらに表示部６は、ユーザ が画面上を触れることによって指示されたコマンドを制御部５に出力する。
【００２０】
通信部７は、無線基地局と通信して、スマートフォン１の通話処理及びデータ通信処理を行う回路である。  
ユーザは、指で表示部６を触れて、所望のコマンドを選択して実行を指示することにより、スマートフォン１の各種機能を実行させることができる。各種機能の中には、撮影機能があり、ユーザは、スマートフォン１で撮影することができる。
【００２１】
撮影機能をオンにすると、センサ部２と画像処理部３が起動される。後述するように、センサ部２は、最初の適正露出（以下、初回適正露出という）を推定し、初回適正露出に関する情報を画像処理部３へ伝える。画像処理部３は、初回適正露出に関する情報を受信すると、センサ部２により撮像して得られる画像が適正露出となるパラメータデータを生成して、センサ部２を駆動する。その後は、センサ部２により得られた画像の明るさに基づいて、所定の自動露出アルゴリズムが適正露出を決定し、センサ部２を制御する。  
図２は、センサ部２の構成を説明するためのブロック図である。図２に示すように、センサ部２は、画素領域部１１と、画像読出回路１２と、垂直駆動回路１３と、タイミングジェネレータ（以下、TGと略す）１４と、積算回路（Σ）１５と、比較器１６と、レジスタ１７と、プリプロセッサ１８と、通信インターフェース（以下、通信I/Fと略す）１９を含む。
【００２２】
画像処理部３は、通信I/F２１と、イメージ・シグナル・プロセッサ（以下、ISPという）２２を含んでいる。  
レジスタ部４は、画像処理部３により各種パラメータデータが設定される複数のレジスタを含む。複数のレジスタの中のレジスタ４ａには、シャッタースピードに対応する露光時間データが格納され、レジスタ４ｂには、ゲインデータが格納される。
【００２３】
固体撮像装置の画素領域部１１は、複数の画素が行列状（マトリックス状）に二次元配置された複数の行方向のラインを含む。画素領域部１１は、図示しない光学系を通して被写体からの光を受光し、各画素に蓄積された電荷に応じた電圧を、ライン毎に、すなわち行毎に、出力する。各画素の電圧は、設定されたゲインで増幅されて出力される。ゲインの値は、レジスタ４ｂに設定されている。
【００２４】
画像読出回路１２は、画素領域から出力された各画素の電圧からノイズ成分を除去するための相関二重サンプリング（CDS）回路と、アナログ・デジタル変換（ADC）回路を含む。画像読出回路１２は、ノイズ成分が除去された、デジタルのRAWデータを出力する。相関二重サンプリング（CDS）回路の読み出しタイミング、アナログ・デジタル変換（ADC）回路の変換タイミングは、TG１４により制御される。
【００２５】
また、画像読出回路１２には、レジスタ部４からのゲインデータが入力され、画像領域部１１から出力される画像データの増幅を行う。  
垂直駆動回路１３は、画素領域部１１を垂直方向に沿ってライン毎に駆動する回路である。垂直駆動回路１３は、指定されたタイミングで各画素の電荷をリセットし、指定された期間だけ露光した後各画素に蓄積された電荷を転送するように、画素領域部１１をライン毎に駆動する。すなわち、画素領域部１１は、ライン単位で、各ラインの画素の露光量が制御され、ライン毎に複数の画素の電荷が垂直方向に沿って読み出され、画像読出回路１２へ出力される。
【００２６】
TG１４は、センサ部２内の各回路を、レジスタ部４から供給される情報によって設定されたタイミングで動作させるための各種タイミング信号を生成して各回路に出力する。TG１４において生成されるタイミング信号には、垂直駆動回路１３の各ラインのリセット及びリードのタイミング、画像読出回路１２の相関二重サンプリング及びアナログ・デジタル変換のタイミング、積算回路１５、比較器１６、等のための信号が含まれる。そして、後述するように、TG１４は、ライン間で露光時間が異なるように複数のラインの露光時間を制御する。
【００２７】
積算回路１５は、各ラインの複数の画素データの積算値を演算する回路である。すなわち、積算回路１５には、１ライン分の複数の画素の画素値が入力され、１ライン分の複数の画素の画素値の和を算出して、積算値として出力する。
【００２８】
比較器１６は、予め設定されている所定値PDと、積算回路１５からの積算値とを比較し、積算値と所定値PDとが一致すると、一致したラインを示す情報（以下、ライン情報という）を、レジスタ１７へ出力する回路である。比較器１６は、積算値が入力されたタイミングに応じたカウント値を保持し、積算値と所定値PDとが一致したときのカウント値をライン情報としてレジスタ１７へ出力する。例えば、ライン情報は、積算値と所定値PDとが一致したときのライン番号を示す。
【００２９】
なお、比較器１６は、積算値と所定値PDとが一致したときの露光時間データをレジスタ１７に出力するようにしてもよい。その場合、露光時間データは、レジスタ４ａに格納されているので、比較器１６からの一致信号に基づいて、レジスタ４ａの露光時間データを、レジスタ１７に転送する。
【００３０】
ここで、比較器１６において積算値と所定値PDとの一致した場合だけでなく、積算値と所定値PDとの大小関係が逆転する変化点のラインを示す情報を求めることでも実施形態の効果を得ることができる。以降の説明において、積算値又は平均値と所定値PDとの一致とは、積算値又は平均値と所定値PDとの大小関係の変化点を含むものとする。
【００３１】
以上のように、比較器１６は、露光時間が制御されたライン毎の画素データの積算値と所定値PDとの比較を行う。  
比較器１６の保持する所定値PDは、ここでは、標準反射率に対応する値である。標準反射率は、反射率１８％であり、その反射率のとき、適正露出が得られる。よって、本実施形態では、所定値PDを標準反射率に対応する値とし、積算値と所定値PDが一致したラインは、適正露出が得られるシャッタースピードで露光されたラインであると推定している。
【００３２】
なお、本実施形態では、所定値PDは、標準反射率としているが、それ以外の値、例えば、反射率２０％に対応する値、でもよい。  
レジスタ１７には、上述したように、比較器１６からのライン情報が格納される。よって、レジスタ１７は、比較器１６の比較の結果、積算値が所定値PDと一致したことを示す一致情報として、積算値が所定値PDと一致したラインを示すライン情報を保持する保持部である。
【００３３】
プリプロセッサ１８は、画像読出回路１２からのRAWデータを入力し、そのRAWデータに対して、シェーディング処理、ノイズ補正等の画像処理を施す。プリプロセッサ１８は、その画像処理されたRAWデータを通信I/F１９へ出力する。
【００３４】
通信I/F１９は、RAWデータを所定のデータフォーマットで送信するための回路である。通信I/F１９は、画像処理部３の通信I/F２１と信号ライン２０により接続されている。RAWデータは、通信I/F２１を介してISP２２に入力される。ISP２２は、RAWデータに対して光学補正、傷補正などの各種画像処理を施して、制御部５及び表示部６に出力する。
【００３５】
ISP２２は、撮影時に適正露出を得るための自動露出機能を有し、画像データに基づいて、センサ部２のシャッタースピード、すなわち露光時間等を制御する各種パラメータデータを生成し、レジスタ部４内のレジスタ群に書き込む。
【００３６】
ISP２２は、センサ部２の露出制御に関する制御パラメータとして、シャッタースピードに関する露光時間データと、画素値の増幅のためのゲインデータを、生成する。ISP２２は、露光時間データをレジスタ４ａに、ゲインデータをレジスタ４ｂに書き込む。
【００３７】
さらに、上述したように、ISP２２は、レジスタ部４内の他のレジスタに、相関二重サンプリング、アナログ・デジタル変換、積算回路１５、比較器１６等のための各種タイミングデータも書き込む。
【００３８】
自動露出が機能しているとき、ISP２２は、撮影時に、画像データから算出した画像の明るさに基づいて、撮影画像が適正露出になるように、自動露出アルゴリズムにより、シャッタースピードとゲインを制御するためのパラメータデータを生成して、レジスタ部４へ出力する。
【００３９】
さらに、ISP２２は、自動露出が機能する前に、初回適正露出を推定するための処理も実行する。具体的には、自動露出アルゴリズムが実行される前に、ISP２２は、以下に説明する初回適正露出推定処理を実行し、その結果得られたライン情報を、レジスタ１７から読み出して、自動露出アルゴリズム実行時の最初の露出制御パラメータを決定する。
（作用）
自動露出が機能する前の、初回適正露出推定処理について説明する。
【００４０】
本実施形態では、初回適正露出を推定するために、各ラインの露出時間が制御される。そのために、ISP２２は、垂直駆動回路１３の各ラインのリセット及びリードのタイミング信号を制御するためのパラメータデータ、すなわち露光時間データ、をレジスタ４ａに書き込む。レジスタ４ａに書き込まれた露光時間データに基づいて、各ラインのリードのタイミングが制御される。
【００４１】
初回適正露出推定処理時、比較器１６には、各ラインの画素データの積算値が順次入力され、入力された複数のラインの積算値の中で所定値PDと一致したときのライン情報が、レジスタ１７に出力されて書き込まれる。なお、上述したように、レジスタ１７には、積算値が所定値PDと一致したラインの露光時間データを格納するようにしてもよい。
【００４２】
図３は、画素領域部１１の各ラインの露光時間を示すタイムチャートである。画素領域部１１は、ｎ（ｎは整数）行のラインからなる複数の画素を含む。本実施形態では、１枚の画像を得ることにより、初回適正露出を推定することができる。
【００４３】
ISP２２は、画素領域部１１の複数のラインの露光時間が互いに異なるように、複数のラインの露光時間、すなわちリードのタイミング、を制御する。各ラインのリードのタイミング制御は、ISP２２がライン毎にレジスタ部４のレジスタ４ａに露光時間データすなわちリードのタイミングデータを書き込むことによって、行われる。ここでは、リセットのタイミングは、全ラインについて同じである。
【００４４】
L1で示す第１ラインを駆動するときは、TG14は露光時間がT1となるように、露光時間データすなわちリセット後のリードのタイミングデータを制御する。L2で示す第２ラインを駆動するときは、TG14は露光時間がT2となるように、露光時間データを制御する。以下同様に、ライン番号が進むにつれて露光時間が長くなるように制御する。  
よって、全ライン中、第１ラインの露光時間T1が最も短く、第ｎラインの露光時間Tnが最も長い。全ラインのリード時間は、例えば、１／３０秒で実行される。
【００４５】
積算回路１５の積算値と所定値PDが一致したラインは、適正露出が得られるシャッタースピードで露光されたラインであるので、そのラインの露光時間に対応するシャッタースピードが、初回適正露出のシャッタースピードとして推定される。その初回適正露出のシャッタースピードで露光されたラインは、レジスタ１７に書き込まれたライン情報により特定される。
【００４６】
よって、ISP２２は、レジスタ１７に書き込まれたライン情報に基づいて、センサ部２の初回の露光時間を制御し、自動露出制御のための最初の画像を得る。具体的には、ISP２２は、そのライン情報が示すラインと同じ露光時間と同じ時間で画素領域部１１が露光されるように、露光時間データをレジスタ４ａに書き込む。例えば、L4で示す第４ラインを示すライン情報がレジスタ１７に書き込まれていると、ISP２２は、第４ラインの露光時間T4で、画像領域部１１の全画素が露光されるように、露光時間データをレジスタ４ａに書き込む。
【００４７】
その後、ISP２２は、自動露出アルゴリズムを実行する。自動露出アルゴリズムは、そのレジスタ４ａに書き込まれた露光時間データを、初回値として、センサ部２の露出制御を行い、その後は、自動露出アルゴリズムが実行される。その後に、レジスタ４ａに書き込まれる露光時間データは、自動露出アルゴリズムにより決定される。
【００４８】
以上のように、初回適正露出パラメータは、１枚の画像を取得するだけで推定することができる。従来は、複数の画像を取得し、取得した複数の画像の明るさに基づいて、徐々に適正露出を探索していたので、初回適正露出パラメータを推定する時間が長かったが、本実施形態によれば、１枚の画像だけで初回適正露出パラメータを推定することができるので、初回適正露出パラメータを推定する時間は、従来に比べて短い。
【００４９】
よって、撮影機能がオンにされてから、初回の適正露出パラメータが推定されるまでの時間が短くなるので、ユーザが撮影しようとしてから、撮影可能になるまでの時間が短くなる。
【００５０】
なお、上述して例では、リセットのタイミングは、全ラインで同時で、リードのタイミングを変更しているが、リセットのタイミングを、ライン間で異なるようにしてもよい。すなわち、TG１４は、ライン間で、リセットのタイミング及びリードのタイミングを変更するようにしてもよい。
【００５１】
図４は、ライン間でリセットのタイミングが異なる場合の、画素領域部１１の各ラインの露光時間を示すタイムチャートである。  
図４に示すように、ライン番号が大きくなるにつれて、リセットのタイミングが、第１ラインにおけるリセットタイミングよりもずれて遅くなるように、リセットのタイミングが制御されている。各ラインのリセットのタイミングデータが、レジスタ部４内の他のレジスタに書き込まれることにより、各ラインのリセットのタイミングは制御される。
【００５２】
図４においても、全ライン中、第１ラインの露光時間T11が最も短く、第ｎラインの露光時間T1nが最も長い。  
図４に示すように、各ラインのリードのタイミングだけでなく、リセットのタイミングも、ライン間で異なるようにしてもよい。
（第２の実施形態）
第１の実施形態では、初回適正露出推定処理時にライン間で露光時間を異なるように露光時間が制御されているが、第２の実施形態では、初回適正露出推定処理時に露光時間だけでなく、一部のライン間でゲインが異なるように、ゲインが制御される。
【００５３】
本実施形態のスマートフォンのハードウエア構成は、図１と図２に示す第１の実施形態のスマートフォン１と同じであるので、同じ構成要素については、同じ符号を用いて説明は省略し、構成及び動作において、第１の実施形態と異なる部分について説明する。
【００５４】
図５は、画素領域部１１の各ラインの露光時間とゲインを示すタイムチャートである。  ISP２２は、画素領域部１１の複数のライン中の第１ラインから第ｋラインまでの範囲RAでは露光時間が互いに異なるように、複数のラインのリードのタイミングを制御する。さらに、ISP２２は、画素領域部１１の複数のライン中の第（ｋ＋１）ラインから第ｎラインまでの範囲RBでは露光時間は一定であるが、ライン間でゲインが互いに異なるように、複数のラインのゲインを制御する。
【００５５】
本実施形態においても、各ラインのリードのタイミング制御は、レジスタ部４のレジスタ４ａにより範囲RA内ではライン毎にリードのタイミングデータを制御する。また、範囲RA内では、ゲイン及びリセットのタイミングは、全ラインについて同じである。
【００５６】
範囲RB内では、各ラインのリードのタイミングは、同じであり、ライン間でゲインが異なっている。  
すなわち、範囲RA内では、ライン間でリードのタイミング、すなわち露光時間は、互いに異なり、かつライン間でゲインが同じになるよう制御されている。
【００５７】
また、範囲RB内では、ライン間でリードのタイミング、すなわち露光時間は、互いに同じで、かつライン間でゲインが異なるように制御されている。
【００５８】
図５では、範囲RA内では、ゲインの値は、G0で同じであるが、範囲RB内では、露光時間が一定で、ゲインの値は、G1からGmまで増加するように変化している。よって、ISP２２とレジスタ４ｂが、範囲RBにおいて、ライン間でゲインが異なるように複数のラインのゲインを制御するゲイン制御部を構成する。
【００５９】
本実施形態のように、範囲RB内では、各ラインの露光時間が最も長いシャッタースピードの状態にして、ゲインデータを徐々に増加するように、ゲインを変化させると、シャッタースピードの調整だけで適正露出が得られないような、暗い環境においても、画像が適正露出となるシャッタースピードとゲインを、１枚の画像を取得するだけで推定することができる。
【００６０】
なお、本実施形態においても、第１の実施形態の図４に示したように、リセットのタイミングを、ライン間で異なるようにしてもよい。
（第３の実施形態）
上述した第１の実施形態では、１画面の中でシャッタースピードのみをライン間で異ならせるようにして、初回適正露出パラメータを推定している。第２の実施形態では、１画面の中でシャッタースピードを変化させた後、最も長いシャッタースピードで固定した状態でゲインを上げるようにして、初回適正露出パラメータを推定している。これに対して、本実施形態では、１画面の中でゲインのみをライン間で異ならせるようにして、初回適正露出パラメータを推定している。
【００６１】
スマートフォン１による撮影が室内などの暗い場所で行われる場合、撮影が所定の高速シャッターでのみ動作する動作モードで撮影が行われる場合、シャッタースピードの変更可能範囲は狭い、あるいはシャッタースピードは、固定される。
【００６２】
よって、本実施形態では、撮影モードが、室内撮影モード、高速シャッターモード等のシャッタースピードが所定の変更範囲内あるいは固定されて撮影されるモードでは、１枚の画像の中でゲインのみを変化させて、初回適正露出パラメータを推定している。
【００６３】
本実施形態のスマートフォンのハードウエア構成も、図１と図２に示す第１及び第２の実施形態のスマートフォン１と同じであるので、同じ構成要素については、同じ符号を用いて説明は省略し、構成及び動作において、第１の実施形態と異なる部分について説明する。
【００６４】
図６は、画素領域部１１の各ラインの露光時間とゲインを示すタイムチャートである。  ISP２２は、画素領域部１１の複数のライン中の第１ラインから第ｎラインまで露光時間が同じ時間TLになるように、複数のラインのリードのタイミングを制御する。さらに、ISP２２は、画素領域部１１の複数のライン中の第１ラインから第ｎラインまで、ライン間でゲインが互いに異なるように、複数のラインのゲインを制御する。
【００６５】
本実施形態においても、各ラインのリードのタイミング制御は、ISP２２が、レジスタ部４のレジスタ４ａに露光時間データを書き込むことによって行い、その露光時間データは、全ラインについて同じである。また、ゲインの制御は、ISP２２がライン毎にレジスタ部４のレジスタ４ｂにゲインデータを書き込むことによって、行われる。
【００６６】
すなわち、ISP２２は、ライン間でリードのタイミングが同じになるように、レジスタ４ａに露光時間データを書き込み、かつライン間でゲインが異なるように、レジスタ４ｂにゲインデータを書き込む。よって、ISP２２とレジスタ４ｂが、ライン間でゲインが異なるように複数のラインのゲインを制御するゲイン制御部を構成する。
【００６７】
図６では、L1からLnで示す第１ラインから第ｎラインまでの間で、ゲインの値は、G1からGnまで増加するように変化している。  
本実施形態のように、露光時間を固定した状態で１画面の中でゲインのみを変化させて、初回適正露出パラメータを推定しているので、シャッタースピードが所定の変更範囲内に制限されてあるいは設定値に固定されて撮影されるモードにおいても、画像が適正露出となるゲイン、あるいはシャッタースピードとゲインを、１枚の画像を取得するだけで推定することができる。
【００６８】
なお、本実施形態においても、第１の実施形態の図４に示したように、リセットのタイミングを、ライン間で異なるようにしてもよい。  
次に、上述した３つの実施形態の変形例について説明する。
（変形例１）
上述した各実施形態では、初回適正露出推定処理は、スマートフォン１の撮影機能がオンにされたときに実行されるが、１枚の撮影が終わって次の撮影が可能となったときに実行するようにしてもよい。
【００６９】
１枚の画像が撮影されると表示部６に撮影された画像が表示される。その表示後、次の撮影が可能となると、表示部６にライブ画像が再度表示される。すなわち、１枚の撮影が終わって次のライブ画像が表示されるまでの間は、センサ部２は動作が停止している。よって、そのようなセンサ部２の撮影機能が一時的に停止した後に再開するときに、上述した各実施形態の初回適正露出推定処理を実行するようにしてもよい。
（変形例２）
上述した各実施形態では、画素領域部１１の全ラインについて、積算回路１５において画素データの積算値を算出し、比較器１６で所定値PDと比較しているが、積算と比較は、画素領域部１１の全ラインについて行わなくてもよい。例えば、１ラインあるいは２以上のラインを間引くように、所定の間隔の複数のラインについて、積算と比較を行うようにしてもよい。
（変形例３）
上述した各実施形態では、シャッタースピードのみ、シャッタースピードとゲイン、あるいはゲインのみ、が、１枚の画像の中で変更されているが、シャッタースピードのみ、シャッタースピードとゲイン、あるいはゲインのみ、が、２枚以上の画像に亘って変更されるようにしてもよい。
【００７０】
ゲイン制御部としてのISP２２とレジスタ４ｂは、１枚の画像データ中において、ライン間でゲインが異なるようにゲインを制御するのではなく、２枚以上の画像データ中において、ライン間でゲインが異なるようにゲインを制御するようにしてもよい。
【００７１】
例えば、２枚の画像の中で、第１〜第３の実施形態の動作をすれば、２倍細かく適正な初回適正露出のための露光時間とゲインを推定することができる。
（変形例４）
上述した各実施形態では、画素領域部１１のリードラインが進むにつれて、露光時間は長く、ゲインは大きくなるように、露光時間とゲインは変更されているが、リードラインが進むにつれて、露光時間は短く、ゲインは小さくなるように、露光時間とゲインが変更されるようにしてもよい。
（変形例５）
上述した各実施形態では、初回適正露出推定処理はISP２２により制御されているが、ISP２２によらずに実行されるようにしてもよい。
【００７２】
例えば、センサ部２内に、初回適正露出推定処理のための制御部を設けて、初回適正露出推定処理を実行するようにしてもよい。
（変形例６）
上述した各実施形態では、積算回路１５において画素データの積算値を算出し、比較器１６で所定値PDと比較しているが、積算値に代えて、各ラインの画素データの平均値を用いてもよい。その場合、所定値PDは、その平均値に対応する値となる。
（変形例７）
上述した各実施形態では、積算回路１５において画素データの積算値を算出し、比較器１６で所定値PDと比較しているが、各ラインの積算値に代えて、隣り合う複数のラインの画素データの積算値あるいは平均値の移動平均を用いてもよい。その場合、所定値PDは、その移動平均に対応する値となる。
（変形例８）
上述した各実施形態は、独立した実施例であるが、３つの実施形態を組み合わせてもよい。
【００７３】
例えば、スマートフォン１が撮影モードになると、ISP２２は、まず第１の実施形態の初回適正露出推定処理を実行し、第１の実施形態の初回適正露出推定処理で比較器１６が一致信号を出力しない場合、第２の実施形態の初回適正露出推定処理を実行するようにしてもよい。
【００７４】
あるいは、撮影モードに応じて、通常撮影モードの場合は、第１あるいは第２の実施形態の初回適正露出推定処理を実行し、室内撮影モード、高速シャッター撮影モード等の特定の撮影モードの場合は、第３の実施形態の初回適正露出推定処理を実行するように、ISP２２が撮影モードに応じて実行する初回適正露出推定処理を決定して切り替えるようにしてもよい。
（変形例９）
さらに、比較器１６は、積算値、平均値又は移動平均値と所定値PDとが一致若しくは大小関係の変化点を取得した時点でレジスタ１７に露光時間の情報を書き込み、初回適正露光推定処理を終了させてもよい。調整時間を更に短くすることができる。
（変形例１０）
さらに、上述した複数の変形例についても２以上の変形例を組み合わせて、各実施形態に適用するようにしてもよい。
【００７５】
以上のように、上述した各実施形態及び各変形例によれば、スマートフォン１の電源がオンあるいはスマートフォン１の撮影機能がオンにされてから、最初の適正露出が推定されるまでの時間が短くなるので、ユーザが撮影しようとしてから、撮影可能になるまでの時間が短くなる。
【００７６】
なお、上述した各実施形態及び各変形例は、撮影機器としてスマートフォンを例として説明したが、上述した各実施形態及び各変形例は、スマートフォン以外の携帯電話、デジタルカメラ、デジタルビデオカメラなど、デジタル写真・動画を撮影する撮影装置に適用することもできる。
【００７７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７８】
１  スマートフォン、２  センサ部、３  画像処理部、４  レジスタ部、４ａ  レジスタ、４ｂ  レジスタ、５  制御部、６  表示部、７  通信部、１１  画素領域部、１２  画像読出回路、１３  垂直駆動回路、１４  タイミングジェネレータ、１５  積算回路、１６  比較器、１７  レジスタ、１８  プリプロセッサ、２０  信号ライン。
【図１】
2015171139.tif 000003
【図２】
2015171139.tif 000004
【図３】
2015171139.tif 000005
【図４】
2015171139.tif 000006
【図５】
2015171139.tif 000007
【図６】
2015171139.tif 000008