(57)【特許請求の範囲】
【請求項１】
非破壊読み出しが可能であり、行列状に配列された複数の画素を有する固体撮像素子と、
適正画像の解析結果を用いて、本画像に対して画像処理を行う画像処理部と、
前記固体撮像素子から取得された画像に対して、前記複数の画素に蓄積された信号電荷の電荷量が予め定められた第１閾値以上であるときに取得した画像であるか否かの判定を行う判定部とを備え、
前記適正画像は、前記電荷量が、前記第１閾値以上であるときに前記固体撮像素子から取得された画像であり、
前記本画像は、撮像条件に対応する第１の露光後に前記固体撮像素子から取得された画像であり、
前記判定部が、前記第１の露光中に前記非破壊読み出しにより前記固体撮像素子から取得された非破壊読み出し画像に対して、前記電荷量が前記第１閾値以上であるときに取得された画像であることを示す第１の判定を行った場合、前記画像処理部は、破壊読み出しにより前記固体撮像素子から前記本画像を取得し、
前記判定部が、前記非破壊読み出し画像に対して、前記電荷量が前記第１閾値以上ではないときに取得された画像であることを示す第２の判定を行った場合、前記画像処理部は、前記非破壊読み出しにより前記固体撮像素子から前記本画像を取得する
撮像装置。
【請求項２】
さらに、露光を制御する制御部を備え、
前記判定部が前記非破壊読み出し画像に対し前記第２の判定を行った場合、前記制御部は、前記画像処理部が前記本画像を取得後、前記固体撮像素子に第２の露光を行わせ、
前記画像処理部は、前記適正画像として前記第２の露光において前記固体撮像素子から取得した画像の前記解析結果を用いて、前記本画像に前記画像処理を行う
請求項１に記載の撮像装置。
【請求項３】
前記第２の露光は、前記電荷量が前記第１閾値に達するまで行われる
請求項２に記載の撮像装置。
【請求項４】
前記第２の露光は、予め定められた期間行われる
請求項２に記載の撮像装置。
【請求項５】
前記判定部が、前記破壊読み出しにより前記固体撮像素子から取得された前記本画像を、前記電荷量が前記第１閾値以上であり、かつ前記第１閾値より高い値である第２閾値より低いときに取得された画像であると判定した場合、前記画像処理部は、前記適正画像として前記本画像の前記解析結果を用いて、前記本画像に前記画像処理を行い、
前記判定部が、前記本画像を、前記電荷量が前記第２閾値のときに取得された画像であると判定した場合、前記画像処理部は、前記適正画像として、前記第１の露光中の前記非破壊読み出しにより前記固体撮像素子から取得した画像であって、前記電荷量が前記第１閾値に達した画像の前記解析結果を用いて、前記本画像に前記画像処理を行う
請求項１に記載の撮像装置。
【請求項６】
前記適正画像及び前記本画像の少なくとも一方は、前記固体撮像素子から非破壊読み出しにより取得された非破壊読み出し画像である
請求項１〜４のいずれか１項に記載の撮像装置。
【請求項７】
前記第２閾値は、前記複数の画素に蓄積された前記信号電荷が飽和する電荷量である
請求項５に記載の撮像装置。
【請求項８】
前記画像処理とは、ホワイトバランスの補正である
請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記複数の画素のそれぞれは、有機光電変換膜を有する
請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の撮像装置を備え、
前記撮像装置は、さらに撮像した画像を表示する表示部を備える
カメラ。
【請求項１１】
前記第２の露光が行われている場合、前記表示部は前記第２の露光が行われていることを示す情報を表示する
請求項２〜４のいずれか１項を引用する請求項１０に記載のカメラ。
【請求項１２】
非破壊読み出しが可能であり、行列状に配列された複数の画素を有する固体撮像素子から、画像を取得し、
前記固体撮像素子から取得された前記画像に対して、前記複数の画素に蓄積された信号電荷の電荷量が予め定められた第１閾値以上であるときに取得した画像であるか否かを判定し、
前記電荷量が、前記第１閾値以上であるときに前記固体撮像素子から取得された画像である適正画像の画像解析を行い、その解析結果を用いて、撮像条件に対応する露光の後に前記固体撮像素子から取得した本画像に画像処理を行い、
前記本画像は、前記露光中に前記非破壊読み出しにより前記固体撮像素子から取得された非破壊読み出し画像に対して、前記電荷量が前記第１閾値以上であるときに取得された画像であることを示す第１の判定が行われた場合、破壊読み出しにより前記固体撮像素子から取得され、前記非破壊読み出し画像に対して、前記電荷量が前記第１閾値以上ではないときに取得された画像であることを示す第２の判定が行われた場合、前記非破壊読み出しにより前記固体撮像素子から取得される
撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、当該撮像装置を備えるカメラ及びその撮像方法に関する。
【背景技術】
【０００２】
従来、イメージセンサを用いて画像を撮像する撮像装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０４２１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像時に、蓄積される信号電荷が飽和レベル（飽和する電荷量）であると、または蓄積される信号電荷が不足レベルであると、ＡＷＢ（Auto  White  Balance）などの画像処理が正確に行われない場合がある。撮像装置としては、より適切に画像処理が行われることが望まれる。【０００５】
そこで、本開示は、より適切に画像処理が行われる撮像装置、カメラ及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本開示の一態様に係る撮像装置は、非破壊読み出しが可能であり、行列状に配列された複数の画素を有する固体撮像素子と、適正画像の解析結果を用いて、本画像に対して画像処理を行う画像処理部と、を備え、適正画像は、複数の画素に蓄積された信号電荷の電荷量が、予め定められた第１閾値以上であるときに固体撮像素子から取得された画像であり、本画像は、撮像条件に対応する第１の露光後に固体撮像素子から取得された画像である。【０００７】
また、本開示の一態様に係るカメラは、上記に記載の撮像装置と、撮像装置が撮像した画像を表示する表示部と、を備える。【０００８】
また、本開示の一態様に係る撮像方法は、非破壊読み出しが可能であり、行列状に配列された複数の画素を有する固体撮像素子から、複数の画素に蓄積された信号電荷の量が適正露出として予め定められた閾値以上である適正画像を取得し、取得した適正画像の画像解析を行い、その解析結果を用いて、撮像条件に対応する露光の後に固体撮像素子から取得した本画像に画像処理を行う。
【発明の効果】
【０００９】
上記本開示に係る撮像装置、カメラ、及び撮像方法によれば、より適切に画像処理を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態に係る撮像装置の全体構成を示すブロック図である。
【図２】図２は、実施の形態に係る画素の回路構成の一例を示す図である。
【図３】図３は、実施の形態に係る撮像装置が内蔵されたカメラの機能ブロック図である。
【図４】図４は、実施の形態に係る電荷量と画像との関係を示す図である。
【図５】図５は、実施の形態に係る撮像装置の動作を示すフローチャートである。
【図６Ａ】図６Ａは、実施の形態に係る電荷量が第１閾値より低い場合の、電荷量と画像処理の流れとを示す図である。
【図６Ｂ】図６Ｂは、実施の形態に係る電荷量が第１閾値以上であり、かつ第２閾値より低い場合の電荷量と画像処理の流れとを示す図である。
【図６Ｃ】図６Ｃは、実施の形態に係る電荷量が第２閾値である場合の電荷量と画像処理の流れとを示す図である。
【図７】図７は、実施の形態に係る撮像装置が内蔵されたカメラの外観図である。
【図８】図８は、実施の形態に係るカメラの表示部に露光中である情報を表示する一例を示す図である。
【発明を実施するための形態】
【００１１】
以下では、本開示の撮像装置、カメラ及び撮像方法について、図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００１２】
なお、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
【００１３】
（実施の形態）
以下、図１〜図８を用いて、実施の形態を説明する。
【００１４】
［１．撮像装置の全体構成］
まず、本実施の形態に係る撮像装置の全体構成について、図１を用いて説明する。図１は、本実施の形態に係る撮像装置１０の全体構成を示すブロック図である。同図に示された撮像装置１０は、固体撮像素子１００と、信号処理部３００と、表示部５００（図３を参照）と、操作部６００（図３を参照）とを備える。さらに、固体撮像素子１００は、画素アレイ部１１０と、列ＡＤ変換部１２０と、行走査部１３０と、列走査部１４０と、駆動制御部１５０とを有する。また、画素アレイ部１１０及びその周辺領域には、画素列ごとに列信号線１６０が配置され、画素行ごとに走査線１７０が配置されている。なお、図１では、撮像装置１０が備える表示部５００及び操作部６００は、図示を省略している。
【００１５】
画素アレイ部１１０は、複数の画素２１０が行列状に配置された撮像部である。
【００１６】
列ＡＤ変換（アナログ／デジタルコンバータ）部１２０は、各列信号線１６０から入力された信号（アナログ信号）をデジタル変換することで、画素２１０の受光量に対応するデジタル値を取得、保持及び出力する変換部である。
【００１７】
行走査部１３０は、行単位で画素２１０のリセット動作、電荷の蓄積動作、及び読み出し動作を制御する機能を有する。
【００１８】
列走査部１４０は、列ＡＤ変換部１２０に保持された一行分のデジタル値を行信号線１８０へ順次出力させることで、信号処理部３００に出力させる。
【００１９】
駆動制御部１５０は、行走査部１３０及び列走査部１４０に対して各種制御信号を供給することにより、各部を制御する。駆動制御部１５０は、例えば、信号処理部３００からの制御信号に基づいて、行走査部１３０及び列走査部１４０に対して各種制御信号を供給する。
【００２０】
本実施の形態に係る撮像装置１０は、例えば、静止画を撮像するための撮像装置である。
【００２１】
［２．固体撮像素子の構成］
続いて、固体撮像素子１００の構成について、図１を参照しながら、図２を用いて詳細に説明する。
【００２２】
［２−１．画素］
まずは、画素２１０について、図２を用いて説明する。図２は、本実施の形態に係る画素２１０の回路構成の一例を示す図である。
【００２３】
画素２１０は、光電変換素子２１１と、リセットトランジスタ２１２と、増幅トランジスタ２１３と、選択トランジスタ２１４と、電荷蓄積部２１５とを有する。
【００２４】
光電変換素子２１１は、受光した光を信号電荷（画素電荷）に光電変換する光電変換部である。具体的には、光電変換素子２１１は、上部電極２１１ａと、下部電極２１１ｂと、両電極に挟まれた光電変換膜２１１ｃとで構成されている。光電変換膜２１１ｃは、受光した光に応じて電荷を発生する光電変換材料で構成された膜であり、本実施の形態では、高い光吸収機能を有する有機分子を含む有機光電変換膜で構成されている。言い換えると、本実施の形態に係る光電変換素子２１１は有機光電変換膜を有する有機光電変換素子であり、固体撮像素子１００は有機光電変換素子を用いた有機センサである。なお、有機光電変換膜は、複数の画素２１０に跨って形成されている。複数の画素２１０のそれぞれは、有機光電変換膜を有する。
【００２５】
有機光電変換膜は、有機光電変換膜に印加する電圧を可変することで、光の透過率が変化する。つまり、有機光電変換膜に印加する電圧を調整することでシャッタ機能が実現できる。これにより、有機光電変換膜を有する複数の画素２１０の全てを実質的に同時に露光状態と遮光状態とを切り替えることができるので、メモリなどの素子を追加することなく、グローバルシャッタを実現することができる。よって、ローリングシャッタによる読み出しにより生じていた歪み（ローリング歪み）を低減することができる。
【００２６】
光電変換膜２１１ｃの厚さは、例えば、約５００ｎｍである。また、光電変換膜２１１ｃは、例えば、真空蒸着法を用いて形成される。上記有機分子は、波長約４００ｎｍから約７００ｎｍまでの可視光全域にわたって高い光吸収機能を有する。
【００２７】
なお、本実施の形態に係る画素２１０が備える光電変換素子２１１は、上述した有機光電変換膜で構成されていることに限定されず、例えば、無機材料で構成されたフォトダイオードであってもよい。
【００２８】
上部電極２１１ａは、下部電極２１１ｂと対向する電極であり、光電変換膜２１１ｃ上に光電変換膜２１１ｃを覆うように形成されている。つまり、上部電極２１１ａは、複数の画素２１０に跨がって形成されている。上部電極２１１ａは、光電変換膜２１１ｃに光を入射させるため、透明な導電性材料（例えば、ＩＴＯ：インジウム・チタン・スズ）で構成されている。
【００２９】
下部電極２１１ｂは、対向する上部電極２１１ａとの間にある光電変換膜２１１ｃで発生した電子又は正孔を取り出すための電極である。下部電極２１１ｂは、画素２１０ごとに形成されている。下部電極２１１ｂは、例えば、Ｔｉ、ＴｉＮ、Ｔａ、Ｍｏなどで構成されている。
【００３０】
電荷蓄積部２１５は、光電変換素子２１１に接続され、下部電極２１１ｂを介して取り出された信号電荷を蓄積する。
【００３１】
リセットトランジスタ２１２は、ドレインにリセット電圧ＶＲＳＴが供給され、ソースが電荷蓄積部２１５に接続され、電荷蓄積部２１５の電位をリセット（初期化）する。具体的には、リセットトランジスタ２１２のゲートに、リセット用走査線１７０Ａを介して行走査部１３０から所定の電圧が供給される（オンされる）ことで、リセットトランジスタ２１２は電荷蓄積部２１５の電位をリセットする。また、所定の電圧の供給を停止することで、電荷蓄積部２１５に信号電荷が蓄積される（露光が開始される）。
【００３２】
増幅トランジスタ２１３は、ゲートが電荷蓄積部２１５に接続され、ドレインに電源電圧ＶＤＤが供給され、電荷蓄積部２１５に蓄積された信号電荷の電荷量に応じた画素信号を出力する。
【００３３】
選択トランジスタ２１４は、ドレインが増幅トランジスタ２１３のソースに接続され、ソースに列信号線１６０に接続され、増幅トランジスタ２１３から画素信号を出力するタイミングを決定する。具体的には、選択トランジスタ２１４のゲートに、選択用走査線１７０Ｂを介して行走査部１３０から所定の電圧が供給されることで、増幅トランジスタ２１３から画素信号が出力される。
【００３４】
上記の構成を有する画素２１０は、非破壊読み出しが可能である。ここで、非破壊読み出しとは、露光中に、電荷蓄積部２１５に蓄積した電荷（信号電荷）を破壊せずに、その電荷量に応じた画素信号を読み出すことを意味する。なお、露光中とは、露光時間内の任意のタイミングを意味するものとして使用している。
【００３５】
［２−２．その他の構成］
図１を再び参照して、列ＡＤ変換部１２０は、列信号線１６０ごとに設けられたＡＤ変換器１２１で構成されている。ＡＤ変換器１２１は、例えば、１４ｂｉｔのＡＤ変換器である。ＡＤ変換器１２１は、例えば、画素２１０から出力されたアナログの画素信号をランプ方式でデジタル変換することで、画素２１０での受光量に対応するデジタル値を出力する。ＡＤ変換器１２１は、コンパレータ及びアップダウンカウンタ（図示しない）を有する。
【００３６】
ここで、ランプ方式によるＡＤ変換とは、ランプ波を用いたＡＤ変換であり、アナログの入力信号が入力されると、一定の傾斜で電圧が上昇するランプ波を立ち上げ、その立ち上げ時点から、両信号（入力信号とランプ波）の電圧が一致するまでの時間を計測し、その計測時間をデジタル値で出力する方式である。コンパレータは、列信号の電圧と、ランプ波として入力される参照信号の電圧とを比較し、参照信号の電圧が列信号の電圧と一致するタイミングを示す信号を出力する。
【００３７】
アップダウンカウンタは、コンパレータに参照信号が入力されてからその参照信号が基準成分を示す列信号の電圧に達するまでの期間においてダウンカウント（あるいは、アップカウント）し、続いて、コンパレータに参照電圧が入力されてからその参照信号が信号成分を示す列信号の電圧に達するまでの期間においてアップカウント（あるいは、ダウンカウント）することで、列信号の信号成分から基準成分を差し引いた差分に相当するデジタル値を最終的に保持する。
【００３８】
各アップダウンカウンタに保持されたデジタル値は、順次、行信号線１８０に出力され、出力回路（図示しないが、出力バッファなど）を介して、信号処理部３００に出力される。
【００３９】
駆動制御部１５０は、行走査部１３０及び列走査部１４０を制御することにより、画素２１０におけるリセット動作、電荷の蓄積動作、及び読み出し動作、又はＡＤ変換器１２１から信号処理部３００へのデジタル信号の出力動作を制御する。
【００４０】
例えば、信号処理部３００から読み出しの指示を受け付けると、駆動制御部１５０は、行走査部１３０を制御し、順次選択用走査線１７０Ｂに所定の電圧を印加させ、画素信号（アナログ）を出力させる。また、駆動制御部１５０は、列走査部１４０を制御し、ＡＤ変換器１２１に保持されている画素信号（デジタル値）を順次信号処理部３００へ出力させる。
【００４１】
［３．信号処理部の構成］
続いて、信号処理部３００について、図３を用いて説明する。図３は、本実施の形態に係る撮像装置１０が内蔵されたカメラ１の機能ブロック図である。同図に示されたカメラ１は、固体撮像素子１００と、信号処理部３００と、レンズ４００と、表示部５００と、操作部６００とを備える。そして、信号処理部３００は、制御部３１０、判定部３２０、メモリ３３０及び画像処理部３４０を有する。
【００４２】
レンズ４００を通過した光は、固体撮像素子１００に入射する。信号処理部３００は、固体撮像素子１００を駆動し、固体撮像素子１００からの画素信号（デジタル値）を取り込む。例えば、制御部３１０が駆動制御部１５０を制御することで、画像処理部３４０は固体撮像素子１００からの画素信号を取り込む。画像処理部３４０は、固体撮像素子１００から取得した画素信号に所定の信号処理を行い、画像を生成する。生成された画像は、メモリ３３０に格納される。また、生成された画像は表示部５００に出力される。なお、画像処理部３４０は、固体撮像素子１００から取得した画素信号に所定の信号処理を行うことに限定されない。例えば、固体撮像素子１００から取得した画素信号を画像データとしてメモリ３３０に格納してもよい。あるいは、固体撮像素子１００から取得した画素信号は、画像処理部３４０を介さずにメモリ３３０に格納されてもよい。
【００４３】
制御部３１０は、例えば、メモリ３３０からプログラムを読み出し、読み出しプログラムを実行する。上記では、制御部３１０は駆動制御部１５０を制御することについて説明したが、その他の各部を制御してもよい。例えば、制御部３１０は、固体撮像素子１００の露光（露光の開始と露光の終了）を制御してもよい。具体的には、制御部３１０は、有機光電変換膜に印加する電圧を調整することで、露光の開始と露光の終了とを制御してもよい。例えば、有機光電変換膜に所定の電圧を印加することで透過状態とし、有機光電変換膜への電圧の印加を停止することで遮光状態とする。透過状態とは、光電変換素子２１１が光を受光し信号電荷が電荷蓄積部２１５に蓄積される状態であり、遮光状態とは、光電変換素子２１１への光を遮光し信号電荷が電荷蓄積部２１５に蓄積されない状態である。なお、制御部３１０は、メカニカルシャッタ（メカシャッタとも記載する）により透過状態と遮光状態とを切り替えてもよい。また、例えば、操作部６００がユーザ（使用者）からの入力を受け付けると、制御部３１０は入力に応じた制御を行ってもよい。操作部６００がユーザから撮像の指示を受け付けると、制御部３１０は、レンズ４００（具体的には、レンズ４００の位置を制御するモータ）を制御し、被写体のピントなどを調整してもよい。
【００４４】
判定部３２０は、非破壊読み出しにより固体撮像素子１００から取得した画像（非破壊読み出し画像とも呼ぶ）に対して、電荷蓄積部２１５に蓄積された信号電荷の電荷量（信号量）が第１閾値以上であるときに取得した画像であるか否かの判定を行う。第１閾値とは、適正露出として予め定められた電荷量であり、例えば、複数の画素２１０のそれぞれが蓄積できる電荷量の最大値の４０％以上６０％以下の範囲の中から設定される値である。一例として、第１閾値とは、蓄積できる電荷量の最大値の５０％である。例えば、第１閾値とは、画像処理部３４０での画像処理が適正に行われるために必要となる画像の明るさ（画素値）の下限値に対応する電荷量であってもよい。
【００４５】
例えば、判定部３２０は、固体撮像素子１００が有する全ての画素２１０において蓄積された電荷量の平均値と第１閾値とを比較し上記の判定を行ってもよい。また、判定部３２０は、固体撮像素子１００が有する全ての画素２１０において蓄積された電荷量の最低値と第１閾値とを比較し上記の判定を行ってもよい。
【００４６】
なお、露光中に非破壊読み出しを行う回数は、特に限定されず１回以上行われればよい。例えば、制御部３１０が非破壊読み出しを行うタイミングを制御し、判定部３２０は、非破壊読み出しにより取得した非破壊読み出し画像ごとに、上記の判定を行う。制御部３１０は、非破壊読み出しに要する時間と、判定部３２０の判定に要する時間とから、非破壊読み出しを行うタイミングを制御してもよい。例えば、制御部３１０は、判定部３２０での判定が終了するタイミングで次の非破壊読み出し画像を取得するように、非破壊読み出しを行うタイミングを制御する。これにより、判定部３２０は、取得する非破壊読み出し画像に対して、順次判定を行うことができる。
【００４７】
メモリ３３０は、画像処理部３４０のワークメモリとして機能する。メモリ３３０は、画像処理部３４０で処理された画像を格納する。具体的には、メモリ３３０は、露光中及び露光後の非破壊読み出しにより固体撮像素子１００から取得した非破壊読み出し画像に対し、画像処理部３４０で画像処理が行われた画像（非破壊読み出し画像）を格納する。上記に示すように、非破壊読み出し画像とは、露光の終了後に固体撮像素子１００から取得した画像も含まれるが、露光の終了後（後述する第１の露光の終了後）に固体撮像素子１００から取得した画像は、識別のため本画像とも呼ぶ。つまり、本画像は、撮像条件（絞り値やＩＳＯ感度など）に対応する露光の後に、固体撮像素子１００から取得した画像である。なお、撮像条件に対応する露光は、第１の露光の一例である。そして、メモリ３３０は、本画像も格納する。なお、非破壊読み出しが複数回実施されれば、非破壊読み出し画像も同数存在する。メモリ３３０は、複数の非破壊読み出し画像の全てを格納してもよいし、特定の非破壊読み出し画像のみを格納してもよい。
【００４８】
メモリ３３０は、例えば、ＤＲＡＭ（Dynamic  Random  Access  Memory）、又は、強誘電体メモリなどで実現できる。なお、メモリ３３０は、撮像装置１０が有していればよく、信号処理部３００が有していなくてもよい。
【００４９】
画像処理部３４０は、適正画像の解析結果を用いて、本画像に対して画像処理を行う処理部である。なお、適正画像とは、複数の画素２１０に蓄積された信号電荷の電荷量が、適正露出として予め定められた第１閾値以上であるときに固体撮像素子１００から取得された画像である。つまり、適正画像とは、所定の明るさ（画素値）を有する画像である。また、画像処理とは、画像処理を行うために所定の明るさを有する画像を用いないと正確な処理が行えない画像処理であり、例えば、ホワイトバランスの補正（例えば、オートホワイトバランス：ＡＷＢ）などである。画像処理がホワイトバランスの補正である場合、画像解析とは、適正画像を用いて、本画像に対してホワイトバランスの補正を行うための補正値（例えば、ＲＧＢそれぞれの色に対する補正値）を取得するための処理である。つまり、画像解析とは本画像に所定の画像処理を行うための解析結果（例えば、補正値）を、適正画像を用いて取得する処理である。また、画像処理とは、画像解析により取得した補正値（解析結果）と本画像とを演算することにより、本画像にホワイトバランスの補正を行う処理である。つまり、画像処理とは、画像解析で取得した解析結果と本画像とを演算することで、本画像に画像処理を行う処理である。
【００５０】
ここで、図４を用いて電荷蓄積部２１５に蓄積される電荷量と、その電荷量から生成される画像とについて説明する。図４は、電荷量と画像との関係を示す図である。なお、図４の（ｂ）〜図４の（ｄ）の縦軸は電荷量を示しており、横軸は時間（露光時間及び読み出し時間）を示している。
【００５１】
図４の（ａ）は、シャッタの開閉のタイミングを示している。なお、シャッタは、有機光電変換膜に印加する電圧を調整することで実現されてもよいし、メカニカルシャッタにより実現されてもよい。
【００５２】
図４の（ｂ）は、適正画像が取得できる場合の電荷量と画像との関係を示している。シャッタが開けられ露光が開始されると、受光量に応じて複数の画素２１０の電荷蓄積部２１５に信号電荷が蓄積される。シャッタが閉じられ露光が終了すると、信号電荷の蓄積は止まるが蓄積された信号電荷は維持される。図４の（ｂ）では、蓄積された信号電荷の電荷量は第１閾値と同じである場合を示している。電荷量が第１閾値である場合、その電荷を読み出すことで生成された画像は、所定の明るさを有した画像となる。つまり、その画像を用いて画像解析を行うことで、正確な解析結果を得ることができる。なお、第１閾値の電荷量のときに読み出しが行われ生成された画像は、適正画像の一例である。
【００５３】
図４の（ｃ）は、蓄積された信号電荷の電荷量が第１閾値を大幅に超えている場合の電荷量と画像との関係を示している。例えば、逆光などで被写体を撮像する場合、受光量が多いため蓄積された電荷量が第１閾値を大幅に超えることがある。その場合、その電荷量を読み出すことで生成された画像は、色を正確に表していない画像となる場合がある。例えば、複数の画素２１０のそれぞれが蓄積できる電荷量の最大値まで信号電荷が蓄積されると、その電荷量を読み出すことで生成された画像は、白とびが発生している画像となる。白とびが発生している画像は、色が正確に表現されていない画像（不適正画像）であるので、当該画像を用いて画像解析を行っても正確な解析結果を得ることはできない。つまり、蓄積される電荷量は、多すぎても正確な解析結果が得られない。そのため、後述するように、第２閾値を設けるとよい。
【００５４】
図４の（ｄ）は、蓄積された電荷量が第１閾値を下回っている場合の電荷量と画像との関係を示している。例えば、夜景などの暗い被写体を撮像する場合、照度不足のため蓄積される電荷量が少ないので、電荷量が第１閾値に達しないことがある。その場合、その電荷量を読み出すことで生成された画像は、例えば、黒つぶれが発生している画像となる。黒つぶれが発生している画像は、色が正確に表現されていない画像（不適正画像）であるので、当該画像を用いて画像解析を行っても正確な解析結果を得ることはできない。
【００５５】
図４の（ｃ）又は図４の（ｄ）のように、正確でない解析結果を用いて本画像にＡＷＢを行うと、色再現性の低い画像が得られる。つまり、適切な画像処理が行えない。
【００５６】
なお、本実施の形態では、非破壊読み出し可能な固体撮像素子１００を用いているので、非破壊読み出しを行っても蓄積された信号電荷は破壊されない。また、図４では、露光の開始からシャッタが閉じるまでを露光として示している。
【００５７】
また、画像処理部３４０は、固体撮像素子１００から取得した画素信号に所定の補正（信号処理の一例）を行うことで画像を生成してもよい。例えば、露光中の非破壊読み出しにより取得した画素信号（以降、第１の画素信号とも呼ぶ）に所定の補正（以降、第１の補正とも呼ぶ）を行うことで、非破壊読み出し画像を生成してもよい。また、第１の露光の終了後の読み出しにより取得した画素信号（以降、第２の画素信号とも呼ぶ）に所定の補正（以降、第２の補正とも呼ぶ）を行うことで、本画像を生成してもよい。なお、所定の補正とは、固体撮像素子１００で発生するノイズ（例えば、画像としてスジが入るなど）に対する補正、及びレンズ４００の周辺の画素２１０に対する光量調整の補正などである。なお、詳細は後述するが、第１の露光の終了後の読み出しは、非破壊読み出し又は破壊読み出しにより行われる。破壊読み出しとは、非破壊読み出しにより非破壊読み出し画像を取得した後、蓄積された信号電荷を破壊（リセット）する読み出しである。
【００５８】
露光中の非破壊読み出しにより取得した画素信号で生成される非破壊読み出し画像は、露光の終了後の破壊読み出しにより取得した画素信号で生成される本画像に比べ露光時間が短いときに取得された画像であるので、全体的に暗い画像となる。そのため、非破壊読み出しで取得する画素信号は、例えば、ＡＤ変換器１２１でゲインの補正を行った画素信号であってもよい。具体的には、明るさを高くするゲインの補正を行ってもよい。また、露光後の破壊読み出しで取得する画素信号には、ゲインの補正は行われなくてもよい。つまり、第１の補正と第２の補正とは、異なる補正が行われてもよい。非破壊読み出し画像及び本画像に適した補正が行われればよい。これにより、例えば、非破壊読み出し画像は、より明るい画像となる。なお、非破壊読み出しにより生成された第１の画素は、ピントは合っている画像である。
【００５９】
なお、本実施の形態では、画像処理部３４０は１つである例について説明したが、画像処理部３４０の数はこれに限定されない。例えば、画像処理部３４０は、第１の画素信号を処理する第１の画像処理部と、第２の画素信号を処理する第２の画像処理部とから構成されていてもよい。これにより、画素信号の処理時間を短縮することができる。
【００６０】
表示部５００は、信号処理部３００で生成した画像を表示する表示デバイスであり、例えば、液晶モニタ、電子ビューファインダーなどである。また、表示部５００は、カメラにおける各種の設定情報が表示可能である。例えば、表示部５００は、撮像時の撮像条件（絞りやＩＳＯ感度など）を表示可能である。
【００６１】
操作部６００は、ユーザからの入力を受け付ける入力部であり、例えば、レリーズボタン又はタッチパネルなどである。例えば、タッチパネルは液晶モニタに接着されている。ユーザからの撮像の指示や撮像条件の変更などを受け付ける。
【００６２】
なお、撮像装置１０は、外部の回路と、固体撮像素子１００又は信号処理部３００との間で通信を行うためのインターフェース（図示しない）を備えていてもよい。インターフェースは、一例として、半導体集積回路からなる通信ポートなどである。
【００６３】
［４．撮像装置の処理］
次に、撮像装置１０の処理について説明する。なお、画像処理は、ホワイトバランスの補正である場合について説明する。
【００６４】
［４−１．撮像装置の処理の流れ］
撮像装置１０の処理の流れについて、図５を用いて説明する。図５は、本実施の形態に係る撮像装置１０の動作を示すフローチャートである。
【００６５】
まず、固体撮像素子１００は、例えば、制御部３１０の制御により第１の露光を開始する（Ｓ１）。これにより、複数の画素２１０のそれぞれには、受光量に応じた信号電荷が蓄積される。具体的には、光電変換素子２１１の受光量に応じた信号電荷が、電荷蓄積部２１５に蓄積される。
【００６６】
そして、制御部３１０は、露光中にそれぞれの画素２１０の電荷蓄積部２１５に蓄積された信号電荷を破壊せずに読み出す非破壊読み出しを実行する制御を行う。より具体的には、制御部３１０が駆動制御部１５０を制御し、画素行ごとに列ＡＤ変換部１２０でＡＤ変換を行うことで蓄積された信号電荷を当該信号電荷に応じたデジタル値（画素信号）に変換し、変換されたデジタル値は列走査部１４０によって順次信号処理部３００へ出力される。つまり、信号処理部３００は、非破壊読み出しにより、非破壊読み出し画像を取得する（Ｓ２）。なお、第１の露光中の非破壊読み出しを行った後、リセットトランジスタ２１２による電荷蓄積部２１５の電位のリセットは、行われない。
【００６７】
次に、判定部３２０は、第１の露光中の非破壊読み出しにより固体撮像素子１００から取得された非破壊読み出し画像に対し、複数の画素２１０に蓄積された信号電荷の電荷量が、適正露出として予め定められた第１閾値以上であるときに固体撮像素子１００から取得された画像であるか否かを判定する（Ｓ３）。第１の露光中に非破壊読み出しを行う回数は１回以上であれば特に限定されないが、判定部３２０は、第１の露光中の非破壊読み出しにより取得された非破壊読み出し画像ごとに上記の判定を行う。なお、例えば、判定部３２０は、取得された非破壊読み出し画像が第１閾値以上であるときに固体撮像素子１００から取得された画像であると判定（以降、第１の判定とも呼ぶ）した場合、その判定以降に取得された非破壊読み出し画像に対しては、上記の判定を行わなくてもよい。また、判定部３２０が第１の判定を行った場合、制御部３１０は第１の露光中の非破壊読み出しを行うことをやめる制御を行ってもよい。判定部３２０の第１の判定により、画像処理部３４０が行う画像解析に用いる画像は取得できているので、判定部３２０で行う処理（判定）量を低減することができる。
【００６８】
第１の露光中に取得した非破壊読み出し画像に対する判定部３２０の判定において、第１閾値以上であるときに取得された画像であると判定がされた場合（Ｓ３でＹｅｓ）、画像処理部３４０は、当該非破壊読み出し画像を画像解析に用いる画像（以降、解析用画像とも呼ぶ）の候補である候補画像としてメモリ３３０に格納する（Ｓ４）。候補画像とは、第１の露光中の非破壊読み出しにより固体撮像素子１００から取得された画像であって、蓄積された信号電荷の電荷量が第１閾値に達した画像である。例えば、第１閾値以上であると判定された非破壊読み出し画像が複数存在する場合、蓄積された信号電荷の電荷量が第１閾値以上であって、かつ第１閾値に最も近い電荷量のときに取得した非破壊読み出し画像を候補画像としてもよいし、それ以外の方法で候補画像を選定してもよい。なお、候補画像とならなかった非破壊読み出し画像（例えば、電荷量が第１閾値以下のときに取得された画像）は、メモリ３３０に格納されなくてもよい。
【００６９】
ここで、制御部３１０は、第１の露光が終了したか否かを判定する（Ｓ５）。具体的には、第１の露光のうちの、所定の露光期間（図６Ａにおけるシャッタが開いている期間）の露光が終了したか否かを判定する。所定の露光期間とは、撮像条件により予め決定される期間である。制御部３１０は、第１の露光が終了したと判定する（Ｓ５でＹｅｓ）と、シャッタを閉じる制御を行う。具体的には、有機光電変換膜への電圧の印加を停止することで遮光状態（シャッタが閉じた状態）とする。そして、ステップＳ６へ進む。なお、メカシャッタにより透過状態と遮光状態とを切り替える場合、メカシャッタを閉じることで遮光状態とする。
【００７０】
また、制御部３１０は、第１の露光が終了していないと判定する（Ｓ５でＮｏ）と、ステップＳ２へ進む。これにより、所定の露光期間が終了するまで、複数回の非破壊読み出しが可能である。なお、第１の露光中に１回のみ非破壊読み出しを行う場合、上記ステップＳ５の処理は省略されてもよい。
【００７１】
次に、信号処理部３００は、第１の露光の終了後に破壊読み出しにより本画像を取得する（Ｓ６）。なお、本画像を取得後に、電荷蓄積部２１５に蓄積された信号電荷を破壊しなくてもよい。その場合、ステップＳ６では、非破壊読み出しにより本画像が取得される。
【００７２】
ここで、判定部３２０は、取得した本画像に対して、複数の画素２１０に蓄積された信号電荷の電荷量が、第１閾値より高い値である第２閾値であるか否かを判定する（Ｓ７）。第２閾値とは、例えば、複数の画素２１０に蓄積される信号電荷が飽和する値（複数の画素２１０のそれぞれが蓄積できる電荷量の最大値）である。つまり、電荷量が第２閾値となると、画像としては白とびが発生していることになる。そのため、ホワイトバランスなどの画像処理を行うための画像解析に、第２閾値の電荷量が蓄積され白とびが発生している画像を用いると、当該画像は白とびしていて色が正確に表わされていない（電荷量が第２閾値である画素２１０は、色が白として表される）ので、正確な画像解析が行えない。そのため、上記ステップＳ７の判定を行う。なお、第２閾値は、複数の画素２１０のそれぞれが蓄積できる電荷量の最大値に限定されない。第２閾値は、第１閾値より高い値の中で、適宜決定されてもよい。
【００７３】
判定部３２０が、本画像に対して、複数の画素２１０に蓄積された信号電荷の電荷量が第１閾値より高い値である第２閾値のときに取得した画像であると判定した場合（Ｓ７でＹｅｓ）、画像処理部３４０は、候補画像を用いて画像解析を行う（Ｓ８）。この場合、候補画像（ステップＳ４で候補画像とした非破壊読み出し画像）は適正画像の一例である。
【００７４】
判定部３２０が、本画像に対して、複数の画素２１０に蓄積された信号電荷の電荷量が第２閾値より低いときに取得した画像であると判定した場合（Ｓ７でＮｏ）、画像処理部３４０は、本画像を用いて画像解析を行う（Ｓ９）。候補画像を用いて画像解析を行うこともできるが、候補画像と本画像とは、１回の撮像の中で異なる時刻に（タイミングで）取得された画像である。そのため、候補画像を取得してから本画像を取得するまでの間に被写体の明るさなどが変化した場合、候補画像を用いて本画像に画像処理を行うと、当該変化を反映できていない画像処理が行われる。よって、本画像により適切な画像処理を行うには、当該本画像を用いて画像処理が行われるとよい。この場合、本画像は適正画像の一例である。
【００７５】
続いて、第１の露光中に取得した非破壊読み出し画像に対する判定部３２０の判定において、電荷量が第１閾値以上ではない（第１閾値に達していない）ときに取得した画像であると判定された場合（Ｓ３でＮｏ、第２の判定とも呼ぶ）、制御部３１０は、第１の露光が終了したか否かを判定する（Ｓ１０）。具体的には、第１の露光のうちの、所定の露光期間（図６Ａにおけるシャッタが開いている期間）の露光が終了したか否かを判定する。制御部３１０は、第１の露光が終了したと判定する（Ｓ１０でＹｅｓ）と、シャッタを閉じる制御を行う。具体的には、有機光電変換膜への電圧の印加を停止することで遮光状態（シャッタが閉じた状態）とする。そして、ステップＳ１１へ進む。なお、メカシャッタにより透過状態と遮光状態とを切り替える場合、メカシャッタを閉じることで遮光状態とする。
【００７６】
また、制御部３１０は、第１の露光が終了していないと判定する（Ｓ１０でＮｏ）と、ステップＳ２へ進む。これにより、所定の露光期間が終了するまで、複数回の非破壊読み出しが可能である。なお、第１の露光中に１回のみ非破壊読み出しを行う場合、上記ステップＳ１０の処理は省略されてもよい。
【００７７】
次に、信号処理部３００は、撮像条件に対応する第１の露光の終了後に、非破壊読み出しにより本画像を取得する（Ｓ１１）。そして、判定部３２０は、本画像に対して、複数の画素２１０に蓄積された信号電荷の電荷量が、適正露出として予め定められた第１閾値以上であるときに固体撮像素子１００から取得した画像であるか否かを判定する（Ｓ１２）。
【００７８】
判定部３２０が本画像に対して第１の判定を行った場合（Ｓ１２でＹｅｓ）、ステップＳ９に進み、画像処理部３４０は、当該本画像を用いて画像解析を行う。ステップＳ３でＮｏであり、かつステップＳ１２でＹｅｓであった場合、正確に画像解析を行うことができる画像は、第１の露光が終了するまでに撮像された画像の中では本画像のみである。そのため、本画像を用いて画像解析を行う。この場合、本画像は適正画像の一例である。
【００７９】
判定部３２０が本画像に対して第２の判定を行った場合（Ｓ１２でＮｏ）、所定の明るさを有する画像（適正画像）が取得できていないこととなる。つまり、この時点で画像解析に用いる画像（画像解析を正確に行える画像）が取得できていないこととなる。そのため、制御部３１０は、画像処理部３４０が本画像を取得後、固体撮像素子１００を制御し、第２の露光を開始させる（Ｓ１３）。具体的には、制御部３１０は、有機光電変換膜に所定の電圧を印加させることで、第２の露光を開始させる。つまり、第２の露光とは、本画像を取得した後に行う露光である。なお、メカシャッタにより透過状態と遮光状態とを切り替える場合、メカシャッタを開くことで、第２の露光を開始させる。
【００８０】
本画像を非破壊読み出しにより取得している（電荷蓄積部２１５の電位がリセットされない）ので、電荷蓄積部２１５には第１の露光が終了した時点で蓄積されていた信号電荷が、蓄積された状態で維持されている。そのため、非破壊読み出しにより本画像を取得し、本画像を取得した後に第２の露光を行うことで、第１の露光で蓄積された信号電荷に、さらに第２の露光で発生した信号電荷が蓄積される。また、第２の露光中に非破壊読み出しを行う回数は１回以上であれば特に限定されない。
【００８１】
信号処理部３００は、第２の露光中の非破壊読み出しにより固体撮像素子１００から非破壊読み出し画像を取得し（Ｓ１４）、制御部３１０は当該非破壊読み出し画像が複数の画素２１０に蓄積された信号電荷の電荷量が第１閾値以上のときに取得した画像であるか否かの判定を行う（Ｓ１５）。
【００８２】
第２の露光中の非破壊読み出しにより取得した非破壊読み出し画像のそれぞれに対して、ステップＳ１５の判定が行われる。判定部３２０により第２の露光で取得した非破壊読み出し画像に対して、第１の判定が行われた場合（Ｓ１５でＹｅｓ）、画像処理部３４０は、当該非破壊読み出し画像を用いて画像解析を行う（Ｓ１６）。この場合、当該非破壊読み出し画像は適正画像の一例である。なお、非破壊読み出し画像に対して第１の判定が行われた場合、画像処理部３４０は、破壊読み出しにより画像解析に用いる画像を取得してもよい。また、非破壊読み出し画像に対して第１の判定が行われた場合、制御部３１０は第２の露光を停止させてもよい。
【００８３】
判定部３２０により、第２の露光で取得した非破壊読み出し画像に対して第２の判定が行われた場合（Ｓ１５でＮｏ）、制御部３１０は、固体撮像素子１００を制御し第２の露光を継続させる（Ｓ１７）。なお、第２の露光は、ステップＳ１５でＹｅｓとなるまで継続されてもよいし、予め定められた期間行われてもよい。あるいは、第２の露光は、操作部６００がユーザからの第２の露光を停止する指示を受け付けるまで継続されてもよい。
【００８４】
第２の露光がステップＳ１５でＹｅｓとなるまで継続されることで、画像処理に用いる適正画像を取得することができる。また、第２の露光が予め定められた期間行われることにより、蓄積された信号電荷の電荷量が予め定められた期間の途中に第１閾値に達した場合、信号処理部３００は電荷量が第１閾値以上であるときに読み出された画像を複数枚取得することができる。つまり、複数枚の画像の中から、画像解析により適している画像を選定することが可能となる。例えば、被写体が動いている場合、電荷量が第１閾値となった時点の画像（第２の露光時間の短い画像）を用いることで、被写体の動きによる（動きボケなどの）影響を低減した画像処理を行うことができる。
【００８５】
そして、画像処理部３４０は、ステップＳ８、ステップＳ９又はステップＳ１６での解析結果を用いて本画像に画像処理を行う（Ｓ１８）。これにより、所定の明るさを有する画像の画像解析を用いて画像処理を行うことができるので、より適切に画像処理が行われる。画像処理がＡＷＢである場合、画像処理が行われた本画像は、より色再現性の高い画像となる。
【００８６】
なお、ステップＳ７及びステップＳ９は、行われなくてもよい。例えば、ステップＳ３でＹｅｓであった場合、適正画像として候補画像の画像解析を行い、その解析結果を用いて本画像に画像処理を行ってもよい。これにより、判定部３２０における処理（Ｓ７）を省くことができるので、画像処理の高速化が可能となる。また、この場合、適正画像及び本画像の少なくとも一方は、非破壊読み出し画像である。
【００８７】
［４−２．電荷量と画像処理の流れ］
続いて、本実施の形態に係る撮像装置１０で蓄積された電荷量と画像処理の流れとについて、図６Ａ〜図６Ｃを用いて、さらに詳細に説明する。なお、図６Ａ〜図６Ｃの（ａ）は、シャッタの開閉のタイミングを示す図である。図６Ａ〜図６Ｃの（ｂ）は、露光時間と蓄積される電荷量との関係を示す図であり、縦軸は電荷量、横軸は時間を示している。図６Ａ〜図６Ｃの（ｃ）は、時間経過における画像処理について示している。
【００８８】
まず、図６Ａを用いて、第１の露光において、電荷量が第１閾値より低い場合について説明する。図６Ａは、電荷量が第１閾値より低い場合の電荷量と画像処理の流れとを示す図である。
【００８９】
シャッタが開くことで第１の露光が開始される（図５のＳ１に対応）。第１の露光とは、撮像条件（絞り値やＩＳＯ感度など）に対応する所定の露光時間の露光である。言い換えると、シャッタが開いてからシャッタが閉じるまでが、第１の露光である。第１の露光中に、受光量に応じて信号電荷が電荷蓄積部２１５に蓄積される。第１の露光中に、制御部３１０が固体撮像素子１００を制御することで、信号処理部３００は非破壊読み出しにより画像を取得する（図５のＳ２に対応）。判定部３２０は、取得した画像に対して、当該画像が、電荷量が第１閾値以上であるときに取得した画像であるか否かの判定（図中における電荷量の判定）を行う（図５のＳ３に対応）。図６Ａの（ｂ）の下向きの破線矢印は非破壊読み出しを行っていることを示しているが、第１の露光中に非破壊読み出しが行われる回数は特に限定されず、１回以上行われればよい。図６Ａでは、第１の露光において、電荷量は第１閾値に達していない（図５のＳ３でＮｏに対応）ので、このままでは画像解析に用いる画像が取得できない。この場合、第１の露光後に本画像を読み出す際、非破壊読み出しにより読み出す（図５のＳ１１に対応）。これにより、固体撮像素子１００には、第１の露光で蓄積された信号電荷が、そのまま維持される。なお、第１の露光後とは、例えば、第１の露光の終了から次の露光が開始されるまでのことであり、第１の露光の直後を意図している。
【００９０】
そして、制御部３１０は固体撮像素子１００を制御して、第２の露光を開始させる（図５のＳ１３に対応）。第２の露光中においても、非破壊読み出しにより画像を取得し（図５のＳ１４に対応）、判定部３２０は、ステップＳ３と同様の判定（図中における電荷量の判定）を行う（図５のＳ１５に対応）。判定部３２０により第１の判定が行われた場合、制御部３１０は固体撮像素子１００を制御し、シャッタを閉じる制御を行う。そして、同図に示すように、信号処理部３００は、固体撮像素子１００から破壊読み出しにより画像を取得する。当該画像は、画像解析に用いることができる画像（解析用画像）である。なお、画像解析に用いる画像は破壊読み出しにより取得した画像に限定されない。図５のステップＳ１６に示すように、非破壊読み出しにより取得した非破壊読み出し画像を用いてもよい。解析に用いる画像は、第２の露光中に、電荷量が第１閾値に達しているときに取得した画像を用いていればよい。
【００９１】
上記のように、受光量が少なく第１の露光において蓄積された電荷量が第１閾値に達していない場合、非破壊読み出しにより本画像を取得し、本画像を取得後に再度露光（第２の露光）を行う。非破壊読み出しにより本画像を取得することで、第１の露光で蓄積された信号電荷は破壊されずに電荷蓄積部２１５に蓄積されたままであり、第２の露光を行うことでさらに第２の露光で発生した信号電荷が蓄積される。第２の露光中の非破壊読み出しにより取得した画像は、本画像より明るい画像（より多い電荷量から生成された画像）であり、当該画像を用いて画像解析を行うことで、第１閾値以下の電荷量のときに取得された本画像を用いて画像解析を行う場合に比べ、より正確な解析結果を得ることができる。つまり、より適切な画像処理を本画像に行うことができる。
【００９２】
次に、図６Ｂを用いて、第１の露光において、電荷量が第１閾値以上であり、かつ第２閾値より低い場合について説明する。図６Ｂは、電荷量が第１閾値以上であり、かつ第２閾値より低い場合の電荷量と画像処理の流れとを示す図である。なお、図６Ａと同一の内容については、説明を省略する場合がある。
【００９３】
図６Ｂの（ｂ）では、信号電荷は、第１の露光中に第１閾値以上であり、かつ第２閾値より低い値まで蓄積されている（図５のＳ３でＹｅｓ及びＳ７でＮｏに対応）。そのため、第１の露光後に取得する本画像も、電荷量が第１閾値以上であり、かつ第２閾値より低いときに取得された画像となるので、本画像を用いて正確な画像解析を行うことができる。つまり、この場合には、本画像の画像解析を行い（図５のＳ９に対応）、その解析結果を用いて本画像に画像処理を行うことができる。
【００９４】
なお、図６Ｂの（ｃ）では、本画像を破壊読み出しにより取得している場合について示しているが、これに限定されない。また、本画像を用いて画像解析を行う例について説明したが、これに限定されない。例えば、図６Ｂの（ｂ）に示す候補画像（電荷量が第１閾値に達しているときに取得した非破壊読み出し画像）を用いて画像解析を行ってもよい。つまり、第１閾値以上の電荷量であるときに取得した画像を用いて、画像解析を行っていればよい。また、同図では第１の露光において、候補画像を取得した後も、非破壊読み出しにより非破壊読み出し画像を取得している例について示しているが、これに限定されない。
【００９５】
上記のように、本画像が第１閾値以上であり、かつ第２閾値より低い電荷量のときに取得した画像である場合、信号処理部３００は本画像を用いて画像解析を行う。これにより、第１の露光中の非破壊読み出しにより取得した候補画像を用いて画像解析を行う場合に比べ、候補画像を取得したタイミングから本画像を取得したタイミングの間での被写体の変化（例えば、明るさが変化）を含んだ解析結果が得られるので、より適切な画像処理を行うことができる。
【００９６】
続いて、図６Ｃを用いて、第１の露光において、蓄積された信号電荷の電荷量が第２閾値である場合について説明する。図６Ｃは、電荷量が第２閾値である場合の電荷量と画像処理の流れとを示す図である。なお、図６Ａと同一の内容については、説明を省略する場合がある。
【００９７】
図６Ｃの（ｂ）では、信号電荷は、第１の露光中に第１閾値より高い第２閾値まで蓄積されている（図５のＳ３及びＳ７でＹｅｓに対応）。第２閾値の電荷量のときに取得した本画像は、白とびしているなど色が正確に表現されていない画像となる。よって、その本画像を用いて画像解析を行っても、正確な解析結果が得られない。そのため、第１の露光中に取得した候補画像を用いて画像解析を行う（図５のＳ８に対応）。候補画像は第１閾値以上であり、かつ第２閾値より低い電荷量のときに取得された画像であるので、当該候補画像を用いて画像解析を行うことで正確な解析結果を得ることができる。また、本画像は白とびなどが発生している画像となるが、候補画像の解析結果を用いて画像処理がなされることにより、より被写体に近い画像が得られる（例えば、ＡＷＢの場合、より色再現性が高い画像が得られる）。なお、本画像は、例えば、破壊読み出しにより取得される。
【００９８】
本実施の形態に係る撮像装置１０は、非破壊読み出し画像又は本画像が取得されたときの電荷量と閾値（第１閾値と第２閾値）とを比較することで判定を行い、その判定結果に応じてより適した画像を用いて画像解析を行うことができるので、より正確な解析結果を得ることができる。よって、その解析結果を用いることで、より適切に画像処理を行うことができる。
【００９９】
［５．カメラ］
上記の撮像装置１０が内蔵されたカメラ１の例として、例えば、図７の（ａ）に示されるデジタルスチルカメラ１Ａや図７の（ｂ）に示されるデジタルビデオカメラ１Ｂなどが挙げられる。例えば、図７の（ａ）又は図７の（ｂ）などのカメラに本実施の形態に係る撮像装置１０が内蔵されることで、上記に説明したように、適正画像を用いて画像解析を行うことができるので、より適切に画像処理が行われた本画像を取得し、記憶し、又は表示することができる。
【０１００】
判定部３２０が取得した非破壊読み出し画像に対して第１の判定を行った場合、第２の露光は開始されない。その場合、画像処理が行われた本画像が表示部５００に表示される。
【０１０１】
一方、判定部３２０が取得した本画像に対して第２の判定を行った場合、第２の露光が開始される。その場合、ユーザは第２の露光が行われているかわからないので、例えば、制御部３１０がカメラ１の表示部５００に第２の露光が行われていることを示す情報を表示させてもよい。例えば、デジタルスチルカメラ１Ａの表示部５００に、図８に示すような情報を表示してもよい。なお、図８では、第２の露光が行われていることを示す情報のみを表示している例について示しているが、例えば、ステップＳ１１で取得した本画像と上記情報とを同時に表示してもよい。
【０１０２】
［６．効果等］
以上のように、本実施の形態に係る撮像装置１０は、非破壊読み出しが可能であり、行列状に配列された複数の画素２１０を有する固体撮像素子１００と、適正画像の解析結果を用いて、本画像に対して画像処理を行う画像処理部３４０と、を備える。適正画像は、複数の画素２１０に蓄積された信号電荷の電荷量が、予め定められた第１閾値以上であるときに固体撮像素子１００から取得された画像である。また、本画像は、撮像条件に対応する第１の露光後に固体撮像素子１００から取得された画像である。
【０１０３】
これにより、本画像は、電荷量が第１閾値以上であるときに固体撮像素子１００から取得された適正画像の解析結果を用いて画像処理される。画像解析を行う画像が暗い（電荷量が第１閾値より低い）場合、当該画像を用いて画像解析を行っても正確な解析結果を得ることができない。そのため、その解析結果を用いて本画像に画像処理を行っても、適正な画像処理が行われたとは言えない。画像処理がＡＷＢである場合、本画像は、色再現性の低い画像となる場合がある。一方、本実施の形態に係る撮像装置１０は、電荷量が第１閾値以上であるときに取得された画像を用いて画像解析を行うので、より正確な解析結果が得られる。そして、その解析結果を用いて本画像に画像処理が行われるので、本画像により適切な画像処理を行うことができる。画像処理がＡＷＢである場合、本画像は、色再現性の高い画像が得られる。
【０１０４】
また、さらに、固体撮像素子１００から取得した画像に対して、電荷量が第１閾値以上であるときに取得された画像であるか否かの判定を行う判定部３２０を備える。そして、判定部３２０が、第１の露光中に非破壊読み出しにより固体撮像素子１００から取得された非破壊読み出し画像に対して、電荷量が第１閾値以上であるときに取得された画像であることを示す第１の判定を行った場合、画像処理部３４０は、破壊読み出しにより固体撮像素子１００から本画像を取得する。また、判定部３２０が、第１の露光中に非破壊読み出しにより固体撮像素子１００から取得された非破壊読み出し画像に対して、電荷量が第１閾値以上ではないときに取得された画像であることを示す第２の判定を行った場合、画像処理部３４０は、非破壊読み出しにより固体撮像素子１００から本画像を取得する。
【０１０５】
これにより、第１の露光において取得された非破壊読み出し画像に対して、判定部３２０が第１の判定を行った場合（つまり、画像解析に用いる適正画像を取得した場合）、破壊読み出しにより本画像が取得されるので、蓄積されていた信号電荷はリセットされる。よって、次の撮像が可能となる。言い換えると、適正画像が取得できた場合には信号電荷がリセットされるので、次の撮像が可能となる。また、判定部３２０が第２の判定を行った場合（つまり、解析に用いる適正画像を取得していない場合）、非破壊読み出しにより本画像が取得されるので、蓄積されていた信号電荷は維持される（信号電荷はリセットされない）。これにより、再度露光を開始した（第２の露光を開始した）場合、第２の露光で発生した信号電荷がさらに蓄積されるので、第２の露光中に画像を取得することで非破壊読み出しにより取得した本画像より明るい画像と取得することができる。よって、第２の露光中に取得した画像であって、本画像より明るい画像の画像解析を行うことで、本画像の画像解析を行う場合に比べ、より正確な解析結果を取得することができるので、より適切な画像処理を本画像に行うことができる。
【０１０６】
また、さらに、露光を制御する制御部３１０を備える。判定部３２０が非破壊読み出し画像に対し第２の判定を行った場合、制御部３１０は、画像処理部３４０が本画像を取得後、固体撮像素子１００に第２の露光を行わせる。そして、画像処理部３４０は、適正画像として第２の露光において固体撮像素子１００から取得した画像の解析結果を用いて、本画像に画像処理を行う。
【０１０７】
これにより、画像解析に用いる適正画像を取得できていない場合、第２の露光が開始される。この場合、本画像は非破壊読み出しにより取得されるので、第２の露光中は、第１の露光で蓄積された信号電荷に、第２の露光中に発生した信号電荷がさらに蓄積される。つまり、第２の露光中に取得する画像は、本画像よりも明るい画像（電荷量が多いときに取得した画像）となる。よって、第２の露光中に取得した画像であって、本画像より明るい画像の画像解析を行うことで、本画像の画像解析を行う場合に比べ、より正確な解析結果を取得することができるので、より適切な画像処理を本画像に行うことができる。
【０１０８】
また、第２の露光は、電荷量が第１閾値に達するまで行われる。
【０１０９】
これにより、第２の露光において、電荷量が第１閾値以上のときの画像を取得することができる。当該画像を用いて画像解析を行うことでより正確な解析結果を得ることができるので、より適切な画像処理を本画像に行うことができる。
【０１１０】
また、第２の露光は、予め定められた期間行われる。
【０１１１】
これにより、蓄積された信号電荷の電荷量が予め定められた期間の途中に第１閾値に達した場合、電荷量が第１閾値以上である画像を複数枚取得することができる。つまり、複数枚の画像の中から、画像解析により適している画像を選定することが可能となる。例えば、被写体が動いている場合、第１閾値に達した時点の画像（露光時間の短い画像）を用いることで、被写体の動きによる影響を低減した画像処理を行うことができる。
【０１１２】
また、判定部３２０が、破壊読み出しにより固体撮像素子１００から取得した本画像を、電荷量が第１閾値以上であり、かつ第１閾値より高い値である第２閾値より低いときに取得した画像であると判定した場合、画像処理部３４０は、適正画像として本画像の解析結果を用いて、本画像に画像処理を行う。また、判定部３２０が、本画像を、電荷量が第２閾値以上のときに取得した画像であると判定した場合、画像処理部３４０は、適正画像として、第１の露光中の非破壊読み出しにより固体撮像素子１００から取得した画像であって、電荷量が第１閾値に達した画像の解析結果を用いて、本画像に画像処理を行う。
【０１１３】
これにより、本画像の画像処理を行うための画像解析に用いる画像をより適切に選定することができる。本画像が第１閾値以上であり、かつ第２閾値より低いときに取得した画像である場合、当該本画像は適正画像であり、当該本画像を用いて画像解析を正確に行うことができる。また、本画像が、電荷量が第２閾値以上のときに取得した画像である場合、より正確に画像解析を行うため、第１の露光中の非破壊読み出しにより固体撮像素子１００から取得した画像であって、電荷量が第１閾値に達した画像を用いる。これにより、電荷量が第２閾値以上のときに取得しており、色が正確に表されていない本画像を用いて画像解析を行う場合に比べ、より正確な解析結果を得ることができる。そして、当該解析結果を用いて本画像に画像処理を行うので、より適切な画像処理を本画像に対して行うことができる。
【０１１４】
また、適正画像及び本画像の少なくとも一方は、固体撮像素子１００から非破壊読み出しにより取得された非破壊読み出し画像である。
【０１１５】
これにより、本画像が非破壊読み出しで取得された場合、適正画像として破壊読出しにより取得された画像を用いて、本画像に画像処理を行うことができる。また、本画像が破壊読出しで取得された場合、適正画像として非破壊読み出しにより取得された非破壊読み出し画像を用いて本画像に画像処理を行うことができる。
【０１１６】
また、第２閾値は、複数の画素２１０に蓄積された信号電荷の電荷量が飽和する値である。
【０１１７】
これにより、画像解析に用いられる画像は、電荷量が第２閾値より低いときに取得された画像である。つまり、当該画像は、白とびなどが発生していないので、画像から被写体の色の情報を取得することができる。よって、第２閾値を設けることにより、より適切な画像を用いて画像解析を行うことができるので、本画像に行う画像処理もより適切に行うことができる。
【０１１８】
また、画像処理とは、ホワイトバランスの補正である。
【０１１９】
これにより、画像処理としてホワイトバランスの補正を、より適切に行うことができる。
【０１２０】
また、複数の画素２１０のそれぞれは、有機光電変換膜を有する。
【０１２１】
これにより、有機光電変換膜に印加する電圧を調整することでシャッタ機能が実現できるため、メモリなどの素子を追加することなく、グローバルシャッタを実現することができる。そのため、被写体が動いている場合でも、より歪みの少ない画像を取得することができる。よって、歪みの少ない画像を用いて画像解析を行うことができる。
【０１２２】
また、本実施の形態に係るカメラ１は、上記の撮像装置１０と、上記の撮像装置１０が撮像した画像を表示する表示部５００と、を備える。
【０１２３】
これにより、撮像装置１０が適正画像を用いて画像解析を行うことができるので、本実施の形態に係るカメラ１は、より適切に画像処理が行われた本画像を取得し、記憶し、又は表示することができる。
【０１２４】
また、第２の露光が行われている場合、表示部５００に第２の露光が行われていることを示す情報を表示する。
【０１２５】
これにより、ユーザは、表示部５００を確認することで第２の露光が行われていることを認識することができる。よって、ユーザが第２の露光中であることを認識せずにカメラ１を動かすなどして、適切に撮像が行われなくなることを抑制することができる。
【０１２６】
また、本実施の形態に係る撮像方法は、非破壊読み出しが可能であり、行列状に配列された複数の画素２１０を有する固体撮像素子１００から、複数の画素２１０に蓄積された信号電荷の量が適正露出として予め定められた閾値以上である適正画像を取得し、取得した適正画像の画像解析を行い（Ｓ８、Ｓ９及びＳ１６）、その解析結果を用いて、撮像条件に対応する露光の後に固体撮像素子１００から取得した本画像に画像処理を行う（Ｓ１８）。
【０１２７】
これにより、本画像は、適正画像の解析結果を用いて画像処理される。画像解析を行う画像が暗い（電荷量が第１閾値より低い）場合、当該画像を用いて画像解析を行っても正確な解析結果を得ることができない。そして、その解析結果を用いて本画像に画像処理を行っても、適切な画像処理が行われたとは言えない。例えば、画像処理がＡＷＢである場合、本画像は、色再現性の低い画像となる場合がある。本実施の形態に係る撮像装置１０は、電荷量が第１閾値以上であるときに取得された適正画像を用いて画像解析を行うので、より正確な解析結果が得られる。そして、その解析結果を用いて本画像に画像処理が行われるので、本画像により適切な画像処理を行うことができる。
【０１２８】
（他の実施の形態）
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１２９】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１３０】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【０１３１】
例えば、上記実施の形態では、画像処理は、ホワイトバランスの補正である例について説明したが、画像処理はこれに限定されない。例えば、被写体の人物の顔などの特長から個人を識別する認識処理や、風景や人物などの撮影シーン判定、それによる画質パラメータ設定であってもよい。
【０１３２】
これにより、画像処理がホワイトバランスの補正である場合と同様の効果を奏する。
【０１３３】
また、撮像装置１０における各構成要素（機能ブロック）は、ＩＣ（Integrated  Circuit）、ＬＳＩ（Large  Scale  Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field  Programmable  Gate  Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０１３４】
また、上記各種処理の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、撮像装置１０に含まれるプロセッサがメモリに記憶されたプログラムを実行することにより実現されるものである。また、そのプログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
【０１３５】
また、上記実施の形態では、カメラ１は外部からの光を固体撮像素子１００に入射させるレンズ４００を備えている例について説明したが、これに限定されない。レンズ４００は、例えば、カメラ１に着脱可能なレンズであってもよい。この場合、カメラ１は、レンズ４００を備えていなくてもよい。なお、レンズ４００は、外部からの光を集光して固体撮像素子１００に入射させる。
【０１３６】
また、上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
【産業上の利用可能性】
【０１３７】
本開示は、画像を撮像する撮像装置に広く利用可能である。
【符号の説明】
【０１３８】
１    カメラ
１Ａ    デジタルスチルカメラ
１Ｂ    デジタルビデオカメラ
１０    撮像装置
１００    固体撮像素子
１１０    画素アレイ部
１２０    列ＡＤ変換部
１２１    ＡＤ変換器
１３０    行走査部
１４０    列走査部
１５０    駆動制御部
１６０    列信号線
１７０    走査線
１７０Ａ    リセット用走査線
１７０Ｂ    選択用走査線
１８０    行信号線
２１０    画素
２１１    光電変換素子
２１１ａ    上部電極
２１１ｂ    下部電極
２１１ｃ    光電変換膜
２１２    リセットトランジスタ
２１３    増幅トランジスタ
２１４    選択トランジスタ
２１５    電荷蓄積部
３００    信号処理部
３１０    制御部
３２０    判定部
３３０    メモリ
３４０    画像処理部
４００    レンズ
５００    表示部
６００    操作部
【図１】
0006643658.tif 000002
【図２】
0006643658.tif 000003
【図３】
0006643658.tif 000004
【図４】
0006643658.tif 000005
【図５】
0006643658.tif 000006
【図６Ａ】
0006643658.tif 000007
【図６Ｂ】
0006643658.tif 000008
【図６Ｃ】
0006643658.tif 000009
【図７】
0006643658.tif 000010
【図８】
0006643658.tif 000011