(57)【要約】【課題】より適切な露光制御を迅速に行う。【解決手段】撮像素子は、被写体の明るさの検出に用いられる画素値を出力する露光検出画素、および、画像の構築に有効な画素値を出力する有効画素が、画像の撮像に利用される撮像有効領域に配置された撮像素子と、露光検出画素から出力される画素値に基づいて、撮像素子の露光時間を制御する露光制御部とを備える。そして、露光検出画素の画素値が、有効画素の画素値よりも高ダイナミックレンジである。本技術は、例えば、ＡＥ制御を備えた撮像素子に適用できる。【選択図】図１
2017011513.tif 000002
【特許請求の範囲】
【請求項１】
被写体の明るさの検出に用いられる画素値を出力する露光検出画素、および、画像の構築に有効な画素値を出力する有効画素が、前記画像の撮像に利用される撮像有効領域に配置された撮像素子と、
前記露光検出画素から出力される画素値に基づいて、前記撮像素子の露光を制御する露光制御部と
を備え、
前記露光検出画素の画素値が、前記有効画素の画素値よりも高ダイナミックレンジである
撮像装置。
【請求項２】
前記撮像素子に前記露光検出画素が配置されている箇所において前記画像を構築するための画素値を、前記露光検出画素の近傍にある前記有効画素の画素値から補間して求める補正処理を行う補正処理部
をさらに備える請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、静止画像を撮像する撮像モードであるとき、静止画像の撮像を指示するシャッタ操作が行われるまで待機する待機時において、前記露光検出画素のみから画素値の読み出しを行う
請求項１に記載の撮像装置。
【請求項４】
前記撮像素子は、動画像を撮像する撮像モードであるとき、１フレーム前の前記露光検出画素の画素値に基づいた露光で撮像を行う
請求項１に記載の撮像装置。
【請求項５】
前記撮像素子は、所定の波長域の光を透過するカラーフィルタを前記露光検出画素に積層して構成されており、
前記波長域ごとの前記露光検出画素の画素値を検波して得られる色検波情報を出力する色別検波部と、
前記色検波情報に基づいて、前記補正処理部により前記補正処理が施された画像に対するホワイトバランスを調整する画像処理を行う画像処理部と
をさらに備える請求項２に記載の撮像装置。
【請求項６】
前記補正処理部は、前記補正処理を行う際に、前記カラーフィルタが積層されている前記露光検出画素自身の画素値も使用する
請求項５に記載の撮像装置。
【請求項７】
前記露光検出画素は、前記露光検出画素および前記有効画素が配置される前記撮像素子の撮像面における位相差を検出するように、被写体からの光を受光する受光部が分割されて構成されており、
前記露光検出画素の分割された前記受光部からの出力差に基づいて、前記撮像素子の撮像面における位相差を検出する像面位相差検出部と、
前記撮像素子の撮像面における位相差に従って、前記被写体の像を前記撮像素子に結像する光学系を駆動して焦点制御を行う焦点制御部と
をさらに備える請求項１に記載の撮像装置。
【請求項８】
被写体の明るさの検出に用いられる画素値を出力する露光検出画素、および、画像の構築に有効な画素値を出力する有効画素が、前記画像の撮像に利用される撮像有効領域に配置され、前記露光検出画素の画素値が、前記有効画素の画素値よりも高ダイナミックレンジである撮像素子を備える撮像装置の撮像方法であって、
前記露光検出画素から出力される画素値に基づいて、前記撮像素子の露光を制御するステップを含む
撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置および撮像方法に関し、特に、より適切な露光制御を迅速に行うことができるようにした撮像装置および撮像方法に関する。
【背景技術】
【０００２】
一般的に、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を備える撮像装置では、被写体からの光を光学系で集光し、撮像素子のセンサ面に結像することで被写体を撮像する。また、撮像装置では、被写体を撮像する際に、被写体が最適な明るさとなるように露出を自動的に調整するＡＥ（Automatic Exposure）制御や、被写体にピントが合うように焦点を自動的に調整するＡＦ（Auto-Focus）制御、被写体の色味が正確に再現されるような補正を自動的に行うＡＷＢ（Auto White Balance）制御などの様々な制御が行われる。
【０００３】
例えば、従来の撮像装置のＡＥ制御では、撮像素子とは別に露光制御用のセンサを配置し、そのセンサから出力される信号に基づいて、適切な露光時間が求められていた。または、撮像素子で撮像された画像に基づいて露光状態を測定することで、適切な露光時間が求められていた。
【０００４】
また、特許文献１には、固体撮像素子内に設けられた位相差検出用の画素からの信号に基づいて位相差ＡＦを実現するとともに、位相差検出用の画素を本撮影時にも活用する固体撮像素子が開示されている。また、特許文献２には、低感度モードと高感度モードとで動作可能な画素を位相差ＡＦ用のラインセンサに適用した固体撮像素子が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−５９３３７号公報
【特許文献２】特開２０１４−２２２９２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上述したように、撮像素子とは別に露光制御用のセンサを設ける構成では、撮像素子と制御用のセンサとに特性差がある場合には、被写体を撮像する際の制御に不整合が発生してしまい、適切なＡＥ制御を行うことができなかった。また、撮像素子で撮像された画像に基づいて露光状態を測定する構成では、例えば、コントラストの高い被写体に対して適切な露光となるように制御するまでに数フレームを要することがあった。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、より適切な露光制御を迅速に行うことができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の撮像装置は、被写体の明るさの検出に用いられる画素値を出力する露光検出画素、および、画像の構築に有効な画素値を出力する有効画素が、前記画像の撮像に利用される撮像有効領域に配置された撮像素子と、前記露光検出画素から出力される画素値に基づいて、前記撮像素子の露光を制御する露光制御部とを備え、前記露光検出画素の画素値が、前記有効画素の画素値よりも高ダイナミックレンジである。
【０００９】
本開示の一側面の撮像方法は、被写体の明るさの検出に用いられる画素値を出力する露光検出画素、および、画像の構築に有効な画素値を出力する有効画素が、前記画像の撮像に利用される撮像有効領域に配置され、前記露光検出画素の画素値が、前記有効画素の画素値よりも高ダイナミックレンジである撮像素子を備える撮像装置の撮像方法であって、前記露光検出画素から出力される画素値に基づいて、前記撮像素子の露光を制御するステップを含む。
【００１０】
本開示の一側面においては、撮像装置は、被写体の明るさの検出に用いられる画素値を出力する露光検出画素、および、画像の構築に有効な画素値を出力する有効画素が、画像の撮像に利用される撮像有効領域に配置され、前記露光検出画素の画素値が、前記有効画素の画素値よりも高ダイナミックレンジである撮像素子を備え、露光検出画素から出力される画素値に基づいて、撮像素子の露光が制御される。
【発明の効果】
【００１１】
本開示の一側面によれば、より適切な露光制御を迅速に行うことができる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の第１の実施の形態の構成例を示すブロック図である。
【図２】ＯＰＤ画素の第１の配置例について説明する図である。
【図３】ＯＰＤ画素の第２の配置例について説明する図である。
【図４】静止画像を撮像する処理を説明するフローチャートである。
【図５】動画像を撮像する処理を説明するフローチャートである。
【図６】撮像装置の第２の実施の形態の構成例を示すブロック図である。
【図７】撮像装置の第３の実施の形態の構成例を示すブロック図である。
【図８】撮像装置の第４の実施の形態の構成例を示すブロック図である。
【図９】イメージセンサを使用する使用例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１４】
＜撮像装置の第１の実施の形態＞
【００１５】
図１は、本技術を適用した撮像装置の第１の実施の形態の構成例を示すブロック図である。
【００１６】
図１において、撮像装置１１は、光学装置１２、ＡＦ制御信号処理部１３、撮像素子１４、前処理部１５、露光検波信号処理部１６、露光制御信号処理部１７、出力画像信号処理部１８、画像出力部１９、および操作信号処理部２０を備えて構成される。
【００１７】
光学装置１２は、複数枚の光学レンズやＡＦ駆動部などを有しており、光学レンズにより被写体からの光を集光し、ＡＦ制御信号処理部１３による制御に従って光学レンズを駆動することで、撮像素子１４のセンサ面に被写体の像を結像させる。
【００１８】
ＡＦ制御信号処理部１３は、例えば、図示しないラインセンサの出力や撮像画像のコントラストなどに基づいて、または、後述する図７の露光位相差検波信号処理装置２２からの位相差検波情報に基づいて、被写体にピントが合うように、光学装置１２のＡＦ駆動部を制御する。
【００１９】
撮像素子１４は、複数の画素が行列状に配置されたセンサ面を有しており、画像の撮像に利用される撮像有効領域に配置された画素の受光量に応じた画素値により構築される撮像画像を前処理部１５に供給する。また、撮像素子１４のセンサ面には、通常の撮像に使用される画素の他に、撮像環境の明るさを検出することに特化した画素（以下、ＯＰＤ（Optical Photo Detector）画素と称する）が配置されている。
【００２０】
また、撮像素子１４のＯＰＤ画素には、ダイナミックレンジを広く取ることができる構成が採用される。例えば、ＯＰＤ画素としては、光量に対して対数的な画素信号を出力し、強い光を受光しても飽和しない対数画素を用いることができる。また、ＨＤＲ（High Dynamic Range）画像の撮像と同様に、感度または露光時間の異なる複数の画素を１つのＯＰＤ画素として用いることができる。なお、以下適宜、撮像素子１４のセンサ面に配置されている画素のうち、ＯＰＤ画素以外の画素を有効画素と称し、画像の構築に有効に用いられる有効画素よりも、ＯＰＤ画素の画素値が高ダイナミックレンジ（より広範囲の光量を識別可能）とされる。
【００２１】
前処理部１５は、撮像素子１４から供給される撮像画像から、ＯＰＤ画素により得られる画素値を抽出し、露光検波画素データとして露光検波信号処理部１６に供給する。また、前処理部１５は、撮像素子１４から供給される撮像画像のうち、有効画素により得られる画素値を用いて、ＯＰＤ画素の配置位置に対応する箇所の画素値を補間して求める補正処理を行う。
【００２２】
ここで、例えば、撮像素子１４では、ベイヤ配列に従って、赤色、緑色、青色のカラーフィルタが有効画素に配置されており、ＯＰＤ画素では、明るさを検出するために無色とされている。従って、前処理部１５は、ベイヤ配列に従って、ＯＰＤ画素の配置箇所に本来配置されていた色と同色であって、かつ、そのＯＰＤ画素の近隣にある複数の有効画素の画素値を線形補間することにより、ＯＰＤ画素の配置位置に対応する箇所の画素値を求める。そして、前処理部１５は、撮像画像に補正処理を施すことにより得られる補正画像を出力画像信号処理部１８に供給する。
【００２３】
露光検波信号処理部１６は、前処理部１５から供給される露光検波画素データに対して、例えば、空間方向に積分することによって検波を行い、被写体の露光状態を検出した露光検波情報を取得し、露光制御信号処理部１７に供給する。
【００２４】
露光制御信号処理部１７は、露光検波信号処理部１６から供給される露光検波情報に基づいて、被写体が適切な明るさで撮像されるような撮像素子１４の露光時間を求め、撮像素子１４に対する露光制御を行う。
【００２５】
出力画像信号処理部１８は、前処理部１５から供給される補正画像に対して、例えば、ホワイトバランス調整やガンマ補正などの各種の画像処理を施す。そして、出力画像信号処理部１８は、補正画像に画像処理を施すことにより得られる出力画像を画像出力部１９に供給する。
【００２６】
画像出力部１９は、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどの表示デバイスを有しており、出力画像信号処理部１８から供給される出力画像を表示する。また、画像出力部１９は、内蔵型または着脱可能な記録媒体により構成され、出力画像信号処理部１８から供給される出力画像を記録する。
【００２７】
操作信号処理部２０は、図示しない操作部に対してユーザが行った操作に応じた操作信号が供給され、その操作信号に基づいた処理を行う。例えば、操作信号処理部２０は、撮像装置１１の撮像モードを静止画像または動画像に設定する操作に応じて、静止画像または動画像を撮像するように撮像素子１４に対する制御を行う。また、例えば、操作信号処理部２０は、撮像装置１１の撮像モードが静止画像であるときに、シャッタ操作が行われると、その操作が行われたタイミングの静止画像を出力するように撮像素子１４に対する制御を行う。また、操作信号処理部２０は、ユーザの操作に従って、ＡＦ制御信号処理部１３および露光制御信号処理部１７において行われる処理に対する各種の設定を行う。
【００２８】
このように構成される撮像装置１１は、ＯＰＤ画素により被写体の露光状態を常に観測することができ、常に適切な露光制御を行うことができる。
【００２９】
また、例えば、従来の撮像装置において撮像画像から露光状態を測定してＡＥ制御を行う構成では、特にコントラストの高い被写体で白とび（オーバー露出）および黒潰れ（アンダー露出）などによる情報の損失が発生し、ＡＥ制御の収束に時間を要することになっていた。
【００３０】
これに対し、撮像装置１１では、ダイナミックレンジの広いＯＰＤ画素の画素値に基づいてＡＥ制御を行うことができるため、コントラストの高い被写体であっても画素値が飽和することなく、迅速に（１フレームで）最適な露光状態に調整することができる。即ち、撮像装置１１では、どのような露光状態からでも高速に適正露出となるように制御することができる。
【００３１】
次に、図２を参照して、撮像素子１４のセンサ面に配置されるＯＰＤ画素の第１の配置例について説明する。
【００３２】
図２Ａには、撮像素子１４のセンサ面が示されており、図示するように、ＯＰＤ画素３１は、センサ面においてランダムに配置することができる。
【００３３】
このようにＯＰＤ画素３１がランダムに配置された構成の撮像素子１４により撮像された撮像画像は、図２Ｂに示すように、ＯＰＤ画素３１の配置位置に従ってランダムに、ＯＰＤ画素の画素値が配置されたものとなる。そして、前処理部１５は、このような撮像画像からＯＰＤ画素の画素値を抽出することで、図２Ｃに示すような露光検波画素データを取得する。このような露光検波画素データを用いて、露光検波信号処理部１６により検波が行われ、露光制御信号処理部１７により露光制御が行われる。
【００３４】
一方、前処理部１５は、撮像画像から露光検波画素データを抽出した残りの画素値を用いて、即ち、有効画素の画素値を用いて、ＯＰＤ画素の配置位置に対応する箇所の画素値を補間する補正処理を行う。これにより、前処理部１５は、撮像素子１４の全ての画素位置における画素値から構成される補正画像を出力し、出力画像信号処理部１８により画像処理が施されて、図２Ｄに示すような出力画像が出力される。
【００３５】
このように、ＯＰＤ画素３１がランダムに配置された撮像素子１４は、例えば、周期的な模様を有する被写体に対しても、その周期性に影響を受けることなく、正確に露光制御を行うことができる。
【００３６】
次に、図３を参照して、撮像素子１４のセンサ面に配置されるＯＰＤ画素の第２の配置例について説明する。
【００３７】
図３Ａには、撮像素子１４のセンサ面が示されており、図示するように、ＯＰＤ画素３１は、センサ面において水平方向に沿って複数本のライン状に配置することができる。
【００３８】
このようにＯＰＤ画素３１がライン状に配置された構成の撮像素子１４により撮像された撮像画像は、図３Ｂに示すように、ＯＰＤ画素３１の配置に従ってライン状に、ＯＰＤ画素の画素値が配置されたものとなる。そして、前処理部１５は、このような撮像画像からＯＰＤ画素の画素値を抽出することで、図３Ｃに示すような露光検波画素データを取得する。このような露光検波画素データを用いて、露光検波信号処理部１６により検波が行われ、露光制御信号処理部１７により露光制御が行われる。
【００３９】
一方、前処理部１５は、撮像画像から露光検波画素データを抽出した残りの画素値を用いて、即ち、有効画素の画素値を用いて、ＯＰＤ画素の配置位置に対応する箇所の画素値を補間する補正処理を行う。これにより、前処理部１５は、撮像素子１４の全ての画素位置における画素値から構成される補正画像を出力し、出力画像信号処理部１８により画像処理が施されて、図３Ｄに示すような出力画像が出力される。
【００４０】
このように、ＯＰＤ画素３１がライン状に配置された撮像素子１４は、例えば、１列ごとに駆動を行うため、簡易的な駆動制御によって撮像画像を出力することができる。また、図２に示したようなランダムな配置と比較して、ライン状の配置は、構造的に容易に製造することができる。
【００４１】
なお、ＯＰＤ画素３１の配置方法については、上述したようなランダムまたはライン的な配置に限定されることなく、それら以外の様々な配置を採用することができる。
【００４２】
次に、図４のフローチャートを参照して、撮像装置１１により静止画像を撮像する処理について説明する。
【００４３】
例えば、ユーザが、図示しない操作部を操作して、撮像装置１１の撮像モードを静止画像に設定すると処理が開始される。ステップＳ１１において、操作信号処理部２０は、ユーザの操作に従って、ＯＰＤ画素３１の画素値のみを読み出すように撮像素子１４に対する制御を行い、撮像素子１４は、ＯＰＤ画素３１のみを駆動し、ＯＰＤ画素３１による撮像を行う。これにより、ＯＰＤ画素３１の画素値のみで構成される撮像画像が撮像素子１４から前処理部１５に供給される。
【００４４】
ステップＳ１２において、前処理部１５は、ステップＳ１１で撮像素子１４から供給されたＯＰＤ画素３１の画素値のみで構成される撮像画像を、露光検波画素データとして露光検波信号処理部１６に供給する。露光検波信号処理部１６は、露光検波画素データから露光検波情報を取得して、露光制御信号処理部１７に供給する。
【００４５】
ステップＳ１３において、露光制御信号処理部１７は、ステップＳ１２で露光検波信号処理部１６から供給された露光検波情報に基づいて、被写体を最適な明るさで撮像することができる撮像素子１４の露光時間を求め、撮像素子１４に対する制御を行うための露光制御値を決定する。そして、露光制御信号処理部１７は、その露光制御値に従って撮像素子１４に対する露光時間の制御を行う。
【００４６】
ステップＳ１４において、操作信号処理部２０は、ユーザによりシャッタ操作が行われたか否かを判定する。例えば、ユーザが、図示しないシャッタボタンに対する操作を行い、その操作信号が操作信号処理部２０に供給されると、操作信号処理部２０は、ユーザによりシャッタ操作が行われたと判定する。
【００４７】
ステップＳ１４において、操作信号処理部２０が、ユーザによりシャッタ操作が行われていないと判定した場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。一方、ステップＳ１４において、操作信号処理部２０が、ユーザによりシャッタ操作が行われたと判定した場合、処理はステップＳ１５に進む。
【００４８】
ステップＳ１５において、操作信号処理部２０は、有効画素の画素値を読み出すように撮像素子１４に対する制御を行い、撮像素子１４は有効画素を駆動して、有効画素による撮像を行う。このとき、撮像素子１４は、直前のステップＳ１３で決定された露光制御値に従った露光時間で、有効画素による撮像を行うことになる。
【００４９】
ステップＳ１６において、前処理部１５は、ステップＳ１８で撮像素子１４から供給された有効画素の画素値で構成される撮像画像を用いて、ＯＰＤ画素の配置位置に対応する箇所の画素値を補間する補正処理を行い、補正画像を出力画像信号処理部１８に供給する。
【００５０】
ステップＳ１７において、出力画像信号処理部１８は、ステップＳ１６で前処理部１５から供給された補正画像に対して画像処理を施した出力画像を、画像出力部１９に供給して表示または記録させる。ステップＳ１７の処理後、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００５１】
以上のように、撮像装置１１で静止画像を撮像する場合、ユーザによりシャッタ操作が行われるまで待機する待機時において、撮像素子１４のＯＰＤ画素３１の画素値のみを読み出すような駆動を行うことができ、低電力化を図ることができる。
【００５２】
即ち、従来の撮像素子では、待機時においても撮像素子の全ての画素から画素値の読み出しが行われていた。これに対し、撮像装置１１では、撮像素子１４のＯＰＤ画素３１の画素値のみを読み出すことにより、ＯＰＤ画素３１が、撮像素子１４の全画素に対する５％の割合で埋め込まれる構成では、待機時において、駆動電力の約９５％を削減することができる。さらに、撮像装置１１では、待機時において、露光検波信号処理部１６および露光制御信号処理部１７を駆動させる一方、出力画像信号処理部１８の処理を停止させることができるため、さらなる駆動電力の削減を見込むことができる。
【００５３】
次に、図５のフローチャートを参照して、撮像装置１１により動画像を撮像する処理について説明する。
【００５４】
例えば、ユーザが、図示しない操作部を操作して、撮像装置１１の撮像モードを動画像に設定すると処理が開始される。ステップＳ２１において、操作信号処理部２０は、ユーザの操作に従って、ＯＰＤ画素３１および有効画素の画素値を読み出すように撮像素子１４に対する制御を行い、撮像素子１４は、ＯＰＤ画素３１および有効画素による撮像を行う。これにより、ＯＰＤ画素３１および有効画素の画素値で構成される撮像画像が撮像素子１４から前処理部１５に供給される。
【００５５】
ステップＳ２２において、前処理部１５は、ステップＳ１１で撮像素子１４から供給されたＯＰＤ画素３１および有効画素の画素値で構成される撮像画像から、ＯＰＤ画素３１の画素値を抽出し、露光検波画素データとして露光検波信号処理部１６に供給する。
【００５６】
ステップＳ２３において、露光検波信号処理部１６は、ステップＳ２２で前処理部１５から供給される露光検波画素データから露光検波情報を取得して、露光制御信号処理部１７に供給する。
【００５７】
ステップＳ２４において、露光制御信号処理部１７は、ステップＳ２２で露光検波信号処理部１６から供給された露光検波情報に基づいて、被写体を最適な明るさで撮像することができる撮像素子１４の露光時間を求め、撮像素子１４に対する制御を行うための露光制御値を決定する。そして、露光制御信号処理部１７は、その露光制御値に従って撮像素子１４に対する露光時間の制御を行う。これにより、次の１フレームの撮像画像を撮像素子１４により撮像する際に、直前のステップＳ２４で露光制御信号処理部１７が決定した露光制御値に従った露光時間で撮像が行われる。
【００５８】
ステップＳ２５において、前処理部１５は、ＯＰＤ画素３１および有効画素の画素値で構成される撮像画像から、ＯＰＤ画素３１の画素値が抽出された残りの画素値（即ち、有効画素の画素値のみ）から構成される撮像画像を用いて、ＯＰＤ画素の配置位置に対応する箇所の画素値を補間する補正処理を行い、補正画像を出力画像信号処理部１８に供給する。
【００５９】
ステップＳ２６において、出力画像信号処理部１８は、ステップＳ２５で前処理部１５から供給された補正画像に対して画像処理を施した出力画像を、画像出力部１９に供給して表示または記録させる。ステップＳ２６の処理後、処理はステップＳ２１に戻り、以下、同様の処理が繰り返される。
【００６０】
以上のように、撮像装置１１で動画像を撮像する場合、撮像素子１４は、１フレーム前の撮像画像に基づいて決定された露光制御値に従って撮像を行うことができる。従って、撮像装置１１は、被写体の露光環境が急激に変化するような状況であっても、常に、迅速に（１フレームで）最適な露光に収束することができ、より高い即応性を備えることができる。
【００６１】
＜撮像装置の第２の実施の形態＞
【００６２】
次に、図６は、本技術を適用した撮像装置の第２の実施の形態の構成例を示すブロック図である。
【００６３】
図６に示すように、撮像装置１１Ａは、光学装置１２、ＡＦ制御信号処理部１３、撮像素子１４Ａ、前処理部１５、露光検波信号処理部１６、露光制御信号処理部１７、出力画像信号処理部１８、画像出力部１９、操作信号処理部２０、およびＡＷＢ制御信号処理装置２１を備えて構成される。ここで、撮像装置１１Ａにおいて、図１の撮像装置１１と共通の構成となるブロックについては、同一の符号を付し、その詳細な説明は省略する。
【００６４】
即ち、撮像装置１１Ａは、撮像素子１４ＡおよびＡＷＢ制御信号処理装置２１を備える点で、図１の撮像装置１１と異なる構成となっている。
【００６５】
撮像素子１４Ａは、図１の撮像素子１４と同様に、ＯＰＤ画素がランダムまたはライン状に配置されている。そして、図１の撮像素子１４のＯＰＤ画素は、明るさのみを検出することができるのに対し、撮像素子１４ＡのＯＰＤ画素は、色情報を有する明るさを検出することができる。つまり、撮像素子１４Ａは、所定の色（例えば、赤色、青色、緑色、または赤外の波長域）の光を透過するカラーフィルタがＯＰＤ画素に積層されて構成され、それぞれの色ごとの明るさを、ＯＰＤ画素の画素値とした撮像画像を出力することができる。
【００６６】
前処理部１５は、撮像素子１４から供給される撮像画像から、ＯＰＤ画素の画素値を抽出し、色別検波画素データとして露光検波信号処理部１６に供給する。
【００６７】
露光検波信号処理部１６は、前処理部１５から供給される色別検波画素データに対して色ごとに検波を行い、色検波情報をＡＷＢ制御信号処理装置２１に供給する。また、露光検波信号処理部１６は、色ごとのバランスを取った割合（例えば、赤色：青色：緑色＝６：３：１）で色別検波画素データに対する検波を行って得られる露光検波情報を露光制御信号処理部１７に供給する。
【００６８】
ＡＷＢ制御信号処理装置２１は、露光検波信号処理部１６から供給される色検波情報に基づいて、被写体の色味が正確に再現されるようなホワイトバランスを求め、出力画像信号処理部１８に対するホワイトバランス制御を行う。
【００６９】
出力画像信号処理部１８は、ＡＷＢ制御信号処理装置２１の制御に従い、前処理部１５から供給される補正画像に対してホワイトバランスを調整する画像処理を行って、出力画像を画像出力部１９に供給する。
【００７０】
このように構成される撮像装置１１Ａでは、ＯＰＤ画素の画素値に基づいて露光制御を行うのに加えて、ＡＷＢ制御も同時に実現することができる。なお、撮像装置１１Ａでは、カラーフィルタが積層されているＯＰＤ画素の画素値が色情報を有することより、前処理部１５が、所定のＯＰＤ画素の画素値を周辺の有効画素の画素値から補間する補正処理を行う際に、そのＯＰＤ画素自身の画素値も使用することができる。
【００７１】
＜撮像装置の第３の実施の形態＞
【００７２】
次に、図７は、本技術を適用した撮像装置の第３の実施の形態の構成例を示すブロック図である。
【００７３】
図７に示すように、撮像装置１１Ｂは、光学装置１２、ＡＦ制御信号処理部１３、撮像素子１４Ｂ、前処理部１５、露光制御信号処理部１７、出力画像信号処理部１８、画像出力部１９、操作信号処理部２０、および露光位相差検波信号処理装置２２を備えて構成される。ここで、撮像装置１１Ｂにおいて、図１の撮像装置１１と共通の構成となるブロックについては、同一の符号を付し、その詳細な説明は省略する。
【００７４】
即ち、撮像装置１１Ｂは、撮像素子１４Ｂおよび露光位相差検波信号処理装置２２を備える点で、図１の撮像装置１１と異なる構成となっている。
【００７５】
撮像素子１４Ｂでは、ＯＰＤ画素が、撮像面における位相差を検出するように、被写体からの光を受光する受光部が分割されて構成されている。従って、ＯＰＤ画素から出力される画素値は、分割された受光部それぞれの受光量に応じたものとなり、それらの受光部からの出力差に基づいて、撮像素子１４Ｂの像面における位相差が求められる。
【００７６】
このようなＯＰＤ画素から出力される画素値が、位相差付き露光検波画素データとして露光位相差検波信号処理装置２２に供給される。そして、露光位相差検波信号処理装置２２は、ＯＰＤ画素の受光部それぞれの画素値の差分に基づいて、撮像素子１４Ｂの像面における位相差を求め、ＡＦ制御信号処理部１３に対して位相差検波情報を供給する。
【００７７】
これにより、ＡＦ制御信号処理部１３は、位相差検波情報に基づいて、撮像素子１４Ｂに対するＡＦ制御を行うことができる。
【００７８】
このように構成される撮像装置１１Ｂでは、ＯＰＤ画素の画素値に基づいて露光制御を行うのに加えて、ＡＦ制御も同時に実現することができる。
【００７９】
＜撮像装置の第４の実施の形態＞
【００８０】
次に、図８は、本技術を適用した撮像装置の第４の実施の形態の構成例を示すブロック図である。
【００８１】
図８に示すように、撮像装置１１Ｃは、光学装置１２、ＡＦ制御信号処理部１３、撮像素子１４Ｃ、前処理部１５、露光制御信号処理部１７、出力画像信号処理部１８、画像出力部１９、操作信号処理部２０、ＡＷＢ制御信号処理装置２１、および露光位相差検波信号処理装置２２を備えて構成される。ここで、撮像装置１１Ｃにおいて、図１の撮像装置１１と共通の構成となるブロックについては、同一の符号を付し、その詳細な説明は省略する。
【００８２】
即ち、撮像装置１１Ｃは、図６のＡＷＢ制御信号処理装置２１および図７の露光位相差検波信号処理装置２２を備えて構成される。また、撮像装置１１Ｃの撮像素子１４Ｃは、図６の撮像素子１４Ａと同様に、赤色、青色、または緑色のカラーフィルタがＯＰＤ画素に積層されて構成されるとともに、図７の撮像素子１４Ｂと同様に、像面位相差検出を行うことができるように構成されている。
【００８３】
つまり、撮像装置１１Ｃは、図６の撮像装置１１Ａおよび図７の撮像装置１１Ｂの両方の機能を備えて構成され、上述したようなＡＥ制御、ＡＷＢ制御、およびＡＦ制御を全て同時に実現することができる。
【００８４】
なお、本実施の形態の撮像装置１１において、拡張ダイナミックレンジ撮像のような特殊な露光形態を実装する際に、ＯＰＤ画素の画素値が飽和しないという特性を利用して、各露光状態を適切に制御することができる。これにより、撮像装置１１では、拡張ダイナミックレンジ撮像における視認性および階調感を最適にする調整を容易に行うことができる。
【００８５】
また、撮像装置１１におけるＡＥ制御、ＡＷＢ制御、およびＡＦ制御は、ファームウェアなどの制御機構により実現することができ、撮像素子１４の特性に応じた制御を容易に実現することができる。
【００８６】
＜イメージセンサの使用例＞
【００８７】
図９は、イメージセンサ（撮像装置１１が備える撮像素子１４）を使用する使用例を示す図である。
【００８８】
上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
【００８９】
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【００９０】
なお、本技術は以下のような構成も取ることができる。
（１）
被写体の明るさの検出に用いられる画素値を出力する露光検出画素、および、画像の構築に有効な画素値を出力する有効画素が、前記画像の撮像に利用される撮像有効領域に配置された撮像素子と、
前記露光検出画素から出力される画素値に基づいて、前記撮像素子の露光を制御する露光制御部と
を備え、
前記露光検出画素の画素値が、前記有効画素の画素値よりも高ダイナミックレンジである
撮像装置。
（２）
前記撮像素子に前記露光検出画素が配置されている箇所において前記画像を構築するための画素値を、前記露光検出画素の近傍にある前記有効画素の画素値から補間して求める補正処理を行う補正処理部
をさらに備える上記（１）に記載の撮像装置。
（３）
前記撮像素子は、静止画像を撮像する撮像モードであるとき、静止画像の撮像を指示するシャッタ操作が行われるまで待機する待機時において、前記露光検出画素のみから画素値の読み出しを行う
上記（１）または（２）に記載の撮像装置。
（４）
前記撮像素子は、動画像を撮像する撮像モードであるとき、１フレーム前の前記露光検出画素の画素値に基づいた露光で撮像を行う
上記（１）から（３）までのいずれかに記載の撮像装置。
（５）
前記撮像素子は、所定の波長域の光を透過するカラーフィルタを前記露光検出画素に積層して構成されており、
前記波長域ごとの前記露光検出画素の画素値を検波して得られる色検波情報を出力する色別検波部と、
前記色検波情報に基づいて、前記補正処理部により前記補正処理が施された画像に対するホワイトバランスを調整する画像処理を行う画像処理部と
をさらに備える上記（２）から（４）までのいずれかに記載の撮像装置。
（６）
前記補正処理部は、前記補正処理を行う際に、前記カラーフィルタが積層されている前記露光検出画素自身の画素値も使用する
上記（５）に記載の撮像装置。
（７）
前記露光検出画素は、前記露光検出画素および前記有効画素が配置される前記撮像素子の撮像面における位相差を検出するように、被写体からの光を受光する受光部が分割されて構成されており、
前記露光検出画素の分割された前記受光部からの出力差に基づいて、前記撮像素子の撮像面における位相差を検出する像面位相差検出部と、
前記撮像素子の撮像面における位相差に従って、前記被写体の像を前記撮像素子に結像する光学系を駆動して焦点制御を行う焦点制御部と
をさらに備える
上記（１）から（６）までのいずれかに記載の撮像装置。
（８）
被写体の明るさの検出に用いられる画素値を出力する露光検出画素、および、画像の構築に有効な画素値を出力する有効画素が、前記画像の撮像に利用される撮像有効領域に配置され、前記露光検出画素の画素値が、前記有効画素の画素値よりも高ダイナミックレンジである撮像素子を備える撮像装置の撮像方法であって、
前記露光検出画素から出力される画素値に基づいて、前記撮像素子の露光を制御するステップを含む
撮像方法。
【００９１】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９２】
１１  撮像装置，  １２  光学装置，  １３  ＡＦ制御信号処理部，  １４  撮像素子，  １５  前処理部，  １６  露光検波信号処理部，  １７  露光制御信号処理部，  １８  出力画像信号処理部，  １９  画像出力部，  ２０  操作信号処理部，  ２１  ＡＷＢ制御信号処理装置，  ２２  露光位相差検波信号処理装置，  ３１  ＯＰＤ画素３１
【図１】
2017011513.tif 000003
【図２】
2017011513.tif 000004
【図３】
2017011513.tif 000005
【図４】
2017011513.tif 000006
【図５】
2017011513.tif 000007
【図６】
2017011513.tif 000008
【図７】
2017011513.tif 000009
【図８】
2017011513.tif 000010
【図９】
2017011513.tif 000011