(57)【要約】  撮像部１３では、入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とする。偏光素子１１は、撮像部１３の入射面側に設けられて、直線偏光を撮像部１３に入射する。感度検出部の動作を行う例えば制御部２０では、撮像部１３における偏光画素の偏光方向毎の感度を検出するする。画像信号処理部１４は、感度検出部で検出された偏光方向毎の感度に基づき偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成を行うことで、動きぼけを生じにくい広ダイナミックレンジな撮像画を生成できる。
2018034209.tif 000002
【特許請求の範囲】
【請求項１】
入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部と、
前記撮像部の入射面側に設けた偏光素子と
を有する撮像装置。
【請求項２】
前記撮像部における前記偏光画素の偏光方向毎の感度を検出する感度検出部と、
前記感度検出部で検出された感度に基づき前記偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成を行う画像信号処理部をさらに備える
請求項１に記載の撮像装置。
【請求項３】
前記画像信号処理部は、前記感度が等しい偏光画素を用いて感度毎に撮像画の画像信号を生成して、前記感度検出部で検出された感度に基づき前記感度毎の撮像画の画像信号に対する利得調整を行い、利得調整後の画像信号を用いて前記感度毎の撮像画の画像合成を行う
請求項２に記載の撮像装置。
【請求項４】
前記画像信号処理部は、前記画像合成において、前記偏光画素で飽和を生じる場合に、前記飽和を生じる偏光画素を用いて生成した撮像画の画像信号から、前記飽和を生じる偏光画素よりも感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える
請求項３に記載の撮像装置。
【請求項５】
前記画像信号処理部は、前記飽和を生じる偏光画素を用いて生成した撮像画の画像信号と前記感度の低い偏光画素を用いて生成した撮像画の画像信号の合成比を、前記入射光に応じて制御して、前記飽和を生じる偏光画素を用いて生成した撮像画の画像信号から、前記感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える
請求項４に記載の撮像装置。
【請求項６】
前記感度検出部は、前記偏光素子の取付角度に基づき前記偏光方向毎の感度を検出する
請求項２に記載の撮像装置。
【請求項７】
前記感度検出部は、前記偏光方向が異なる偏光画素で生成された画素信号に基づき前記偏光方向毎の感度を検出する
請求項２に記載の撮像装置。
【請求項８】
前記画像信号処理部は、前記偏光素子が取り付けられている場合に前記利得調整と前記画像合成を行う
請求項２に記載の撮像装置。
【請求項９】
前記撮像部において異なる偏光方向の前記偏光画素間で感度差を生じるように、前記撮像部に対する前記偏光素子の取付角度を設定する
請求項１に記載の撮像装置。
【請求項１０】
前記偏光素子は、前記撮像部に入射される入射光の光軸方向を軸として回転可能とする請求項１記載の撮像装置。
【請求項１１】
前記偏光素子は直線偏光を生成する
請求項１に記載の撮像装置。
【請求項１２】
入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部に、偏光素子を介した入射光を入射したときの前記偏光画素の偏光方向毎の感度を感度検出部で検出することと、
前記感度検出部で検出された感度に基づき前記偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像信号処理部で画像合成を行うこと
を含む撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、撮像装置と撮像方法に関し、動きぼけを生じにくい広ダイナミックレンジの撮像を行うことができるようにする。
【背景技術】
【０００２】
撮像装置ではＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサのような固体撮像素子が用いられている。このような固体撮像素子では入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。このため、例えば特許文献１では、複数の異なる露光時間の画像を合成して広ダイナミックレンジ画像を生成することが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２４４３０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、被写体や撮像装置が動きを生じると露光時間が長くなるに伴い撮像画では動きぼけが顕著となる。したがって、複数の異なる露光時間の画像を合成した広ダイナミックレンジ画像では動きぼけを生じやすくなる。【０００５】
そこで、この技術では、動きぼけを生じにくい広ダイナミックレンジの撮像を行うことができ、同時に、撮影する画像のダイナミックレンジを可変とし、また、ダイナミックレンジの拡大が必要ない場合には偏光撮影を行うことができる、撮像装置と撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は
入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部と、
前記撮像部の入射面側に設けた偏光素子と
を有する撮像装置にある。【０００７】
この技術では、入射光に基づいて画素信号を生成する撮像部の複数の画素が、複数偏光方向の何れかの偏光方向である偏光画素とされており、撮像部の入射面側に偏光素子が着脱可能または回転可能に設けられている。偏光素子は、直線偏光を生成して、撮像部において異なる偏光方向の偏光画素間で感度差を生じるように、撮像部に対する偏光素子の取付角度が設定されている。【０００８】
また、撮像装置には感度検出部と画像信号処理部が設けられて、感度検出部では、撮像部における偏光画素の偏光方向毎の感度を検出する。例えば、感度検出部は、偏光素子の取付角度に基づき、または偏光方向が異なる偏光画素で生成された画素信号に基づき、偏光方向毎の感度を検出する。画像信号処理部では、偏光素子が取り付けられている場合、感度検出部で検出された感度に基づき例えば感度が等しい偏光画素を用いて感度毎に撮像画の画像信号を生成して、感度検出部で検出された感度に基づき感度毎の撮像画の画像信号に対する利得調整を行い、利得調整後の画像信号を用いて感度毎の撮像画の画像合成を行う。画像合成では、偏光画素で飽和を生じる場合に、飽和を生じる偏光画素を用いて生成した撮像画の画像信号から、飽和を生じる偏光画素よりも感度の低い偏光画素を用いて生成した撮像画の画像信号への切り替えを行う。例えば画像信号処理部は、飽和を生じる偏光画素を用いて生成した撮像画の画像信号と感度の低い偏光画素を用いて生成した撮像画の画像信号の合成比を、入射光に応じて制御して、飽和を生じる偏光画素を用いて生成した撮像画の画像信号から、感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える。【０００９】
この技術の第２の側面は、
入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部に、偏光素子を介した入射光を入射したときの前記偏光画素の偏光方向毎の感度を感度検出部で検出することと、
前記感度検出部で検出された感度に基づき前記偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像信号処理部で画像合成を行うこと
を含む撮像方法にある。
【発明の効果】
【００１０】
この技術によれば、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部に対して、偏光素子を介した入射光が入射される。このため、偏光画素は入射光の偏光方向に応じた感度となって、広ダイナミックレンジの撮像を行えるようになり、偏光画素の感度に基づき利得調整を行い、利得調整後の画像信号を用いた画像合成によって、動きぼけを生じにくい広ダイナミックレンジな撮像画を生成できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１１】
【図１】撮像装置の構成を例示した図である。
【図２】撮像部の構成を例示した図である。
【図３】撮像装置の動作を示すフローチャートである。
【図４】撮像設定処理を示すフローチャートである。
【図５】割り込み処理を示すフローチャートである。
【図６】入射光と偏光素子を透過した直線偏光および撮像部の関係を示す図である。
【図７】偏光素子の回転角と撮像部における偏光画素の感度の関係を例示した図である。
【図８】偏光素子の回転角が例えば「θ＝２２．５°」である場合を示した図である。
【図９】利得調整と画像合成を説明するための図である。
【図１０】入射光と合成比の関係を例示した図である。
【図１１】撮像部の具体例を示した図である。
【図１２】画像信号処理部の動作例を示した図である。
【図１３】偏光素子の偏光方向を回転できる撮像装置の構成を例示した図である。
【図１４】偏光素子の回転角が「０°」よりも大きく「２２．５°」よりも小さい場合を示した図である。
【図１５】利得調整と画像合成を説明するための図である。
【図１６】撮像部の他の構成を例示した図である。
【図１７】偏光画素の偏光方向が２方向である場合を示した図である。
【図１８】車両制御システムの概略的な構成の一例を示すブロック図である。
【図１９】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．撮像装置の動作
２−１．広ダイナミックレンジ撮像モードの第１の撮像動作
２−２．広ダイナミックレンジ撮像モードの第２の撮像動作
３．撮像装置の他の構成
４．応用例
【００１３】
＜１．撮像装置の構成＞
図１は、撮像装置の構成を例示している。撮像装置１０は、偏光素子１１、レンズ系ブロック１２、撮像部１３、画像信号処理部１４、表示部１５、画像保存部１６、ユーザインタフェース部１７、着脱検出部１８、制御部２０を有している。
【００１４】
偏光素子１１は、直線偏光を生成する偏光素子、例えばワイヤーグリッド等を用いて構成された偏光フィルタ等の直線偏光素子である。また、偏光素子１１は、直線偏光の偏光方向を変更できるように、例えば撮像部１３に入射される入射光の光軸方向を回転軸として回転可能に構成されていてもよい。
【００１５】
レンズ系ブロック１２は、フォーカスレンズやズームレンズ、絞り機構等を有している。また、レンズ系ブロック１２には、制御部２０からの指示に基づきレンズや絞り機構を駆動する駆動部を有している。レンズ系ブロック１２は、制御部２０からの指示に基づきフォーカスレンズやズームレンズの位置を制御して、被写体光学像を撮像部１３の露光面に結像させる。レンズ系ブロック１２は、制御部２０からの指示に基づき絞りの開度を制御して被写体光の光量を調整する。なお、フォーカスレンズやズームレンズおよび絞りの位置は、ユーザ操作に応じて機械的に移動可能とされていてもよい。
【００１６】
撮像部１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）イメージセンサ等を用いて構成されている。
また、撮像部１３は、イメージセンサの入射面に複数の偏光方向の画素構成である偏光フィルタを設けて、入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした構成とされている。図２は撮像部の構成を例示している。撮像部１３は、イメージセンサ１３１の入射面に偏光フィルタ１３２を配置した構成とされており、文献「特開２０１５−１１４３０７号公報」で開示されているように偏光画像から法線情報を取得する場合には、３方向以上の偏光方向の画素構成とされた偏光フィルタが用いられる。図２では、各画素が異なる４種類の偏光方向、例えば偏光方向が「０°，４５°，９０°，１３５°（偏光方向を矢印で示す）」の何れかの画素となる偏光フィルタ１３２をイメージセンサ１３１の入射面に配置した場合を例示している。撮像部１３は、生成した偏光画像の画像信号を画像信号処理部１４へ出力する。なお、偏光方向が「０°」の画素を偏光画素Ｃ１、偏光方向が「４５°」の画素を偏光画素Ｃ２、偏光方向が「９０°」の画素を偏光画素Ｃ３、偏光方向が「１３５°」の画素を偏光画素Ｃ４とする。
【００１７】
画像信号処理部１４は、撮像部１３から出力された画像信号に対して、ノイズ除去処理、ゲイン調整処理、欠陥画素補正処理、デモザイク処理、色調整処理、解像度変換処理などの各種の画像処理を行う。また、画像信号処理部１４は、偏光素子１１が取り付けられている場合に、撮像部１３の偏光画素の感度に応じて偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成を行う。撮像部１３の偏光画素の感度とは、偏光素子１１を介して被写体光を撮像部に入射したときの偏光画素の感度であり、偏光素子１１の偏光方向と撮像部１３における偏光画素の偏光方向の関係に応じて変化する。画像信号処理部１４は、処理後の画像信号を表示部１５と画像保存部１６に出力する。なお、画像信号処理部１４は、制御部２０からの制御のもと、撮像装置１０の設定操作や設定状態の確認等を行うためのメニュー表示や撮像時における設定状態等に関する情報表示を行う表示信号を画像信号に重畳して表示部１５等に出力する。また、画像信号処理部１４は、感度検出部の動作を行う場合、撮像部１３から供給された画像信号に基づき、撮像部における偏光画素の偏光方向毎の感度を検出する。例えば、画像信号処理部１４は、画素飽和を生じない明るさの被写体を撮像したときの偏光方向毎の信号強度から感度を検出する。
【００１８】
表示部１５は、液晶ディスプレイや、有機ＥＬ（ＥＬ：Electro luminescence）ディスプレイなどにより構成される。表示部１５は、その画面上に撮像画や各種情報を表示させる。例えば、表示部１５は、画像信号処理部１４から出力された画像データに基づき、画面上にスルー画を表示する。また、表示部１５は、画像保存部１６に記録された画像が画像信号処理部１４で再生されたとき再生画像を画面上に表示する。さらに、表示部１５は、メニュー表示や情報表示を行う。
【００１９】
画像保存部１６は、画像信号処理部１４から出力された画像データや、その画像データに関連するメタデータ（例えば、その画像データが取得された日時等）を記憶する。画像保存部１６は、例えば、半導体メモリ、光ディスク、ＨＤ（hard Disc）などにより構成される。画像保存部１６は、撮像装置１０の内部に固定して設けられてもよく、撮像装置１０に対して着脱可能に設けられてもよい。
【００２０】
ユーザインタフェース部１７はシャッターボタンや操作スイッチ、タッチパネル等で構成されている。ユーザインタフェース部１７は、シャッターボタン、種々の操作スイッチ、タッチパネル等に対するユーザ操作に応じた操作信号を生成して制御部２０へ出力する。
【００２１】
また、偏光素子１１が撮像装置１０に対して着脱可能とされている場合、偏光素子１１が撮像装置１０に取り付けられているか否かを検出する着脱検出部１８が設けられている。着脱検出部１８はスイッチやセンサ等を用いて構成されており、偏光素子１１が撮像装置１０に取り付けられているか否かを示す検出信号を生成して制御部２０へ出力する。
【００２２】
制御部２０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read  Only  Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random  Access  Memory）は、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザインタフェース部１７からの操作信号に基づき、ユーザ操作に応じた動作モードで撮像動作が撮像装置１０で行われるように各部を制御する。
【００２３】
また、制御部２０は、着脱検出部１８からの検出信号に基づき、偏光素子１１が撮像装置１０に取り付けられていることを判別した場合、撮像モードを広ダイナミックレンジ撮像モードと判定する。制御部２０は、感度検出部としての動作を行う場合、撮像モードを広ダイナミックレンジ撮像モードに設定したときは、撮像部における偏光画素の偏光方向毎の感度を、例えば偏光素子の取付角度に基づき検出する。また、制御部２０は検出した感度を画像信号処理部１４に通知して、上述のように画像信号処理部１４で利得調整や画像合成を行い、広ダイナミックレンジの撮像画の画像信号を生成させる。また、制御部２０は、着脱検出部１８からの検出信号に基づき、偏光素子１１が撮像装置１０から取り外されていることを判別した場合、撮像モードを偏光撮像モードと判定する。制御部２０は、偏光撮像モードと判定した場合、画像信号処理部１４を制御して、感度比に応じた利得調整や利得調整後の画素信号の合成処理を行うことなく撮像画の画像信号を生成させる。
【００２４】
＜２．撮像装置の動作＞
次に撮像装置の動作について説明する。図３は撮像装置の動作を示すフローチャートである。ステップＳＴ１で制御部は撮像設定処理を行う。図４は撮像設定処理を示すフローチャートである。
【００２５】
ステップＳＴ１１で制御部は偏光素子状態検出処理を行う。制御部２０は着脱検出部１８からの検出信号に基づき偏光素子１１の着脱状態を検出してステップＳＴ１２に進む。
【００２６】
ステップＳＴ１２で制御部は撮像モードを広ダイナミックレンジ撮像モードとするか判別する。制御部２０は、ステップＳＴ１１で偏光素子１１が取り付けられていることを検出した場合、撮像モードを広ダイナミックレンジ撮像モードに設定してステップＳＴ１３に進む。また、制御部２０は、偏光素子１１が取り外されていることを検出した場合、撮像モードを偏光撮像モードに設定してステップＳＴ１５に進む。
【００２７】
ステップＳＴ１３で制御部は画素グループ毎に感度を算出する。制御部２０は、撮像部１３における偏光方向が等しい偏光画像の画素グループ毎に感度を検出してステップＳＴ１４に進む。
【００２８】
ステップＳＴ１４で制御部は広ダイナミックレンジ撮像モード設定処理を行う。制御部２０は、被写体の輝度に応じて撮像部１３の露光時間等の設定を行う。また、制御部２０は、ステップＳＴ１３で算出した感度を用いた利得制御と、利得調整後の画像信号を用いた画像合成を行い、広ダイナックレンジ画像を生成するように画像信号処理部１４の動作を設定する。なお、制御部２０は、画像信号処理部１４でノイズ除去処理や欠陥画素補正処理、デモザイク処理、色調整処理、解像度変換処理などの各種の画像処理も合わせて行うようにして図３のステップＳＴ２に進む。
【００２９】
ステップＳＴ１２からステップＳＴ１５に進むと、制御部は偏光撮像モード設定処理を行う。制御部２０は、被写体の輝度に応じて露光時間等の設定を行う。なお、制御部２０は、画像信号処理部１４でノイズ除去処理や欠陥画素補正処理、デモザイク処理、色調整処理、解像度変換処理などの各種の画像処理も合わせて行うようにして図３のステップＳＴ２に進む。
【００３０】
ステップＳＴ２で制御部はスルー画表示処理を行う。制御部２０はステップＳＴ１の撮像設定に基づき撮像部１３を制御して画像信号を生成させて表示部１５でスルー画の表示を行いステップＳＴ３に進む。
【００３１】
ステップＳＴ３で制御部は撮像終了であるか判別する。制御部２０は、撮像装置の動作モードが被写体を撮像して記録画を保存する動作モードから他の動作モードに切り替えられていない場合、および撮像装置の動作を終了する終了操作が行われていない場合は撮像終了でないと判別してステップＳＴ１に戻る。また、制御部２０は、他の動作モードへの切替操作や終了操作が行われた場合動作を終了する。
【００３２】
制御部は、図３に示すステップＳＴ１からステップＳＴ３までの処理中にシャッター操作が行われた場合、図５に示す割り込み処理を行う。ステップＳＴ２１で制御部は記録画生成処理を行う。制御部２０は、撮像モードが広ダイナミックレンジ撮像モードである場合、広ダイナミックレンジ撮像モード設定処理の撮像設定で撮像部１３と画像信号処理部１４を動作させて広ダイナミックレンジ画像の画像信号を生成する。また、制御部２０は、撮像モードが偏光撮像モードである場合、偏光撮像モード設定処理の撮像設定で撮像部１３を駆動して偏光撮像画の画像信号を生成する。制御部２０は、広ダイナミックレンジ画像または偏光画像の画像信号を生成してステップＳＴ２２に進む。なお、広ダイナミックレンジ撮像モードの撮像動作については後述する。
【００３３】
ステップＳＴ２２で制御部は画像保存処理を行う。制御部２０はステップＳＴ２１で生成した画像信号を画像信号処理部１４へ出力して種々の処理を行い、処理後の画像信号を画像保存部１６に記憶させて割り込み処理を終了する。
【００３４】
＜２−１．広ダイナミックレンジ撮像モードの第１の撮像動作＞
次に撮像装置における広ダイナミックレンジ撮像モードの第１の撮像動作について説明する。撮像装置は、偏光素子が撮像装置に装着されている場合、広ダイナミックレンジ撮像モードであると判別して、広ダイナミックレンジ画像の画像信号を生成する。
【００３５】
図６は、入射光と偏光素子を透過した直線偏光および撮像部の関係を示している。偏光素子１１に入射光ＬＡが入射されると、偏光素子１１は直線偏光ＬＢを透過して撮像部１３に入射する。また、撮像部１３に入射される入射光の光軸方向を回転軸として偏光素子１１を回転すると、直線偏光ＬＢの偏光方向が変化する。偏光素子１１の回転角（あるいは撮像部に偏光素子を取り付けたときの取付角度）θが、例えば図６の（ａ）に示すように「θ＝０°」である場合、直線偏光ＬＢと撮像部１３における偏光画素Ｃ１と偏光方向が等しくなる。また、図６の（ｂ）に示すように偏光素子１１の回転角θが「θ＝４５°」である場合、直線偏光ＬＢと撮像部１３における偏光画素Ｃ２と偏光方向が等しくなる。また、図６の（ｃ）に示すように偏光素子１１の回転角θが「θ＝９０°」である場合、直線偏光ＬＢと撮像部１３における偏光画素Ｃ３と偏光方向が等しくなる。また、図示せずも、偏光素子１１の角度θが「θ＝１３５°」である場合、直線偏光ＬＢと撮像部１３における偏光画素Ｃ３と偏光方向が等しくなる。
【００３６】
図７は、偏光素子の回転角と撮像部における偏光画素の感度の関係を例示している。偏光素子１１は、図６に示すように、撮像部１３に入射される入射光の光軸方向を回転軸として回転可能に構成されている。ここで、偏光素子を回転して偏光方向を変化させた場合、撮像部１３における偏光画素の感度は、撮像素子の回転角に応じて変化する。
【００３７】
例えば、偏光方向が「０°」とされている偏光画素Ｃ１の感度は、偏光素子１１の回転角θが「θ＝０°」である場合に最大（例えば０．５）となる。その後、偏光画素Ｃ１の感度は、偏光素子１１の偏光方向の回転と共に減少して偏光素子１１の回転角θが「θ＝９０°」である場合に最小（例えば０）となる。さらに、偏光素子１１の偏光方向が回転させると、回転と共に感度が増加して、偏光素子１１の回転角θが「θ＝１８０°」である場合に最大（例えば０．５）となる。
【００３８】
同様に、偏光方向が「４５°」とされている偏光画素Ｃ２の感度は、偏光素子１１の回転角θが「θ＝４５°」である場合に最大（例えば０．５）となる。その後、偏光画素Ｃ２の感度は、偏光素子１１の偏光方向の回転と共に減少して偏光素子１１の偏光方向が「１３５°」である場合に最小（例えば０）となる。さらに、偏光素子１１の偏光方向が回転させると、回転と共に感度が増加する。また、偏光方向が「９０°」とされている偏光画素Ｃ３および偏光方向が「１３５°」とされている偏光画素Ｃ４の感度も同様に、偏光素子１１の回転角に応じて感度が変化する。
【００３９】
ここで、図８に示すように、偏光素子１１の回転角θが例えば「θ＝２２．５°」である場合、偏光画素Ｃ１，Ｃ２は感度が高く、偏光画素Ｃ３，Ｃ４は偏光画素Ｃ１，Ｃ２に比べて感度が低くなる。すなわち感度の異なる画素信号を同時に生成できる。したがって、偏光素子１１は、感度の異なる画素信号を同時に生成できる角度で着脱可能に構成する。制御部２０は、着脱検出部１８の検出結果に基づき偏光画像の感度を検出する。例えば偏光素子１１の回転角θが「θ＝２２．５°」で着脱可能である場合、予め偏光素子１１の回転角θが「θ＝２２．５°」であるときの偏光画素Ｃ１，Ｃ２の感度と偏光画素Ｃ３，Ｃ４の感度を算出しておき、偏光素子１１が取り付けらたことを検出した場合は、算出されている感度を用いることで、偏光画素の感度を検出する。
【００４０】
また、制御部２０は、高感度と低感度の偏光画素の感度比に基づき、低感度の偏光画素の利得を設定して画像信号処理部１４へ出力する。例えば、偏光画素Ｃ１，Ｃ２が感度「ＳＥａ」、偏光画素Ｃ３，Ｃ４が感度「ＳＥｂ」である場合、感度比「ＳＥａ／ＳＥｂ」を低感度の偏光画素Ｃ３，Ｃ４の利得ＧＡabとして設定して、画像信号処理部１４へ出力する。なお、感度や感度比の算出や利得の設定は画像信号処理部１４で行ってもよい。例えば、所定の明るさの被写体を撮像したときの偏光画素の画素信号に基づき、偏光方向毎の感度や高感度と低感度の偏光画素の感度比の算出、および算出した感度比に基づき利得の設定を行ってもよい。
【００４１】
画像信号処理部１４は、設定された利得を用いて利得調整を行い、利得調整後に画像合成を行う。図９は、利得調整と画像合成を説明するための図である。図９の（ａ）は入射光に対する偏光画素の信号強度を例示している。例えば高感度の偏光画素Ｃ１，Ｃ２では入射光が輝度ＬＲ１となる場合に信号強度ＩＭsatで飽和する。また、低感度の偏光画素Ｃ３，Ｃ４では入射光が輝度ＬＲ１よりも高い輝度ＬＲ２となる場合に信号強度ＩＭsatで飽和する。画像信号処理部１４は偏光画素Ｃ１，Ｃ２で飽和を生じる場合、図９の（ｂ）に示すように、感度に応じた利得ＧＡabで偏光画素Ｃ３，Ｃ４の画素信号を増幅して画像合成を行うことで、入射光が輝度ＬＲ１を超えて高くなっても飽和を生じていない広ダイナミックレンジの画像信号を生成できる。なお、入射光が輝度ＬＲ１以上となったか否かの判別は、撮像部１３からの画像信号の信号レベルに基づき判別できる。
【００４２】
また、画像信号処理部１４は、画像合成において、偏光画素Ｃ１，Ｃ２に基づく画像から偏光画素Ｃ３，Ｃ４の利得調整後の画像への切替が目立たないように合成比を入射光（撮像部１３からの画像信号の信号レベル）に応じて設定してもよい。図１０は、入射光と合成比の関係を例示している。画像信号処理部１４は、偏光画素Ｃ１，Ｃ２が飽和を生じる輝度ＬＲ１となる前に合成比の調整を行い、飽和を生じる輝度ＬＲ１であるときは、偏光画素Ｃ１，Ｃ２に基づく画像から偏光画素Ｃ３，Ｃ４の利得調整後の画像への切替が完了するように合成比を設定する。
【００４３】
図１１は撮像部の具体例を示している。撮像部１３は、２×２画素を色単位として色配列をベイヤー配列としたモザイクカラーフィルタと、２×２画素の色単位を４つの偏光方向の画素とする偏光フィルタ１３２を撮像部の入射面側に設けた構成とされている。ここで、上述のように偏光素子１１の回転角が「θ＝２２．５°」と設定されている場合、偏光画素Ｃ１，Ｃ２が高感度画素、偏光画素Ｃ３，Ｃ４が低感度画素となる。
【００４４】
図１２は画像信号処理部の動作例を示している。画像信号処理部１４は、図１２の（ａ）に示す撮像部から図１２の（ｂ）に示す高感度の画素グループと図１２の（ｃ）に示す低感度の画素グループに分割する。画像信号処理部１４は高感度の偏光画素の画素信号を用いて画素補間およびデモザイク処理を行い、図１２の（ｄ）に示すように色成分毎の高感度画像信号を生成する。また、画像信号処理部１４は低感度の偏光画素の画素信号を用いて画素補間およびデモザイク処理を行い、図１２の（ｅ）に示すように色成分毎の低感度画像信号を生成する。さらに画像信号処理部１４は、高感度画像の画素毎に画像信号が飽和を生じるか判別する。画像信号処理部１４は、高感度画像の画像信号が飽和する場合には、感度比に応じた利得で増幅した低感度画像における対応画素位置の画像信号を用いて入射光（高感度画像の画像信号）に応じた合成比で画像合成を行い、図１２の（ｆ）に示す広ダイナミックレンジである色成分毎の画像信号を生成する。
【００４５】
また、上述の動作では偏光素子を「２２．５°」で取り付けた場合を説明したが、この角度から「４５°」毎に回転した位置を偏光素子の取付角度とする構成でもよい。この場合、偏光方向が４方向である偏光画素について高感度画素と低感度画素の組み合わせは異なるものの、上述の場合と同様にして、広ダイナミックレンジ画像の色成分毎の画像信号を生成できる。
【００４６】
撮像装置１０では、このような処理を行うことで、露光時間の異なる複数の画像を用いることなく広ダイナミックレンジ画像を生成できる。また、等しい露光時間で同時に感度の異なる撮像画を生成できることから、動きを生じた暗い被写体を撮像する場合でも動きによるぼけのない広ダイナミックレンジ画像を生成できるようになる。
【００４７】
＜２−２．広ダイナミックレンジ撮像モードの第２の撮像動作＞
上述の第１の撮像動作では、偏光素子１１の偏光方向を例えば「２２．５°」に設定することで、偏光画素Ｃ１〜Ｃ４を高感度画素または低感度画素として、広ダイナミックレンジ画像の色成分毎の画像信号を生成する場合について説明した。しかし、偏光素子１１の偏光方向は、予め設定された回転角に限られない。例えば、偏光素子１１の偏光方向を自由に回転できる構成であってもよい。
【００４８】
図１３は、偏光素子の偏光方向を回転できる撮像装置の構成を例示している。撮像装置１０ａは、偏光素子１１、レンズ系ブロック１２、撮像部１３、画像信号処理部１４、表示部１５、画像保存部１６、ユーザインタフェース部１７、着脱検出部１８、回転駆動部１９、制御部２０を有している。
【００４９】
図１を用いて説明したように、偏光素子１１は、直線偏光を生成する偏光素子であり、レンズ系ブロック１２は、フォーカスレンズやズームレンズ、絞り機構等を有している。撮像部１３は、イメージセンサの入射面に複数の偏光方向の画素構成である偏光フィルタを設けて、入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした構成とされている。画像信号処理部１４は、撮像部１３から出力された画像信号に対して各種の画像処理を行う。また、画像信号処理部１４は、撮像部１３の偏光画素の感度に応じて偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成等を行う。表示部１５は、その画面上に撮像画や各種情報等を表示する。画像保存部１６は、画像信号処理部１４から出力された画像データや、その画像データに関連するメタデータ等を記憶する。ユーザインタフェース部１７はユーザ操作に応じた操作信号を生成して制御部２０へ出力する。また、偏光素子１１が撮像装置１０に対して着脱可能とされている場合、偏光素子１１が撮像装置１０に取り付けられているか否かを検出する着脱検出部１８が設けられている。
【００５０】
回転駆動部１９は、撮像部１３に入射される入射光の光軸方向を回転軸として偏光素子１１を回転させて、直線偏光の偏光方向を変更する。回転駆動部１９は制御部２０からの駆動信号に基づき偏光素子１１を回転させる。また、回転駆動部１９は、偏光素子１１の回転位置を示す情報を生成して制御部２０へ出力する。このように、偏光素子１１の回転位置を示す情報を制御部２０へ出力する構成とすることで、例えばユーザが偏光素子１１を操作して回転させても、制御部２０は偏光素子１１の回転位置を判別できるようになる。
【００５１】
制御部２０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read  Only  Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random  Access  Memory）は、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザインタフェース部１７からの操作信号に基づき、ユーザ操作に応じた動作モードで撮像動作が撮像装置１０で行われるように各部を制御する。
【００５２】
また、制御部２０は、着脱検出部１８からの検出信号に基づき、偏光素子１１が撮像装置１０に取り付けられていることを判別した場合、撮像モードを広ダイナミックレンジ撮像モードと判定する。制御部２０は、撮像モードを広ダイナミックレンジ撮像モードに設定した場合、撮像部における偏光画素の偏光方向毎の感度を例えば偏光素子の回転位置に基づいて検出する。また、制御部２０は検出した感度を画像信号処理部１４に通知して、上述のように画像信号処理部１４で利得調整や画像合成を行わせる。また、制御部２０は、着脱検出部１８からの検出信号に基づき、偏光素子１１が撮像装置１０から取り外されていることを判別した場合、撮像モードを偏光撮像モードと判定する。制御部２０は、偏光撮像モードと判定した場合、画像信号処理部１４を制御して、感度比に応じた利得調整や利得調整後の画素信号の合成処理を除く他の処理を行い記録画像の画像信号を生成する。
【００５３】
このように、偏光素子１１の偏光方向を自由に回転できる構成とすれば、第１の撮像動作に比べてダイナミックレンジをさらに広くすることが可能となる。
【００５４】
例えば図１４に示すように、偏光素子１１の回転角が「０°」よりも大きく「２２．５°」よりも小さい場合を示している。回転角を「０°」よりも大きく「２２．５°」よりも小さい角度θａであるとき、偏光画素Ｃ１を感度「ＳＥ1」、偏光画素Ｃ２を感度「ＳＥ2」、偏光画素Ｃ３を感度「ＳＥ3」、偏光画素Ｃ４を感度「ＳＥ4」とする。このとき、偏光画素Ｃ１〜Ｃ４の感度は「ＳＥ1＞ＳＥ2＞ＳＥ4＞ＳＥ3」の順となる。すなわち感度の異なる４つの画素信号を同時に生成できる。また、最も感度の高い偏光画素Ｃ１と感度が低い偏光画素Ｃ２の感度比「ＳＥ1／ＳＥ2」を低感度の偏光画素Ｃ２に対する利得ＧＡ２とする。また、最も感度の高い偏光画素Ｃ１と感度が低い偏光画素Ｃ３の感度比「ＳＥ1／ＳＥ3」を低感度の偏光画素Ｃ３に対する利得ＧＡ３、感度の高い偏光画素Ｃ１と感度が低い偏光画素Ｃ４の感度比「ＳＥ1／ＳＥ4」を低感度の偏光画素Ｃ４に対する利得ＧＡ４とする。
【００５５】
画像信号処理部１４は、制御部２０で設定された利得を用いて利得調整を行い、利得調整後に画像合成を行う。図１５は、利得調整と画像合成を説明するための図である。図１５の（ａ）は入射光に対する偏光画素の信号強度を例示している。例えば偏光画素Ｃ１では入射光が輝度ＬＲｐ１となる場合に信号強度ＩＭsatで飽和する。また、偏光画素Ｃ２では入射光が輝度ＬＲｐ１よりも高い輝度ＬＲｐ２となる場合に信号強度ＩＭsatで飽和する。また、偏光画素Ｃ４では入射光が輝度ＬＲｐ２よりも高い輝度ＬＲｐ４となる場合に信号強度ＩＭsatで飽和して、偏光画素Ｃ３では入射光が輝度ＬＲｐ４よりも高い輝度ＬＲｐ３となる場合に信号強度ＩＭsatで飽和する。この場合、図１５の（ｂ）に示すように、画像信号処理部１４は、感度に応じた利得ＧＡ２で偏光画素Ｃ２の画素信号の増幅と、利得ＧＡ４で偏光画素Ｃ４の画素信号の増幅と、利得ＧＡ３で偏光画素Ｃ３の画素信号の増幅を行う。その後、画像信号処理部１４は画像合成を行うことで、入射光が輝度ＬＲｐ１，ＬＲｐ２，ＬＲｐ４を超えて高くなっても飽和を生じていない広ダイナミックレンジの画像信号を生成できる。
【００５６】
このような処理を行うことで、第１の撮像動作よりもダイナミックレンジがさらに広い撮像画の画像信号を生成できる。また、偏光素子１１を回転できることから、偏光素子１１を回転して例えば水面や窓等で生じた反射成分を調整することが可能となり、調整効果をスルー画に基づいて確認できると共に、広ダイナミックレンジである撮像画の画像信号を生成できる。また、偏光素子１１の回転位置に応じた各偏光画素の感度を予め算出して記憶しておけば、偏光素子１１を回転したとき自動的に偏光素子１１の回転位置に応じて利得調整等を行うことができる。
【００５７】
＜３．撮像装置の他の構成＞
撮像部の構成は、図２や図１１に示すように偏光素子が１画素毎に偏光角を異なるようにした構成に限らず、複数画素単位で偏光角が異なる構成であってもよい。図１６は撮像部の他の構成を例示している。なお、図１６の（ａ）はカラーパターン、図１６の（ｂ）は偏光パターンを例示している。カラーパターンは、１画素を色単位として、色配列をベイヤー配列とした場合を示している。偏光パターンは、２×２画素を偏光成分単位として、２×２偏光成分単位を異なる４つの偏光方向の偏光成分単位として繰り返した構成とする。カラーパターンと偏光パターンは、色成分毎に４つの偏光成分が得られるように組み合わせて用いる。図１６の（ｃ）は、カラーモザイクフィルタと偏光フィルタの組み合わせを例示している。この組み合わせによれば、偏光成分単位毎に色成分毎の画素が含まれて、色成分毎に４つの偏光成分が得られるようになる。さらに、色成分単位が１×１画素であることから、２×２画素に比べて色成分画素の配置の偏りが小さい。したがって、図１１に示す組み合わせを用いた場合に比べて画質を良くすることができる。
【００５８】
また、撮像部１３は異なる２つの偏光方向の偏光画像で構成してもよい。図１７は偏光画素の偏光方向が２方向である場合を示している。図１７の（ａ）は偏光画像の偏光の偏光パターンを例示しており、例えば偏光画素Ｃ１，Ｃ３で撮像部が構成されている場合を示している。この場合、回転角と感度の関係は図８から偏光画素Ｃ２，Ｃ４の特性を除いた図１７の（ｂ）に示す関係となり、偏光素子１１の回転角θが例えば「θ＝４５°」である場合、偏光画素Ｃ１，Ｃ３は感度差がない。したがって、偏光画素間で感度差を生じるように、撮像部１３に対する偏光素子１１の取付角度を設定して、例えば偏光素子１１の回転角θを例えば「θ＝２２．５°」とする。この場合、偏光画素Ｃ１は感度が高く、偏光画素Ｃ３は偏光画素Ｃ１に比べて感度が低くなり、感度の異なる画素信号を同時に生成できる。
【００５９】
＜４．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、情報処理端末に限らず、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
【００６０】
図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
【００６１】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１８では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
【００６２】
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock  Brake  System）又はＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【００６３】
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【００６４】
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【００６５】
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【００６６】
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time  Of  Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【００６７】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light  Detection  and  Ranging、Laser  Imaging  Detection  and  Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【００６８】
ここで、図１９は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【００６９】
なお、図１９には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
【００７０】
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【００７１】
図１８に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【００７２】
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
【００７３】
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【００７４】
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal  Digital  Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
【００７５】
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read  Only  Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard  Disc  Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【００７６】
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global  System  of  Mobile  communications）、ＷｉＭＡＸ、ＬＴＥ（Long  Term  Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer  To  Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine  Type  Communication）端末）と接続してもよい。
【００７７】
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless  Access  in  Vehicle  Environment）、ＤＳＲＣ（Dedicated  Short  Range  Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle  to  Vehicle）通信、路車間（Vehicle  to  Infrastructure）通信、車両と家との間（Vehicle  to  Home）の通信及び歩車間（Vehicle  to  Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
【００７８】
測位部７６４０は、例えば、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
【００７９】
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
【００８０】
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）又はＷＵＳＢ（Wireless  USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal  Serial  Bus）、ＨＤＭＩ（High-Definition  Multimedia  Interface）、又はＭＨＬ（Mobile  High-definition  Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
【００８１】
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【００８２】
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced  Driver  Assistance  System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【００８３】
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【００８４】
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented  Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【００８５】
なお、図１８に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
【００８６】
以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８、またはこれらの撮像部のいずれかに図１に示す撮像部を用いて、撮像部に偏光素子を設ける。また、図１８に示した応用例の統合制御ユニット７６００に画像信号処理部１４と制御部２０を設ける。このような構成とすれば、広ダイナミックレンジの撮像画を取得できるので、取得した広ダイナミックレンジの撮像画を運転支援や運転制御等に利用できる。
【００８７】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００８８】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【００８９】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００９０】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【００９１】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部と、
前記撮像部の入射面側に設けた偏光素子と
を有する撮像装置。
（２）  前記撮像部における前記偏光画素の偏光方向毎の感度を検出する感度検出部と、
前記感度検出部で検出された感度に基づき前記偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成を行う画像信号処理部をさらに備える（１）に記載の撮像装置。
（３）  前記画像信号処理部は、前記感度が等しい偏光画素を用いて感度毎に撮像画の画像信号を生成して、前記感度検出部で検出された感度に基づき前記感度毎の撮像画の画像信号に対する利得調整を行い、利得調整後の画像信号を用いて前記感度毎の撮像画の画像合成を行う（２）に記載の撮像装置。
（４）  前記画像信号処理部は、前記画像合成において、前記偏光画素で飽和を生じる場合に、前記飽和を生じる偏光画素を用いて生成した撮像画の画像信号から、前記飽和を生じる偏光画素よりも感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える（３）に記載の撮像装置。
（５）  前記画像信号処理部は、前記飽和を生じる偏光画素を用いて生成した撮像画の画像信号と前記感度の低い偏光画素を用いて生成した撮像画の画像信号の合成比を、前記入射光に応じて制御して、前記飽和を生じる偏光画素を用いて生成した撮像画の画像信号から、前記感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える（４）に記載の撮像装置。
（６）  前記感度検出部は、前記偏光素子の取付角度に基づき前記偏光方向毎の感度を検出する（２）乃至（５）のいずれかに記載の撮像装置。
（７）  前記感度検出部は、前記偏光方向が異なる偏光画素で生成された画素信号に基づき前記偏光方向毎の感度を検出する（２）乃至（５）のいずれかに記載の撮像装置。
（８）  前記画像信号処理部は、前記偏光素子が取り付けられている場合に前記利得調整と前記画像合成を行う（２）乃至（７）のいずれかに記載の撮像装置。
（９）  前記撮像部において異なる偏光方向の前記偏光画素間で感度差を生じるように、前記撮像部に対する前記偏光素子の取付角度を設定する（１）乃至（８）のいずれかに記載の撮像装置。
（１０）  前記偏光素子は、前記撮像部に入射される入射光の光軸方向を軸として回転可能とする（１）乃至（９）のいずれかに記載の撮像装置。
（１１）  前記偏光素子は直線偏光を生成する（１）乃至（１０）のいずれかに記載の撮像装置。
【産業上の利用可能性】
【００９２】
この技術の撮像装置と撮像方法では、入射光に基づいて画素信号を生成する複数の画素を、偏光方向が複数偏光方向の何れかである偏光画素とした撮像部に対して、偏光素子を介した入射光が入射される。このため、偏光画素は入射光の偏光方向に応じた感度となって広ダイナミックレンジの撮像を行えるようになり、偏光画素の感度に基づき利得調整を行い、利得調整後の画像信号を用いた画像合成によって動きぼけを生じにくい広ダイナミックレンジの撮像画を生成できる。したがって、動きぼけを生じにくい広ダイナミックレンジの撮像画に基づき種々の制御を行う機器に適している。
【符号の説明】
【００９３】
１０，１０ａ・・・撮像装置
１１・・・偏光素子
１２・・・レンズ系ブロック
１３・・・撮像部
１４・・・画像信号処理部
１５・・・表示部
１６・・・画像保存部
１７・・・ユーザインタフェース部
１８・・・着脱検出部
１９・・・回転駆動部
２０・・・制御部
１３１・・・イメージセンサ
１３２・・・偏光フィルタ
【図１】
2018034209.tif 000003
【図２】
2018034209.tif 000004
【図３】
2018034209.tif 000005
【図４】
2018034209.tif 000006
【図５】
2018034209.tif 000007
【図６】
2018034209.tif 000008
【図７】
2018034209.tif 000009
【図８】
2018034209.tif 000010
【図９】
2018034209.tif 000011
【図１０】
2018034209.tif 000012
【図１１】
2018034209.tif 000013
【図１２】
2018034209.tif 000014
【図１３】
2018034209.tif 000015
【図１４】
2018034209.tif 000016
【図１５】
2018034209.tif 000017
【図１６】
2018034209.tif 000018
【図１７】
2018034209.tif 000019
【図１８】
2018034209.tif 000020
【図１９】
2018034209.tif 000021
【国際調査報告】
2018034209.tif 000022
2018034209.tif 000023
2018034209.tif 000024