【手続補正書】
【提出日】令和1年7月16日(2019.7.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入射光に基づいて画素信号を生成する複数の画素を所定の偏光方向の偏光画素と非偏光画素で構成した撮像部と、
前記撮像部の入射面側に設けられて、前記入射光の偏光方向を回転させる偏光回転部と、
を有する撮像装置。
【請求項２】
前記入射光の偏光方向の回転位置に応じたダイナミックレンジの撮像画の画像信号を生成する画像信号処理部をさらに備える
請求項１に記載の撮像装置。
【請求項３】
前記入射光の偏光方向と前記所定の偏光方向の違いによって感度が変化する前記偏光画素の感度を算出する感度検出部をさらに備え、
前記画像信号処理部は、前記非偏光画素と前記偏光画素の感度差が閾値よりも大きい場合、前記入射光の偏光方向の回転位置に応じたダイナミックレンジの撮像画の画像信号を生成する
請求項２に記載の撮像装置。
【請求項４】
前記画像信号処理部は、前記感度検出部で算出した感度に応じてダイナミックレンジを変化させる
請求項３に記載の撮像装置。
【請求項５】
前記画像信号処理部は、前記感度検出部で算出した感度に基づき前記偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成して、前記感度に応じたダイナミックレンジの画像信号を生成する
請求項４に記載の撮像装置。
【請求項６】
前記画像信号処理部は、前記画像合成において、前記非偏光画素で飽和を生じる場合に、前記非偏光画素を用いて生成した撮像画の画像信号から、前記非偏光画素よりも感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える
請求項５に記載の撮像装置。
【請求項７】
前記画像信号処理部は、前記非偏光画素を用いて生成した撮像画の画像信号と前記偏光画素を用いて生成した撮像画の画像信号の合成比を、前記入射光に応じて制御して、前記非偏光画素を用いて生成した撮像画の画像信号から、前記偏光画素を用いて生成した撮像画の画像信号に切り替える
請求項６に記載の撮像装置。
【請求項８】
前記画像信号処理部は、前記非偏光画素と前記偏光画素の感度差が閾値以下である場合、各画素の画素信号に基づき対応する画素の画像を示す撮像画の画像信号を生成する
請求項３乃至請求項７のいずれかに記載の撮像装置。
【請求項９】
前記感度検出部は、前記入射光の偏光方向の回転位置に基づき前記偏光画素の感度を算出する
請求項３乃至請求項８のいずれかに記載の撮像装置。
【請求項１０】
前記感度検出部は、前記偏光画素で生成された画素信号に基づき前記偏光画素の感度を検出する
請求項３乃至請求項８のいずれかに記載の撮像装置。
【請求項１１】
表示部をさらに備え、
前記表示部では前記撮像画と前記入射光の偏光方向の回転操作を行うためのユーザインタフェース画像を表示する
請求項２乃至請求項１０のいずれかに記載の撮像装置。
【請求項１２】
前記表示部では前記偏光画素または前記非偏光画素に関する信号強度分布を示す画像を表示する
請求項１１に記載の撮像装置。
【請求項１３】
前記偏光回転部を制御する制御部をさらに備え、
前記制御部は、前記非偏光画素で信号強度の飽和を生じないように前記入射光の偏光方向を変化させる
請求項１乃至請求項１２のいずれかに記載の撮像装置。
【請求項１４】
前記偏光回転部は、前記撮像部の入射面側に設けられて前記入射光のうち特定の偏波のみを通す偏光素子と、該偏光素子を任意の角度に回転する機構からなる
請求項１乃至請求項１３のいずれかに記載の撮像装置。
【請求項１５】
入射光に基づいて画素信号を生成する複数の画素を、所定の偏光方向の偏光画素と非偏光画素で構成した撮像部に、偏光回転部を介した前記入射光が入射されて、前記入射光の偏光方向の回転位置に応じたダイナミックレンジで撮像画の画像信号を生成すること
を含む撮像方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
【図１】撮像装置の構成を例示した図である。
【図２】撮像部の構成を例示した図である。
【図３】撮像装置の動作を示すフローチャートである。
【図４】撮像設定処理を示すフローチャートである。
【図５】割り込み処理を示すフローチャートである。
【図６】入射光と偏光素子を透過した直線偏光および撮像部の関係を示している。
【図７】偏光素子の回転角と撮像部における偏光画素の感度の関係を例示した図である。
【図８】利得調整と画像合成を説明するための図である。
【図９】入射光と合成比の関係を例示した図である。
【図１０】撮像部の具体例を示した図である。
【図１１】画像信号処理部の動作例を示した図である。
【図１２】表示部の表示画面を例示した図（解像度重視撮像モードで撮像が行われている場合）である。
【図１３】表示部の表示画面を例示した図（被写体画像の飽和が生じた場合）である。
【図１４】表示部の表示画面を例示した図（ダイナミックレンジを広くした場合）である。
【図１５】表示部の表示画面を例示した図（被写体が暗く黒潰れが生じた場合）である。
【図１６】表示部の表示画面を例示した図（ＩＳＯ感度を高くすることで撮像画を明るくした場合）である。
【図１７】表示部の表示画面を例示した図（ダイナミックレンジを広くした場合）である。
【図１８】撮像装置の他の構成を例示した図である。
【図１９】撮像部の他の構成を例示した図である。
【図２０】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２１】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
撮像部１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）イメージセンサ等を用いて構成されている。また、イメージセンサの入射面には所定偏光方向の画素が画面上で均等となるように所定間隔で配置する偏光フィルタが設けられている。図２は撮像部の構成を例示している。撮像部１３は、イメージセンサ１３１の入射面に、水平方向および垂直方向に対して１画素おきに所定偏光方向の画素を配置する偏光フィルタ１３２が設けらた場合を例示している。撮像部１３は、生成した偏光画素と非偏光画素の画像信号を画像信号処理部１４へ出力する。なお、所定偏光方向（例えば偏光方向が「０°」）の画素を偏光画素ＣＰ、非偏光である画素を非偏光画素ＣＮとする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
画像信号処理部１４は、撮像部１３から出力された画像信号に対して、ノイズ除去処理、ゲイン調整処理、欠陥画素補正処理、デモザイク処理、色調整処理、解像度変換処理などの各種の画像処理を行う。また、画像信号処理部１４は、撮像部１３に入射される入射光の偏光方向の回転位置に応じたダイナミックレンジの撮像画の画像信号の生成を、例えば非偏光画素と偏光画素の感度差が閾値よりも大きい場合に行う。画像信号処理部１４は、感度差が閾値よりも大きい場合、撮像部１３の偏光画素の感度に応じて偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成を行う。画像信号処理部１４は、処理後の画像信号を表示部１５と画像保存部１６に出力する。また、画像信号処理部１４は、撮像部１３から出力された画像信号に基づき、非偏光画素群の信号強度分布や偏光画素群の信号強度分布の解析結果を示す情報、例えば色成分毎の信号強度分布や輝度の信号強度分布を示すヒストグラムを画像解析情報として生成して表示部１５へ出力してもよい。なお、画像信号処理部１４は、制御部２０からの制御のもと、撮像装置１０の設定操作や設定状態の確認等を行うためのメニュー表示や撮像時における設定状態等に関する情報表示を行う表示信号を画像信号に重畳して表示部１５等に出力する。また、画像信号処理部１４は、感度検出部の動作を行う場合、撮像部１３から供給された画像信号に基づき、撮像部１３における偏光画素の感度と非偏光画素の感度や偏光画素と非偏光画素との感度差，感度比を算出する。撮像部１３における偏光画素および非偏光画素の感度とは、偏光回転部１１を介して被写体光を撮像部に入射したときの偏光画素および非偏光画素の感度であり、偏光画素の感度は、偏光回転部１１の偏光方向と偏光画素の偏光方向の関係に応じて変化する。画像信号処理部１４は、例えば偏光回転部１１を介して画素飽和を生じない明るさの被写体を撮像したときの偏光画素と非偏光画素の信号強度から感度および感度差，感度比を算出する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
制御部２０は、感度検出部としての動作を行う場合、偏光素子回転部１１からの回転位置情報に基づき、偏光素子回転部１１の偏光素子１１１と撮像部１３の偏光フィルタ１３２で偏光方向の違い（偏光方向相違角）を算出する。また、偏光方向の違いに対応する非偏光画素の感度を予め算出しておくことで、回転位置情報に基づき偏光画素の感度や感度差，感度比を算出できる。制御部２０は、算出した偏光方向相違角または画像信号処理部１４で算出された偏光画素と非偏光画素の感度差に基づき、ダイナミックレンジ重視撮像モードとするか、解像度重視撮像モードとするか判別する。制御部２０は、偏光方向相違角または感度差が閾値を超える場合、ダイナミックレンジ重視撮像モードと判定する。ダイナミックレンジ重視撮像モードと判定した場合、制御部２０は画像信号処理部１４において、偏光画素について感度に応じて利得調整と、利得調整後の画素信号と非偏光画素の画素信号を用いた画像合成を行い、広ダイナミックレンジの撮像画の画像信号を生成させる。また、制御部２０は、偏光方向相違角または感度差が閾値以下である場合、解像度重視撮像モードと判別して、画像信号処理部１４で非偏光画素の感度に応じた利得調整や画像合成を行うことなく解像度の低下のない撮像画の画像信号を生成させる。なお、閾値は、例えば撮像画において偏光画素と非偏光画素との感度差による影響を許容できる最大値とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
ステップＳＴ１３で制御部はダイナミックレンジ重視撮像モード設定処理を行う。制御部２０は、被写体の輝度に応じて撮像部１３の露光時間等の設定を行う。また、制御部２０は、偏光画素と非偏光画素の感度に基づく利得制御と、利得調整後の画像信号を用いた画像合成を行い、広ダイナミックレンジ画像を生成するように画像信号処理部１４の動作を設定する。なお、制御部２０は、画像信号処理部１４でノイズ除去処理や欠陥画素補正処理、デモザイク処理、色調整処理、解像度変換処理などの各種の画像処理も合わせて行うようにして図３のステップＳＴ２に進む。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
図１２は、回転角が「０°」とされており解像度重視撮像モードで撮像が行われている場合を例示している。画像表示領域１５１に表示されている撮像画は、ヒストグラムの表示からも明らかなように、飽和を生じていない適正な露出の画像となっている。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
図１３は、回転角が「０°」とされており、すべての画素の感度が同一になっている状態で、被写体画像の飽和が生じた場合を例示している。例えば空が非常に明るい場合、空の領域の偏光画素と非偏光画素では飽和を生じて、ヒストグラムでは信号強度の高い階級で度数が高くなっている。このような場合、偏光素子１１１を回転させてダイナミックレンジを広くする。図１４は、偏光素子１１１を回転させてダイナミックレンジを広くした場合を示している。偏光素子１１１を回転させると偏光画素の感度が低くなる。なお、偏光画素の感度が低くなったことで、偏光画素群のヒストグラムでは信号強度の高い階級の度数が低下している。このように、偏光素子１１１を回転させて撮像偏光画素の感度が低くなると、撮像モードがダイナミックレンジ重視撮像モードに切り替わる。この場合、画像信号処理部１４では、非偏光画素に基づく画像と偏光画素に基づく偏光画素の感度に応じて利得調整が行われた画像が合成されて、画像表示領域１５１に表示される画像は、飽和を生じていない広ダイナミックレンジの撮像画となる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
ここで、偏光素子１１１を回転させると偏光画素の感度が低くなる。図１７は、図１６の状態から偏光素子１１１を回転させてダイナミックレンジを広くした場合を示している。なお、偏光画素の感度が低くなったことで、偏光画素群のヒストグラムでは信号強度の高い階級の度数が低下している。このように、偏光素子１１１を回転させて偏光画素の感度が低くなると、撮像モードがダイナミックレンジ重視撮影モードに切り替わる。この場合、画像信号処理部１４は、非偏光画素に基づく画像と偏光画素に基づく偏光画素の感度に応じて利得調整が行われた画像を合成して、画像表示領域１５１に表示される画像は、飽和を生じていない広ダイナミックレンジの撮像画となる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
また、撮像部の構成は、図１０に示すように、２×２画素を色単位内で斜め方向に偏光画素を設ける場合に限られない。図１９は、撮像部の他の構成を例示している。図１９の（ａ）は、２×２画素を色単位内で水平方向に偏光画素を設けた場合を示している。また、図１９の（ｂ）は、撮像部１３の色単位を１画素として、垂直方向の２画素を偏光画素として、この２画素の偏光画素ブロックを水平方向に１画素置きで垂直方向に２画素置きに配置した場合を例示している。このように、色成分単位を１画素単位とすれば、２×２画素の色成分単位に比べて色成分画素の配置の偏りが小さく画質を良くすることが可能となる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
また、本技術の撮像装置は以下のような構成も取ることができる。
（１）  入射光に基づいて画素信号を生成する複数の画素を所定の偏光方向の偏光画素と非偏光画素で構成した撮像部と、
前記撮像部の入射面側に設けられて、前記入射光の偏光方向を回転させる偏光回転部と、
を有する撮像装置。
（２）  前記入射光の偏光方向の回転位置に応じたダイナミックレンジの撮像画の画像信号を生成する画像信号処理部をさらに備える（１）に記載の撮像装置。
（３）  前記入射光の偏光方向と前記所定の偏光方向の違いによって感度が変化する前記偏光画素の感度を検出する感度検出部をさらに備え、
前記画像信号処理部は、前記非偏光画素と前記偏光画素の感度差が閾値よりも大きい場合、前記入射光の偏光方向の回転位置に応じたダイナミックレンジの撮像画の画像信号を生成する（２）に記載の撮像装置。
（４）  前記画像信号処理部は、前記感度検出部で検出した感度に応じてダイナミックレンジを変化させる（３）に記載の撮像装置。
（５）  前記画像信号処理部は、前記感度検出部で検出した感度に基づき前記偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成して、前記感度に応じたダイナミックレンジの画像信号を生成する（４）に記載の撮像装置。
（６）  前記画像信号処理部は、前記画像合成において、前記非偏光画素で飽和を生じる場合に、前記非偏光画素を用いて生成した撮像画の画像信号から、前記非偏光画素よりも感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える（５）に記載の撮像装置。
（７）  前記画像信号処理部は、前記非偏光画素を用いて生成した撮像画の画像信号と前記偏光画素を用いて生成した撮像画の画像信号の合成比を、前記入射光に応じて制御して、前記非偏光画素を用いて生成した撮像画の画像信号から、前記偏光画素を用いて生成した撮像画の画像信号に切り替える（６）に記載の撮像装置。
（８）  前記画像信号処理部は、前記非偏光画素と前記偏光画素の感度差が閾値以下である場合、各画素の画素信号に基づき対応する画素の画像を示す撮像画の画像信号を生成する（３）乃至（７）のいずれかに記載の撮像装置。
（９）  前記感度検出部は、前記入射光の偏光方向の回転位置に基づき前記偏光画素の感度を算出する（３）乃至（８）のいずれかに記載の撮像装置。
（１０）  前記感度検出部は、前記偏光画素で生成された画素信号に基づき前記偏光画素の感度を算出する（３）乃至（８）のいずれかに記載の撮像装置。
（１１）  表示部をさらに備え、
前記表示部では前記撮像画と前記入射光の偏光方向の回転操作を行うためのユーザインタフェース画像を表示する（２）乃至（１０）のいずれかに記載の撮像装置。
（１２）  前記表示部では前記偏光画素または前記非偏光画素に関する信号強度分布を示す画像を表示する（１１）に記載の撮像装置。
（１３）  前記偏光回転部を制御する制御部をさらに備え、
前記制御部は、前記非偏光画素で信号強度の飽和を生じないように前記入射光の偏光方向を回転させる（１）乃至（１２）のいずれかに記載の撮像装置。
（１４）  前記偏光回転部は、前記撮像部の入射面側に設けられて前記入射光のうち特定の偏波のみを通す偏光素子と、該偏光素子を任意の角度に回転する機構からなる（１）乃至（１３）のいずれかに記載の撮像装置。
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図１８
【補正方法】変更
【補正の内容】
【図１８】
2018029280.tif 000001