(57)【要約】  透過率推定部１１は、撮像画像から領域毎に透過率を推定する。透過率推定部１１は、例えばダークチャンネル処理を用いて画素毎の透過率を推定する。透過率検出部１２は、透過率推定部１１で画素毎に推定した透過率と画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出する。透過率検出部１２は、例えば撮像画像の全体または所定部分における透過率の対数平均値とデプス情報が示すデプスの平均値に基づいて煙霧の透過率を検出する。あるいは、透過率検出部１２は、撮像画像から領域毎に推定した透過率の階調を領域毎のデプス情報が示すデプスの階調に変換して、階調変換後の透過率を煙霧の透過率とする。精度よく透過率を検出できるようになる。
2019064825.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部
を備える情報処理装置。
【請求項２】
前記透過率検出部は、前記撮像画像の全体または所定部分における前記推定した透過率の対数平均値と前記デプス情報が示すデプスの平均値に基づいて前記煙霧の透過率を検出する
請求項１に記載の情報処理装置。
【請求項３】
前記透過率検出部は、前記推定した透過率の対数平均値と前記デプスの平均値に基づき前記撮像時における大気の散乱係数を算出して、前記大気の散乱係数と前記デプス情報に基づいて前記煙霧の透過率を検出する
請求項２に記載の情報処理装置。
【請求項４】
前記透過率検出部は、前記領域毎のデプス情報が示すデプスの階調を前記推定した透過率の階調に対応させる階調変換を行い、階調変換後のデプスを前記煙霧の透過率とする
請求項１に記載の情報処理装置。
【請求項５】
前記階調変換では、前記デプス情報が示すデプスを正規化して得られるヒストグラムを前記推定した透過率のヒストグラムに対応させる
請求項４に記載の情報処理装置。
【請求項６】
前記領域は、連続してあるいは所定画素間隔で設けられた１画素または複数画素の領域である
請求項１に記載の情報処理装置
【請求項７】
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出すること
を含む情報処理方法。
【請求項８】
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
前記透過率検出部で検出された透過率に基づき動作制御を行う動作制御部と
を備える制御装置。
【請求項９】
前記動作制御部は、前記透過率検出部で検出された透過率に基づきランプ駆動制御を行う
請求項８に記載の制御装置。
【請求項１０】
前記動作制御部は、前記透過率検出部で検出された透過率に基づき点灯制御を行う
請求項９に記載の制御装置。
【請求項１１】
前記動作制御部は、前記透過率検出部で検出された透過率に基づき光量制御を行う
請求項９に記載の制御装置。
【請求項１２】
前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき光の照射方向と照射角の少なくともいずれかを制御する
請求項９に記載の制御装置。
【請求項１３】
前記動作制御部は、フォグランプのランプ駆動制御を行う
請求項９に記載の制御装置。
【請求項１４】
前記動作制御部は、前記透過率検出部で検出された透過率に基づき、検出された前記透過率を外部へ出力する制御を行う
請求項８に記載の制御装置。
【請求項１５】
前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき、移動動作を制御する
請求項８に記載の制御装置。
【請求項１６】
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
前記透過率検出部で検出された透過率に基づき、前記撮像画像から煙霧が除去された画像を生成する煙霧除去処理部と
を備える画像処理装置。
【請求項１７】
前記煙霧除去処理部は、前記検出された透過率の逆数に応じてコントラストを調整して前記煙霧が除去された画像を生成する
請求項１６に記載の画像処理装置。
【請求項１８】
前記煙霧除去処理部は、前記撮像画像と前記検出された透過率を用いて透過率モデルに基づき前記煙霧が除去された画像を生成する
請求項１６に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、情報処理装置と情報処理方法および制御装置と画像処理装置に関し、精度よく透過率を検出できるようにする。
【背景技術】
【０００２】
従来、霧や塵埃等の煙霧（ヘイズ）によって視認性が損なわれている撮像画像から透過率を計測する方法として、例えば非特許文献１に記載された方法が知られている。非特許文献１では、ダークチャンネル(Dark Channel)という局所領域におけるＲ，Ｇ，Ｂの最小値を用いて煙霧の密度を推定して、推定した煙霧の密度から透過率を算出している。また、特許文献２では、画素毎のダークチャンネルと局所領域のダークチャンネルのうち小さいものを最終的なダークチャンネルとして、透過率を算出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−０５８２０３号公報
【非特許文献】
【０００４】
【非特許文献１】Kaiming He, Jian Sun, Xiaoou Tang, “Single Image Haze Removal Using Dark Channel Prior,” Computer Vision and Pattern Recognition, 2009. CVPR 2009.IEEE Conference on, pp.1956-1963, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ダークチャンネルを用いて透過率を推定する手法（Dark Channel Prior）では、撮像画像の三原色チャンネルにおける少なくとも１つの色チャンネルは強度が低いと仮定しており、最も暗い色チャンネル（ダークチャンネル）の画素値を、透過率の反転値と見なしている。したがって、撮像画像における白や明るい灰色の被写体領域における透過率を精度に計測することができない。【０００６】
そこで、この技術では、精度よく透過率を検出できる情報処理装置と情報処理方法および制御装置と画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この技術の第１の側面は、
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部
を備える情報処理装置にある。【０００８】
この技術においては、撮像画像から推定した透過率を用いて算出した撮像画像の全体または所定部分における対数平均値と、デプス情報が示すデプスの平均値とに基づいて撮像時における大気の散乱係数を算出する。さらに、算出した大気の散乱係数とデプス情報に基づいて煙霧の透過率を検出する。または、デプス情報が示すデプスの階調を撮像画像から推定した透過率の階調に変換する処理を行い、例えばデプス情報が示すデプスを正規化して得られるヒストグラムを推定した透過率のヒストグラムに対応させて、階調変換後のデプスを煙霧の透過率としてもよい。なお、領域は、連続してあるいは所定画素間隔で設けられた１画素または複数画素の領域である。【０００９】
この技術の第２の側面は、
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出すること
を含む情報処理方法にある。【００１０】
この技術の第３の側面は、
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
前記透過率検出部で検出された透過率に基づき動作制御を行う動作制御部と
を備える制御装置にある。【００１１】
この技術においては、撮像画像から領域毎に推定した透過率と領域毎のデプス情報とを用いて、撮像画像の撮像時における煙霧の透過率を検出して、この透過率に基づき動作制御、例えばランプ駆動制御を行う。ランプ駆動制御では、例えばフォグランプに対して、検出された透過率に基づき点灯制御や光量制御、領域毎の透過率に基づき光の照射方向と照射角の少なくともいずれかの制御を行う。また、検出された透過率に基づく動作制御では、検出された透過率を外部へ出力する制御を行う。さらに、動作制御では、検出された領域毎の透過率に基づき、移動動作を制御する。【００１２】
この技術の第４の側面は、
撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
前記透過率検出部で検出された透過率に基づき、前記撮像画像から煙霧が除去された画像を生成する煙霧除去処理部と
を備える画像処理装置にある。【００１３】
この技術においては、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて検出された撮像画像の撮像時における煙霧の透過率の逆数に応じてコントラストを調整して煙霧が除去された画像を生成する。または、撮像画像と検出された透過率を用いて、透過率モデルに基づき煙霧が除去された画像の生成を行う。
【発明の効果】
【００１４】
この技術によれば、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率が検出される。したがって、精度よく透過率を検出できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１５】
【図１】透過率のモデルを示した図である。
【図２】情報処理装置の構成を例示した図である。
【図３】階調処理を例示した図である。
【図４】制御装置の構成を示した図である。
【図５】車両制御システムの概略的な構成の一例を示すブロック図である。
【図６】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【図７】画像処理装置の構成を例示した図である。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．透過率について
２．情報処理装置の構成と動作
３．制御装置の構成と動作
４．画像処理装置の構成と動作
【００１７】
＜１．透過率について＞
撮像装置で取得される画像の画素位置ｘにおいて、情景放射（煙霧の影響のない被写体の本来の色）をＪ（ｘ）、煙霧によって分散した環境光（大気散乱光）をＡ、煙霧の透過率をｔ（ｘ）とすると、撮像装置で取得される画像の画素値Ｉ（ｘ）は、式（１）を用いて算出できることが知られている。なお、図１は透過率のモデルを示している。
Ｉ（ｘ）＝ｔ（ｘ）Ｊ（ｘ）＋（１−ｔ（ｘ））Ａ      ・・・（１）
【００１８】
また、透過率ｔ（ｘ）は、撮像装置から被写体までの距離（デプス）ｄ（ｘ）と大気の散乱係数βを用いて式（２）で表すことができる。
ｔ（ｘ）＝ｅｘｐ（−βｄ（ｘ））    ・・・（２）
【００１９】
＜２．情報処理装置の構成と動作＞
図２は、本技術の情報処理装置の構成を例示している。情報処理装置１０は、透過率推定部１１と透過率検出部１２を有している。透過率推定部１１は、撮像装置で取得された撮像画像から領域毎に透過率を推定する。透過率検出部１２は、透過率推定部１１で推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を領域毎に検出する。領域は、連続してあるいは所定画素間隔で設けられた１画素または複数画素の領域であり、透過率が推定される領域に対応するデプス情報、あるいはデプス情報が取得された領域に対応する透過率が得られている。なお、以下の説明では透過率の推定とデプス情報の取得が画素毎に行われているとして説明を行う。
【００２０】
透過率推定部１１は、非特許文献１に記載されている手法（以下「ダークチャンネル処理」という）を用いて画素毎の透過率を推定する。また、透過率推定部１１は、文献「R. Fattal, “Single Image Dehazing,” ACM Transactions on Graphics, 2008」に記載された手法や文献「R. T. Tan, “Visibility in Bad Weather from a Single Image,” CVPR2008」に記載された手法などの一般的に知られている他の手法を用いて透過率を推定してもよい。
【００２１】
以下、非特許文献１に記載されている手法であるダークチャンネル処理を用いて透過率マップを生成する場合の動作について説明する。ダークチャンネル処理では三原色の色チャンネルのうち少なくとも１つの色チャンネルは強度が低いと仮定しており、ダークチャンネルは、式（３）に示すように定義される。なお、式（３）においてｃはＲＧＢ色成分のいずれかであり、Ω（ｘ）は画素位置ｘを中心とする局所領域であり、ｙは局所領域内の座標を示している。
【００２２】
【数１】
2019064825.tif 000003
【００２３】
ここで、ダークチャンネル処理では、強度が最も低い色チャンネルの画素値がダークチャンネルであり、ダークチャンネルにおける情景放射を式（４）に示すように「０」とすると、画素位置ｘの透過率は式（５）に基づいて推定できる。なお、「〜（チルダ）」が上に付されたｔを「ｔ〜」とも記す。
【００２４】
【数２】
2019064825.tif 000004
【００２５】
透過率推定部１１は、撮像装置で取得された撮像画像、例えば赤成分Ｒの画像と緑成分Ｇの画像と青成分Ｂの画像で構成されている撮像画像から環境光Ａを推定する。透過率推定部１１は、例えば撮像画像における輝度が最も高い画素を環境光とする。透過率推定部１１は、推定した環境光Ａを用いて式（５）の演算を行い、画素毎に透過率を推定して透過率検出部１２へ出力する。
【００２６】
透過率検出部１２は、透過率推定部１１で画素毎に推定した透過率と画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出して、画素毎の透過率を示す透過率マップを出力する。デプス情報は、撮像装置から取得してもよくデプス測定装置から取得してもよい。例えば像面位相差画素が設けられたイメージセンサを用いた撮像装置では、撮像画像だけでなく像面位相差画素の画素信号を用いて被写体までの距離を示すデプス情報を得ることができる。このような撮像装置が用いられている場合、情報処理装置１０は、撮像装置から撮像画像と撮像画像に対応するデプス情報を取得する。また、デプス測定装置としてＴＯＦ（Time of Flight）センサやＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）センサ等を用いてデプス情報を取得してもよい。デプス情報は被写体までの距離を精度よく示しているが、例えば距離が等しくとも撮像装置から被写体までの大気の状態によって透過率は変化する。そこで、透過率検出部１２は、推定した透過率とデプス情報を用いることで、推定した透過率よりも精度よく煙霧の透過率を検出する。
【００２７】
次に、透過率検出部１２で行う第１の透過率検出動作について説明する。透過率検出部１２は、撮像画像から画素毎に推定した透過率の対数平均値とデプス情報が示す画素毎のデプスの平均値に基づいて煙霧の透過率を検出する。例えば、透過率検出部１２は、推定された透過率とデプス情報で示されたデプスの平均値を用いて散乱係数を算出する。推定された透過率ｔ〜（ｘ）とデプスｄ（ｘ）と大気の散乱係数βの関係は上述の式（２）に示す関係であることから、散乱係数βの算出式は式（６）になる。
β＝−（ｌｏｇ（ｔ〜（ｘ））／ｄ（ｘ））  ・・・（６）
【００２８】
したがって、透過率検出部１２は、各画素の透過率ｔ（ｘ）とデプスｄ（ｘ）から、透過率ｔ〜（ｘ）の対数の平均値Ｅ［ｌｏｇ（ｔ〜（ｘ））］とデプスの平均値Ｅ［ｄ（ｘ）］を算出して、式（７）に基づき散乱係数βａを算出する。さらに、透過率検出部１２は、大気の散乱係数とデプス情報に基づいて煙霧の透過率を検出する。透過率検出部１２は、算出された散乱係数βａとデプスｄ（ｘ）を用いて式（８）の演算を各画素で行い透過率ｔａ（ｘ）を検出して、煙霧の透過率を画素毎に示す透過率マップを生成する。
βａ＝−（Ｅ［ｌｏｇ（ｔ〜（ｘ））］／Ｅ［ｄ（ｘ）］）  ・・・（７）
ｔａ（ｘ）＝ｅｘｐ（−βａｄ（ｘ））                    ・・・（８）
【００２９】
透過率検出部１２は、推定された透過率とデプス情報で示されたデプスの平均値の算出において、撮像画像の各画素の透過率とデプスを全て用いてもよく、撮像画像の所定部分例えば中央部分の画素の透過率とデプスを用いてもよい。また、予め指定された画素間隔で抽出した画素の透過率とデプスを用いてもよい。なお、予め指定された画素間隔は、撮像画像全体で等しい画素間隔としてもよく、画像内の位置に応じて画素間隔の調整を行い、中央部分は周辺部分に比べて画素間隔を狭くしてもよい。
【００３０】
次に、透過率検出部１２で行う第２の透過率検出動作について説明する。透過率検出部１２は、デプス情報が示すデプスの階調を推定した透過率の階調に対応させる階調変換を行うことで煙霧の透過率を検出する。例えば、透過率検出部１２は、デプス情報が示すデプスの正規化と正規化後のデプスの階調を推定した透過率の階調に対応させる階調変換を行い、階調変換後のデプスを煙霧の透過率とする。すなわち、透過率検出部１２は、デプスマップを正規化して、推定した透過率に応じた階調変換を行い、煙霧の透過率を画素毎に示す透過率マップを生成する。
【００３１】
階調変換では、ヒストグラムの均等化等を行い、正規化後のデプスのヒストグラムを、推定した透過率のヒストグラムに対応させる。例えば階調変換では、正規化後のデプスのヒストグラムと透過率のヒストグラムのビンの数を等しくして、度数がピークとなるビンの位置、ピーク位置とピーク位置の度数、あるいはヒストグラム形状が等しくなるようにデプスの変換を行う。
【００３２】
図３は、階調処理を例示している。図３の（ａ）は、所定距離を「１」として正規化したデプスのヒストグラムである。なお、所定距離は例えばデプス情報で示された画素毎のデプスの最大値とする。図３の（ｂ）は推定した透過率のヒストグラムである。透過率検出部１２は、図３の（ａ）に示すデプスのヒストグラムの例えばピーク位置が図３の（ｂ）に示す推定した透過率のヒストグラムに対応するように階調処理を行い、図３の（ｃ）に示すヒストグラムとなるデプスを煙霧の透過率とする。
【００３３】
なお、第２の透過率検出動作で用いる画素は、第１の透過率検出動作と同様に、撮像画像全体の画素を用いてもよく、一部の領域例えば撮像画像の中央部分の領域の画素を用いてもよい。また、予め指定された画素間隔で袖手した画素を用いてもよい。なお、予め指定された画素間隔は、撮像画像全体で等しい画素間隔としてもよく、画像内の位置に応じて画素間隔の調整を行い、中央部分は周辺部分に比べて画素間隔を狭くしてもよい。
【００３４】
このように、本技術の情報処理装置によれば、撮像画像に基づき領域毎に推定した透過率と領域毎のデプス情報に基づき、領域毎に透過率が検出されるので、撮像画像に基づいて推定した透過率に比べて、精度よく透過率を検出できるようになる。
【００３５】
また、本技術の情報処理装置では、平滑化部１３を設けてもよい。例えば、透過率を推定した画素が示す被写体位置と、この画素に対応するデプス情報が示すデプスの測定位置との誤差が大きい場合や、局所領域単位で透過率の算出が行われて局所領域の境界で透過率の変化が顕著である場合、検出された透過率に基づき後述するように煙霧除去処理を行うと、被写体のエッジ部分や局所領域の境界でハロー効果が発生するおそれがある。したがって、平滑化部１３を設けてソフトマッティング処理等を行うことで、境界部分の透過率変化を滑らかにしてもよい。
【００３６】
＜３．制御装置の構成と動作＞
次に、本技術の制御装置について説明する。図４は制御装置の構成を示している。制御装置３０は、透過率推定部３１と透過率検出部３２および動作制御部３３を有している。
【００３７】
透過率推定部３１は、上述の透過率推定部１１と同様な処理を行い、撮像画像から例えば画素毎に透過率を推定して透過率検出部３２へ出力する。透過率検出部３２は、上述の透過率検出部１２と同様な処理を行い、透過率推定部３１で推定した透過率と例えば画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出して、画素毎の透過率を示す透過率マップを動作制御部３３へ出力する。動作制御部３３は、透過率検出部３２から出力された透過率マップに基づき煙霧の有無を判別する。また、動作制御部３３は、煙霧の有無の判別結果や領域毎の透過率に基づき被制御部の動作を制御する。次に、制御装置を用いた車両制御システムについて説明する。
【００３８】
図５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【００３９】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
【００４０】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【００４１】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【００４２】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【００４３】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であってもよいし、赤外線等の非可視光であってもよい。
【００４４】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【００４５】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
【００４６】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【００４７】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【００４８】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図５の例では、出力装置として、オーディオスピーカ１２０６１、表示部２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも１つを含んでいてもよい。
【００４９】
図６は、撮像部１２０３１の設置位置の例を示す図である。
【００５０】
図６では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
【００５１】
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【００５２】
なお、図６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【００５３】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【００５４】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【００５５】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【００５６】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【００５７】
このように構成された移動体制御システムにおいて、撮像部１２０３１では撮像画像とデプス情報を取得する。また、撮像部１２０３１でデプス情報を取得できない場合、車外情報検出ユニット１２０３０には、デプス情報の取得が可能な周囲情報検出センサを設ける。周囲情報検出センサとしては、ＴＯＦ（Time of Flight）センサやＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）センサ等を用いる。車外情報検出ユニット１２０３０は、撮像部１２０３１から取得した撮像画像とデプス情報、あるいは撮像部１２０３１から取得した撮像画像と周囲情報検出センサで取得されたデプス情報を統合制御ユニット１２０５０へ出力する。
【００５８】
統合制御ユニット１２０５０には、透過率推定部３１と透過率検出部３２の機能を設けて、上述のように透過率の推定や検出を行い、透過率マップを生成する。また、ボディ系制御ユニット１２０２０には、動作制御部３３を設ける。
【００５９】
ボディ系制御ユニット１２０２０は、統合制御ユニット１２０５０で生成された透過率マップに基づき被制御部例えばフォグランプ等のランプ駆動制御を行う。
【００６０】
ボディ系制御ユニット１２０２０は、ランプ駆動制御として点灯制御を行う。透過率マップの全体または部分領域について煙霧の有無を判定する。部分領域は、透過率マップの全体を複数に分割したときの各分割領域であってもよく、透過率マップ内の予め設定された位置に所定の領域サイズで設定された１または複数の領域であってもよい。
【００６１】
ボディ系制御ユニット１２０２０は、透過率マップの全体もしくは部分領域の平均値と閾値を比較して、透過率平均値が所定の閾値よりも低いか、もしくは透過率が所定の閾値よりも低い部分領域があるか判定する。また、動作制御部３３は、透過率が所定の閾値よりも低い画素を検出して、検出した画素数が透過率マップの全体において所定の閾値よりも多いか、もしくは検出した画素数が所定の閾値よりも多い部分領域があるか判定する。ボディ系制御ユニット１２０２０は、例えば透過率マップの全体の透過率平均値が所定の閾値よりも低い場合にフォグランプを点灯状態として、所定の閾値よりも低くない場合にフォグランプを非点灯状態とする。また、ボディ系制御ユニット１２０２０は、例えば透過率が所定の閾値よりも低い画素数が透過率マップの全体において所定の閾値よりも多い場合にフォグランプを点灯状態として、所定の閾値よりも低くない場合にフォグランプを非点灯状態とする。
【００６２】
ボディ系制御ユニット１２０２０は、ランプ駆動制御として配光制御をさらに行うようにしてもよい。ボディ系制御ユニット１２０２０は、例えば透過率平均値が所定の閾値よりも低い部分領域を検出した場合にフォグランプを点灯状態として配光制御を行い、透過率平均値が所定の閾値よりも低い部分領域の方向や部分領域に対応した照射角で光の照射を行う。また、ボディ系制御ユニット１２０２０は、透過率平均値が所定の閾値よりも低い部分領域を検出していない場合にフォグランプを非点灯状態とする。また、ボディ系制御ユニット１２０２０は、例えば透過率が所定の閾値よりも低い画素数が所定の閾値よりも多い部分領域を検出した場合にフォグランプを点灯状態として配光制御を行い、この部分領域の方向や部分領域に対応した照射角で光の照射を行う。また、ボディ系制御ユニット１２０２０は、透過率が所定の閾値よりも低い画素数が所定の閾値よりも多い部分領域を検出していない場合にフォグランプを非点灯状態とする。
【００６３】
さらに、ボディ系制御ユニット１２０２０は、ランプ駆動制御として光量制御をさらに行うようにしてもよい。ボディ系制御ユニット１２０２０は、透過率マップの全体もしくは部分領域の透過率平均値が所定の閾値よりも低い場合にフォグランプを点灯状態として光量制御を行い、透過率平均値が低くなるに伴い光量を多くする。また、ボディ系制御ユニット１２０２０は、透過率平均値が所定の閾値よりも低くない場合にフォグランプを非点灯状態とする。
【００６４】
このように、移動体制御システムでは検出した透過率に基づいてランプ駆動制御が行われるので、例えば霧が濃いときにはフォグランプを自動的に点灯して、霧が晴れたときには自動的に消灯することができる。また、フォグランプの照射方向や照射角が自動的に調整されて、霧が濃い領域の視認性を向上させることができる。さらに、霧の濃さに応じてフォグランプの光量を最適な光量に自動的に調整することができる。なお、フォグランプは車両前方だけでなく車両後方に設けられてもよい。
【００６５】
また、ランプ駆動制御はフォグランプの駆動制御に限られない。例えば、霧が濃いときにヘッドランプが上向き（ハイビーム）であると、前方の視認性が低下する。したがって、霧が濃いときにヘッドランプを下向き（ロービーム）とする制御や光量を低下させる制御を自動的に行うようにしてもよい。
【００６６】
また、本技術の制御装置は、煙霧を生じる環境で使用される移動機器であれば、自動車に限らず船舶あるいは飛行体等に適用してもよい。また、検出された透過率に基づく動作制御では、検出された透過率を外部へ出力してもよい。例えばドローン等の無人飛行体に適用して上空から撮像を行い、撮像中に透過率を検出する。また、無人飛行体は、透過率が閾値よりも低下した場合、検出した透過率をコントロール側等に通知する。このような動作制御を行えば、煙霧の発生状況を上空から精度よく観測できるようになる。また、検出された透過率に基づく動作制御として移動方向を制御してもよい。例えば、無人飛行体は、領域毎に検出した透過率をコントロール側に通知して、あるいは領域毎に検出した透過率に基づき自動的に、煙霧の少ない方向に飛行ルートを選択しながら撮像を行うこともできる。
【００６７】
＜４．画像処理装置の構成と動作＞
次に、本技術の画像処理装置について説明する。図７は画像処理装置の構成を例示している。画像処理装置５０は、透過率推定部５１と透過率検出部５２および煙霧除去部５３を有している。
【００６８】
透過率推定部５１は、上述の透過率推定部１１と同様な処理を行い、撮像画像から例えば画素毎に透過率を推定して透過率検出部３２へ出力する。透過率検出部５２は、上述の透過率検出部１２と同様な処理を行い、透過率推定部３１で推定した透過率と例えば画素毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率を検出して、画素毎の透過率を示す透過率マップを煙霧除去部５３へ出力する。煙霧除去部５３は、透過率検出部５２から出力された透過率マップに基づき、撮像装置で取得された撮像画像から煙霧を除去する。
【００６９】
煙霧除去部５３の第１の動作では、透過率マップで示された各画素の透過率ｔａ（ｘ）の逆数に応じてコントラストを調整することで煙霧を除去する。この場合、煙霧除去部５３は、処理対象画素を基準とした近傍領域内の画素（処理対象画素を含む）の画素値平均を処理対象画素の直流成分ＩDCとする。また、煙霧除去部５３は、処理対象画素と近傍領域内の他の各画素との画素値の差分の平均値を処理対象画素のコントラスト成分ＩACとする。さらに、煙霧除去部５３は、処理対象画素である画素位置ｘの直流成分ＩDC（ｘ）とコントラスト成分ＩAC（ｘ）と透過率ｔａ（ｘ）を用いて式（９）の演算を行い、煙霧除去後の画素値すなわち情景放射Ｊ（ｘ）を算出する。煙霧除去部５３は、式（９）の演算を画素毎に行い、煙霧が除去された鮮明な撮像画像を復元する。
Ｊ（ｘ）＝ＩDC（ｘ）＋（１／ｔａ（ｘ））ＩAC      ・・・（９）
【００７０】
煙霧除去部５３の第２の動作では、撮像画像と検出された透過率を用いて透過率のモデルに基づいて煙霧を除去する。透過率のモデルを示す式（１）を変形すると、情景放射Ｊ（ｘ）を算出する式（１０）が得られる。したがって、煙霧除去部５３は、式（１０）の演算を画素毎に行い、煙霧が除去された鮮明な撮像画像を復元する。
Ｊ（ｘ）＝（Ｉ（ｘ）−Ａ））／ｔａ（ｘ）＋Ａ    ・・・（１０）
【００７１】
なお、透過率ｔａ（ｘ）は「０」に近い値を取り得る場合があり、透過率ｔａ（ｘ）が「０」に近い値となると煙霧が除去された撮像画像にノイズが目立つ場合が生じる。したがって、予め下限値ｔ0を設定して、透過率ｔａ（ｘ）が下限値ｔ0よりも小さい場合は下限値ｔ0を用いて煙霧除去を行うようにしてもよい。
【００７２】
煙霧除去部５３は、式（１０）で用いる環境光Ａとして、例えば上述のように撮像画像における輝度が最も高い画素を環境光とする。また、煙霧除去部５３は、撮像装置から取得した撮像画像の全体もしくは一部領域の平均値を環境光Ａとして用いてもよい。また、煙霧除去部５３は、主成分分析あるいは独立成分分析によって環境光Ａを推定してもよい。例えば煙霧除去部５３は、三原色の各色成分を３次元の各ベクトルとして、撮像装置から取得した撮像画像の全体もしくは一部領域の画素値の各色成分を対応するベクトルのノルムとして、全体もしくは一部領域の画素値に基づく３次元ベクトルの主成分分析を行い、得られた主成分ベクトルを環境光Ａとする。また、煙霧除去部５３は、各画素の画素値Ｉ（ｘ）、情景放射Ｊ（ｘ）および透過率ｔ（ｘ）は独立であるとして、撮像装置から取得した撮像画像の全体もしくは一部領域の画素値を用いて独立成分分析を行い、各画素で式（１）の関係を満たす環境光Ａを推定する。
【００７３】
このように、画像処理装置では、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率が検出されて、この検出された透過率に基づいて煙霧の除去が行われる。このため、撮像画像から推定した透過率に基づいて煙霧の除去を行う場合に比べて煙霧を精度よく除去して、鮮明な撮像画像を復元できるようになる。
【００７４】
また、本願の画像処理装置を、煙霧を生じる環境で使用される電子機器、例えば監視装置に用いれば、監視対象の領域に煙霧が生じていても鮮明な撮像画像を得られるので、監視能力の低下を防止できる。また、本願の画像処理装置を上述の車両制御システムに用いれば、車両走行時に煙霧が生じていても煙霧が除去されている鮮明な撮像画像を得られる。したがって、煙霧が除去された撮像画像を利用して周辺環境を監視すれば、煙霧が生じても障害物等の検出を容易に行える。また、表示部１２０６２のヘッドアップディスプレイ、バックモニター、電子化されたバックミラーやドアミラー等で煙霧が除去された撮像画像を表示すれば、運転者は煙霧が生じていても周辺状況を容易に把握できるようになる。
【００７５】
明細書中において説明した透過率検出動作や検出した透過率に基づく制御動作、検出した透過率に基づく煙霧除去動作は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００７６】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【００７７】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００７８】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【００７９】
また、本技術の制御装置は以下のような構成も取ることができる。
（１）  撮像画像から領域毎に推定した透過率と前記領域毎のデプス情報を用いて、前記撮像画像の撮像時における煙霧の透過率を検出する透過率検出部と、
前記透過率検出部で検出された透過率に基づき動作制御を行う動作制御部と
を備える制御装置。
（２）  前記動作制御部は、前記透過率検出部で検出された透過率に基づきランプ駆動制御を行う（１）に記載の制御装置。
（３）  前記動作制御部は、前記透過率検出部で検出された透過率に基づき点灯制御を行う（２）に記載の制御装置。
（４）  前記動作制御部は、前記透過率検出部で検出された透過率に基づき光量制御を行う（２）または（３）のいずれかに記載の制御装置。
（５）  前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき光の照射方向と照射角の少なくともいずれかを制御する（２）乃至（４）のいずれかに記載の制御装置。
（６）  前記動作制御部は、フォグランプのランプ駆動制御を行う（２）乃至（５）のいずれかに記載の制御装置。
（７）  前記動作制御部は、前記透過率検出部で検出された透過率に基づき、検出された前記透過率を外部へ出力する制御を行う（１）乃至（６）のいずれかに記載の制御装置。
（８）  前記動作制御部は、前記透過率検出部で検出された領域毎の透過率に基づき、移動動作を制御する（１）に記載の制御装置。
【産業上の利用可能性】
【００８０】
この技術の情報処理装置と情報処理方法および制御装置と画像処理装置では、撮像画像から領域毎に推定した透過率と領域毎のデプス情報を用いて、撮像画像の撮像時における煙霧の透過率が検出される。このため、精度よく透過率を検出できるようになる。したがって、煙霧を生じる環境で使用される移動機器や電子機器に適している。
【符号の説明】
【００８１】
１０・・・情報処理装置
１１，３１，５１・・・透過率推定部
１２，３２，５２・・・透過率検出部
１３・・・平滑化部
３０・・・制御装置
３３・・・動作制御部
５０・・・画像処理装置
５３・・・煙霧除去部
【図１】
2019064825.tif 000005
【図２】
2019064825.tif 000006
【図３】
2019064825.tif 000007
【図４】
2019064825.tif 000008
【図５】
2019064825.tif 000009
【図６】
2019064825.tif 000010
【図７】
2019064825.tif 000011
【国際調査報告】
2019064825.tif 000012
2019064825.tif 000013
2019064825.tif 000014
2019064825.tif 000015