(57)【要約】  本開示の画像処理装置は、複数色の画素を含む画素部からの画像データが入力され、画素ごとの色レベルを調整する調整パラメータを画像データに乗算する乗算器と、画像データにおける画素ごとの各色の比率を算出し、各色の比率に基づいて、調整パラメータの値を調整する調整部と、調整パラメータが乗算された画像データに基づいて、特定色のターゲット画像を抽出する２値化処理部とを備える。
2017217177.tif 000002
【特許請求の範囲】
【請求項１】
複数色の画素を含む画素部からの画像データが入力され、前記画素ごとの色レベルを調整する調整パラメータを前記画像データに乗算する乗算器と、
前記画像データにおける前記画素ごとの各色の比率を算出し、前記各色の比率に基づいて、前記調整パラメータの値を調整する調整部と、
前記調整パラメータが乗算された前記画像データに基づいて、特定色のターゲット画像を抽出する２値化処理部と
を備える
画像処理装置。
【請求項２】
前記２値化処理部は、
前記調整パラメータが乗算された前記画像データにおける前記画素ごとに色成分を比較し、前記特定色の画素データを抽出する特定色抽出部
を有する
請求項１に記載の画像処理装置。
【請求項３】
前記２値化処理部は、
前記調整パラメータが乗算された前記画像データに対して、前記特定色抽出部によって抽出された前記特定色の画素データを１、前記特定色以外の画素データを０とする２値化処理を施した２値化画像データを出力する２値化出力部
をさらに有する
請求項２に記載の画像処理装置。
【請求項４】
前記２値化画像データに基づいて、前記特定色のターゲットを追尾するアクチュエータを駆動する情報を生成する駆動情報生成部
をさらに備える
請求項３に記載の画像処理装置。
【請求項５】
前記調整部は、
前記画像データを前記画素ごとに所定期間分、積分する積分器と、
前記積分した後の前記画像データにおける前記画素ごとの前記各色の比率を算出する色調整比率計算器と
を有する
請求項１に記載の画像処理装置。
【請求項６】
複数色の画素を含む画素部と、
前記画素部からの画像データが入力され、前記画素ごとの色レベルを調整する調整パラメータを前記画像データに乗算する乗算器と、
前記画像データにおける前記画素ごとの各色の比率を算出し、前記各色の比率に基づいて、前記調整パラメータの値を調整する調整部と、
前記調整パラメータが乗算された前記画像データに基づいて、特定色のターゲット画像を抽出する２値化処理部と
を備える
撮像装置。
【請求項７】
撮像装置と、
前記撮像装置に対して特定色のターゲットを追尾して撮影させるアクチュエータと
を含み、
前記撮像装置は、
複数色の画素を含む画素部と、
前記画素部からの画像データが入力され、前記画素ごとの色レベルを調整する調整パラメータを前記画像データに乗算する乗算器と、
前記画像データにおける前記画素ごとの各色の比率を算出し、前記各色の比率に基づいて、前記調整パラメータの値を調整する調整部と、
前記調整パラメータが乗算された前記画像データに基づいて、前記特定色のターゲット画像を抽出する２値化処理部と
を備える
画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、例えばターゲットトラッキングシステムに好適な画像処理装置、および撮像装置、ならびに画像処理システムに関する。
【背景技術】
【０００２】
特定色の移動物体をターゲットとして追尾するようなターゲットトラッキングシステムがある。このようなターゲットトラッキングシステムでは、例えば、撮像装置からの画像データを直接、追尾したいターゲットのＲＧＢの色情報として閾値で２値化し、これを集計してターゲットの位置の推定を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０７−０８６９３６号公報
【特許文献２】特開平０１−１７３２６９号公報
【特許文献３】特開２００３−１８９１２９号公報
【特許文献４】特開２０１５−１１５９２２号公報
【発明の概要】
【０００４】
上記したターゲットトラッキングシステムでは、照度や周辺光によって閾値が変わる環境下や、人の肌色等、ＲＧＢの比率が光源によって変わる色の被写体では閾値を動的に制御するのが難しく、２値化処理でターゲットを抽出できずに、ターゲットの追尾外れが発生し得る。
【０００５】
ターゲットの抽出精度を向上させることができるようにした画像処理装置、および撮像装置、ならびに画像処理システムを提供することが望ましい。
【０００６】
本開示の一実施の形態に係る画像処理装置は、複数色の画素を含む画素部からの画像データが入力され、画素ごとの色レベルを調整する調整パラメータを画像データに乗算する乗算器と、画像データにおける画素ごとの各色の比率を算出し、各色の比率に基づいて、調整パラメータの値を調整する調整部と、調整パラメータが乗算された画像データに基づいて、特定色のターゲット画像を抽出する２値化処理部とを備えるものである。
【０００７】
本開示の一実施の形態に係る撮像装置は、複数色の画素を含む画素部と、画素部からの画像データが入力され、画素ごとの色レベルを調整する調整パラメータを画像データに乗算する乗算器と、画像データにおける画素ごとの各色の比率を算出し、各色の比率に基づいて、調整パラメータの値を調整する調整部と、調整パラメータが乗算された画像データに基づいて、特定色のターゲット画像を抽出する２値化処理部とを備えるものである。
【０００８】
本開示の一実施の形態に係る画像処理システムは、撮像装置と、撮像装置に対して特定色のターゲットを追尾して撮影させるアクチュエータとを含み、撮像装置は、複数色の画素を含む画素部と、画素部からの画像データが入力され、画素ごとの色レベルを調整する調整パラメータを画像データに乗算する乗算器と、画像データにおける画素ごとの各色の比率を算出し、各色の比率に基づいて、調整パラメータの値を調整する調整部と、調整パラメータが乗算された画像データに基づいて、特定色のターゲット画像を抽出する２値化処理部とを備えるものである。
【０００９】
本開示の一実施の形態に係る画像処理装置、撮像装置、または画像処理システムでは、画像データにおける画素ごとの各色の比率を算出し、各色の比率に基づいて、調整パラメータの値が調整される。調整パラメータが乗算された後の画像データに基づいて、特定色のターゲット画像が抽出される。
【００１０】
本開示の一実施の形態に係る画像処理装置、撮像装置、または画像処理システムによれば、調整パラメータが乗算された画像データに基づいて特定色のターゲット画像を抽出するようにしたので、ターゲットの抽出精度を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の第１の実施の形態に係る画像処理システムの一構成例を概略的に示す構成図である。
【図２】第１の実施の形態に係る画像処理システムにおける２値化処理部の一構成例を概略的に示す構成図である。
【図３】ターゲットトラッキングの概要を示す説明図である。
【図４】２値化についての説明図である。
【図５】特定色抽出の計算例を示す説明図である。
【図６】第２の実施の形態に係る画像処理システムの一構成例を概略的に示す構成図である。
【図７】フリッカの発生の原理を模式的に示す説明図である。
【図８】カラーローリングの発生の原理を模式的に示す説明図である。
【図９】高フレームレート処理時のサンプリング周期を模式的に示す説明図である。
【図１０】車両制御システムの概略的な構成の一例を示すブロック図である。
【図１１】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【００１２】
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
０．比較例
１．第１の実施の形態（ターゲット抽出の精度を高めることを可能にした画像処理システム）（図１〜図５）
１．１  第１の実施の形態に係る画像処理システムの構成（図１、図２）
１．２  第１の実施の形態に係る画像処理システムの動作（図３〜図５）
１．３  効果
２．第２の実施の形態（ターゲット抽出の精度を高めると共にフリッカ対策を可能にした画像処理システム）（図６〜図９）
３．応用例（図１０〜図１１）
４．その他の実施の形態
【００１３】
＜０．比較例＞
比較例の画像処理システムの一例として、イメージセンサと画像処理回路とをワンチップ化し、高速なフレームレート動作で様々な機能を実現することを可能にしたセンシングシステムがある。例えば、Ｓｅｌｆ  Ｗｉｎｄｏｗ法を代表とする高フレームレートを利用したターゲットトラッキングシステムが開発されている。【００１４】
図３は、ターゲットトラッキングの概要を示している。ターゲットトラッキングシステムとしては、例えば、特定色の移動物体をターゲットとして追尾するようなシステムがある。このようなターゲットトラッキングシステムは、撮像装置と、撮像装置に対して特定色のターゲットを追尾して撮影させるアクチュエータとを備え、例えば図３に示したように、画面内を移動するターゲット（ターゲット画像３０）が、常に画面３０の中央部に来るようにアクチュエータによって撮像装置を制御する。【００１５】
比較例のターゲットトラッキングシステムでは、例えば、センサ画素からのデータに対して直接電圧の閾値を設定し、抽出したいターゲット画像２０のレベルによって”１”，”０”の２値化処理を実施している（特開平０７−０８６９３６号公報、特開平０１−１７３２６９号公報）。比較例のターゲットトラッキングシステムでは、この閾値設定に対し、現フレームや過去フレームの画像状況からフィードバックを行う経路を有していなかったため、周辺の光源や環境変化により、ターゲット抽出している画素レベルに大きな変化が発生すると追従ができず、ターゲット抽出の失敗、すなわちターゲット画像２０の追尾外れ等機能実現の弊害が発生し得る。【００１６】
また、例えば１０００ｆｐｓ程度の高フレームレート動作を実施するカメラにおいては、蛍光灯等の光源影響により発生するフリッカは、画面内だけではなく、フレームごとに明るさが変わって出力される。比較例の技術として、この光源周期を検出して、次に発生する周期的な光源の明るさを想定し、補正を行う方式がある（特開２００３−１８９１２９号公報、特開２０１５−１１５９２２号公報等）。近年、光源種類の多様化により、複数の光源が混ざった環境などでは点滅周期の想定が難しく、全ての光源環境に対して周期的な補正を行うことは困難である。【００１７】
そこで、本開示では、以下のことが可能な技術を提供することが望ましい。
（１）センサ構造が並列演算器（列並列、面並列どちらでも可能）を持つ高フレームレートでの高速移動物体のターゲット抽出実施に際し、環境変化に対しロバストに２値化を実施する。
（２）高フレームレート撮像で発生する面フリッカやカラーローリングによる光源の周期的な明るさの変化に対し、変化分を迅速にフィードバックして、フリッカによる明るさや色変化を抑圧する。【００１８】
＜１．第１の実施の形態＞
［１．１  第１の実施の形態に係る画像処理装置の構成］
図１は、本開示の第１の実施の形態に係る画像処理システムの一構成例を概略的に示している。図２は、２値化処理部５の一構成例を概略的に示している。【００１９】
本実施の形態に係る画像処理システムは、画素部１と、ＡＤ変換部２と、メモリ部３と、色別乗算器４と、２値化処理部５と、調整部４０と、駆動情報生成部４１と、アクチュエータ１０とを備えている。【００２０】
調整部４０は、色別積分器６と、色調整比率計算器７とを有している。２値化処理部５は、図２に示したように、特定色抽出部５１と、２値化出力部５２とを有している。【００２１】
駆動情報生成部４１は、アクチュエータ１０を駆動するための情報を生成するものであり、画像モーメント抽出部８と、重心計算部９とを有している。【００２２】
本実施の形態に係る画像処理システムは、撮像装置と、撮像装置に対して特定色のターゲットを追尾して撮影させるアクチュエータ１０とを備え、図３に示したようなターゲットトラッキングを行うシステムであってもよい。【００２３】
撮像装置は、画素部１と、ＡＤ変換部２と、メモリ部３と、色別乗算器４と、２値化処理部５と、調整部４０と、駆動情報生成部４１とを備えていてもよい。また、画素部１を撮像装置の構成要素の一部とし、他の回路部分（ＡＤ変換部２、メモリ部３、色別乗算器４、２値化処理部５、調整部４０、および駆動情報生成部４１）を画像処理装置として構成してもよい。【００２４】
本実施の形態に係る画像処理システムにおいて、少なくとも画像処理装置の部分をワンチップ化した構成にしてもよい。または、アクチュエータ１０以外の部分をワンチップ化した構成にしてもよい。【００２５】
画素部１は、ＣＭＯＳ（Complementary MOS）イメージセンサであってもよい。画素部１は、例えば、複数の光電変換素子が所定の間隔で２次元配置された受光部と、受光部の光入射面に配置されたカラーフィルタアレイとを有している。画素部１は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサによって構成されている。なお、図１では、画素部１が、例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の３つの色画素がベイヤ配列された構造の例を示している。ベイヤ配列の場合、１画素は、１つのＲ色画素と、１つのＢ色画素と、２つのＧ色画素とを含む。ただし、画素部１は、ベイヤ配列とは異なる配列となっていてもよい。【００２６】
ＡＤ変換部２、メモリ部３、色別乗算器４、および２値化処理部５は、列並列に設けられていてもよい。【００２７】
色別乗算器４には、ＡＤ変換部２およびメモリ部３を介して、１画素が複数色の色画素を含む画素部１からの画像データが入力される。色別乗算器４は、画素ごとの色レベルを調整する調整パラメータを画像データに乗算する機能を有している。【００２８】
調整部４０は、画像データにおける画素ごとの各色の比率を算出し、各色の比率に基づいて、調整パラメータの値を調整する機能を有している。【００２９】
２値化処理部５は、色別乗算器４によって調整パラメータが乗算された後の画像データに基づいて、特定色のターゲット画像２０を抽出する機能を有している。【００３０】
特定色抽出部５１は、調整パラメータが乗算された後の画像データにおける画素ごとに色成分を比較し、特定色の画素データを抽出する機能を有している。【００３１】
２値化出力部５２は、調整パラメータが乗算された後の画像データに対して、特定色抽出部５１によって抽出された特定色の画素データを１、特定色以外の画素データを０とする２値化処理を施した２値化画像データを、駆動情報生成部４１に出力する機能を有している。【００３２】
色別積分器６は、画像データを画素ごとに所定期間分（例えば１フレーム期間分）、積分する機能を有している。色別積分器６は、ＲＧＢの色別に積分するＲＧＢ色別積分器と、輝度Ｙを計算する輝度計算器とを有している。【００３３】
色調整比率計算器７は、色別積分器６によって積分された後の画像データにおける画素ごとの各色の比率を算出する機能を有している。【００３４】
［１．２  第１の実施の形態に係る画像処理装置の動作］
本実施の形態に係る画像処理システムでは、画素部１で光電変換された列単位の画像データが、ＡＤ変換部２に出力される。ＡＤ変換部２では、列並列に各画素のＡＤ変換を実施する。メモリ部３は、ＡＤ変換部２によってＡＤ変換された画像データを列並列にラッチする。【００３５】
色別乗算器４は、メモリ部３にラッチされた画像データを読み出し、この画像データに画素ごとに各色に応じた調整パラメータを乗算し、乗算した後の画像データを２値化処理部５の特定色抽出部５１に出力する。なお、色別乗算器４で乗算する調整パラメータは、色調整比率計算器７で計算され、色別乗算器４にフィードバックされたものである。【００３６】
特定色抽出部５１では、特定色抽出のパラメータを特定色に設定し、調整パラメータが乗算された後の画像データに対し、そのパラメータで特定色の画素データを抽出する。る
もしくは、特定色抽出部５１では、各色レベルに閾値を設定し、特定色の画素データを抽出する。【００３７】
２値化出力部５２では、図４に示したように、特定色抽出部５１によって抽出された特定色の画素データを１、特定色以外の画素データを０とする２値化処理を施した２値化画像データを、駆動情報生成部４１に出力する。【００３８】
図５は、特定色抽出の計算例を示している。
なお、図５は、色空間をＨＳＶモデルに対応させて示している。ＨＳＶモデルは、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ・Ｃｈｒｏｍａ）、および明度（Ｖａｌｕｅ・Ｌｉｇｈｔｎｅｓｓ・Ｂｒｉｇｈｔｎｅｓｓ）の３つの成分からなる色空間モデルである。【００３９】
図５には、Ｒを基準色とした特定色の画素データの抽出、検出を行う例（肌色検出）（１）と、Ｇを基準色とした特定色の画素データの抽出、検出を行う例（２）と、Ｂを基準色とした特定色の画素データの抽出、検出を行う例（３）とを示す。【００４０】
図５の計算例において、α、β、γは、２値化出力部５２において、特定色の画素データであるか、特定色以外の画素データであるかを決める閾値を決定する係数である。２値化出力部５２には、基幹色外比率閾値と、基幹色絶対閾値とが入力される。基幹色は、特定色に対応する色である。【００４１】
２値化出力部５２から出力された２値化画像データは、駆動情報生成部４１（画像モーメント抽出部８および重心計算部９）において、モーメントや重心等が算出され、アクチュエータ１０を駆動するための情報が生成される。【００４２】
一方、色別積分器６では、メモリ部３にラッチされた画像データを画素ごとに色別に所定期間分（例えば１フレーム期間分）、積分する。色別積分器６では、画面全体の画像データをＲ，Ｇ，Ｂ色別に積分する。【００４３】
色調整比率計算器７では、Ｒ，Ｇ，Ｂの積分結果からＲ，Ｇ，Ｂの比率を計算し、各色の比率に基づいて、色別乗算器４で乗算する調整パラメータの値を調整する（フィードバックする）。色調整比率計算器７では、例えば、Ｒ：Ｇ：Ｂが１：１：１の比率になるようにホワイトバランスを計算し、色別乗算器４の調整パラメータの値に反映させる。【００４４】
また、色別積分器６では、メモリ部３にラッチされた画像データに基づいて画素ごとにＲ，Ｇ，Ｂの色別に輝度Ｙを計算する。色別積分器６では、輝度Ｙを一般的な計算式、例えば「Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ」などによって算出し、輝度Ｙを所定期間分（例えば１フレーム期間分）、積分する。この積分は、例えば重心計算部９で算出した重心周辺のターゲット領域もしくは画面全体で行ってもよい。輝度Ｙの積分結果が適切なレベルになるように、色調整比率計算器７でオートエクスポージャ（ＡＥ、自動露出）レベルを計算（調整）し、画素部１の各画素の蓄積時間（シャッタ）もしくは色別乗算器４に反映するようにしてもよい。【００４５】
以上の処理は、毎フレームごとに実施してもよい。【００４６】
［１．３  効果］
以上のように、本実施の形態によれば、調整パラメータが乗算された後の画像データに基づいて特定色のターゲット画像２０を抽出するようにしたので、ターゲットの抽出精度を向上させることができる。【００４７】
本実施の形態に係る画像処理システムによれば、ターゲット画像２０の抽出が精度が向上し、結果として、物体追尾精度が向上する。本実施の形態に係る画像処理システムによれば、周辺環境光変化による被写体追尾外れを抑制する。【００４８】
また、本実施の形態に係る画像処理システムによれば、高速フレームレートカメラにて、フレームごとの画面全体に発生する画像の明るさや色の変化を抑制できる。結果として画質性能を向上させることが期待できる。【００４９】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。【００５０】
＜２．第２の実施の形態＞
次に、本開示の第２の実施の形態に係る画像処理システムについて説明する。なお、以下では、上記第１の実施の形態に係る画像処理システムの構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。【００５１】
図６は、本開示の第２の実施の形態に係る画像処理システムの一構成例を概略的に示している。【００５２】
本実施の形態では、ターゲット抽出の精度を高めると共にフリッカ対策を可能にした画像処理システムを提供する。【００５３】
本実施の形態に係る画像処理システムは、上記第１の実施の形態に係る画像処理システムの構成に対して、画像Ｉ／Ｆ（インタフェース）１１と、外部装置１２とをさらに備えている。【００５４】
外部装置１２は、他の画像処理装置や、ディスプレイ等の画像出力装置であってもよい。【００５５】
本実施の形態に係る画像処理システムでは、色別積分器４からの出力が、色別積分器６と画像Ｉ／Ｆ１１とに入力される。【００５６】
図７は、フリッカの発生イメージを示している。図７には、電源の周期と、蛍光灯の明滅の周期と、垂直同期信号ＶＤとを示す。以降の図８および図９についても同様である。【００５７】
図７に示したように、フレームレートが遅いと、フレームごとに明るさが異なるため、フリッカが発生する。フリッカを抑制するためには、蛍光灯の周期に合ったフレームレート動作が必要となる。【００５８】
図８は、カラーローリングの発生イメージを示している。フレームごとに色成分の比率が異なることで、カラーローリングが発生する。【００５９】
本実施の形態に係る画像処理システムでは、色調整比率計算器７からの出力を色別乗算器４にフィードバックする動作を毎フレームごとに行うことが可能となっている。このため、高フレームレートでのオートホワイトバランス（ＡＷＢ）動作やＡＥ動作が可能となっている。【００６０】
図９は、高フレームレート撮影時のサンプリング周期の一例を示す。
図９のように、サンプリングした明るさに対応し、高フレームレートで毎フレームごとにＡＥ動作をさせることで、図７に示したフリッカの影響をほぼ無くすことができる。これにより、外部装置１２に出力する画像データにおけるフリッカの発生を抑制できる。【００６１】
また、図８に示したカラーローリングに対しても、高フレームレートで毎フレームごとにＡＷＢ動作をさせることで、カラーローリングの影響を最小限に抑えることができる。これにより、外部装置１２に出力する画像データにおけるカラーローリングの発生を抑制できる。【００６２】
その他の構成、動作、ならびに効果は、上記第１の実施の形態に係る画像処理システムと略同様であってもよい。【００６３】
＜３．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。【００６４】
図１０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１０に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。【００６５】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１０では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。【００６６】
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。【００６７】
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。【００６８】
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。【００６９】
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。【００７０】
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。【００７１】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。【００７２】
ここで、図１１は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。【００７３】
なお、図１１には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。【００７４】
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。【００７５】
図１０に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。【００７６】
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。【００７７】
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。【００７８】
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。【００７９】
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。【００８０】
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）（登録商標）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。【００８１】
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。【００８２】
測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。【００８３】
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。【００８４】
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。【００８５】
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。【００８６】
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。【００８７】
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。【００８８】
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１０の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。【００８９】
なお、図１０に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。【００９０】
以上説明した車両制御システム７０００において、本開示の画像処理装置、および撮像装置、ならびに画像処理システムは、例えば、車外情報検出ユニット７４００および撮像部７４１０、又は、車内情報検出ユニット７５００および運転者状態検出部７５１０に適用することができる。【００９１】
＜４．その他の実施の形態＞
本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。【００９２】
例えば、上記各実施の形態では、画像処理システムの一例としてターゲットトラッキングシステムの例を示したが、本技術は２値化画像データを利用するその他のセンシングシステムに広く適用可能である。【００９３】
例えば、本技術は以下のような構成を取ることもできる。
（１）
複数色の画素を含む画素部からの画像データが入力され、前記画素ごとの色レベルを調整する調整パラメータを前記画像データに乗算する乗算器と、
前記画像データにおける前記画素ごとの各色の比率を算出し、前記各色の比率に基づいて、前記調整パラメータの値を調整する調整部と、
前記調整パラメータが乗算された前記画像データに基づいて、特定色のターゲット画像を抽出する２値化処理部と
を備える
画像処理装置。
（２）
前記２値化処理部は、
前記調整パラメータが乗算された前記画像データにおける前記画素ごとに色成分を比較し、前記特定色の画素データを抽出する特定色抽出部
を有する
上記（１）に記載の画像処理装置。
（３）
前記２値化処理部は、
前記調整パラメータが乗算された前記画像データに対して、前記特定色抽出部によって抽出された前記特定色の画素データを１、前記特定色以外の画素データを０とする２値化処理を施した２値化画像データを出力する２値化出力部
をさらに有する
上記（２）に記載の画像処理装置。
（４）
前記２値化画像データに基づいて、前記特定色のターゲットを追尾するアクチュエータを駆動する情報を生成する駆動情報生成部
をさらに備える
上記（３）に記載の画像処理装置。
（５）
前記調整部は、
前記画像データを前記画素ごとに所定期間分、積分する積分器と、
前記積分した後の前記画像データにおける前記画素ごとの前記各色の比率を算出する色調整比率計算器と
を有する
上記（１）ないし（４）のいずれか１つに記載の画像処理装置。
（６）
複数色の画素を含む画素部と、
前記画素部からの画像データが入力され、前記画素ごとの色レベルを調整する調整パラメータを前記画像データに乗算する乗算器と、
前記画像データにおける前記画素ごとの各色の比率を算出し、前記各色の比率に基づいて、前記調整パラメータの値を調整する調整部と、
前記調整パラメータが乗算された前記画像データに基づいて、特定色のターゲット画像を抽出する２値化処理部と
を備える
撮像装置。
（７）
撮像装置と、
前記撮像装置に対して特定色のターゲットを追尾して撮影させるアクチュエータと
を含み、
前記撮像装置は、
複数色の画素を含む画素部と、
前記画素部からの画像データが入力され、前記画素ごとの色レベルを調整する調整パラメータを前記画像データに乗算する乗算器と、
前記画像データにおける前記画素ごとの各色の比率を算出し、前記各色の比率に基づいて、前記調整パラメータの値を調整する調整部と、
前記調整パラメータが乗算された前記画像データに基づいて、前記特定色のターゲット画像を抽出する２値化処理部と
を備える
画像処理システム。【００９４】
本出願は、日本国特許庁において２０１６年６月１７日に出願された日本特許出願番号第２０１６−１２０９６５号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。【００９５】
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
【図１】
2017217177.tif 000003
【図２】
2017217177.tif 000004
【図３】
2017217177.tif 000005
【図４】
2017217177.tif 000006
【図５】
2017217177.tif 000007
【図６】
2017217177.tif 000008
【図７】
2017217177.tif 000009
【図８】
2017217177.tif 000010
【図９】
2017217177.tif 000011
【図１０】
2017217177.tif 000012
【図１１】
2017217177.tif 000013
【国際調査報告】
2017217177.tif 000014
2017217177.tif 000015
2017217177.tif 000016
2017217177.tif 000017