(57)【要約】  本発明は、コストを上げることなく、テールライトを高精度に識別可能な画像処理装置および配光制御システムを実現する。本発明は、カメラ11及び画像取得部12により取得された画像から、画素検出部18の第一画素検出部13により第一閾値以上の赤色画素が検出され、検出された赤色画素を基点として、周辺画素を第一閾値より小さい第二閾値を使用して第二閾値画素検出部14により画素が判断され、光検出部15により光点が検出される。テールライト判定部16により検出された光点の赤色画素の割合（第一閾値以上の画素の割合）が算出され、算出された赤色画素の割合がテールライト判定閾値以上か否かが判定される。テールライト判定閾値以上であれば、テールライトと判定され、テールライト判定閾値未満であれば、テールライト以外の光点であると判定される。
2018225462.tif 000002
【特許請求の範囲】
【請求項１】
外界を撮像する撮像部と、
上記撮像部により撮像された画像を取得する画像取得部と、
上記画像取得部により取得された画像の、赤色度合いを示す第一閾値以上の画素、及び上記第一閾値より小さい第二閾値以上の画素を検出する画素検出部と、
上記画素検出部により、検出された上記二閾値以上の画素から光点を検出する光点検出部と、
検出された上記第一閾値以上の画素及び上記第二閾値以上の画素に基いて、上記光点が、車両のテールライトであるか否かを判定するテールライト判定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
上記光点検出部は、上記画素検出部により検出された上記第一閾値以上の画素の周辺画素の上記第二閾値以上の画素を判断して、光点を検出し、
上記テールライト判断部は、上記光点における第一閾値以上の画素数の割合を算出し、算出した上記割合が、予め定めたテールライト判定閾値以上であれば、上記光点は車両のテールライトであると判定することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
上記光点検出部は、上記画素検出部により検出された上記第二閾値以上の画素を有する光点を検出し、
上記テールライト判断部は、上記光点における第一閾値以上の画素数の割合を算出し、算出した上記割合が、予め定めたテールライト判定閾値以上であれば、上記光点は車両のテールライトであると判定することを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
上記光点検出部は、上記画素検出部により検出された上記第一閾値以上の画素の周辺画素の上記第二閾値以上の画素を判断して、光点を検出し、
上記テールライト判断部は、上記光点における第一閾値以上の画素の位置を算出し、算出した上記画素の位置が上記光点の端であるか否かを判定し、算出した上記画素の位置が上記光点の端ではないときには、上記光点は車両のテールライトであると判定することを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
上記光点検出部は、上記画素検出部により検出された上記第二閾値以上の画素を有する光点を検出し、
上記テールライト判断部は、上記光点における第一閾値以上の画素の位置を算出し、算出した上記画素の位置が上記光点の端であるか否かを判定し、算出した上記画素の位置が上記光点の端ではないときには、上記光点は車両のテールライトであると判定することを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置において、
上記光点検出部は、上記画素検出部により検出された上記第一閾値以上の画素の周辺画素の上記第二閾値以上の画素を判断して、光点を検出し、
上記テールライト判断部は、上記光点における第一閾値以上の画素数の割合を算出し、算出した上記割合が、予め定めたテールライト判定閾値未満であれば、上記光点は道路上の反射板であると判定することを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置において、
上記光点検出部は、上記画素検出部により検出された上記第二閾値以上の画素を有する光点を検出し、
上記テールライト判断部は、上記光点における第一閾値以上の画素数の割合を算出し、算出した上記割合が、予め定めたテールライト判定閾値未満であれば、上記光点は道路上の反射板であると判定することを特徴とする画像処理装置
【請求項８】
外界を撮像する撮像部と、上記撮像部により撮像された画像を取得する画像取得部と、上記画像取得部により取得された画像の、赤色度合いを示す第一閾値以上の画素、及び上記第一閾値より小さい第二閾値以上の画素を検出する画素検出部と、上記画素検出部により、検出された上記二閾値以上の画素から光点を検出する光点検出部と、検出された上記第一閾値以上の画素及び上記第二閾値以上の画素に基いて、上記光点が、車両のテールライトであるか否かを判定するテールライト判定部と、このテールライト判定部の判定結果に従って配光を制御する指令を生成する配光制御部と、を有する画像処理装置と、
上記配光制御部からの指令信号に従って光源を制御する光源制御部と、
を備えることを特徴とする配光制御システム。
【請求項９】
請求項８に記載の配光制御システムにおいて、
上記光点検出部は、上記画素検出部により検出された上記第一閾値以上の画素の周辺画素の上記第二閾値以上の画素を判断して、光点を検出し、
上記テールライト判断部は、上記光点における第一閾値以上の画素数の割合を算出し、算出した上記割合が、予め定めたテールライト判定閾値以上であれば、上記光点は車両のテールライトであると判定することを特徴とする配光制御システム。
【請求項１０】
請求項８に記載の配光制御システムにおいて、
上記光点検出部は、上記画素検出部により検出された上記第二閾値以上の画素を有する光点を検出し、
上記テールライト判断部は、上記光点における第一閾値以上の画素数の割合を算出し、算出した上記割合が、予め定めたテールライト判定閾値以上であれば、上記光点は車両のテールライトであると判定することを特徴とする配光制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両等の画像処理装置および車両のヘッドライトの配光を制御する配光制御システムに関する。
【背景技術】
【０００２】
従来から車両搭載用の画像処理システムに関する発明が知られている。【０００３】
特許文献１に記載された画像処理システムは、車両に搭載された撮像手段と、この撮像手段が撮影した画像を取得し画像の解析を行う画像解析手段とを備えている。この画像解析手段は、撮像手段が撮影した画像を解析して先行車のテールライトの位置を検出する。【０００４】
上記画像処理システムでは、まず撮像画像内から赤色の画素を検出し、隣接する赤色画素を連結して「要素グループ」（＝光点）を作成する。次に、要素グループの特徴量（矩形サイズ、最大・最小輝度など）に基づいて車両のテールランプとそれ以外（反射板など）とを判別している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−２３２４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記従来技術における画像処理システムでは、反射板などの赤色に近い色の物体を先行車のテールライトとして誤検知するという問題がある。【０００７】
一般に、車両のテールライト検知の精度を上げるには次の方策がとられる。（１）高コストのレンズ・撮像素子を使用し、色の判別性を向上させる。低価格のレンズの場合、赤色に近い橙色のような物体を撮像した場合、赤色が含まれてしまうという現象が発生する場合があるからである。【０００８】
（２）自車ヘッドライトとして、より白色に近い光を発するランプを使用する（反射板の影響を減らす）。【０００９】
ただし、上記（１）及び（２）の方策は、いずれもコストを上げるものである。【００１０】
したがって、低価格なレンズを使用し、かつ、より白色に近い光を発するランプを使用することなく、赤色に近い色の物体を、先行車のテールライトとする誤検知を回避することが可能な技術が望まれる。【００１１】
本発明の目的は、上記課題に鑑みてなされたものであり、コストを上げることなく、テールライトを高精度に識別可能な画像処理装置および配光制御システムを実現することである。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明は次のように構成される。【００１３】
画像処理装置において、外界を撮像する撮像部と、上記撮像部により撮像された画像を取得する画像取得部と、上記画像取得部により取得された画像の、赤色度合いを示す第一閾値以上の画素、及び上記第一閾値より小さい第二閾値以上の画素を検出する画素検出部と、上記画素検出部により、検出された上記二閾値以上の画素から光点を検出する光点検出部と、検出された上記第一閾値以上の画素及び上記第二閾値以上の画素に基いて、上記光点が、車両のテールライトであるか否かを判定するテールライト判定部と、を備える。【００１４】
配光制御システムにおいて、外界を撮像する撮像部と、上記撮像部により撮像された画像を取得する画像取得部と、上記画像取得部により取得された画像の、赤色度合いを示す第一閾値以上の画素、及び上記第一閾値より小さい第二閾値以上の画素を検出する画素検出部と、上記画素検出部により、検出された上記二閾値以上の画素から光点を検出する光点検出部と、検出された上記第一閾値以上の画素及び上記第二閾値以上の画素に基いて、上記光点が、車両のテールライトであるか否かを判定するテールライト判定部と、このテールライト判定部の判定結果に従って配光を制御する指令を生成する配光制御部と、を有する画像処理装置と、上記配光制御部からの指令信号に従って光源を制御する光源制御部と、を備える。
【発明の効果】
【００１５】
本発明によれば、コストを上げることなく、テールライトを高精度に識別可能な画像処理装置および配光制御システムを実現することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施例１である画像処理装置の全体構成を示すブロック図である。
【図２】本発明の実施例１におけるテールライト検知の処理手順を示すフローチャートである。
【図３】本発明の実施例２におけるテールライト検知の処理手順を示すフローチャートである。
【図４】本発明とは異なる技術における光点検出処理の概要を示す図である。
【図５】図４に示した技術の問題点を説明するための図である。
【図６】本説明の原理を説明するための図である。
【図７】本発明における光点検出処理の概要を示す図である。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照して、本発明の実施形態について説明する。
【実施例】
【００１８】
本発明の実施例の説明に先立って、本発明の原理について説明する。【００１９】
図４は、本発明とは異なる技術における光点検出処理の概要を示す図であり、本発明との比較を説明するための図である。【００２０】
図４の（Ａ）において、まず、画像を撮像し、赤色画素２０を検出する。赤色画素検出の条件は、各画素のＲＧＢ値において、Ｒ／Ｇが、１つの所定の閾値以上であることとする。図４の（Ａ）において、符号２０が赤色画素であり、符号２１は、赤色ではなく、橙色の画素とする。そして、隣接する複数の赤色画素２０のグループ２２を判断する。符号２３は、隣接する複数の橙色画素２１のグループである。【００２１】
次に、図４の（Ｂ）に示すように、赤色画素のグループ２２を囲う矩形（破線）２４を赤色光点とし、これをテールライトと判断する。【００２２】
図５は、図４に示した技術の問題点を説明する図である。図５の（Ａ）は、画素のＲＧＢ分布を示し、縦軸がＲ、横軸がＧである。また、四角印が赤色画素であり、三角印が橙色画素である。【００２３】
図５の（Ａ）に示すように、安価レンズを使用して、テールライト又は反射板を撮像した場合、赤色の画素と、橙色の画素とが混在する領域が存在してしまう。Ｒ／Ｇの単純な閾値２５では、赤色の画素領域と橙色の画素領域とを分離することは困難である。【００２４】
高価格なレンズを使用すれば、このような問題の発生を抑制可能であるが、価格の上昇を招き、望ましいことではない。【００２５】
また、閾値２５をさらに上げれば、図５の（Ｂ）に示したテールライトを、図５の（Ｃ）に示すような反射板と誤検知する率は減少するが、テールライトの検出の検出率も下がってしまう。これは、さらに上げた閾値２５以上の画素数が減少するためである。【００２６】
図６は、本発明の原理におけるテールライト判定処理の概要を示す図である。【００２７】
図６の（Ａ）は、赤色画素と橙色画素とが混在した画素のＲＧＢ分布図である。図６の（Ａ）の縦軸は、Ｒを示し、横軸はＧを示す。また、赤色画素は四角印で示し、橙色画素は三角印で示す。【００２８】
図６の（Ａ）に示すように、閾値１と閾値２とを設定する。閾値１は、赤色画素しか含まない領域を検出する閾値であり、閾値２は、閾値１より、Ｒ／Ｇの値が小さく、赤色画素と橙色画素とを含む画素領域を検出する閾値である。【００２９】
そして、閾値２以上の画素領域の中で、閾値１以上の画素の割合が一定値以上の場合には、図６の（Ｂ）に示すようなテールライトと判定する。テールライトの場合は、赤色画素と橙色画素とが混在し、赤色画素の割合が一定値（例えば、１０％以上）であると考えられるからである。【００３０】
赤色画素の割合が一定値未満であれば、図６の（Ｃ）に示すような反射板と判定することができる。反射板の場合は、赤色画素と橙色画素とが混在するが、赤色画素の割合が一定値未満（例えば、１０％未満）であると考えられるからである。【００３１】
図７は、本発明における光点検出処理の概要を示す図である。【００３２】
図７の（Ａ）は、テールライトを撮像した画像であり、この画像から閾値１以上による赤色画素の検出を行う。閾値１による赤色画素の検出結果を図７の（Ｂ）に示す。【００３３】
次に、図７の（Ａ）に示した画像から閾値２による赤色画素の検出を行う。閾値２による赤色画素の検出結果を図７の（Ｃ）に示す。閾値１は例えば４であり、閾値２は例えば２である。閾値２以上の画素は、赤色画素と橙色画素とが混在している。【００３４】
そして、閾値１による赤色画素の検出結果と、閾値２による赤色画素の検出結果とを合成し、図７の（Ｄ）に示すような光点を得る。図７の（Ｄ）に示す光点画像の内の、閾値１以上の画素の割合を算出し、算出した割合が一定値以上場合はテールライトと判定し、一定値未満の場合は、反射板と判定する。【００３５】
反射板の場合は、光点の周辺（端部）に赤色画素が存在する傾向にあるため、光点における赤色画素の位置により、反射板であるか否かを判定し、反射板ではない場合をテールライトであると判定することもできる。【００３６】
以上が本発明の原理であり、この原理に基づく実施例について、以下に説明する。【００３７】
（実施例１）
図１は、本発明の実施例１である画像処理装置の全体構成を示すブロック図である。【００３８】
図１において、画像処理装置１は、外界を撮像するカメラ（撮像部）１１と、画像取得部１２と、画素検出部１９と、光点検出部１５と、テールライト判定部１６と、配光制御部１７とを備える。画素検出部１９は、第一閾値画素検出部１３と、第二閾値画素検出部１４とを有している。配光制御部１７からの配光制御信号は、ヘッドライト制御部１８に供給される。【００３９】
画像取得部１２は、車両の前方に設置したカメラ１１の制御を行い、定期的に露光時間の設定および撮像を行う。【００４０】
第一閾値画素検出部１３および第二閾値画素検出部１４は、画像取得部１２で取得した短露光画像を用いて、当該画像に含まれる所定の色の画素を検出する。【００４１】
光点検出部１５は、第一閾値画素検出部１３および第二閾値画素検出部１４で検出した画素情報を用いて、赤色及び赤色に近い画素のグループ（光点）を検出する。【００４２】
また、テールライト判定部１６は、検出された光点がテールライトであるか否かを判別する。配光制御部１７は、テールライト判定部１６の出力データに基づき、自車ヘッドライトの配光制御信号をヘッドライト制御部に供給する。ヘッドライト制御部１８は、配光制御部１７からの配光制御信号に従ってヘッドライト（光源）２５のハイビーム、ロービーム等の配光制御を行う。【００４３】
図２は、本発明の実施例１におけるテールライト検知の処理手順を示すフローチャートである。以下、図２のフローチャートに基づいて、テールライト検出処理の流れを説明する。【００４４】
図２のステップＳ１において、画像取得部１２は、カメラ１１に対して次に撮像する画像の露光時間を設定し、所定のタイミングで撮像を行う。【００４５】
ステップＳ２において、第一閾値画素検出部１３は、ステップＳ１で撮像した画像を取得し、所定の色閾値（第一閾値）で判別される色を持つ画素を検出する。具体的には、画像データ中の各画素を走査して、赤成分（Ｒ）と緑成分（Ｇ）の比（Ｒ／Ｇ）が第一閾値（赤色度合いを示す閾値）以上である画素を検出する。第一閾値は例えば４である。【００４６】
ステップＳ３において、第二閾値（赤色度合いを示す閾値）画素検出部１４は、ステップＳ２で検出した赤色画素の周辺画素について、第二閾値以上の画素を検出する。そして、光点検出部１５が、第二閾値以上の画素検出結果から光点を検出する。【００４７】
次に、ステップＳ４において、テールライト判定部１６は、ステップＳ３にて検出した光点の第一閾値以上の画素数の割合、つまり光点の全体画素数に対する赤色画素数の割合を算出する。【００４８】
そして、ステップＳ５において、テールライト判定部は、ステップＳ４にて算出した赤色画素数の割合が、テールライト判定閾値（例えば１０％）以上か否かを判定する。【００４９】
ステップＳ５において、赤色画素数の割合がテールライト判定閾値以上であれば、ステップＳ６に進み、テールライト判定部１６は、光点を先行車のテールライトと判定し、遮光対象とする旨の情報を付加し、配光制御部１７に出力する。【００５０】
ステップＳ５において、赤色画素の割合がテールライト判定閾値以上ではない場合は、ステップＳ７に進み、テールライト判定部１６は、光点はテールライトではなく、テールライト以外と判定し、遮光対象としない旨の情報を付加し、配光制御部１７に出力する。【００５１】
ステップＳ７においては、テールライト以外と判定するのではなく、反射板であると判定し、遮光対象から除外する旨の情報を付加することとしてもよい。【００５２】
ステップＳ８において、配光制御部１７は、ステップＳ６及びＳ７で得た判定及び情報に基づいて、自車両のヘッドライト（光源）の遮光領域を決定し、ヘッドライト制御部１８に配光を制御する指令信号を生成して送出し、配光制御を行う（光点検出結果を出力する）。【００５３】
ヘッドライト制御部（光源制御部）１８は、配光制御部１７からの指令信号に従ってヘッドライト２５を制御する。【００５４】
以上により、テールライト検出処理の１サイクルが完了する。【００５５】
なお、図１に示した画像処理装置１と、ヘッドライト制御部１８とを組み合わせることにより配光制御システムを構成することができる。【００５６】
上述したように、本発明の実施例１によれば、撮像した画像から、第一閾値以上の赤色画素を検出し、検出した赤色画素を基点として周辺画素を第一閾値より小さい第二閾値を使用して判断して光点を検出し、検出した光点の赤色画素の割合（第一閾値以上の画素の割合）を算出する。そして、算出した赤色画素の割合がテールライト判定閾値以上か否かを判定し、テールライト判定閾値以上であれば、テールライトと判定する。テールライト判定閾値未満であれば、テールライト以外の光点であると判定する。【００５７】
従って、高価なレンズを使用することなく、テールライトを高精度に識別可能な画像処理装置および配光制御システムを実現することができる。【００５８】
（実施例２）
次に、本発明の実施例２について説明する。【００５９】
図３は、本発明の実施例２におけるテールライト検知の処理手順を示すフローチャートである。【００６０】
実施例１と実施例２との相違点は、テールライト検知の処理手順であり、他の構成は同等となっている。このため、図１に示した画像処理装置１および配光制御システムは、実施例１と実施例２とは共通とする。【００６１】
図３のステップＳ１において、画像取得部１２は、カメラ１１に対して次に撮像する画像の露光時間を設定し、所定のタイミングで撮像を行う。【００６２】
ステップＳ２Ａにおいて、第二閾値画素検出部１４は、ステップＳ１で撮像した画像を取得し、所定の色閾値（第二閾値）で判別される色を持つ画素を検出する。光点検出部１５は、検出した画素を有する光点を検出する。【００６３】
具体的には、画像データ中の各画素を走査して、赤成分（Ｒ）と緑成分（Ｇ）の比（Ｒ／Ｇ）が第二閾値以上である画素を検出し、検出された画素同士が画像上で所定の距離以内にあるものを同一グループとして連結し、それらの画素群が占める領域を光点とみなす。本ステップにより複数の光点が検出され得る。第二閾値は例えば２である。【００６４】
次に、ステップＳ３Ａにおいて、テールライト判定部１６は、検出した光点内の画素における第一閾値以上の画素の割合を算出する。複数の光点が存在する場合は、光点ごとに検出した光点内の画素における第一閾値以上の画素の割合を算出する。【００６５】
次に、ステップＳ５において、テールライト判定部１６は、ステップＳ３Ａで算出した各光点の第一閾値以上の画素（赤色画素）の割合が所定のテールライト判定閾値（例えば１０％）以上か否かを判定する。【００６６】
ステップＳ５において、赤色画素の割合がテールライト判定閾値以上であれば、ステップＳ６に進み、テールライト判定部１６は、光点を先行車のテールライトと判定し、遮光対象とする旨の情報を付加し、配光制御部１７に出力する。【００６７】
ステップＳ５において、赤色画素の割合がテールライト判定閾値以上ではない場合は、ステップＳ７に進み、テールライト判定部１６は、光点はテールライトではなく、テールライト以外と判定し、遮光対象としない旨の情報を付加し、配光制御部１７に出力する。【００６８】
ステップＳ７においては、実施例１と同様に、テールライト以外と判定するのではなく、反射板であると判定し、遮光対象から除外する旨の情報を付加することとしてもよい。【００６９】
ステップＳ８において、配光制御部１７は、ステップＳ６及びＳ７で得た判定及び情報に基づいて、自車両のヘッドライト（光源）の遮光領域を決定し、ヘッドライト制御部１８に配光を制御する指令信号を生成して送出し、配光制御を行う（光点検出結果を出力する）。【００７０】
ヘッドライト制御部１８は、配光制御部１７からの指令信号に従ってヘッドライトを制御する。【００７１】
ステップＳ８において、配光制御部１７は、ステップＳ６およびＳ７で得た光点情報に基づいて、自車両のヘッドライトの遮光領域を決定し、配光制御を行う。【００７２】
以上により、テールライト検出処理の１サイクルが完了する。【００７３】
上述したように、本発明の実施例２によれば、撮像した画像から、第二閾値以上の画素を含む単数又は複数の光点を検出し、検出した光点内の画素の第一閾値以上の画素（赤色画素）の割合を算出する。そして、算出した赤色画素の割合がテールライト判定閾値以上か否かを判定し、テールライト判定閾値以上であれば、テールライトと判定する。テールライト判定閾値未満であれば、テールライト以外の光点であると判定する。この場合、道路上の反射板と判定することができる。【００７４】
従って、実施例１と同様に、高価なレンズを使用することなく、テールライトを高精度に識別可能な画像処理装置および配光制御システムを実現することができる。【００７５】
上述した実施例１及び実施例２以外の実施例としては、検出した光点のうちの第一閾値以上の画素（赤色画素）の割合ではなく位置により、テールライトか否かを判定する例がある。安価なレンズを用いて道路上の反射板を撮像した場合、得られた光点の端の部分（光点の外周部分）に赤色画素が現れる傾向にあるため、その場合には、テールライトではないと判定する。【００７６】
この例の場合の処理フローは、図２のステップＳ４、図３のステップＳ３Ａの赤色画素の割合の算出に代えて、「赤色画素の位置を算出する」とし、図２及び図３のステップＳ５の赤色画素の割合が閾値以上に代えて「赤色画素の位置が光点の端では無い」とする。
赤色画素の位置を算出すること、及び赤色画素の位置が光点の端では無いか否かを判定することは、テールライト判定部１６により実行される。【００７７】
なお、上述した例は、本発明を車両に搭載される画像処理装置および配光制御システムに適用した場合の例であるが、本発明は車両以外にも適用可能である。例えば、交通量を監視するための自動車監視装置に適用し、道路上の反射板をテールライトと誤認識することを抑制することができる。
【符号の説明】
【００７８】
１・・・画像処理装置、１１・・・カメラ、１２・・・画像取得部、１３・・・第一閾値画素検出部、１４・・・第二閾値画素検出部、１５・・・光点検出部、１６・・・テールライト判定部、１７・・・配光制御部、１８・・・ヘッドライト制御部、１９・・・画素検出部、２０・・・赤色画素、２１・・・橙色画素、２２・・・赤色画素グループ、２３・・・橙色画素グループ、２４・・・赤色光点、２５・・・ヘッドライト（光源）
【図１】
2018225462.tif 000003
【図２】
2018225462.tif 000004
【図３】
2018225462.tif 000005
【図４】
2018225462.tif 000006
【図５】
2018225462.tif 000007
【図６】
2018225462.tif 000008
【図７】
2018225462.tif 000009
【国際調査報告】
2018225462.tif 000010
2018225462.tif 000011
2018225462.tif 000012