(57)【要約】【課題】  夜間時における局所的な高輝度領域が存在する場合であっても対象物の認識性を向上することができる車両用認識装置を提供すること。【解決手段】  認識対象物を含む画像を取り込むカメラ２と、取り込んだ画像に対して、近傍画素との閾値を用いた比較により３値化を行う画像処理部３を備える車両用認識装置１において、画像処理部３は、取り込んだ画像を複数のブロックに分割し、局所的に明るい部分のブロックを演算対象から除外する局所排除処理部３２と、局所排除処理部３２により局所的に明るい部分のブロックを除外した画像の輝度平均と輝度分散から閾値の最適な予測値を演算する３値化処理部３３を備えた。【選択図】        図１
2008171097.tif 000002
【特許請求の範囲】
【請求項１】
認識対象物を含む画像を取り込む撮像手段と、
取り込んだ画像に対して、近傍画素との閾値を用いた比較により３値化を行う画像処理手段と、
を備える車両用認識装置において、
前記画像処理手段は、
取り込んだ画像を複数のブロックに分割する画像分割手段と、
局所的に明るい部分のブロックを演算対象から除外する局所的高輝度除外手段と、
前記局所的高輝度除外手段により局所的に明るい部分のブロックを除外した画像の輝度平均と輝度分散から前記閾値の最適な予測値を演算する閾値予測手段と、
を備えることを特徴とする車両用認識装置。
【請求項２】
請求項１に記載の車両用認識装置において、
前記画像分割手段は、
画像の水平方向の積算輝度グラフの傾きと、画像の垂直方向の積算輝度グラフの傾きから画像を分割する境界線を設定する、
ことを特徴とする車両用認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、他車のナンバーや道路標識を画像から認識する車両用認識装置の技術分野に属する。
【背景技術】
【０００２】
従来では、他車のナンバープレートを含む画像を取り込むカメラと、取り込んだ画像に対して、近傍画素との閾値を用いた比較により３値化を行う３値化処理部とを備える車両用認識装置において、取り込んだ画像の輝度平均と輝度分散から閾値の最適な予測値を演算し、３値化処理部は閾値の予測値を用いて３値化を行っている（例えば、特許文献１参照。）。
【特許文献１】特開２００６−３０９６５０号公報（第２−７頁、全図）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来にあっては、画像全体から輝度平均、輝度分散を算出するため、全体的に明るい画像、全体的に暗い画像には効果を発揮するが、夜間に対向車のヘッドライトが写りこんでいる画像や、夜間に前車のストップランプが写りこんでいる画像のような明暗の差が大きい画像の場合に適切な閾値を求めることができないという問題があった。
【０００４】
本発明は、上記問題点に着目してなされたもので、その目的とするところは、夜間時における局所的な高輝度領域が存在する場合であっても対象物の認識性を向上することができる車両用認識装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明では、認識対象物を含む画像を取り込む撮像手段と、取り込んだ画像に対して、近傍画素との閾値を用いた比較により３値化を行う画像処理手段と、を備える車両用認識装置において、前記画像処理手段は、取り込んだ画像を複数のブロックに分割する画像分割手段と、局所的に明るい部分のブロックを演算対象から除外する局所的高輝度除外手段と、前記局所的高輝度除外手段により局所的に明るい部分のブロックを除外した画像の輝度平均と輝度分散から前記閾値の最適な予測値を演算する閾値予測手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
よって、本発明にあっては、夜間時における局所的な高輝度領域が存在する場合であっても対象物の認識性を向上することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の車両用認識装置を実現する実施の形態を、請求項１，２に係る発明に対応する実施例１に基づいて説明する。
【実施例１】
【０００８】
まず、構成を説明する。
図１は実施例１の車両用認識装置の構成を示す概略図である。
車両用認識装置１は、カメラ２、画像処理部３、車両装置４を主な構成とする。
カメラ２は、ＣＣＤカメラであり、２４bitのカラー画像を撮像し、画像データ信号として出力する。
画像処理部３は、グレースケール処理部３１、局所排除処理部３２、３値化処理部３３、認識処理部３４からなり、カメラ２から入力した画像データの処理を行う。
【０００９】
グレースケール処理部３１は、カラー画像を白黒で８bitの輝度値を持つグレースケール画像に変換する。
局所排除処理部３２は、ストップランプやヘッドライトの写り込みなどの部分を除外する処理を行う。詳細は後述する。
３値化処理部３３は、除外されていない残りのグレースケール画像の各画素を３種（無色、白、黒）に分類し、３値化画像を生成する。この３値化分類には、白と判定するために閾値ｆ１を用い、黒と判定するために閾値ｆ２を用いる。
【００１０】
この閾値ｆ１，ｆ２は、Ｃ１１〜Ｃ１３，Ｃ２１〜Ｃ２３を予測式の係数として、
【００１１】
ｆ１＝Ｃ１１×輝度平均＋Ｃ１２×輝度分散＋Ｃ１３・・・（式１）
【００１２】
ｆ２＝Ｃ２１×輝度平均＋Ｃ２２×輝度分散＋Ｃ２３・・・（式２）
【００１３】
以上の式から求めたものを用いる。
この式１、式２は予め、実験と重回帰分析により求めておく。
認識処理部３４は、３値化画像から、ナンバープレートや、標識等に表示されている文字、数字、形状のマッチングによる認識処理を行い、ナンバープレートの大きさや、標識の内容を認識する処理を行う。
車両装置４は、得られた車両のナンバーやナンバープレートの大きさ、標識内容等を利用する装置である。例えば、ナンバープレートの大きさから、車間距離を算出する装置であってもよい。
【００１４】
作用を説明する。
[局所排除処理]
図２は実施例１の車両用認識装置の画像処理部３で実行される局所排除処理を主とする画像処理の流れを示すフローチャートで、以下各ステップについて説明する。
【００１５】
ステップＳ１では、入力されるカメラ画像から水平方向及び垂直方向の積算輝度を作成する。
【００１６】
ステップＳ２では、各積算輝度グラフの傾きが一定値以上となる点を抽出する。
【００１７】
ステップＳ３では、積算輝度グラフ上の点からブロック境界線を決定する。
【００１８】
ステップＳ４では、各ブロックの輝度平均を算出する。
【００１９】
ステップＳ５では、輝度平均が最大となるブロックを排除する。
【００２０】
ステップＳ６では、最大輝度平均のｘ％以上の輝度平均を持つブロックを排除する。
【００２１】
ステップＳ７では、残ったブロックから画面輝度を算出する。
【００２２】
ステップＳ８では、画面輝度から多変量解析により最適閾値を予測し、認識アルゴリズムへ移行する。
【００２３】
[局所的高輝度領域を排除する作用]
図３は実施例１の車両用認識装置における画像とその画像の水平、垂直方向の積算輝度グラフを示す説明図である。図４は実施例１の車両用認識装置における画像の水平、垂直方向の積算輝度グラフを処理し画面に反映させた状態を示す説明図である。図５は実施例１の車両用認識装置における画像の局所的高輝度ブロックを排除した状態を示す説明図である。
【００２４】
実施例１の画像処理部３のグレースケール処理部３１、局所排除処理部３２では、カラー画像を白黒で８bitの輝度値を持つグレースケール画像に変換し、図３に示すように、その画像１０の水平方向の積算輝度グラフ２０と、垂直方向の積算輝度グラフ３０を作成する（ステップＳ１）。
次に、図４に示すように、各積算輝度グラフ２１，３１の傾き２１１，３１１がある一定の値を超える点、つまり境界点２１２，３１２を抽出する（ステップＳ２）。そして、図４に示すように、その積算輝度グラフ上の点からブロック分割境界線２１３，３１３を設定する（ステップＳ３）。
【００２５】
次に、図５に示すように、ブロック分割境界線２１３，３１３で複数のブロックに分割するように仕切った画像１２に対して、各ブロックの輝度平均を算出し（ステップＳ４）する。
そして、全ブロック中、輝度平均が最高であるブロックを排除する（ステップＳ５）。さらに、最大輝度平均がｘ％以上の輝度平均を持つブロックを排除する（ステップＳ６）。図５では、排除された局所的高輝度ブロック１２１を示す。
【００２６】
次に、実施例１の３値化処理部３３では、排除したブロック以外の残りのブロックから画面輝度を算出し（ステップＳ７）、算出した画面輝度から最適閾値を予測し（ステップＳ８）、その後の閾値を用いた３値化処理を行う。
実施例１では、このように画像を輝度の傾きによりブロックに分割し、局所的に高輝度となっているブロックを排除するため、夜間に対向車のヘッドライトが写りこんでいる画像や、夜間に前車のストップランプが写りこんでいる画像の場合に、局所的に高輝度となっているブロックを排除することで、従来と同様の処理により、適切な閾値を重回帰式から求め、良好に認識対象物（ナンバープレート、道路標識等）を認識することができる。
【００２７】
この実施例１の３値化の前の局所的高輝度のブロックを排除する処理では、輝度の変化からブロック境界線を求めるため、計算コストを低く抑えることができる。
また、この処理が効果を発揮するのは、夜間であるが、昼間の使用に対しても影響なく使用することができ、昼、夜で切替える必要がない。
このことは、切り替え処理負担、ソフトの保存負担等を軽減し、コストを抑制することにつながるものである。
【００２８】
本実施例１の局所的高輝度領域を排除する作用についてさらに説明する。
図６は実施例１の車両用認識装置の輝度平均と閾値の関係と重回帰式により求めた閾値予測式を示すグラフ図である。図７は実施例１の車両用認識装置において、閾値Ａを用いて処理した画像の例を示す説明図である。図８は実施例１の車両用認識装置において、閾値Ｂを用いて処理した画像の例を示す説明図である。
図７、図８の元画像は、前車のストップランプが点灯しているものとする。
従来では、重回帰分析を用いて、画像の輝度平均と輝度分散から３値化処理の閾値を予測する一次式を作成することにより、演算量の削減効果を得ていた。
その際、横軸に輝度平均、縦軸に閾値として関係を示したものが図６のグラフである。
【００２９】
この閾値予測ライン１００において、前車のストップランプが点灯しているために、輝度平均が高く引き上げられ、得られたのが、Ｂ点における閾値Ｂである。
この閾値Ｂは、例えば、図８の画像１４で処理して得たいものがナンバープレートのナンバーとした場合に、そのナンバー近傍の輝度と比較して、高い輝度を持つストップランプが点灯により、最適な閾値よりも、高輝度用の閾値Ｂが得られてしまうことになる。そのために、図８の処理後画像１４では、ナンバープレートのナンバーの読取りが困難になっている。よって、パターンマッチング等のその後の処理でも読取りは困難となるのである。
【００３０】
これに対して、実施例１では、ストップランプ点灯による局所的高輝度部分が削除され、輝度平均等を得る演算処理が成されるので、図６に示すように、得られる閾値は、閾値Ｂに比較して、低い輝度用のＡ点の閾値Ａとなる。
これは、よりナンバーに近い輝度用の閾値Ａが得られることになる。そのため、図７の処理後画像で１３は、ナンバープレートのナンバーの読取りができるものになっている。よって、パターンマッチング等のその後の処理でも読取りが可能となるのである。
【００３１】
次に、効果を説明する。
実施例１の車両用認識装置にあっては、下記に列挙する効果を得ることができる。
(1)認識対象物を含む画像を取り込むカメラ２と、取り込んだ画像に対して、近傍画素との閾値を用いた比較により３値化を行う画像処理部３を備える車両用認識装置１において、画像処理部３は、取り込んだ画像を複数のブロックに分割し、局所的に明るい部分のブロックを演算対象から除外する局所排除処理部３２と、局所排除処理部３２により局所的に明るい部分のブロックを除外した画像の輝度平均と輝度分散から閾値の最適な予測値を演算する３値化処理部３３を備えるため、夜間時における局所的な高輝度領域が存在する場合であっても対象物の認識性を向上することができる。
【００３２】
(2)局所排除処理部３２の画像分割処理は、画像の水平方向の積算輝度グラフの傾きと、画像の垂直方向の積算輝度グラフの傾きから画像を分割する境界線を設定するため、輝度の変化からブロック境界線を求めるため、計算コストを低く抑えることができる。
【００３３】
以上、本発明の車両用認識装置を実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【図面の簡単な説明】
【００３４】
【図１】実施例１の車両用認識装置の構成を示す概略図である。
【図２】実施例１の車両用認識装置の画像処理部３で実行される局所排除処理を主とする画像処理の流れを示すフローチャートである。
【図３】実施例１の車両用認識装置における画像とその画像の水平、垂直方向の積算輝度グラフを示す説明図である。
【図４】実施例１の車両用認識装置における画像の水平、垂直方向の積算輝度グラフを処理し画面に反映させた状態を示す説明図である。
【図５】実施例１の車両用認識装置における画像の局所的高輝度ブロックを排除した状態を示す説明図である。
【図６】実施例１の車両用認識装置の輝度平均と閾値の関係と重回帰式により求めた閾値予測式を示すグラフ図である。
【図７】実施例１の車両用認識装置において、閾値Ａを用いて処理した画像の例を示す説明図である。
【図８】実施例１の車両用認識装置において、閾値Ｂを用いて処理した画像の例を示す説明図である。
【符号の説明】
【００３５】
１  車両用認識装置
２  カメラ
３  画像処理部
３１  グレースケール処理部
３２  局所排除処理部
３３  ３値化処理部
３４  認識処理部
４  車両装置
１０  画像
１１  画像
１２  画像
１３  画像
１４  画像
２０  積算輝度グラフ
２１  積算輝度グラフ
２１１  傾き
２１２  境界点
２１３  ブロック分割境界線
３０  積算輝度グラフ
３１  積算輝度グラフ
３１１  傾き
３１２  境界点
３１３  ブロック分割境界線
１００  閾値予測ライン
１２１  局所的高輝度ブロック
Ａ  閾値
Ｂ  閾値
【図１】
2008171097.tif 000003
【図２】
2008171097.tif 000004
【図６】
2008171097.tif 000005
【図３】
2008171097.tif 000006
【図４】
2008171097.tif 000007
【図５】
2008171097.tif 000008
【図７】
2008171097.tif 000009
【図８】
2008171097.tif 000010