(57)【要約】【課題】  道路画像から標識を精度よく認識することができる画像処理装置を提供すること。【解決手段】  入力画像として撮像した道路画像に対して、各画素の色判定を行うため、有彩色か無彩色かを判定する彩色判定手段を有する画像処理装置１において、彩色判定部１１５（ステップＳ５の処理）は、被判定画素の彩度と輝度との比率と彩度輝度比閾値Ｐｂ１との比較により判定を行うようにし、画像全体の明るさ、暗さを有彩色か無彩色かの判定に反映させた。【選択図】        図１
2008257392.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対して、各画素の色判定を行うため、有彩色か無彩色かを判定する彩色判定手段を有する画像処理装置において、
前記彩色判定手段は、
被判定画素の彩度と輝度との比率と閾値との比較により判定を行う、
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記閾値は、前記入力画像全体の輝度平均から算出するものである、
ことを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記閾値は、晴天時の昼間において、前記入力画像全体の輝度平均が増加するに従って、低くなる傾向を有するものである、
ことを特徴とする画像処理装置。
【請求項４】
請求項１〜請求項３のいずれか１項に記載の画像処理装置において、
前記入力画像の輝度平均を算出する輝度平均算出手段と、
前記輝度平均から、前記閾値を算出する彩度輝度比閾値算出手段と、
被判定画素の彩度と輝度の比率を算出する彩度輝度比算出手段と、
被判定画素のＲＧＢ値の比較から、判定する色の色相範囲にあるかどうかを判定する色相判定手段と、
被判定画素の彩度と輝度との比率と閾値との比較により、有彩色か無彩色かの判定を行う前記彩色判定手段と、
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、他車のナンバーや道路標識を画像から認識するために画像処理を行う画像処理装置の技術分野に属する。
【背景技術】
【０００２】
従来では、カラー画像処理装置の色判定部は、差分器でＲＧＢ成分の最大値と最小値の差分を算出し、色相算出部では画像データの色相を算出すると共に、輝度算出部では画像データの輝度を算出し、閾値決定部は、算出された色相及び輝度に基づき閾値を決定し、比較器は、差分器で算出された差分及び閾値決定部の閾値に基づき画像データが有彩色又は無彩色であるかを判定し、有彩色と判定した場合は有彩信号を出力し、無彩色と判定した場合は無彩信号を出力している（例えば、特許文献１参照。）。
【特許文献１】特開２００４−８８６６３号公報（第２−１７頁、全図）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の画像処理装置にあっては、特に下白地に書かれた太文字の輪郭部や細線の場合、下白地に影響されて輝度が高く彩度が低くなり、色があるのに無彩色に誤判定されるのを防止するには、有効であるが、道路画像から標識を識別するには、不十分であった。
【０００４】
本発明は、上記問題点に着目してなされたもので、その目的とするところは、道路画像から標識を精度よく認識することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明では、入力画像に対して、各画素の色判定を行うため、有彩色か無彩色かを判定する彩色判定手段を有する画像処理装置において、前記彩色判定手段は、被判定画素の彩度と輝度との比率と閾値との比較により判定を行う、ことを特徴とする。
【発明の効果】
【０００６】
よって、本発明にあっては、道路画像から標識を精度よく認識することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の画像処理装置を実現する実施の形態を、請求項１，２，３，４に係る発明に対応する実施例１に基づいて説明する。
【実施例１】
【０００８】
まず、構成を説明する。
図１は実施例１の画像処理装置１のブロック図である。
画像処理装置１は、色判定処理部１１、標識認識処理部１２を主要な構成とし、画像撮影装置２で撮像した道路画像を処理して、標識の認識を行う。
色判定処理部１１は、輝度平均算出部１１１、彩度輝度比閾値算出部１１２、彩度輝度比算出部１１３、色相判定部１１４、彩色判定部１１５を主要な構成とし、撮像したカラー画像の画素毎の色判定を行う。
【０００９】
輝度平均算出部１１１は、撮像した道路画像全体の輝度平均を算出する。
彩度輝度比閾値算出部１１２は、から予め設定されている輝度平均と彩度輝度比閾値との関係式、または関係テーブルデータから、算出された輝度平均に基づいて彩度輝度比閾値を決定する。
彩度輝度比算出部１１３は、撮像した道路画像の色判定を行う画素の彩度輝度比を算出する。
色相判定部１１４は、ＲＧＢ値の差分の関係式から、色相の判定を行う。
なお、実施例１では、Ｒ値−Ｇ値>０且つＢ値−Ｇ値>０の青の色相部分についての判定を行う。
彩色判定部１１５は、処理する画素の彩度輝度比と閾値との比較により、無彩色か有彩色かの判定を行う。
【００１０】
標識認識処理部１２は、ラベリング部１２１とパターンマッチング部１２２を主要な構成とし、色判定した道路画像から、どこにどんな標識があるかを認識する処理を行う。
ラベリング部１２１は、例えば同じ色でつながった部分に、ラベル付けを行って行く処理を行う。
パターンマッチング部１２２は、予めパターン化された標識データに処理画像を比較して当てはめる処理を行い、撮像画像中の標識を認識する。
【００１１】
次に作用を説明する。
[青色判定処理]
図２は実施例１の画像処理装置の色判定処理部１１で実行される青色判定処理の流れを示すフローチャートで、以下各ステップについて説明する。
【００１２】
ステップＳ１では、入力画像の輝度平均を算出する。
【００１３】
ステップＳ２では、予測式から彩度輝度比の閾値を算出する。
【００１４】
ステップＳ３では、注目画素の輝度、彩度、彩度輝度比を算出する。
【００１５】
ステップＳ４では、Ｒ値−Ｇ値>０且つＢ値−Ｇ値>０が成立するかどうかを判断し、成立するならばステップＳ５へ進み、不成立ならば青以外の色判定処理へ移行する。
【００１６】
ステップＳ５では、彩度輝度比が閾値Ｐｂ１以上かどうかを判断し、閾値Ｐｂ１以上ならばステップＳ６へ進み、閾値Ｐｂ１より小さいならば青以外の色判定処理へ移行する。
【００１７】
ステップＳ６では、色判定のために周囲画素の明るさを演算する。
【００１８】
ステップＳ７では、白判定を行い、白色と判定したならばステップＳ９へ進み、白色と判定しないならばステップＳ８へ進む。
【００１９】
ステップＳ８では、青判定を行い、青色と判定したならばステップＳ１０へ進み、青色と判定しないならば青以外の色判定処理へ移行する。
【００２０】
ステップＳ９では、その画素が、白色と判定され、処理を終了する。
【００２１】
ステップＳ１０では、その画素が、青色と判定され、処理を終了する。
【００２２】
[道路画像から標識を精度よく認識する作用]
実施例１では、青色の標識の色判定を行う場合を例に説明する。
図３は、色相と彩度及び輝度の関係を立体的に表わした図である。図４は、色相環における実施例１の彩度輝度比の閾値、色相範囲、彩色判定の状態を示す説明図である。図５は、輝度平均と彩度輝度比の閾値の関係を示すグラフ図である。
【００２３】
色相は、図がカラーでないためわかりづらいが、図３、図４の円は、「赤」→「紫」→「青」→「緑」→「黄」→「赤」と環状に徐々に変化する色相環である。
色相と彩度及び輝度には、図３に示すような関係がある。輝度が強すぎても、弱すぎても、彩度は全体的に低くなっていく。
本実施例１では、晴天時の昼間の範囲、つまり平均輝度が１２０以上の画面を例に説明する。
【００２４】
この例では、撮像した画像の中で、注目した画素の色が青色か白色かを判定する。つまり、晴天時の昼間の範囲での青色判定は、図３に示す色相環が、輝度の高い方向へ移動し、色が全体的に白っぽくなったものにおいて判断することになるため、青色か白色かの判定となる。
【００２５】
実施例１では、まず、撮像し、入力した道路画像全体の輝度平均を算出する（ステップＳ１）。そして、図５に示す、予め試験等を行い決定した、輝度平均と彩度輝度比の閾値Ｐｂ１の関係から、閾値Ｐｂ１を算出する（ステップＳ２）。
この閾値Ｐｂ１は、平均輝度が高くなるほど低い値となる。後の処理において、閾値Ｐｂ１を満たさない画素は、無彩色と判定され、色判断がされない。輝度が高くなれば、図３に示したように、本来青色と判定して欲しい画素は、より白っぽくなっていることになり、彩度（分子側）、輝度（分母側）の彩度輝度比は低くなっている。そのため、この閾値Ｐｂ１は、平均輝度が高くなるほど低い値となるようにしている。
【００２６】
次に、注目している画素の輝度、彩度、彩度輝度比を算出する（ステップＳ３）。
そして、注目している画素の色相を判定する（ステップＳ４）。この判定では、Ｒ値−Ｇ値>０且つＢ値−Ｇ値>０が成立することで、青色の範囲にあることを判定している。つまり、図４に示す角度範囲αを満たすことで、色相環上の青色の範囲にあることを判定しているのである。この範囲に無い場合は、他の色の判定処理へ移行することになる。
【００２７】
次に、注目している画素の彩度輝度比が、彩度輝度比の閾値Ｐｂ１以上かの判定を行う（ステップＳ５）。この処理により、有彩色か無彩色かが判定される。  実施例１では、晴天時の昼間の範囲で、道路画像の輝度平均が高くなるのに対して、彩度輝度比の閾値Ｐｂ１を小さくし、青色と判定したい標識部分が有彩色と判定されるようにしている。
この判定は、図４に示す角度範囲αにおいて、色相環の円中心からの距離が所定の値のＰｂ１より内径側（円弧型）の彩度が小さい部分を無彩色とし、Ｐｂ１より外径側（扇型）の彩度が大きい部分を有彩色と判定するのである。
そして、その後は、注目している画素の周囲の画素の明るさを演算し（ステップＳ６）、白色か青色かの判定が成される（ステップＳ７〜Ｓ１０）。
つまり、有彩色と判定された上で、周辺画素より明るいのであれば、白色と判定され、周辺画素より暗いのであれば、青色と判定される。
【００２８】
このように実施例１では、輝度と彩度の比率によって、有彩色と無彩色を切り分けるため、注目画素の輝度によらず一定の率となる閾値で判定できる。
また、道路画像前全体の平均輝度に合致した彩度輝度比の閾値Ｐｂ１を決定できるため、その道路画像に合わせた、有彩色と無彩色の判定ができる。
また、閾値が予め決まるため、比較処理時間を短縮できる。
【００２９】
次に、図６〜図１０を参照して、さらに具体的に説明する。
図６は、道路画像の元データを示す画像である。図７は、閾値が注目画素の輝度によって固定され、注目画素の輝度が暗いと彩度の閾値が高くなる処理により、青色を抽出する処理を、図６に対して行った画像である。図８は、実施例１の画像処理装置により青色を抽出する処理を、図６の画像に対して行った画像である。図９は、図７の標識部分の拡大図である。図１０は、図８の標識部分の拡大図である。
【００３０】
図６は、カラーでないため、わかりづらいが、うすく雲がかかっているが晴天時の昼間に、図のやや左側にある標識に対し、日光が逆光となった場合の道路画像である。
この道路画像に対して、青色判定を行う場合に、その前処理として、有彩色か無彩色かを判定する際に考えられる処理として、閾値が注目画素の輝度によって固定され、注目画素の輝度が暗いと彩度の閾値が高くなる処理を行うことが考えられる。
【００３１】
しかし、この処理では、標識部分での注目画素の輝度が３８であり、この輝度から決定される彩度の閾値が４５となり、注目画素の彩度が３０となって、標識内部の青い部分が無彩色と判定され、青色判定がされないため、この場合には、標識が認識できないことになる（図９参照）。
図７を見るとわかるように、標識の青色が青色と判定されず、空の無彩色と判定したい部分が逆に青色と判定されている（図７の青色判定部分５０参照）。
そのため、この画像、図７、図９からは、図６の標識は認識されない。
【００３２】
これに対して、実施例１では、同じ元データ（図６）に対して、画像全体の平均輝度１３６、この値から決定された彩度輝度比の閾値Ｐｂ１が０．４、そして注目画素の彩度輝度比が０．８となり、有彩色と判定され、青色、白色判定がされるため、標識が認識できる（図７、図１０の青色判定部分５０参照）。
【００３３】
このように、実施例１では、注目画素の輝度が暗いと彩度の閾値が高く設定するのではない。そのため、逆光時などの暗い標識の色を有彩色と判定することができる。また、空のように明るい薄青を無彩色と判定し、精度がよい。
また、閾値が注目画素により固定されているのではない。同一輝度、彩度であっても同じ色と判定することがない。道路画像の標識の場合は輝度、彩度の変化が大きい中で、色を判定しなければならないが、固定閾値でないため、効果的に有彩色、無彩色の判定ができる。また、注目画素のみの輝度で閾値を決定しないため、道路画像全体の状態を反映させる閾値にできる。
【００３４】
言い換えて説明する。
実施例１の画像処理装置では、輝度と彩度の比率によって、有彩色と無彩色を切り分けるため、明るい画素の場合は、彩度が大きく設定され、より大きな範囲での無彩色の判定ができる。よって、図７で青と判定される空部分を図８では無彩色と判定できる。
また、暗い画素の場合でも彩度が小さく設定され、有彩色、無彩色の色判定ができる。なお、１画素毎に閾値を決定するテーブルを参照する処理の必要がなく、処理が早くなる。
【００３５】
閾値Ｐｂ１を画像全体の平均輝度で決定できるため、例えば、逆光の画像では、全体画像の輝度平均は明るいが、標識輝度は暗くなるので、閾値Ｐｂ１を低く設定する。そのため、図６のような標識が逆光の画像でも、図８に示すように標識を青色と判定することができる。これに対し、順光の画像では、画像全体の平均輝度は若干低くなるものの、標識には、光が当たり明るくなっているため、閾値Ｐｂ１を高く設定することで、最適な有彩色と無彩色の判定ができる。
また、この判定処理を動画に対して行う場合、各フレームの画像に対して閾値を設定するため、高速な演算が必要である。実施例１では、予め予測式（図５の関係を示す式）を設定するため、計算を簡略化させることができ、計算速度を上げることができるので、高速処理への対応が有利となる。
【００３６】
次に、効果を説明する。
実施例１の画像処理装置にあっては、下記に列挙する効果を得ることができる。
【００３７】
(1)入力画像に対して、各画素の色判定を行うため、有彩色か無彩色かを判定する彩色判定手段を有する画像処理装置１において、彩色判定部１１５（ステップＳ５の処理）は、被判定画素の彩度と輝度との比率と彩度輝度比閾値Ｐｂ１との比較により判定を行うため、道路画像から標識を精度よく認識することができる。
【００３８】
(2)彩度輝度比閾値Ｐｂ１は、入力画像全体の輝度平均から算出するものであるため、画像全体の明るさ、暗さを有彩色か無彩色かの判定に反映させることができ、より精度よく道路画像から標識を認識することができる。
【００３９】
(3)彩度輝度比閾値Ｐｂ１は、晴天時の昼間において、入力画像全体の輝度平均が増加するに従って、低くなる傾向を有するものであるため、例えば、逆光の画像では、全体画像の輝度平均は明るいが、標識輝度は暗くなるので、閾値Ｐｂ１を低く設定することができ、そのため、図６のような標識が逆光の画像でも、図８に示すように標識を青色と判定することができる。
【００４０】
(4)入力画像の輝度平均を算出する輝度平均算出部１１１と、輝度平均から、閾値を算出する彩度輝度比閾値算出部１１２と、被判定画素の彩度と輝度の比率を算出する彩度輝度比算出部１１３と、被判定画素のＲＧＢ値の比較から、判定する色の色相範囲にあるかどうかを判定する色相判定部１１４と、被判定画素の彩度と輝度との比率と閾値との比較により、有彩色か無彩色かの判定を行う彩色判定部１１５を備えるため、被判定画素（注目画素）の判定色相の判断を行った上で、彩度輝度比と彩度輝度比閾値Ｐｂ１の比較により有彩色か無彩色かの判定を行うので、精度よく色判定を行って、精度よく道路画像から標識を認識することができる。
【００４１】
以上、本発明の画像処理装置を実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【００４２】
例えば、実施例１では、標識の認識を行ったが、他車のナンバーなどであってもよい。
また例えば、実施例１では、青色の判定を例に説明したが、他の色の判定であってもよい。
また、例えば、実施例１では、晴天の昼間について説明したが、他の状態であってもよく、その際には、彩度輝度比閾値Ｐｂ１の輝度平均に対する予測式は、別途、試験等で求めることが望ましい。
【図面の簡単な説明】
【００４３】
【図１】実施例１の画像処理装置１のブロック図である。
【図２】実施例１の画像処理装置の色判定処理部１１で実行される青色判定処理の流れを示すフローチャートである。
【図３】色相と彩度及び輝度の関係を立体的に表わした図である。
【図４】色相環における実施例１の彩度輝度比の閾値、色相範囲、彩色判定の状態を示す説明図である。
【図５】輝度平均と彩度輝度比の閾値の関係を示すグラフ図である。
【図６】道路画像の元データを示す画像である。
【図７】閾値が注目画素の輝度によって固定され、注目画素の輝度が暗いと彩度の閾値が高くなる処理により、青色を抽出する処理を、図６に対して行った画像である。
【図８】実施例１の画像処理装置により青色を抽出する処理を、図６の画像に対して行った画像である。
【図９】図７の標識部分の拡大図である。
【図１０】図８の標識部分の拡大図である。
【符号の説明】
【００４４】
１  画像処理装置
１１  色判定処理部
１１１  輝度平均算出部
１１２  彩度輝度比閾値算出部
１１３  彩度輝度比算出部
１１４  色相判定部
１１５  彩色判定部
１２  標識認識処理部
１２１  ラベリング部
１２２  パターンマッチング部
２  画像撮影装置
５０  青色判定部分
Ｐｂ１  彩度輝度比閾値
α    角度範囲
【図１】
2008257392.tif 000003
【図２】
2008257392.tif 000004
【図５】
2008257392.tif 000005
【図３】
2008257392.tif 000006
【図４】
2008257392.tif 000007
【図６】
2008257392.tif 000008
【図７】
2008257392.tif 000009
【図８】
2008257392.tif 000010
【図９】
2008257392.tif 000011
【図１０】
2008257392.tif 000012