(57)【特許請求の範囲】
【請求項１】
入力カラー画像から、特定の色を持つ領域を切り出す特定色領域切り出し手段と、
前記特定色領域切り出し手段で切り出された領域を囲むようにして、前記入力カラー画像を垂直方向および水平方向に分割することにより、前記入力カラー画像を格子状の領域に分割する領域分割手段と、
前記領域分割手段で分割された各分割領域ごとに、その領域が標識の部分である標識領域であるか否かを判定する標識領域判定手段と、
前記標識領域判定手段で判定された標識領域において、その内部の有意情報を標識情報として検出する標識情報検出手段と、
を備えることを特徴とする標識検出装置。
【請求項２】
請求項１に記載の標識検出装置において、
前記領域分割手段は、
前記特定色領域切り出し手段で切り出された領域内において、前記特定の色の画素を、水平方向および垂直方向に計数して、それぞれの方向の度数分布を求める度数分布算出手段と、
前記度数分布算出手段で算出された水平方向および垂直方向の度数分布の有意な変化点を検出する変化点検出手段と、
前記変化点検出手段で検出された前記有意な変化点位置で、前記入力カラー画像を垂直方向および水平方向に分割することにより、前記入力カラー画像を格子状の領域に分割する分割手段と、
を備えることを特徴とする標識検出装置。
【請求項３】
請求項１に記載の標識検出装置において、
前記特定色領域切り出し手段は、標識が備える色について、予め定められた閾値を用いた処理により、特定の色領域を抽出し、前記特定の色領域以外は、画素値をすべて零とする
ことを特徴とする標識検出装置。
【請求項４】
請求項２に記載の標識検出装置において、
前記変化点検出手段は、前記水平方向および垂直方向の度数分布のピーク点を、前記有意な変化点として検出する
ことを特徴とする標識検出装置。
【請求項５】
請求項１に記載の標識検出装置において、
前記標識領域判定手段は、判定すべき領域に含まれる画素が取り得る値が、２値あるいは３値に近いか否かにより、標識領域と判定する
ことを特徴とする標識検出装置。
【請求項６】
請求項１に記載の標識検出装置において、
前記標識領域判定手段は、
判定すべき領域に含まれるすべての画素数Ｎａを検出する検出手段と、
前記判定すべき領域に含まれる画素の所定の情報の最大値を検出する最大値検出手段と、
前記判定すべき領域に含まれる画素の前記所定の情報の最小値を検出する最小値検出手段と、
前記判定すべき領域において、前記最大値との差が、所定値以下である画素数Ｎｂを検出する最大値近傍画素数計数手段と、
前記判定すべき領域において、前記最小値との差が、所定値以下である画素数Ｎｃを検出する最小値近傍画素数計数手段と、
（Ｎｂ＋Ｎｃ）／Ｎａの値と、所定のしきい値との比較結果により、前記判定すべき領域を標識内部の領域あるいは標識外部の領域と判定する判定手段と、
を備えることを特徴とする標識検出装置。
【請求項７】
請求項１に記載の標識検出装置において、
前記標識情報検出手段は、前記標識領域判定手段で判定された標識領域内の各画素の色と、標識に使用される色とを比較し、両者の差が所定値よりも小さいときに当該画素を有意情報部分の画素として検出する
ことを特徴とする標識検出装置。
【請求項８】
請求項１に記載の標識検出装置において、
前記標識情報検出手段は、
前記標識領域判定手段で判定された標識領域内の画素を量子化する手段と、
前記量子化された前記標識領域内の画素について、各量子化レベルごとの画素数を求める手段と、
前記量子化レベルの中で、最も少ない画素数の量子化レベルを算出する手段と、
前記標識領域内の各画素が前記最も少ない画素数の量子化レベルに相当するかを判定し、相当する場合には、その画素を有意情報部分の画素として検出する手段と、
を備えることを特徴とする標識検出装置。
【請求項９】
請求項１に記載の標識検出装置において、
前記標識情報検出手段は、
前記標識領域内の中心付近の微小領域に含まれる画素について、最も頻度の多い画素レベルを求める手段と、
前記標識領域内の各画素が前記求めた画素レベルに近いレベルであるか否か判定し、近い場合には、その画素を有意情報部分の画素として検出する手段と、
を備えることを特徴とする標識検出装置。
【請求項１０】
入力カラー画像から、特定の色を持つ領域を切り出す特定色領域切り出し工程と、
前記特定色領域切り出し工程で切り出された領域を囲むようにして、前記入力カラー画像を垂直方向および水平方向に分割することにより、前記入力カラー画像を格子状の領域に分割する領域分割工程と、
前記領域分割工程で分割された各分割領域ごとに、その領域が標識の部分である標識領域であるか否かを判定する標識領域判定工程と、
前記標識領域判定工程で判定された標識領域において、その内部の有意情報を標識情報として検出する標識情報検出工程と、
を備えることを特徴とする標識検出方法。
【請求項１１】
請求項１０に記載の標識検出方法において、
前記領域分割工程は、
前記特定色領域切り出し工程で切り出された領域内において、前記特定の色の画素を、水平方向および垂直方向に計数して、それぞれの方向の度数分布を求める度数分布算出工程と、
前記度数分布算出工程で算出された水平方向および垂直方向の度数分布の有意な変化点を検出する変化点検出工程と、
前記変化点検出工程で検出された前記有意な変化点位置で、前記入力カラー画像を垂直方向および水平方向に分割することにより、前記入力カラー画像を格子状の領域に分割する分割工程と、
を備えることを特徴とする標識検出方法。
【請求項１２】
請求項１０に記載の標識検出方法において、
前記特定色領域切り出し工程では、標識が備える色について、予め定められた閾値を用いた処理により、特定の色領域を抽出し、前記特定の色領域以外は、画素値をすべて零とする
ことを特徴とする標識検出方法。
【請求項１３】
請求項１２に記載の標識検出方法において、
前記変化点検出工程では、前記水平方向および垂直方向の度数分布のピーク点を、前記有意な変化点として検出する
ことを特徴とする標識検出方法。
【請求項１４】
請求項１０に記載の標識検出方法において、
前記標識領域判定工程では、判定すべき領域に含まれる画素が取り得る値が、２値あるいは３値に近いか否かにより、標識領域と判定する
ことを特徴とする標識検出方法。
【請求項１５】
請求項１０に記載の標識検出方法において、
前記標識領域判定工程は、
判定すべき領域に含まれるすべての画素数Ｎａを検出する検出工程と、
前記判定すべき領域に含まれる画素の所定の情報の最大値を検出する最大値検出工程と、
前記判定すべき領域に含まれる画素の前記所定の情報の最小値を検出する最小値検出工程と、
前記判定すべき領域において、前記最大値との差が、所定値以下である画素数Ｎｂを検出する最大値近傍画素数計数工程と、
前記判定すべき領域において、前記最小値との差が、所定値以下である画素数Ｎｃを検出する最小値近傍画素数計数工程と、
（Ｎｂ＋Ｎｃ）／Ｎａの値と、所定のしきい値との比較結果により、前記判定すべき領域を標識内部の領域あるいは標識外部の領域と判定する判定工程と、
を備えることを特徴とする標識検出方法。
【請求項１６】
請求項１０に記載の標識検出方法において、
前記標識情報検出工程では、前記標識領域判定工程で判定された標識領域内の各画素の色と、標識に使用される色とを比較し、両者の差が所定値よりも小さいときに当該画素を有意情報部分の画素として検出する
ことを特徴とする標識検出方法。
【請求項１７】
請求項１０に記載の標識検出方法において、
前記標識情報検出工程は、
前記標識領域判定工程で判定された標識領域内の画素を量子化する工程と、
前記量子化された前記標識領域内の画素について、各量子化レベルごとの画素数を求める工程と、
前記量子化レベルの中で、最も少ない画素数の量子化レベルを算出する工程と、
前記標識領域内の各画素が前記最も少ない画素数の量子化レベルに相当するかを判定し、相当する場合には、その画素を有意情報部分の画素として検出する工程と、
を備えることを特徴とする標識検出方法。
【請求項１８】
請求項１０に記載の標識検出方法において、
前記標識情報検出工程は、
前記標識領域内の中心付近の微小領域に含まれる画素について、最も頻度の多い画素レベルを求める工程と、
前記標識領域内の各画素が前記求めた画素レベルに近いレベルであるか否か判定し、近い場合には、その画素を有意情報部分の画素として検出する工程と、
を備えることを特徴とする標識検出方法。
【請求項１９】
入力カラー画像から、特定の色を持つ領域を切り出す特定色領域切り出し手順と、
前記特定色領域切り出し手順で切り出された領域を囲むようにして、前記入力カラー画像を垂直方向および水平方向に分割することにより、前記入力カラー画像を格子状の領域に分割する領域分割手順と、
前記領域分割手順で分割された各分割領域ごとに、その領域が標識の部分である標識領域であるか否かを判定する標識領域判定手順と、
前記標識領域判定手順で判定された標識領域において、その内部の有意情報を標識情報として検出する標識情報検出手順と、
からなるプログラムが書き込まれた記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば、道路標識を検出し、運転者に対する注意喚起あるいは車両の自動制御に利用するために用いて好適な標識検出装置および標識検出方法に関する。
【０００２】
【従来の技術】
車両に搭載されたビデオカメラで、車両の進行方向の道路およびその周辺を撮影し、その撮影画像から道路標識などを認識して、運転者に対する注意喚起あるいは車両の自動制御に利用することができるようにすることが提案されている（例えば、特公平６−５２５５４号公報、特開平９−１８５７０３号公報、特開平１１−７３５９８号公報など参照）。
【０００３】
上述の公報などで提案されている道路標識の検出方法は、基本的には、パターンマッチングを用いたものである。例えば、特開平９−１８５７０３号公報に記載の発明では、道路標識が、ある特定の色の組み合わせを有していることや、標識の形状に着目したパターンマッチングによる認識手法が用いられている。
【０００４】
【発明が解決しようとする課題】
しかしながら、パターンマッチングを用いる認識手法の場合には、標識自体のテンプレートを予め用意する必要があり、非常に厄介である。しかも、道路標識が新たに追加されると、その都度、その標識をテンプレートに追加する必要があり、面倒である。
【０００５】
また、車両が動いているために生じるパターンマッチングの不具合についての対策は、上述の公報等、従来の標識検出方法では考慮されていない。すなわち、車両の進行に伴い、取り込まれる道路標識のスケールが変化したり、標識が傾いて取り込まれたりするため、一つの道路標識に一つのテンプレートしか用意していない場合には、認識率が悪化する。この不具合を改善して良好に認識するためには、あらゆるスケールやあらゆる傾きでのテンプレートを、それぞれの道路標識について用意する必要があるが、実質上、そのような大量のテンプレートを用意することは不可能に近く、また、もしも、用意することができたとしても、認識装置の規模の拡大、コスト増を招くと共に、認識速度の低下を招く。
【０００６】
この発明は、以上の点にかんがみ、例えば車両の移動などに伴って検出対象の標識のスケールが変化したり、標識が傾いてしまっても、その標識を良好に認識することができる方法および装置を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、この発明による標識検出装置は、
入力カラー画像から、特定の色を持つ領域を切り出す特定色領域切り出し手段と、
前記特定色領域切り出し手段で切り出された領域を囲むようにして、前記入力カラー画像を垂直方向および水平方向に分割することにより、前記入力カラー画像を格子状の領域に分割する領域分割手段と、
前記領域分割手段で分割された各分割領域ごとに、その領域が標識の部分である標識領域であるか否かを判定する標識領域判定手段と、
前記標識領域判定手段で判定された標識領域において、その内部の有意情報を標識情報として検出する標識情報検出手段と、
を備えることを特徴とする。
【０００８】
また、この発明による標識検出方法は、
入力カラー画像から、特定の色を持つ領域を切り出す特定色領域切り出し工程と、
前記特定色領域切り出し工程で切り出された領域を囲むようにして、前記入力カラー画像を垂直方向および水平方向に分割することにより、前記入力カラー画像を格子状の領域に分割する領域分割工程と、
前記領域分割工程で分割された各分割領域ごとに、その領域が標識の部分である標識領域であるか否かを判定する標識領域判定工程と、
前記標識領域判定工程で判定された標識領域において、その内部の有意情報を標識情報として検出する標識情報検出工程と、
を備えることを特徴とする。
【０００９】
上記の構成のこの発明による標識検出装置および方法においては、先ず、入力カラー画像から、標識として用いられる特定の色を持つ領域が切り出される。この特定の色領域の切り出しでは、標識部分のみを的確に抽出する必要はない。
【００１０】
次に、上記の切り出された領域を囲むようにして、入力カラー画像を垂直方向および水平方向に分割して、入力カラー画像を格子状の領域に分割する。上述のように、特定色領域の切り出しには、標識部分だけでなく、その他の部分も含むので、分割された格子状領域は、その内部に標識部分を含む領域と、標識部分を含まない領域とを含む。
【００１１】
そこで、次に、各格子状の分割領域ごとに、その領域が標識の部分である標識領域か、その他の領域であるかを判定する。そして、この判定の結果、標識部分と判定された標識領域において、その内部の、例えば標識として有意とすることができる情報を標識情報として検出する。
【００１２】
以上により、この発明によれば、取り込んだ標識のスケールや傾きに関係なく、標識を認識することができるものである。
【００１３】
【発明の実施の形態】
以下、この発明による標識検出装置の実施の形態を、車両に搭載される道路標識検出装置の場合について、図を参照しながら説明する。
【００１４】
図２は、この実施の形態の標識検出装置の全体のシステム構成の一例を示すもので、この実施の形態は、システムが車両に搭載される場合の例である。
【００１５】
この実施の形態では、ビデオカメラ１が、車両の前方方向の道路およびその周辺を撮影するように車両に搭載される。このビデオカメラ１で撮影されて得られたカラー画像情報は、Ａ／Ｄ変換器２でデジタル信号に変換されて、演算処理部３に供給される。
【００１６】
演算処理部３は、マイクロコンピュータを備えて構成されており、システムバス３０に対して、ＣＰＵ（Ｃｅｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３１と、プログラムやキャラクタなどの情報が記憶されているＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３２と、ワークエリア用のＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３３と、画像データ取り込み用の画像メモリ３４Ｍと、演算用の画像メモリ３４Ｂと、ディスプレイコントローラ３５と、ハードディスクインターフェース３６と、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブインターフェース３８とが接続される。
【００１７】
ハードディスクインターフェース３６には、ハードディスク装置３７が接続され、ＣＤ−ＲＯＭドライブインターフェース３８には、ＣＤ−ＲＯＭドライブ装置３９が接続される。また、ディスプレイコントローラ３５には、ディスプレイ４が接続される。
【００１８】
後述する道路標識検出処理のプログラムは、予めハードディスク装置３７に記憶しておくことができる。また、前記プログラムを記録したＣＤ−ＲＯＭを、ＣＤ−ＲＯＭドライブ装置３８に装填し、そのＣＤ−ＲＯＭから前記プログラムを読み出して利用することもできる、また、ＣＤ−ＲＯＭから前記プログラムを読み出してハードディスク装置３７のハードディスクに書き込んで使用するようにすることもできる。
【００１９】
さらに、図示しなかったが、システムバス３０に、例えば携帯電話機と接続する通信インターフェースを接続し、この携帯電話機を通じて前記プログラムをダウンロードし、そのダウンロードしたプログラムデータをハードディスク装置のハードディスクに書き込んで使用するようにすることもできる。
【００２０】
Ａ／Ｄ変換器２でデジタル信号にされたカラー画像データは、演算処理部３の画像メモリ３４Ｍに取り込まれる。この画像メモリ３４Ｍへのカラー画像データの取り込みは、ＣＰＵ３１により制御される。画像メモリ３４Ｍには、後述する道路標識検出処理に要する時間を考慮した時間間隔で、カラー画像データが静止画データとして取り込まれる。そして、演算処理部３では、画像メモリ３４Ｍに取り込んだ静止画について、道路標識検出処理を行ない、その検出結果をディスプレイ４に表示したりして、運転者に報知する。
【００２１】
演算処理部３は、機能的には、図１のように、特定色領域切り出し部１１と、領域分割部１２と、標識領域判定部１３と、標識情報検出部１４とから構成されている。そして、領域分割部１２は、水平・垂直度数分布算出部１５と、変化点検出部１６と、格子状領域分割部１７とから構成されている。これらの各部は、道路標識検出方法の場合の各工程に対応する。以下、各部の構成および処理動作について説明する。
【００２２】
［特定色領域切り出し部１１］
画像メモリ３４Ｍから読み出された静止画のカラー画像のデータは、特定色領域切り出し部１１に供給される。この特定色領域切り出し部１１は、演算用の画像メモリ３４Ｂを用いて処理を行なう。
【００２３】
道路標識には、青、赤、黄、黒、白というように、ある特定の色しか使用されておらず、しかも、それらの色には細かいレベルの変化もないという特色にかんがみ、特定色領域切り出し部１２は、これらの特定の色の領域を、画像メモリ３４Ｍに取り込んだカラー静止画像から抽出し、その抽出結果を画像メモリ３４Ｂに書き込む。
【００２４】
この特定の色領域の抽出は、例えばカラー画像信号が、Ｒ（赤），Ｇ（緑），Ｂ（青）の３原色信号からなる場合、前記特定の色を検出するための前記Ｒ，Ｇ，Ｂの各値の閾値を予め設定しておき、それらの閾値を用いて、画像メモリ３４のカラー静止画像信号の各画素単位あるいは複数画素単位が、前記特定の色領域のものか否かを判定する処理を行なうことにより行なう。
【００２５】
この場合、切り出した特定の色領域の画素のデータは、そのままの値として抽出するが、前記特定の色領域以外の領域の画素のデータは、前記Ｒ，Ｇ，Ｂの各値を、すべて０にする。
【００２６】
なお、前述したように、道路標識として使用される色が限定されていることと、それらの色には細かいレベルの変化もないため、予め用意する閾値の数は、限定することができる。
【００２７】
また、標識部分のみを的確に抽出しようとする場合には、周囲の明るさの変化に応じて、特定の色領域を検出するための前記Ｒ，Ｇ，Ｂの各値の閾値を変える等が必要であるが、この実施の形態では、後述するように、領域毎に標識部分か否かの判定を行ない、標識以外の領域を除去するという処理を含む２段階の処理であるので、前記Ｒ，Ｇ，Ｂの各値の閾値の設定が厳格なものではなく、仮にこの特定の色領域切り出しの処理で標識以外の領域が切り出されたとしても、問題はない。すなわち、特定の色領域切り出しのための閾値を、明るさの変化等に応じて細かく設定する必要はない。
【００２８】
例えば、画像メモリ３４Ｍに取り込まれた入力カラー静止画像が、図３に示すようなものであった場合、この特定の色領域切り出し部１１での処理により、演算用の画像メモリ３４Ｂには、図４に示すような標識領域ＭＳがほぼ切り出されて、保存される。
【００２９】
［領域分割部１２］
領域分割部１２は、特定色領域切り出し部１１で切り出された特定色領域のデータを用いて、入力カラー画像を、複数個の格子状領域に分割する。
【００３０】
特定色領域切り出し部１１で切り出された特定色領域のデータは、領域分割部１２の水平・垂直度数分布算出部１５に供給される。水平・垂直度数分布算出部１５では、切り出された特定の色の領域において、当該特定色を有する画素の数の、水平方向および垂直方向のヒストグラムを求める。
【００３１】
すなわち、図５に示すように、特定色領域切り出し部１１で切り出された領域の水平方向（ｘ方向）の各位置Ｘにおいて、その領域の画像データを垂直方向にスキャンして、各水平方向位置Ｘにおける特定色の画素の数を計数し、その計数値（度数）Ｈh(x)を、例えばＲＡＭ３３に、水平方向の各位置座標Ｘに対応して記憶する。
【００３２】
同様にして、特定色領域切り出し部１１で切り出された領域の垂直方向（ｙ方向）の各位置Ｙにおいて、その領域の画像データを水平方向にスキャンして、各垂直方向位置Ｙにおける特定色の画素の数を計数し、その計数値Ｈh(y)を、例えばＲＡＭ３３に、垂直方向の各位置座標Ｙに対応して記憶する。以上により、図５の曲線２１、２２で表されるようなヒストグラムが得られる。
【００３３】
以上のようにして、水平・垂直度数分布算出部１５で算出された水平方向および垂直方向のヒストグラムのデータは、変化点検出部１６に供給される。この変化点検出部１６では、水平方向および垂直方向のヒストグラムにおいて、標識を含む領域（以下、この領域を標識領域という）と、それ以外とを区分けすることができるような有意の変化点（水平方向の位置座標および垂直方向の位置座標）を検出する。
【００３４】
この実施の形態では、変化点検出部１６では、有意な変化点としてはヒストグラムのピーク値となる位置座標を求める。この実施の形態におけるピーク点の検出方法は、次の通りである。
【００３５】
先ず、水平方向のピーク点の検出に当たっては、ある水平座標Ｘでの度数をＨh(x)とすると、以下の式（１）、式（２）で表される閾値判定によってピーク点を検出する。
【００３６】
Ｈh(x)＞Ｈth    …（１）
｛２×Ｈh(x)−Ｈh(x-1)−Ｈh(x+1)｝＞ΔＨth  …（２）
ここで、ＨthおよびΔＨthは、予め設定された閾値であり、また、Ｈh(x-1)は、水平座標Ｘよりも一つ前の水平座標（Ｘ−１）での度数であり、また、Ｈh(x+1)は、水平座標Ｘよりも一つ後の水平座標（Ｘ＋１）での度数である。
【００３７】
同様に、垂直方向のピーク点の検出に当たっては、ある垂直座標Ｙでの度数をＨv(y)とすると、以下の式（３）、式（４）で表される閾値判定によってピーク点を検出する。
【００３８】
Ｈv(y)＞Ｖth    …（３）
｛２×Ｈv(y)−Ｈv(y-1)−Ｈv(y+1)｝＞ΔＶth  …（４）
ここで、ＶthおよびΔＶthは、予め設定された閾値であり、また、Ｈv(y-1)は、垂直座標Ｙよりも一つ前の垂直座標（Ｙ−１）での度数であり、また、Ｈv(y+1)は、垂直座標Ｙよりも一つ後の垂直座標（Ｙ＋１）での度数である。
【００３９】
なお、前記閾値Ｈth、ΔＨth、Ｖth、ΔＶthの各値は、予備実験等で、予め適切な値を求めておくようにする。
【００４０】
図５の例の場合には、水平方向のヒストグラムから、水平方向の位置座標Ｘａ，Ｘｂで、ピーク点Ｐxa、Ｐxbが検出され、垂直方向のヒストグラムから、垂直方向の位置座標Ｙａ，Ｙｂで、ピーク点Ｐya、Ｐybが検出される。これらの検出されたピーク点の位置座標情報は、変化点検出部１６から格子状領域分割部１７に供給される。
【００４１】
特定色領域切り出し部１１において、標識領域として切り出すべき特定色が複数個存在する場合においては、特定色領域切り出し部１１において、切り出した領域ごとにその領域の特定色の情報を付加しておき、その付加された特定色の情報を用いて、水平・垂直度数分布算出部１５で、その特定色毎についてのヒストグラムを算出し、それを用いて、特定色毎のヒストグラムからピーク点を変化点検出部１６で検出し、その検出結果を格子状領域分割部１７に供給するようにする。
【００４２】
また、特定色領域切り出し部１１と、水平・垂直度数分布算出部１５と、変化点検出部１６とは、標識領域として切り出すべき特定色ごとに、処理を行ない、それぞれの特定色ごとの変化点検出結果を、格子状領域分割部１７に供給するようにしても良い。
【００４３】
格子状領域分割部１７では、これに供給される変化点検出部１６からのすべての変化点の位置座標情報を用いて、画像メモリ３４Ｍに記憶されている入力カラー静止画像を格子状領域に分割する。すなわち、前述の図５の場合であれば、検出されたピーク点の水平および垂直方向の位置座標Ｘａ，Ｘｂ，Ｙａ，Ｙｂが格子状領域分割部１７に供給されるので、格子状領域分割部１７では、図６に示すように、水平位置座標Ｘａ，Ｘｂを通る分割線２３、２４により、入力カラー静止画像を水平方向に３つに分割する。また、垂直位置座標Ｙａ，Ｙｂを通る分割線２５、２６により、入力カラー静止画像を垂直方向に３つに分割する。これにより、入力カラー画像は、図７に示すような９個の格子状領域に分割される。なお、このように格子状領域の分割が行なわれると、演算用の画像メモリ３４Ｍの記憶内容はクリア（すべて消去）される。
【００４４】
［標識領域判定部１３］
以上のようにして、格子状領域分割部１７で分割された各格子状領域ごとの画像データは、領域分割部１２の出力として標識領域判定部１３に供給される。標識領域判定部１３では、領域分割部１２からの各格子状領域ごとの画像の特徴から、各領域が標識領域であるか否かを判定する。
【００４５】
前述したように、道路標識は、特定の色の枠を備えており、その特定の色の枠で囲まれた内部に標識の文字や矢印などの特定の記号が存在するものとなっている。したがって、特定色領域切り出し部１１で切り出された特定色領域の、特定色画素のヒストグラムのピーク点は枠部分に対応しており、このピーク点で囲まれた領域内部が標識内部であって、その中に標識の文字や記号が存在すると言える。
【００４６】
しかしながら、前述したように、特定色領域の抽出処理において、閾値が厳格でない場合には、標識以外の色領域も抽出され、それによって、標識以外の領域のヒストグラムのピークが検出される場合もある。また、入力カラー画像によっては、複数の標識を含んでいる場合も有り得る。
【００４７】
そこで、この実施の形態では、前述のように領域分割部１２で分割した格子状領域のそれぞれにおいて、その領域が標識内部であるかどうかの判定を、この標識領域判定部１３で行なうようにする。
【００４８】
この実施の形態の標識領域判定部１３では、標識内部の領域の画素値の特徴を用いて、標識領域かどうかの判定を行なう。すなわち、標識領域内部には文字や記号が存在するが、カラー画素としては細かい変化がなく、画素の値としては、２つあるいは３つの値しか存在しない。例えば、白地に青の文字や記号や、青地に白の文字や記号が記述されるものとなっている。
【００４９】
そこで、この実施の形態の標識領域判定部１３では、例えば各画素のＧ（緑）信号に着目して、各格子状領域内の画素値が、この例では２値に近いかどうかにより、その格子状領域が標識内部であるかどうかの判定を行なうようにする。
【００５０】
図８は、この実施の形態の標識領域判定部１３の機能をブロック化して示したものであり、この標識領域判定部１３をハードウエア構成とする場合に相当する。図８に示すように、標識領域判定部１３は、領域内最大値検出部１３１と、差分演算部１３２と、最大値近傍画素判定部１３３と、最大値近傍画素計数部１３４と、領域内最小値検出部１３５と、差分演算部１３６と、最小値近傍画素判定部１３７と、最小値近傍画素計数部１３８と、領域内全画素数算出部１３９と、標識領域判定抽出部１３０とからなる。
【００５１】
領域分割部１２からの各格子状領域単位の画像データは、先ず、領域内最大値検出部１３１において、その領域内の最大Ｇ信号のレベルを検出する。そして、差分演算部１３２で、その領域内の各画素のＧ値と、検出された最大Ｇ信号との差分を算出する。その差分値は、最大値近傍画素判定部１３３に供給される。最大値近傍画素判定部１３３は、差分値と閾値とを比較して、差分値が閾値よりも小さい場合に、当該画素は、最大Ｇ値の近傍の値を備える画素と判定し、最大値近傍画素計数部１３４の計数値をインクリメントする。したがって、最大値近傍画素計数部１３４は、各格子状領域のすべての画素のうちの最大Ｇ値近傍の画素の数Ｎｂを計数する。
【００５２】
また、領域分割部１２からの各格子状領域単位の画像データは、領域内最小値検出部１３５において、その領域内の最小Ｇ信号のレベルを検出する。そして、差分演算部１３６で、その領域内の各画素のＧ値と、検出された最小Ｇ信号との差分を算出する。その差分値は、最小値近傍画素判定部１３３に供給される。最小値近傍画素判定部１３７は、差分値と閾値とを比較して、差分値が閾値よりも小さい場合に、当該画素は、最小Ｇ値の近傍の値を備える画素と判定し、最小値近傍画素計数部１３８の計数値をインクリメントする。したがって、最小値近傍画素計数部１３８は、各格子状領域のすべての画素のうちの最小Ｇ値近傍の画素の数Ｎｃを計数する。
【００５３】
以上の処理と並行して、領域内全画素数算出部１３９では、当該格子状領域内に含まれる全画素数Ｎａを算出する。算出された全画素数Ｎａは、標識領域判定抽出部１３０に供給される。また、最大値近傍画素計数部１３４で計数された最大Ｇ値近傍の画素の数Ｎｂと、最小値近傍画素計数部１３８で計数された最小Ｇ値近傍の画素の数Ｎｃも、標識領域判定抽出部１３０に供給される。
【００５４】
標識領域判定抽出部１３０は、この例では、（Ｎｂ＋Ｎｃ）／Ｎａを計算し、その計算結果が、予め定めた閾値よりも大きいときには、つまり、領域内の画素値は２値に近いとして、その格子状領域は標識領域として判定し、その領域のデータを、例えば演算用の画像メモリ３４Ｂに格納して保持し、次の標識情報検出部１４での標識情報の検出処理の対象とする。
【００５５】
一方、前記計算結果が、閾値以下のときには、その格子状領域は標識領域以外の領域と判定して、その領域のデータは演算用の画像メモリ３４Ｂには格納せずに捨ててしまい、次の標識情報検出部１４での標識情報の検出処理の対象外とする。
【００５６】
以上のように、この実施の形態の標識領域判定部１３では、各格子状領域ごとに動的に画素の明るさなどの所定の情報の最大値、最小値を算出し、それらの算出した最大値、最小値に基づいて、各格子状領域内の画素値が２値に近いかどうかを判定しているので、天候などの周囲の明るさに依存することなく、標識領域の判定をすることができる。
【００５７】
図９は、この実施の形態の標識領域判定部１３を、演算処理部３のソフトウエア（プログラム）により、実行する場合のフローチャートである。
【００５８】
先ず、判定を行なう最初の格子状領域のデータを取り込み（ステップＳ１）、その領域内の画素数Ｎａを検出する（ステップＳ２）。次に、その格子状領域内のすべての画素のＧ信号から、Ｇ信号の最大値を検出する（ステップＳ３）。そして、その格子状領域内の各画素のＧ信号と、検出したＧ信号の最大値との差分を求め、その差分が予め定めた閾値よりも小さい画素の数Ｎｂを算出する（ステップＳ４）。
【００５９】
次に、その格子状領域内のすべての画素のＧ信号から、Ｇ信号の最小値を検出する（ステップＳ５）。そして、その格子状領域内の各画素のＧ信号と、検出したＧ信号の最小値との差分を求め、その差分が予め定めた閾値よりも小さい画素の数Ｎｃを算出する（ステップＳ６）。
【００６０】
次に、ステップＳ２、ステップＳ４、ステップＳ６で求めた画素数Ｎａ，Ｎｂ，Ｎｃを用いて、（Ｎｂ＋Ｎｃ）／Ｎａを計算し、その計算結果が、予め定めた閾値Ｎthよりも大きいかどうかを判定する（ステップＳ７）。その判定の結果、その計算結果が、閾値Ｎthよりも大きいときには、その格子状領域は標識領域と判定して、その領域のデータを画像メモリ３４Ｂに保持し、次の標識情報検出部１４での標識情報の検出処理の対象とする（ステップＳ８）。また、前記計算結果が、閾値Ｎth以下のときには、その格子状領域は標識領域以外の領域としてその領域のデータを捨て、次の標識情報検出部１４での標識情報の検出処理の対象外とする（ステップＳ９）。
【００６１】
次に、すべての格子状領域についての判定が終了したか否か判別し（ステップＳ１０）、終了していなければ、次の格子状領域のデータを取り込んで（ステップＳ１１）、ステップＳ２に戻り、以上の処理を繰り返す。また、すべての格子状領域についての判定が終了したときには、この標識領域判定の処理を終了する。
【００６２】
標識領域判定部１３では、入力カラー画像が図６の場合には、前述したように、９個の格子状領域のそれぞれについて、標識領域かどうかの判定が以上のようにして行われ、演算用の画像メモリ３４Ｂには、判定結果として図１０に示すような標識領域が保存される。
【００６３】
なお、上述の例では、標識領域判定部１３では、Ｇ信号について着目して、各格子状領域内の画素値が、２値に近いかどうかを判定するようにしたが、他のＲ（赤）信号やＢ（青）信号を用いても、格子状領域内には細かいテクチャーがなく、画素値は２値あるいは３値に近いという性質は成り立つので、特にＧ信号に限定するものではない。また、Ｇ信号の代わりに、Ｒ，Ｇ，Ｂの各信号から輝度信号Ｙを生成して、この輝度信号Ｙについて、前述と同様の処理を行なうことにより、各格子状領域が標識の内部であるかどうかの判定をすることもできる。
【００６４】
［標識情報検出部１４］
標識情報検出部１４は、標識領域判定部１３で標識領域と判定されて、画像メモリ３４Ｂに保持された格子状領域の画像データから、文字や、矢印などの記号部分等の標識として有意な情報を検出する。この標識情報検出部１４での有意情報の検出方法として、３つの例について説明する。
【００６５】
［標識情報検出の第１の例］
この第１の例は、標識として有意な情報の配色は、前述したように、定まった複数通りであるので、その複数通りの配色のそれぞれについての色情報を閾値判別するようにするものである。このため、この第１の例においては、各配色のときの、この例ではＲ，Ｇ，Ｂの各色信号成分についての閾値を定め、その閾値と各画素のＲ，Ｇ，Ｂの各色信号との比較を行なうことにより、各画素が有意情報部分であるか否かを判定するようにする。この第１の例の場合の標識情報検出のための処理を、図１１およびその続きの図１２のフローチャートを参照しながら説明する。
【００６６】
すなわち、先ず、複数通りの配色のうちの検出対象とする最初の配色におけるＲ，Ｇ，Ｂの各色信号に対する閾値を設定する（ステップＳ２１）。そして、標識領域内の最初の画素データを読み込み（ステップＳ２２）、その画素データのＲ信号と、ステップＳ２１で設定されたＲ信号についての閾値とを比較して（ステップＳ２３）、Ｒ信号についての有意性の条件を満たすか否か判定する（ステップＳ２４）。Ｒ信号についての有意性の条件を満たさない場合には、有意情報以外の画素として、その画素には、例えばそれを意味するフラグを立てる（ステップＳ３０）。
【００６７】
そして、Ｒ信号についての有意性の条件を満たす場合には、前記画素データのＧ信号と、ステップＳ２１で設定されたＧ信号についての閾値とを比較して（ステップＳ２５）、Ｇ信号についての有意性の条件を満たすか否か判定する（ステップＳ２６）。Ｇ信号についての有意性の条件を満たさない場合には、有意情報以外の画素として、その画素には、例えばそれを意味するフラグを立てる（ステップＳ３０）。
【００６８】
そして、Ｇ信号についての有意性の条件を満たす場合には、前記画素データのＢ信号と、ステップＳ２１で設定されたＢ信号についての閾値とを比較して（ステップＳ２７）、Ｂ信号についての有意性の条件を満たすか否か判定する（ステップＳ２８）。Ｂ信号についての有意性の条件を満たさない場合には、有意情報以外の画素として、その画素には、例えばそれを意味するフラグを立てる（ステップＳ３０）。
【００６９】
そして、Ｂ信号についての有意性の条件を満たす場合には、つまり、Ｒ，Ｇ，Ｂのすべてについて有意性の条件を満たす場合には、その画素データは有意情報として、ディスプレイ４の表示画像データを記憶する画像メモリ３４Ｂに保持する（ステップＳ２９）。
【００７０】
次に、その標識領域内のすべての画素についての有意性の検出が終了したかどうかを判別し（ステップＳ３１）、終了していなければ、その標識領域内の次の画素データを読み込み（ステップＳ３２）、ステップＳ２３に戻って、上述したこのステップＳ２３以降の処理を繰り返す。
【００７１】
また、ステップＳ３１で、その標識領域内のすべての画素についての有意性の検出が終了したと判別した場合には、標識についての有意情報を検出するために用意したすべての配色についての検出が終了したかどうかを判別し（ステップＳ３３）、終了していなければ、次の配色におけるＲ，Ｇ，Ｂの各色信号に対する閾値を設定する（ステップＳ３４）。そして、ステップＳ２２に戻って、その領域内の画素について、新たな配色についての有意情報の検出を、上述のようにして実行する。
【００７２】
このとき、それより以前の配色についての有意情報の検出において、有意情報以外の画素と判定されて、その旨のフラグが付与されているものが、新たに有意情報とされた場合には、ステップＳ２９では、前記フラグは消去して、その有意情報とされた画素データは保持する。
【００７３】
以上のようにして、すべての配色についての有意情報の検出が終了したときには、ステップＳ３３から、ステップＳ３５に進み、すべての標識領域について有意情報の検出処理が終了したかどうか判別する。有意情報の検出処理が済んでいない他の標識領域があるときには、その標識領域に処理を移行させ（ステップＳ３６）、ステップＳ２１からの処理を繰り返す。
【００７４】
ステップＳ３５で、すべての標識領域について有意情報の検出処理が終了したと判別したときには、有意情報以外の画素としてのフラグが立っている画素データを消去し（ステップＳ３７）、その後、この有意情報検出処理のルーチンを終了する。
【００７５】
以上のような処理の結果、画像メモリ３４Ｂには、図１０に示したような標識部分のみが残り、これを読み出して、ディスプレイ４に表示することにより、図１０と同様の画像がディスプレイ４の画面に表示され、使用者に道路標識が報知される。
【００７６】
［標識情報検出の第２の例］
この第２の例は、標識領域内においては、文字や記号などの有意情報となる画素数が、それ以外の画素数に比較して少ないという特徴に基づくものである。この第２の例の場合の標識情報検出のための処理を、図１３のフローチャートを参照しながら説明する。
【００７７】
先ず、有意情報の検出を行なう最初の標識領域を指定し（ステップＳ４１）、その標識領域内の各画素を値を、Ｒ，Ｇ，Ｂの色空間において２値あるいは３値に量子化する（ステップＳ４２）。次に、各量子化レベルごとの画素数を計数し（ステップＳ４３）、画素数が最も少ない量子化レベルＱmin を検出する（ステップＳ４４）。
【００７８】
そして、各画素について、量子化後のレベルが、その検出した量子化レベルＱmin に相当するかどうかを判定し（ステップＳ４５）、相当する画素のデータは有意情報として画像メモリ３４Ｂに保持し（ステップＳ４６）、相当しない画素のデータは画像メモリ３４Ｂから消去する（ステップＳ４７）。
【００７９】
次に、すべての標識領域について有意情報の検出処理が終了したかどうか判別し（ステップＳ４８）、有意情報の検出処理が済んでいない他の標識領域があるときには、その標識領域に処理を移行させ（ステップＳ４９）、ステップＳ４２からの処理を繰り返す。
【００８０】
この第２の例の場合にも、上述の第１の例と同様にして、標識領域内の文字や記号などの有意情報を、良好に検出することができる。
【００８１】
［標識情報検出の第３の例］
この第３の例は、標識内部の有意情報は、標識の中心付近に集まっており、中心付近の微小領域では、有意情報である画素数が多いということを利用した方法である。この第３の例の場合の標識情報検出のための処理を、図１４のフローチャートを参照しながら説明する。
【００８２】
先ず、有意情報の検出を行なう最初の標識領域を指定し（ステップＳ５１）、その領域内の中心座標を算出し（ステップＳ５２）、その算出した中心座標を中心とした微小な格子状の領域を設定する（ステップＳ５３）。ここで、この微小な領域は、標識領域に比べて十分に小さい大きさとされる。
【００８３】
次に、その微小な格子状の領域内部の画素データについて２値化処理を行なう（ステップＳ５４）。次に、２値化レベルごとに、その微小領域内での画素数を計数する（ステップＳ５５）。そして、画素数が多い方のレベルを特定する（ステップＳ５６）。
【００８４】
そして、微小領域内の各画素について、その２値化レベルが、画素数が多い方のレベルに相当するかどうかを判定し（ステップＳ５７）、相当する画素のデータは有意情報として画像メモリ３４Ｂに保持し（ステップＳ５８）、相当しない画素のデータは画像メモリ３４Ｂから消去する（ステップＳ５９）。
【００８５】
次に、すべての標識領域について有意情報の検出処理が終了したかどうか判別し（ステップＳ６０）、有意情報の検出処理が済んでいない他の標識領域があるときには、その標識領域に処理を移行させ（ステップＳ６１）、ステップＳ５２からの処理を繰り返す。
【００８６】
この第３の例の場合にも、上述の第１の例や第２の例と同様にして、標識領域内の文字や記号などの有意情報を、良好に検出することができる。
【００８７】
［その他の変形例］
上述の実施の形態では、道路標識として想定される複数通りの配色のすべてについて、各部で処理を行い、次段に移行させるようにしたが、想定される配色の１色ごとに、特定色領域切り出しから、標識情報検出の処理までを行なうようにするようにしても良い。
【００８８】
また、上述の実施の形態では、領域分割部１２の変化点検出部１６では、水平・垂直度数分布算出部１５で算出された水平方向および垂直方向のヒストグラムのピーク点を、有意な変化点として検出するようにしたが、有意な変化点としては、ピーク点に限るものではない。例えば、ヒストグラムにおいて、度数が徐々に上昇するところから、平坦な変化に変わる点や、平坦な変化から徐々に加工するように度数が変化する点なども有意な変化点として検出するようにしてもよい。
【００８９】
なお、上述の実施の形態は、検出対象が道路標識の場合について説明したが、この発明の検出対象の標識は、道路標識に限られるものではないことは、言うまでもない。
【００９０】
【発明の効果】
以上説明したように、この発明によれば、従来のような単なるパターンマッチングではなく、標識の特徴に基づいて標識を検出するので、標識の傾きや、標識のスケールに依存することなく、良好に検出することができる。
【００９１】
また、特定色領域の抽出を行なった後、その抽出結果を用いて、格子状領域に分割して、その格子状領域ごとに標識部分の判定を行なうようにする２段階処理であるので、標識の周囲の明るさの変化があっても、確実に標識を検出することができる。
【図面の簡単な説明】
【図１】この発明による標識検出装置の実施の形態の要部の機能ブロック図である。
【図２】この発明による標識検出装置の実施の形態の全体のシステム構成図である。
【図３】この発明による標識検出処理動作の説明に供する図である。
【図４】この発明による標識検出処理動作の説明に供する図である。
【図５】この発明による標識検出処理動作の説明に供する図である。
【図６】この発明による標識検出処理動作の説明に供する図である。
【図７】この発明による標識検出処理動作の説明に供する図である。
【図８】この発明による標識検出装置の実施の形態における標識領域判定部の一例の機能ブロック図である。
【図９】この発明による標識検出装置の実施の形態における標識領域判定部の一例を説明するためのフローチャートである。
【図１０】この発明による標識検出処理動作の説明に供する図である。
【図１１】この発明による標識検出装置の実施の形態における標識情報検出部の一例を説明するためのフローチャートの一部である。
【図１２】この発明による標識検出装置の実施の形態における標識情報検出部の一例を説明するためのフローチャートの一部である。
【図１３】この発明による標識検出装置の実施の形態における標識情報検出部の他の例を説明するためのフローチャートである。
【図１４】この発明による標識検出装置の実施の形態における標識情報検出部のさらに他の例を説明するためのフローチャートである。
【符号の説明】
１…ビデオカメラ、２…Ａ／Ｄ変換器、３…演算処理部、４…ディスプレイ、１１…特定色領域切り出し部、１２…領域分割部、１３…標識領域判定部、１４…標識情報検出部、１５…水平・垂直度数分布算出部、１６…変化点検出部、１７…格子状領域分割部、１３０…標識領域判定抽出部、１３１…領域内最大値検出部、１３３…最大値近傍画素判定部、１３４…最大値近傍画素計数部、１３５…領域内最小値検出部、１３７…最小値近傍画素判定部、１３８…最小値近傍画素計数部、１３９…領域内全画素数算出部
【図１】
0004423524.tif 000002
【図２】
0004423524.tif 000003
【図３】
0004423524.tif 000004
【図４】
0004423524.tif 000005
【図５】
0004423524.tif 000006
【図６】
0004423524.tif 000007
【図７】
0004423524.tif 000008
【図８】
0004423524.tif 000009
【図９】
0004423524.tif 000010
【図１０】
0004423524.tif 000011
【図１１】
0004423524.tif 000012
【図１２】
0004423524.tif 000013
【図１３】
0004423524.tif 000014
【図１４】
0004423524.tif 000015