(57)【要約】【課題】処理負担を増大させることなく、電光標識及び固定標識のどちらも認識することができる車両用標識認識装置を提供する。【解決手段】車両用標識認識装置１は、車両前方に存在する標識を認識する車両用標識認識装置において、車両前方を撮影するカメラ２と、カメラにより撮影された画像から所定の大きさの探索ウィンドウ内の抽出画像を抽出する画像抽出部１０と、探索ウィンドウ内に包含される仮想円の円周に沿ってこの円周の外側に配置された外側判定枠内における抽出画像の輝度と、外側判定枠に隣接して円周の内側に配置された内側判定枠内における抽出画像の輝度との輝度差を算出する輝度差算出部１２と、輝度差算出部により算出された輝度差が所定値以上の場合に、探索ウィンドウ内に標識の画像が含まれていると判定する標識判定部６と、を有する。【選択図】図１
2014127162.tif 000002
【特許請求の範囲】
【請求項１】
車両前方に存在する標識を認識する車両用標識認識装置において、
車両前方を撮影する撮影手段と、
上記撮影手段により撮影された画像から所定の大きさの探索ウィンドウ内の抽出画像を抽出する画像抽出手段と、
上記探索ウィンドウ内に包含される仮想円の円周に沿ってこの円周の外側に配置された外側判定枠内における上記抽出画像の輝度と、上記外側判定枠に隣接して上記円周の内側に配置された内側判定枠内における上記抽出画像の輝度との輝度差を算出する輝度差算出手段と、
上記輝度差算出手段により算出された輝度差が所定値以上の場合に、上記探索ウィンドウ内に標識の画像が含まれていると判定する標識判定手段と、を有することを特徴とする車両用標識認識装置。
【請求項２】
上記輝度差算出手段は、上記仮想円の円周に沿って配置された４組又は８組の上記外側判定枠と上記内側判定枠との各組について、上記抽出画像の上記外側判定枠内における輝度と上記内側判定枠内における輝度との輝度差を算出し、
上記標識判定手段は、上記輝度差算出手段により算出された各輝度差のうち少なくとも１つが所定値以上の場合に、上記探索ウィンドウ内に標識の画像が含まれていると判定する、請求項１に記載の車両用標識認識装置。
【請求項３】
上記標識判定手段は、上記輝度差算出手段により算出された各輝度差のうち何れか１つの輝度差が所定値以上であり、且つこの輝度差とその他の輝度差との差が所定の範囲内である場合に、上記探索ウィンドウ内に標識の画像が含まれていると判定する、請求項２に記載の車両用標識認識装置。
【請求項４】
上記標識判定手段は、上記内側判定枠によって囲まれる文字領域判定枠内における上記抽出画像の輝度が、上記内側判定枠内における上記抽出画像の輝度以下である場合、上記探索ウィンドウ内に固定標識の画像が含まれていると判定し、上記文字領域判定枠内における上記抽出画像の輝度が、上記内側判定枠内における上記抽出画像の輝度以下ではない場合、上記探索ウィンドウ内に電光標識の画像が含まれていると判定する、請求項１乃至３の何れか１項に記載の車両用標識認識装置。
【請求項５】
上記探索ウィンドウ内の画像を白黒２値化する白黒２値化手段を有し、
上記画像抽出手段は、白黒２値化された上記抽出画像から所定の大きさのエッジ検出ウィンドウ内の画像を抽出し、
さらに、上記エッジ検出ウィンドウが標識の縁取りの内周縁に重なった場合に上記エッジ検出ウィンドウ内の各画素が取りうる白黒２値のパターンと、上記エッジ検出ウィンドウが標識の外周縁に重なった場合にエッジ検出ウィンドウ内の各画素が取りうる白黒２値のパターンと、上記各パターンが検出された場合における上記エッジ検出ウィンドウの位置から標識の中心に向かう方向及び距離とを記憶する記憶手段を有し、
上記標識判定手段は、上記エッジ検出ウィンドウ内の画像の各画素における白黒２値のパターンと、上記記憶手段に記憶されている上記各パターンの何れかとが一致した場合、上記エッジ検出ウィンドウの位置と、一致した上記パターンに対応付けて上記記憶手段に記憶されている上記方向及び距離とに基づき、上記探索ウィンドウ内の標識画像の中心座標を推定し、上記推定された中心座標と上記探索ウィンドウ内の画像の中心座標とが一致する場合、上記探索ウィンドウ内に標識の画像が含まれていると判定する、請求項１乃至４の何れか１項に記載の車両用標識認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用標識認識装置に係わり、特に、車両前方に存在する標識を認識する車両用標識認識装置に関する。
【背景技術】
【０００２】
従来より、カメラによって車両前方を撮影し、その撮影画像に基づいて運転支援に必要な情報を取得することが提案されている。
例えば、特許文献１には、カメラによって撮影された画像から道路交通標識の内容を認識する標識認識装置が開示されている。この標識認識装置は、撮像画像から標識の候補領域画像を抽出し、候補領域画像の輝度分布に基づいて、候補領域画像が電光標識の画像かあるいは固定標識（電光標識ではない標識）の画像かを判断する。そして、候補領域画像が電光標識と判断された場合には電光標識用のテンプレートを用いて照合を行い、候補領域画像が固定標識と判断された場合には固定標識用のテンプレートを用いて照合を行うことにより、標識の認識を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−０２６５９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１の標識認識装置では、撮影された画像の全体にわたって抽出された全ての候補領域画像の各々について、候補領域画像が電光標識の画像か固定標識の画像かの判断を行い、更に、その判断結果に応じて電光標識用又は固定標識用のテンプレートを用いた照合を実行しなければならないため、処理負担が大きいという問題がある。
【０００５】
本発明は、上述した従来技術の問題点を解決するためになされたものであり、処理負担を増大させることなく、電光標識及び固定標識のどちらも認識することができる車両用標識認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明の車両用標識認識装置は、車両前方に存在する標識を認識する車両用標識認識装置において、車両前方を撮影する撮影手段と、撮影手段により撮影された画像から所定の大きさの探索ウィンドウ内の抽出画像を抽出する画像抽出手段と、探索ウィンドウ内に包含される仮想円の円周に沿ってこの円周の外側に配置された外側判定枠内における抽出画像の輝度と、外側判定枠に隣接して円周の内側に配置された内側判定枠内における抽出画像の輝度との輝度差を算出する輝度差算出手段と、輝度差算出手段により算出された輝度差が所定値以上の場合に、探索ウィンドウ内に標識の画像が含まれていると判定する標識判定手段と、を有することを特徴とする。
このように構成された本発明においては、標識の外周に沿った縁取りと他の部分（縁取りによって囲まれる領域又は標識の背景）との輝度差に基づいて標識を認識することができる。即ち、標識が固定標識か電光標識かに関わらず、共通の処理によって標識の認識を行うことができるので、処理負担を増大させることなく、固定標識及び電光標識のどちらも認識することができる。
【０００７】
また、本発明において、好ましくは、輝度差算出手段は、仮想円の円周に沿って配置された４組又は８組の外側判定枠と内側判定枠との各組について、抽出画像の外側判定枠内における輝度と内側判定枠内における輝度との輝度差を算出し、標識判定手段は、輝度差算出手段により算出された各輝度差のうち少なくとも１つが所定値以上の場合に、探索ウィンドウ内に標識の画像が含まれていると判定する。
このように構成された本発明においては、街路樹や電柱等の障害物の画像が標識の画像の一部に重複している場合においても、これらの障害物が重複していない範囲における標識の外周に沿った縁取りと他の部分との輝度差に基づいて確実に標識の認識を行うことができる。
【０００８】
また、本発明において、好ましくは、標識判定手段は、輝度差算出手段により算出された各輝度差のうち何れか１つの輝度差が所定値以上であり、且つこの輝度差とその他の輝度差との差が所定の範囲内である場合に、探索ウィンドウ内に標識の画像が含まれていると判定する。
このように構成された本発明においては、探索ウィンドウ内の画像が標識の外周に沿った連続的な縁取りに相当する画像か否かを確実に判別することができるので、一層確実に標識の認識を行うことができる。
【０００９】
また、本発明において、好ましくは、標識判定手段は、内側判定枠によって囲まれる文字領域判定枠内における抽出画像の輝度が、内側判定枠内における抽出画像の輝度以下である場合、探索ウィンドウ内に固定標識の画像が含まれていると判定し、文字領域判定枠内における抽出画像の輝度が、内側判定枠内における抽出画像の輝度以下ではない場合、探索ウィンドウ内に電光標識の画像が含まれていると判定する。
このように構成された本発明においては、固定標識と電光標識とを容易且つ確実に判別することができる。
【００１０】
また、本発明において、好ましくは、車両用標識認識装置は、探索ウィンドウ内の画像を白黒２値化する白黒２値化手段を有し、画像抽出手段は、白黒２値化された抽出画像から所定の大きさのエッジ検出ウィンドウ内の画像を抽出し、さらに、エッジ検出ウィンドウが標識の縁取りの内周縁に重なった場合にエッジ検出ウィンドウ内の各画素が取りうる白黒２値のパターンと、エッジ検出ウィンドウが標識の外周縁に重なった場合にエッジ検出ウィンドウ内の各画素が取りうる白黒２値のパターンと、各パターンが検出された場合におけるエッジ検出ウィンドウの位置から標識の中心に向かう方向及び距離とを記憶する記憶手段を有し、標識判定手段は、エッジ検出ウィンドウ内の画像の各画素における白黒２値のパターンと、記憶手段に記憶されている各パターンの何れかとが一致した場合、エッジ検出ウィンドウの位置と、一致したパターンに対応付けて記憶手段に記憶されている方向及び距離とに基づき、探索ウィンドウ内の標識画像の中心座標を推定し、推定された中心座標と探索ウィンドウ内の画像の中心座標とが一致する場合、探索ウィンドウ内に標識の画像が含まれていると判定する。
このように構成された本発明においては、円形の標識を容易且つ確実に認識することができる。
【発明の効果】
【００１１】
本発明による車両用標識認識装置によれば、処理負担を増大させることなく、固定標識及び電光標識のどちらも認識することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態による車両用標識認識装置の電気的構成を示すブロック図である。
【図２】本発明の実施形態による車両用標識認識装置がカメラにより撮影された画像から所定の大きさの探索ウィンドウ内の画像を抽出する順序を示す概略図である。
【図３】本発明の実施形態による車両用標識認識装置が標識を認識する標識認識処理のフローチャートである。
【図４】本発明の実施形態による車両用標識認識装置が実行する縁判定処理のフローチャートである。
【図５】本発明の実施形態による車両用標識認識装置が縁判定処理において標識の縁取りに相当する画像が探索ウィンドウ内に存在するか否かを判定するために使用される判定枠を含む探索ウィンドウを示す図である。
【図６】本発明の実施形態による車両用標識認識装置が実行する縁判定処理において使用される、標識の画像を含む探索ウィンドウを示す図であり、図６（ａ）は昼間の固定標識の画像を含む探索ウィンドウを示す図、図６（ｂ）は昼間の電光標識の画像を含む探索ウィンドウを示す図、図６（ｃ）は夜間の電光標識の画像を含む探索ウィンドウを示す図である。
【図７】本発明の実施形態による車両用標識認識装置が実行する文字領域判定処理において、標識の縁取りに相当する画像の内側の領域が文字領域であるか否かを判定するために使用される判定枠を含む探索ウィンドウを示す図である。
【図８】本発明の実施形態による車両用標識認識装置が実行する文字領域判定処理のフローチャートである。
【図９】本発明の実施形態による車両用標識認識装置が実行する円形判定処理において、標識候補の画像の輪郭が円形か否かを判定するために使用されるテンプレートを示す図であり、図９（ａ）は白黒２値化した探索ウィンドウ内の画像から所定の大きさのエッジ検出ウィンドウ内の画像を抽出する順序を示す概略図、図９（ｂ）は標識の縁取りの内周縁を検出するために使用されるテンプレートを示す図、図９（ｃ）は標識の外周縁を検出するために使用されるテンプレートを示す図である。
【図１０】本発明の実施形態による車両用標識認識装置が実行する円形判定処理のフローチャートである。
【図１１】本発明の実施形態の第１変形例による縁判定処理のフローチャートである。
【図１２】本発明の実施形態の第２変形例による縁判定処理において縁取りに相当する画像が探索ウィンドウ内に存在するか否かを判定するために使用される判定枠を含む探索ウィンドウを示す図である。
【図１３】本発明の実施形態の第３変形例による文字領域判定処理において、標識の縁取りに相当する画像の内側の領域が文字領域であるか否かを判定するために使用される判定枠を含む探索ウィンドウを示す図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の実施形態による車両用標識認識装置を説明する。
まず、図１により、本発明の実施形態による車両用標識認識装置の構成を説明する。
図１は、本発明の実施形態による車両用標識認識装置の電気的構成を示すブロック図である。
【００１４】
図１に示すように、車両用標識認識装置１は、車両前方を撮影するカメラ２と、カメラ２により撮影された画像の処理を行う画像処理部４と、画像処理部４による処理結果を使用して画像に標識が含まれているか否かを判定する標識判定部６と、標識判定部６が標識の有無を判定する際に用いるデータを記憶する記憶部８とを有する。
【００１５】
カメラ２は、車両用標識認識装置１が搭載された車両の前方に向けて車両に設置され、撮影した画像データを画像処理部４に出力する。このカメラ２としては、例えば撮像素子としてＣＭＯＳイメージセンサやＣＣＤイメージセンサを使用したカメラが使用される。
【００１６】
画像処理部４は、カメラ２により撮影された画像から所定の大きさの探索ウィンドウ内の画像を抽出する画像抽出部１０と、探索ウィンドウ内に配置された複数の判定枠内に含まれる各々の抽出画像間の輝度差を算出する輝度差算出部１２と、探索ウィンドウ内の画像を白黒２値化する白黒２値化部１４とを備える。
画像処理部４及び標識判定部６は、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを記憶するためのＲＯＭやＲＡＭの如き内部メモリを備えるコンピュータにより構成される。
【００１７】
記憶部８は、画像に含まれる標識候補の外形が円形か否かを標識判定部６が判定する際に用いるテンプレート１６を記憶する。この記憶部８は、ハードディスクドライブやソリッドステートドライブ等の不揮発性記憶装置を用いて構成される。
【００１８】
ここで、図２により、本発明の実施形態による車両標識認識装置が行う標識認識処理の基本的な概念を説明する。
図２は、本発明の実施形態による車両用標識認識装置１がカメラ２により撮影された画像から所定の大きさの探索ウィンドウ内の画像を抽出する順序を示す概略図である。
図２に示すように、車両標識認識装置は、カメラ２により撮影された画像１８から所定の大きさの探索ウィンドウ２０内の画像を抽出し、探索ウィンドウ２０内に標識の画像が含まれているか否かを判定する。
具体的には、車両標識認識装置は、まず、カメラ２により撮影された画像１８の左上角に所定の大きさ（例えば２０画素角）の探索ウィンドウ２０を設定し、この探索ウィンドウ２０内に標識の画像が含まれているか否かを判定する。次に、探索ウィンドウ２０の位置を、標識の有無を判定した探索ウィンドウ２０から右方向に、予め設定した画素数だけずらすように変更する（図２における探索ウィンドウ２０ａ）。そして、位置変更した探索ウィンドウ２０ａ内に標識の画像が含まれているか否かを判定する。以降同様に、カメラ２により撮影された画像１８の左から右に向かう方向に探索ウィンドウ２０の位置を変更しながら標識の有無を判定する。
さらに、車両標識認識装置は、カメラ２により撮影された画像１８の右上角において探索ウィンドウ２０内の標識の有無を判定した後、探索ウィンドウ２０の位置を、左上角に設定した探索ウィンドウ２０から下方向に、予め設定した画素数だけずらすように変更する（図２における探索ウィンドウ２０ｂ）。このように探索ウィンドウ２０の位置をカメラ２により撮影された画像１８の右下角に至るまで順次変更することにより、画像１８の中に標識が含まれているか否かを判定する。
次に、車両標識認識装置は、探索ウィンドウ２０の大きさを変更し（例えば３０画素角）、上述したようにカメラ２により撮影された画像１８の左上角から右下角まで探索ウィンドウ２０の位置を順次変更しながら標識の有無を判定する。
車両標識認識装置は、予め設定されている全ての大きさ（例えば２０画素角、３０画素角及び４０画素角）の探索ウィンドウ２０を用いてカメラ２により撮影された画像１８の中に標識が含まれているか否かを判定した後、標識認識処理を終了する。
【００１９】
次に、図３乃至図９により、車両標識認識装置が行う各処理について説明する。
図３は、本発明の実施形態による車両用標識認識装置１が標識を認識する標識認識処理のフローチャートである。
この標識認識処理は、車両のイグニッションがオンにされ、車両用標識認識装置１に電源が投入された場合に起動され、繰り返し実行される。
【００２０】
図３に示すように、標識認識処理が開始されると、ステップＳ１において、カメラ２は車両前方を撮影し、撮影した画像データを画像処理部４に出力する。
【００２１】
次に、ステップＳ２において、標識判定部６は、全ての大きさの探索ウィンドウ２０による標識の有無の判定が完了したか否かを判定する。その結果、標識の有無の判定が完了した場合、標識認識処理を終了する。
【００２２】
一方、標識の有無の判定が完了していない場合、ステップＳ３に進み、標識判定部６は、現在設定されている大きさの探索ウィンドウ２０により、カメラ２により撮影された画像１８全体について標識の有無の判定が完了したか否かを判定する。
【００２３】
その結果、標識の有無の判定が完了していない場合、ステップＳ４に進み、標識判定部６は、縁判定処理を実行する。この縁判定処理において、標識判定部６は、標識の外周に沿った所定幅の縁取りに相当する画像が探索ウィンドウ２０内に存在するか否かを判定する。その結果、縁取りに相当する画像が存在する場合、探索ウィンドウ２０内の画像は標識の可能性のある画像（以下「標識候補」）であると判定し、縁取りに相当する画像が存在しない場合には、探索ウィンドウ２０内の画像は標識候補ではないと判定する。縁判定処理の詳細な内容については後述する。
【００２４】
ステップＳ４の縁判定処理の後、ステップＳ５に進み、標識判定部６は、縁判定処理の結果に基づき、探索ウィンドウ２０内の画像が標識候補であるか否かを判定する。
【００２５】
その結果、探索ウィンドウ２０内の画像が標識候補である場合、ステップＳ６に進み、標識判定部６は、文字領域判定処理を実行する。この文字領域判定処理において、標識判定部６は、縁判定処理において判定された標識の縁取りに相当する画像の内側の領域が、文字領域であるか否かを判定する。その結果、文字領域である場合、探索ウィンドウ２０内の画像は標識候補であると判定し、文字領域ではない場合には、探索ウィンドウ２０内の画像は標識候補ではないと判定する。文字領域判定処理の詳細な内容については後述する。
【００２６】
ステップＳ６の文字領域判定処理の後、ステップＳ７に進み、標識判定部６は、文字領域判定処理の結果に基づき、探索ウィンドウ２０内の画像が標識候補であるか否かを判定する。
【００２７】
その結果、探索ウィンドウ２０内の画像が標識候補である場合、ステップＳ８に進み、標識判定部６は、円形判定処理を実行する。この円形判定処理において、標識判定部６は、標識候補の画像の輪郭が円形か否かを判定する。その結果、円形である場合、探索ウィンドウ２０内の画像は標識であると判定し、円形ではない場合には、探索ウィンドウ２０内の画像は標識ではないと判定する。円形判定処理の詳細な内容については後述する。
【００２８】
ステップＳ５において、縁判定処理の結果探索ウィンドウ２０内の画像が標識候補ではない場合、ステップＳ７において、文字領域判定処理の結果探索ウィンドウ２０内の画像が標識候補ではない場合、又はステップＳ８の後、標識判定部６は探索ウィンドウ２０の位置を変更し、ステップＳ３に戻る。以降、ステップＳ３において、現在設定されている大きさの探索ウィンドウ２０により、カメラ２により撮影された画像１８全体について標識の有無の判定が完了したと判定されるまで、ステップＳ３からＳ９の処理を繰り返す。
【００２９】
ステップＳ３において、現在設定されている大きさの探索ウィンドウ２０により、カメラ２により撮影された画像１８全体について標識の有無の判定が完了した場合、ステップＳ１０に進み、標識判定部６は、探索ウィンドウ２０の大きさを変更し、ステップＳ２に戻る。以降、ステップＳ２において、全ての大きさの探索ウィンドウ２０による標識の有無の判定が完了したと判定されるまで、ステップＳ２からＳ１０の処理を繰り返す。
【００３０】
次に、標識の外周に沿った所定幅の縁取りに相当する画像が探索ウィンドウ２０内に存在するか否かを判定する縁判定処理の内容を詳細に説明する。
図４は、本発明の実施形態による車両用標識認識装置１が実行する縁判定処理のフローチャートである。
図５は、本発明の実施形態による車両用標識認識装置１が縁判定処理において縁取りに相当する画像が探索ウィンドウ２０内に存在するか否かを判定するために使用される判定枠を含む探索ウィンドウ２０を示す図である。
図６は、本発明の実施形態による車両用標識認識装置１が実行する縁判定処理において使用される、標識の画像を含む探索ウィンドウ２０を示す図であり、図６（ａ）は昼間の固定標識の画像を含む探索ウィンドウ２０を示す図、図６（ｂ）は昼間の電光標識の画像を含む探索ウィンドウ２０を示す図、図６（ｃ）は夜間の電光標識の画像を含む探索ウィンドウ２０を示す図である。
【００３１】
図４に示すように、縁判定処理が開始されると、ステップＳ２１において、画像抽出部１０は、カメラ２により撮影された画像１８からその時点で設定されている大きさ及び位置の探索ウィンドウ２０内の画像（以下、「抽出画像」）を抽出する。
【００３２】
次に、ステップＳ２２に進み、輝度差算出部１２は、探索ウィンドウ２０内に包含される仮想円の円周に沿ってこの円周の外側に配置された外側判定枠内における抽出画像の輝度と、外側判定枠に隣接して円周の内側に配置された内側判定枠内における抽出画像の輝度との輝度差を算出する。
図５においてＢ1乃至Ｂ8により示す外側判定枠は、正方形の探索ウィンドウ２０の各辺に内接するように配置されている。特に、本実施形態においては、探索ウィンドウ２０の辺に沿って相互に隣接する２枠の外側判定枠の組が、探索ウィンドウ２０の各辺毎に４組配置される（（Ｂ1，Ｂ2）（Ｂ3，Ｂ4）（Ｂ5，Ｂ6）（Ｂ7，Ｂ8））。これにより、外側判定枠は、探索ウィンドウ２０の中央を中心とし且つ探索ウィンドウ２０内に包含される仮想円（図５において点線により示す円）の円周に沿って円周の外側に配置されることになる。
また、図５においてＷ1乃至Ｗ8により示す内側判定枠は、各外側判定枠の内側（即ち探索ウィンドウ２０の中心側）に隣接するように配置されている。特に、本実施形態においては、外側判定枠の各組に沿って相互に隣接する２枠の内側判定枠の組が、外側判定枠の各組毎に４組配置される（（Ｗ1，Ｗ2）（Ｗ3，Ｗ4）（Ｗ5，Ｗ6）（Ｗ7，Ｗ8））。これにより、内側判定枠は、外側判定枠に隣接して、上述した円周の内側に配置される。
ステップＳ２２において、輝度差算出部１２は、上述したように配置された外側判定枠内における抽出画像の輝度Ｉ（Ｂi）と、外側判定枠の内側に隣接するように配置された内側判定枠内における抽出画像の輝度Ｉ（Ｗi）との輝度差Ｄi＝Ｉ（Ｗi）−Ｉ（Ｂi）  （ｉ＝１，…，８）を算出する。
なお、各外側判定枠内における抽出画像の輝度Ｉ（Ｂi）は、各外側判定枠内の各画素の輝度の平均値であり、各内側判定枠内における抽出画像の輝度Ｉ（Ｗi）は、各内側判定枠内の各画素の輝度の平均値である。
【００３３】
次に、ステップＳ２３に進み、標識判定部６は、ステップＳ２２において算出した輝度差のうちの１つ（本実施形態においてはＤ1）が所定値ｍ以上か否かを判定する。
【００３４】
その結果、輝度差Ｄ1が所定値ｍ以上である場合、ステップＳ２４に進み、標識判定部６は、輝度差Ｄ1とその他の輝度差Ｄi（ｉ＝２，…，８）との差が所定の範囲（本実施形態においては±ｎ）内であるか否かを判定する。即ち、標識判定部６は、輝度差Ｄi（ｉ＝２，…，８）がＤ1−ｎ以上Ｄ1＋ｎ以下であるか否かを判定する。
【００３５】
その結果、輝度差Ｄ1とその他の輝度差Ｄi（ｉ＝２，…，８）との差が所定の範囲内である場合、ステップＳ２５に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定する。
一方、ステップＳ２３において輝度差Ｄ1が所定値ｍ以上ではない（ｍ未満である）場合、又はステップＳ２４において輝度差Ｄ1とその他の輝度差Ｄi（ｉ＝２，…，８）との差が所定の範囲内ではない場合、ステップＳ２６に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補ではないと判定する。
ステップＳ２５又はＳ２６の後、標識判定部６は縁判定処理を終了し、メインルーチンに戻る。
【００３６】
例えば図６（ａ）に示す例においては、探索ウィンドウ２０に昼間の固定標識の画像が含まれており、標識の外周に沿った縁取りが外側判定枠の位置に重なり、且つ、縁取りと標識の文字領域との間の白色部分が内側判定枠の位置に重なっている。
この場合、外側判定枠内における抽出画像（即ち縁取りの部分）の輝度Ｉ（Ｂi）に対して、内側判定枠内における抽出画像（即ち白色部分）の輝度Ｉ（Ｗi）が相対的に高く且つその輝度差が大きいため、ステップＳ２３において、標識判定部６は、輝度差Ｄ1が所定値ｍ以上であると判定する。
さらに、図６（ａ）に示すように、各外側判定枠内における抽出画像（即ち縁取りの部分）の輝度Ｉ（Ｂi）はそれぞれ同程度であり、各内側判定枠内における抽出画像（即ち白色部分）の輝度Ｉ（Ｗi）もそれぞれ同程度であるので、外側判定枠と内側判定枠との各組における輝度差Ｄi（ｉ＝１，…，８）はそれぞれ同程度となっている。従って、ステップＳ２４において、標識判定部６は、輝度差Ｄ1とその他の輝度差Ｄi（ｉ＝２，…，８）との差が所定の範囲内であると判定する。その結果、図６（ａ）の例において、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定する。
【００３７】
また、図６（ｂ）に示す例においては、探索ウィンドウ２０に昼間の電光標識の画像が含まれており、標識の外周に沿った縁取りが内側判定枠の位置に重なり、且つ、標識の外側の背景が外側判定枠の位置に重なっている。
この場合、外側判定枠内における抽出画像（即ち背景の部分）の輝度Ｉ（Ｂi）に対して、内側判定枠内における抽出画像（即ち縁取りの部分）の輝度Ｉ（Ｗi）が相対的に高く且つその輝度差が大きいため、ステップＳ２３において、標識判定部６は、輝度差Ｄ1が所定値ｍ以上であると判定する。
さらに、図６（ｂ）に示すように、各外側判定枠内における抽出画像（即ち背景の部分）の輝度Ｉ（Ｂi）はそれぞれ同程度であり、各内側判定枠内における抽出画像（即ち縁取りの部分）の輝度Ｉ（Ｗi）もそれぞれ同程度であるので、外側判定枠と内側判定枠との各組における輝度差Ｄi（ｉ＝１，…，８）はそれぞれ同程度となっている。従って、ステップＳ２４において、標識判定部６は、輝度差Ｄ1とその他の輝度差Ｄi（ｉ＝２，…，８）との差が所定の範囲内であると判定する。その結果、図６（ｂ）の例において、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定する。
【００３８】
また、図６（ｃ）に示す例においては、探索ウィンドウ２０に夜間の電光標識の画像が含まれており、標識の外周に沿った縁取りが内側判定枠の位置に重なり、且つ、標識の外側の背景が外側判定枠の位置に重なっている。
この場合においても、図６（ｂ）と同様に、外側判定枠内における抽出画像（即ち背景の部分）の輝度Ｉ（Ｂi）に対して、内側判定枠内における抽出画像（即ち縁取りの部分）の輝度Ｉ（Ｗi）が相対的に高く且つその輝度差が大きいため、ステップＳ２３において、標識判定部６は、輝度差Ｄ1が所定値ｍ以上であると判定する。
さらに、図６（ｃ）に示すように、各外側判定枠内における抽出画像（即ち背景の部分）の輝度Ｉ（Ｂi）はそれぞれ同程度であり、各内側判定枠内における抽出画像（即ち縁取りの部分）の輝度Ｉ（Ｗi）もそれぞれ同程度であるので、外側判定枠と内側判定枠との各組における輝度差Ｄi（ｉ＝１，…，８）はそれぞれ同程度となっている。従って、ステップＳ２４において、標識判定部６は、輝度差Ｄ1とその他の輝度差Ｄi（ｉ＝２，…，８）との差が所定の範囲内であると判定する。その結果、図６（ｃ）の例において、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定する。
【００３９】
次に、縁判定処理において判定された標識の縁取りに相当する画像の内側の領域が、文字領域であるか否かを判定する文字領域判定処理の内容を詳細に説明する。
図７は、本発明の実施形態による車両用標識認識装置１が実行する文字領域判定処理において、標識の縁取りに相当する画像の内側の領域が文字領域であるか否かを判定するために使用される判定枠を含む探索ウィンドウ２０を示す図である。
図８は、本発明の実施形態による車両用標識認識装置１が実行する文字領域判定処理のフローチャートである。
【００４０】
図７においてＲ1乃至Ｒ4により示す文字領域判定枠は、内側判定枠によって囲まれる領域に配置されている。特に、本実施形態においては、内側判定枠によって囲まれるほぼ正方形の領域を２行２列に分割した４つの文字領域判定枠が設けられている。
【００４１】
図８に示すように、文字領域判定処理が開始されると、ステップＳ３１において、標識判定部６は、各文字領域判定枠内における抽出画像の輝度Ｉ（Ｒj）（ｊ＝１，…，４）の最大値ｍａｘ｛Ｉ（Ｒj）｝が、各内側判定枠内における抽出画像の輝度Ｉ（Ｗi）（ｉ＝１，…，８）の最大値ｍａｘ｛Ｉ（Ｗi）｝に所定のマージンｋを加算した値以下か否か、即ちｍａｘ｛Ｉ（Ｒj）｝−ｍａｘ｛Ｉ（Ｗi）｝がｋ以下か否かを判定する。
【００４２】
その結果、ｍａｘ｛Ｉ（Ｒj）｝−ｍａｘ｛Ｉ（Ｗi）｝がｋ以下である場合、文字領域判定枠内の輝度が内側判定枠内の輝度よりも低いケース、即ち固定標識の白色部分が内側判定枠の位置に重なり且つ固定標識の文字部分が文字領域判定枠内に重なっているケースと考えられることから、標識判定部６は、ステップＳ３２に進み、探索ウィンドウ２０内の画像が固定標識候補であると判定する。
【００４３】
次に、ステップＳ３３に進み、標識判定部６は、各文字領域判定枠内における抽出画像の輝度Ｉ（Ｒj）（ｊ＝１，…，４）の最大値ｍａｘ｛Ｉ（Ｒj）｝が、各外側判定枠内における抽出画像の輝度Ｉ（Ｂi）（ｉ＝１，…，８）の平均値ｍｅａｎ｛Ｉ（Ｂi）｝から所定のマージンｐを減算した値より大きいか否かを判定する。
ｍａｘ｛Ｉ（Ｒj）｝がｍｅａｎ｛Ｉ（Ｂi）｝−ｐより大きい場合は、文字領域判定枠内の輝度が外側判定枠内の輝度よりも十分に高いケース、即ち固定標識の縁取りの部分が外側判定枠の位置に重なり且つ固定標識の文字部分が文字領域判定枠内に重なっているケースと考えられる。
【００４４】
その結果、ｍａｘ｛Ｉ（Ｒj）｝がｍｅａｎ｛Ｉ（Ｂi）｝−ｐより大きい場合、ステップＳ３４に進み、標識判定部６は、各文字領域判定枠内における抽出画像の輝度Ｉ（Ｒj）（ｊ＝１，…，４）の最小値ｍｉｎ｛Ｉ（Ｒj）｝が、各外側判定枠内における抽出画像の輝度Ｉ（Ｂi）（ｉ＝１，…，８）の最大値ｍａｘ｛Ｉ（Ｂi）｝より大きいか否かを判定する。
ｍｉｎ｛Ｉ（Ｒj）｝がｍａｘ｛Ｉ（Ｂi）｝より大きい場合は、文字領域判定枠内の輝度が外側判定枠内の輝度よりも十分に高いケース、即ち固定標識の縁取りの部分が外側判定枠の位置に重なり且つ固定標識の文字部分が文字領域判定枠内に重なっているケースと考えられる。
【００４５】
その結果、ｍｉｎ｛Ｉ（Ｒj）｝がｍａｘ｛Ｉ（Ｂi）｝より大きい場合、ステップＳ３５に進み、標識判定部６は、各文字領域判定枠内における抽出画像の輝度Ｉ（Ｒj）（ｊ＝１，…，４）の最大値ｍａｘ｛Ｉ（Ｒj）｝が、各内側判定枠内における抽出画像の輝度Ｉ（Ｗi）（ｉ＝１，…，８）の最小値ｍｉｎ｛Ｉ（Ｗi）｝より小さいか否かを判定する。
ｍａｘ｛Ｉ（Ｒj）｝がｍｉｎ｛Ｉ（Ｗi）｝より小さい場合は、文字領域判定枠内の輝度が内側判定枠内の輝度よりも十分に低いケース、即ち固定標識の白色部分が内側判定枠の位置に重なり且つ固定標識の文字部分が文字領域判定枠内に重なっているケースと考えられる。
【００４６】
その結果、ｍａｘ｛Ｉ（Ｒj）｝がｍｉｎ｛Ｉ（Ｗi）｝より小さい場合、縁判定処理において判定された標識の縁取りに相当する画像の内側の領域が、文字領域である可能性が高いことから、ステップＳ３６に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定する。
【００４７】
一方、ステップＳ３３においてｍａｘ｛Ｉ（Ｒj）｝がｍｅａｎ｛Ｉ（Ｂi）｝−ｐより大きくない（ｍａｘ｛Ｉ（Ｒj）｝がｍｅａｎ｛Ｉ（Ｂi）｝−ｐ以下である）場合、ステップＳ３４においてｍｉｎ｛Ｉ（Ｒj）｝がｍａｘ｛Ｉ（Ｂi）｝より大きくない（ｍｉｎ｛Ｉ（Ｒj）｝がｍａｘ｛Ｉ（Ｂi）｝以下である）場合、又はステップＳ３５においてｍａｘ｛Ｉ（Ｒj）｝がｍｉｎ｛Ｉ（Ｗi）｝より小さくない（ｍａｘ｛Ｉ（Ｒj）｝がｍｉｎ｛Ｉ（Ｗi）｝以上である）場合、縁判定処理において判定された標識の縁取りに相当する画像の内側の領域が文字領域である可能性は低いことから、ステップＳ３７に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補ではないと判定する。
【００４８】
また、ステップＳ３１において、ｍａｘ｛Ｉ（Ｒj）｝−ｍａｘ｛Ｉ（Ｗi）｝がｋ以下ではない（ｍａｘ｛Ｉ（Ｒj）｝−ｍａｘ｛Ｉ（Ｗi）｝がｋより大きい）場合、文字領域判定枠内の輝度が内側判定枠内の輝度よりも高いケース、即ち電光標識の縁取りの部分が内側判定枠の位置に重なり且つ電光標識の文字発光部分が文字領域判定枠内に重なっているケースと考えられることから、標識判定部６は、ステップＳ３８に進み、探索ウィンドウ２０内の画像が電光標識候補であると判定する。
【００４９】
次に、ステップＳ３９に進み、標識判定部６は、各文字領域判定枠内における抽出画像の輝度Ｉ（Ｒj）（ｊ＝１，…，４）の最小値ｍｉｎ｛Ｉ（Ｒj）｝が、各外側判定枠内における抽出画像の輝度Ｉ（Ｂi）（ｉ＝１，…，８）の平均値ｍｅａｎ｛Ｉ（Ｂi）｝から所定のマージンｑを減算した値より大きいか否かを判定する。
ｍｉｎ｛Ｉ（Ｒj）｝がｍｅａｎ｛Ｉ（Ｂi）｝−ｑより大きい場合は、文字領域判定枠内の輝度が外側判定枠内の輝度よりも十分に高いケース、即ち電光標識の外側の背景部分が外側判定枠の位置に重なり且つ電光標識の文字発光部分が文字領域判定枠内に重なっているケースと考えられる。
【００５０】
その結果、ｍｉｎ｛Ｉ（Ｒj）｝がｍｅａｎ｛Ｉ（Ｂi）｝−ｑより大きい場合、ステップＳ４０に進み、標識判定部６は、各文字領域判定枠内における抽出画像の輝度Ｉ（Ｒj）（ｊ＝１，…，４）の最大値ｍａｘ｛Ｉ（Ｒj）｝が、各外側判定枠内における抽出画像の輝度Ｉ（Ｂi）（ｉ＝１，…，８）の最小値ｍｉｎ｛Ｉ（Ｂi）｝より大きいか否かを判定する。
ｍａｘ｛Ｉ（Ｒj）｝がｍｉｎ｛Ｉ（Ｂi）｝より大きい場合は、文字領域判定枠内の輝度が外側判定枠内の輝度よりも十分に高いケース、即ち電光標識の外側の背景部分が外側判定枠の位置に重なり且つ電光標識の文字発光部分が文字領域判定枠内に重なっているケースと考えられる。
【００５１】
その結果、ｍａｘ｛Ｉ（Ｒj）｝がｍｉｎ｛Ｉ（Ｂi）｝より大きい場合、ステップＳ４１に進み、標識判定部６は、各文字領域判定枠内における抽出画像の輝度Ｉ（Ｒj）（ｊ＝１，…，４）の最小値ｍｉｎ｛Ｉ（Ｒj）｝が、各内側判定枠内における抽出画像の輝度Ｉ（Ｗi）（ｉ＝１，…，８）の最大値ｍａｘ｛Ｉ（Ｗi）｝より大きいか否かを判定する。
ｍｉｎ｛Ｉ（Ｒj）｝がｍａｘ｛Ｉ（Ｗi）｝より大きい場合は、文字領域判定枠内の輝度が内側判定枠内の輝度よりも十分に高いケース、即ち電光標識の縁取りの部分が内側判定枠の位置に重なり且つ電光標識の文字発光部分が文字領域判定枠内に重なっているケースと考えられる。
【００５２】
その結果、ｍｉｎ｛Ｉ（Ｒj）｝がｍａｘ｛Ｉ（Ｗi）｝より大きい場合、縁判定処理において判定された標識の縁取りに相当する画像の内側の領域が、文字領域である可能性が高いことから、ステップＳ３６に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定する。
【００５３】
一方、ステップＳ３９においてｍｉｎ｛Ｉ（Ｒj）｝がｍｅａｎ｛Ｉ（Ｂi）｝−ｑより大きくない（ｍｉｎ｛Ｉ（Ｒj）｝がｍｅａｎ｛Ｉ（Ｂi）｝−ｑ以下である）場合、ステップＳ４０においてｍａｘ｛Ｉ（Ｒj）｝がｍｉｎ｛Ｉ（Ｂi）｝より大きくない（ｍａｘ｛Ｉ（Ｒj）｝がｍｉｎ｛Ｉ（Ｂi）｝以下である）場合、又はステップＳ４１においてｍｉｎ｛Ｉ（Ｒj）｝がｍａｘ｛Ｉ（Ｗi）｝より大きくない（ｍｉｎ｛Ｉ（Ｒj）｝がｍａｘ｛Ｉ（Ｗi）｝以下である）場合、縁判定処理において判定された標識の縁取りに相当する画像の内側の領域が、文字領域である可能性が低いことから、ステップＳ４２に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補ではないと判定する。
ステップＳ３６、Ｓ３７又はＳ４２の後、標識判定部６は文字領域判定処理を終了し、メインルーチンに戻る。
【００５４】
次に、標識候補の画像の輪郭が円形か否かを判定する円形判定処理の内容を詳細に説明する。
図９は、本発明の実施形態による車両用標識認識装置１が実行する円形判定処理において、標識候補の画像の輪郭が円形か否かを判定するために使用されるテンプレート１６を示す図であり、図９（ａ）は白黒２値化した探索ウィンドウ２０内の画像から所定の大きさのエッジ検出ウィンドウ内の画像を抽出する順序を示す概略図、図９（ｂ）は標識の縁取りの内周縁を検出するために使用されるテンプレート１６を示す図、図９（ｃ）は標識の外周縁を検出するために使用されるテンプレート１６を示す図である。
図１０は、本発明の実施形態による車両用標識認識装置１が実行する円形判定処理のフローチャートである。
【００５５】
まず、円形判定処理の基本的な概念について説明する。
図９（ａ）に示すように、白黒２値化部１４は、探索ウィンドウ２０内の画像を白黒２値化する。次に、画像抽出部１０は、白黒２値化した探索ウィンドウ２０内の画像の左上角に所定の大きさ（本実施形態においては３画素角）のエッジ検出ウィンドウ２２を設定し、このエッジ検出ウィンドウ２２内の画像を抽出する。そして、標識判定部６は、抽出した画像の各画素における白黒２値のパターンと、記憶部８に記憶されているテンプレート１６に含まれる各パターンとを比較する。
【００５６】
テンプレート１６は、図９（ｂ）及び図９（ｃ）に示すように、エッジ検出ウィンドウ２２が標識の縁取りの内周縁に重なった場合にエッジ検出ウィンドウ２２内の各画素が取りうる白黒２値のパターン（図９（ｂ）に示す）と、エッジ検出ウィンドウ２２が標識の外周縁に重なった場合にエッジ検出ウィンドウ２２内の各画素が取りうる白黒２値のパターン（図９（ｃ）に示す）とを有している。さらに、各パターンに対応付けて、そのパターンが検出された場合におけるエッジ検出ウィンドウ２２の位置から標識の中心に向かう方向及び距離が記憶部８に記憶されている。
【００５７】
エッジ検出ウィンドウ２２内の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンのうちの何れかとが一致した場合、標識判定部６は、エッジ検出ウィンドウ２２の位置と、一致したパターンに対応付けて記憶部８に記憶されている方向及び距離とに基づき、探索ウィンドウ２０内の標識候補の中心座標を推定し、その中心座標に対応するカウンタを１加算する。
【００５８】
続いて、標識判定部６は、エッジ検出ウィンドウ２２の位置を、現在のエッジ検出ウィンドウ２２から右方向に、予め設定した画素数だけずらすように変更する。そして、位置変更したエッジ検出ウィンドウ２２内の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンとを比較する。そして、一致するパターンが存在した場合、エッジ検出ウィンドウ２２の位置と、一致したパターンに対応付けて記憶部８に記憶されている方向及び距離とに基づき、探索ウィンドウ２０内の標識候補の中心座標を推定し、その中心座標に対応するカウンタを１加算する。
以降同様に、探索ウィンドウ２０内の画像の左から右に向かう方向にエッジ検出ウィンドウ２２の位置を変更しながらエッジ検出ウィンドウ２２内の各画素における白黒２値のパターンとテンプレート１６に含まれる各パターンとを比較し、探索ウィンドウ２０内の標識候補の中心座標を推定する。
【００５９】
さらに、標識判定部６は、探索ウィンドウ２０内の画像の右上角においてエッジ検出ウィンドウ２２内の各画素における白黒２値のパターンとテンプレート１６に含まれる各パターンとを比較した後、エッジ検出ウィンドウ２２の位置を、左上角に設定したエッジ検出ウィンドウ２２から下方向に、予め設定した画素数だけずらすように変更する。このようにエッジ検出ウィンドウ２２の位置を探索ウィンドウ２０内の画像の右下角に至るまで順次変更しながら、探索ウィンドウ２０内の画像全体について、エッジ検出ウィンドウ２２内の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンとを比較し、探索ウィンドウ２０内の標識候補の中心座標を推定する。
その後、標識判定部６は、探索ウィンドウ２０の中心座標に対応するカウンタが所定数ｒを超えている場合、即ち探索ウィンドウ２０内の標識候補の中心座標が探索ウィンドウ２０の中心座標と一致する場合に、探索ウィンドウ２０内に円形の標識の画像が含まれていると判定する。
【００６０】
次に、円形判定処理の具体的な処理を説明する。
図１０に示すように、円形判定処理が開始されると、ステップＳ５１において、白黒２値化部１４は、所定の２値化フィルタを使用して探索ウィンドウ２０内の画像を白黒２値化する。
【００６１】
次に、ステップＳ５２に進み、標識判定部６は、探索ウィンドウ２０内の画像全体について、エッジ検出ウィンドウ２２内の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンとを比較したか否かを判定する。
【００６２】
その結果、探索ウィンドウ２０内の画像全体について、エッジ検出ウィンドウ２２内の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンとを比較していない場合、ステップＳ５３に進み、画像抽出部１０は、白黒２値化された探索ウィンドウ２０内の画像からその時点で設定されている位置のエッジ検出ウィンドウ２２内の画像を抽出する。
【００６３】
次に、ステップＳ５４に進み、標識判定部６は、抽出したエッジ検出ウィンドウ２２内の画像の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンのうちの何れかとが一致するか否かを判定する。
【００６４】
その結果、エッジ検出ウィンドウ２２内の画像の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンのうちの何れかとが一致した場合、ステップＳ５５に進み、標識判定部６は、エッジ検出ウィンドウ２２の位置と、一致したパターンに対応付けて記憶部８に記憶されている方向及び距離とに基づき、探索ウィンドウ２０内の標識候補の中心座標を推定し、その中心座標に対応するカウンタを１加算する。
【００６５】
例えば、一致したパターンが図９（ｂ）のパターンＡである場合、エッジ検出ウィンドウ２２が標識の縁取りの内周縁の上端に重なっている可能性が考えられるため、エッジ検出ウィンドウ２２の位置から標識の中心に向かう方向は下方向となっている。また、これに対応する距離は、標識の縁取りの内周縁の半径Ｒinnerである。
この場合、図９（ｃ）のパターンＢも同じく一致する。このパターンの場合には、エッジ検出ウィンドウ２２が標識の外周縁の下端に重なっている可能性が考えられるため、エッジ検出ウィンドウ２２の位置から標識の中心に向かう方向は上方向となっている。また、これに対応する距離は、標識の外周縁の半径Ｒouterである。
【００６６】
ステップＳ５４において、エッジ検出ウィンドウ２２内の画像の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンとが一致しなかった場合、又はステップＳ５５の後、ステップＳ５６に進み、標識判定部６は、エッジ検出ウィンドウ２２の位置を変更する。
以降、ステップＳ５２において、探索ウィンドウ２０内の画像全体について、エッジ検出ウィンドウ２２内の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンとを比較したと判定されるまで、ステップＳ５２からＳ５６を繰り返す。
【００６７】
また、ステップＳ５２において、探索ウィンドウ２０内の画像全体について、エッジ検出ウィンドウ２２内の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンとを比較した場合、ステップＳ５７に進み、標識判定部６は、探索ウィンドウ２０内の画像の中心座標に対応するカウンタが所定数ｒを超えているか否かを判定する。
【００６８】
その結果、探索ウィンドウ２０内の画像の中心座標に対応するカウンタが所定数ｒを超えている場合、ステップＳ５８に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識であると判定する。
一方、探索ウィンドウ２０内の画像の中心座標に対応するカウンタが所定数ｒを超えていない（ｒ以下である）場合、ステップＳ５９に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識ではないと判定する。
【００６９】
次に、本発明の実施形態のさらなる変形例を説明する。
上述した実施形態の縁判定処理においては、図４に示したように、ステップＳ２２において算出した輝度差Ｄ1が所定値ｍ以上であり、且つ、輝度差Ｄ1とその他の輝度差Ｄi（ｉ＝２，…，８）との差が所定の範囲（上述の実施形態においては±ｎ）内である場合に、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定するが、これとは異なる条件により、探索ウィンドウ２０内の画像が標識候補であるか否かを判定してもよい。
【００７０】
図１１は、本発明の実施形態の第１変形例による縁判定処理のフローチャートである。
図１１の各ステップのうちステップＳ７１及びＳ７２は、図４のステップＳ２１及びＳ２２の同様であるので説明を省略する。
ステップＳ７３において標識判定部６は、ステップＳ７２において算出した各輝度差Ｄi（ｉ＝１，…，８）の絶対値｜Ｄi｜が所定値ｍ以上か否かを判定する。
その結果、各輝度差Ｄiの絶対値が所定値ｍ以上である場合、ステップＳ７４に進み、標識判定部６は、隣接する内側判定枠内における抽出画像の輝度差の絶対値｜Ｉ（Ｗi）−Ｉ（Ｗi+1）｜及び隣接する外側判定枠内における抽出画像の輝度差の絶対値｜Ｉ（Ｂi）−Ｉ（Ｂi+1）｜が所定値ｎ以下か否かを判定する。
その結果、｜Ｉ（Ｗi）−Ｉ（Ｗi+1）｜及び｜Ｉ（Ｂi）−Ｉ（Ｂi+1）｜が所定値ｎ以下である場合、ステップＳ７５に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定する。
一方、ステップＳ７３において｜Ｄi｜が所定値ｍ以上ではない（ｍ未満である）場合、又はステップＳ７４において｜Ｉ（Ｗi）−Ｉ（Ｗi+1）｜若しくは｜Ｉ（Ｂi）−Ｉ（Ｂi+1）｜が所定値ｎ以下ではない（ｎより大きい）場合、ステップＳ７６に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補ではないと判定する。
【００７１】
図１２は、本発明の実施形態の第２変形例による縁判定処理において縁取りに相当する画像が探索ウィンドウ２０内に存在するか否かを判定するために使用される判定枠を含む探索ウィンドウ２０を示す図である。
図１２に示すように、第２変形例による外側判定枠は、正方形の探索ウィンドウ２０の各辺毎に１枠ずつ内接するように、４枠配置される（Ｂ1，Ｂ2，Ｂ3，Ｂ4）。
また、第２変形例による内側判定枠は、各外側判定枠の内側（即ち探索ウィンドウ２０の中心側）に１枠ずつ隣接するように、４枠配置される（Ｗ1，Ｗ2，Ｗ3，Ｗ4）。
【００７２】
輝度差算出部１２は、外側判定枠内における抽出画像の輝度Ｉ（Ｂi）と、外側判定枠の内側に隣接するように配置された内側判定枠内における抽出画像の輝度Ｉ（Ｗi）との輝度差Ｄi＝Ｉ（Ｗi）−Ｉ（Ｂi）  （ｉ＝１，…，４）を算出する。標識判定部６は、算出した各輝度差Ｄiが所定値以上である場合に、探索ウィンドウ２０内の画像が標識候補であると判定する。あるいは、標識判定部６は、算出した各輝度差Ｄiのうち３つが所定値以上である場合に、探索ウィンドウ２０内の画像が標識候補であると判定するようにしてもよい。
【００７３】
あるいは、探索ウィンドウ２０の辺に沿って相互に隣接する３枠又は４枠の外側判定枠の組が、探索ウィンドウ２０の各辺毎に４組配置される（即ち、合計１２枠又は１６枠の外側判定枠が配置される）と共に、外側判定枠の各組に沿って相互に隣接する３枠又は４枠の内側判定枠の組が、外側判定枠の内側に隣接するように、外側判定枠の各組毎に４組配置される（即ち、合計１２枠又は１６枠の内側判定枠が配置される）ようにしてもよい。
【００７４】
また、上述した実施形態の文字領域判定処理においては、内側判定枠によって囲まれるほぼ正方形の領域を２行２列に分割した４つの文字領域判定枠内における抽出画像の輝度Ｉ（Ｒj）と、外側判定枠内の輝度Ｉ（Ｂi）又は内側判定枠内の輝度Ｉ（Ｗi）とに基づき、縁判定処理において判定された標識の縁取りに相当する画像の内側の領域が、文字領域であるか否かを判定するが、これとは異なる基準により、標識の縁取りに相当する画像の内側の領域が文字領域であるか否かを判定してもよい。
【００７５】
図１３（ａ）及び図１３（ｂ）は、本発明の実施形態の第３変形例による文字領域判定処理において、標識の縁取りに相当する画像の内側の領域が文字領域であるか否かを判定するために使用される判定枠を含む探索ウィンドウ２０を示す図である。
例えば図１３（ａ）に示すように、内側判定枠Ｗ1とＷ3との間に、これらの内側判定枠Ｗ1，Ｗ3と平行に文字領域判定枠Ｂ5を設ける。あるいは、図１３（ｂ）に示すように、内側判定枠Ｗ2とＷ4との間に、これらの内側判定枠Ｗ2，Ｗ4と平行に文字領域判定枠Ｂ5を設ける。
図１３（ａ）の例においては、標識判定部６は、内側判定枠Ｗ1，Ｗ3の輝度Ｉ（Ｗi）  （ｉ＝１，３）と、文字領域判定枠Ｂ5の輝度Ｉ（Ｂ5）とを比較する。探索ウィンドウ２０内の画像が固定標識候補である場合には、Ｉ（Ｗi）＞Ｉ（Ｂ5）が成立する場合に、標識の縁取りに相当する画像の内側の領域が文字領域であると判定する。また、探索ウィンドウ２０内の画像が電光標識候補である場合には、Ｉ（Ｗi）＜Ｉ（Ｂ5）が成立する場合に、標識の縁取りに相当する画像の内側の領域が文字領域であると判定する。
同様に、図１３（ｂ）の例においては、標識判定部６は、内側判定枠Ｗ2，Ｗ4の輝度Ｉ（Ｗi）（ｉ＝２，４）と、文字領域判定枠Ｂ5の輝度Ｉ（Ｂ5）とを比較する。探索ウィンドウ２０内の画像が固定標識候補である場合には、Ｉ（Ｗi）＞Ｉ（Ｂ5）が成立する場合に、標識の縁取りに相当する画像の内側の領域が文字領域であると判定する。また、探索ウィンドウ２０内の画像が電光標識候補である場合には、Ｉ（Ｗi）＜Ｉ（Ｂ5）が成立する場合に、標識の縁取りに相当する画像の内側の領域が文字領域であると判定する。
【００７６】
また、上述した実施形態においては、円形判定処理のステップＳ５１において、白黒２値化部１４が探索ウィンドウ２０内の画像を白黒２値化すると説明したが、標識認識処理のステップＳ１においてカメラ２が車両前方を撮影し、撮影した画像データを画像処理部４に出力した後、この画像を白黒２値化し、白黒２値化した画像データを用いて以降の各処理（即ち、縁判定処理、文字領域判定処理、及び円形判定処理）を行うようにしてもよい。
【００７７】
次に、上述した本発明の実施形態及び本発明の実施形態の変形例による車両用標識認識装置１の効果を説明する。
【００７８】
まず、車両用標識認識装置１の画像抽出部１０は、カメラ２により撮影された画像１８から所定の大きさの探索ウィンドウ２０内の抽出画像を抽出し、輝度差算出部１２は、探索ウィンドウ２０内に包含される仮想円の円周に沿ってこの円周の外側に配置された外側判定枠内における抽出画像の輝度と、外側判定枠に隣接して円周の内側に配置された内側判定枠内における抽出画像の輝度との輝度差を算出し、標識判定部６は、輝度差算出部１２により算出された輝度差が所定値以上の場合に、探索ウィンドウ２０内に標識の画像が含まれていると判定するので、標識の外周に沿った縁取りと他の部分（縁取りによって囲まれる領域又は標識の背景）との輝度差に基づいて標識を認識することができる。即ち、標識が固定標識か電光標識かに関わらず、共通の処理によって標識の認識を行うことができるので、処理負担を増大させることなく、電光標識及び固定標識のどちらも認識することができる。
【００７９】
また、輝度差算出部１２は、仮想円の円周に沿って配置された４組又は８組の外側判定枠と内側判定枠との各組について、抽出画像の外側判定枠内における輝度と内側判定枠内における輝度との輝度差を算出し、標識判定部６は、輝度差算出部１２により算出された各輝度差のうち少なくとも１つが所定値以上の場合に、探索ウィンドウ２０内に標識の画像が含まれていると判定するので、街路樹や電柱等の障害物の画像が標識の画像の一部に重複している場合においても、これらの障害物が重複していない範囲における標識の外周に沿った縁取りと他の部分との輝度差に基づいて確実に標識の認識を行うことができる。
【００８０】
また、標識判定部６は、輝度差算出部１２により算出された各輝度差のうち何れか１つの輝度差が所定値以上であり、且つこの輝度差とその他の輝度差との差が所定の範囲内である場合に、探索ウィンドウ２０内に標識の画像が含まれていると判定するので、探索ウィンドウ２０内の画像が標識の外周に沿った縁取りに相当する画像か否かを確実に判別することができ、一層確実に標識の認識を行うことができる。
【００８１】
また、標識判定部６は、内側判定枠によって囲まれる文字領域判定枠内における抽出画像の輝度が、内側判定枠内における抽出画像の輝度以下である場合、探索ウィンドウ２０内に固定標識の画像が含まれていると判定し、文字領域判定枠内における抽出画像の輝度が、内側判定枠内における抽出画像の輝度以下ではない場合、探索ウィンドウ２０内に電光標識の画像が含まれていると判定するので、固定標識と電光標識とを容易且つ確実に判別することができる。
【００８２】
また、記憶部８は、エッジ検出ウィンドウ２２が標識の縁取りの内周縁に重なった場合にエッジ検出ウィンドウ２２内の各画素が取りうる白黒２値のパターンと、エッジ検出ウィンドウ２２が標識の外周縁に重なった場合にエッジ検出ウィンドウ２２内の各画素が取りうる白黒２値のパターンと、各パターンが検出された場合におけるエッジ検出ウィンドウ２２の位置から標識の中心に向かう方向及び距離とを記憶し、標識判定部６は、エッジ検出ウィンドウ２２内の画像の各画素における白黒２値のパターンと、記憶部８に記憶されている各パターンの何れかとが一致した場合、エッジ検出ウィンドウ２２の位置と、一致したパターンに対応付けて記憶部８に記憶されている方向及び距離とに基づき、探索ウィンドウ２０内の標識画像の中心座標を推定し、推定された中心座標と探索ウィンドウ２０内の画像の中心座標とが一致する場合、探索ウィンドウ２０内に標識の画像が含まれていると判定するので、円形の標識を容易且つ確実に認識することができる。
【符号の説明】
【００８３】
１  車両用標識認識装置
２  カメラ
４  画像処理部
６  標識判定部
８  記憶部
１０  画像抽出部
１２  輝度差算出部
１４  白黒２値化部
１６  テンプレート
１８  画像
２０  探索ウィンドウ
２２  エッジ検出ウィンドウ
【図１】
2014127162.tif 000003
【図２】
2014127162.tif 000004
【図３】
2014127162.tif 000005
【図４】
2014127162.tif 000006
【図５】
2014127162.tif 000007
【図８】
2014127162.tif 000008
【図９】
2014127162.tif 000009
【図１０】
2014127162.tif 000010
【図１１】
2014127162.tif 000011
【図１２】
2014127162.tif 000012
【図６】
2014127162.tif 000013
【図７】
2014127162.tif 000014
【図１３】
2014127162.tif 000015