(57)【要約】【課題】道路標識に対するカメラの相対的な距離及び向きにかかわらず、演算負荷を増大させることなく確実に道路標識を認識する車両用表示体認識装置を提供する。【解決手段】外界カメラ２と、基本テンプレート画像，及びこの基本テンプレート画像の道路標識の位置を特定するための付属データを記憶するテンプレートデータ蓄積部１８と、撮像画像から道路標識候補の画像を抽出し、基本テンプレートと対応して道路標識候補の付属データを取得し、付属データを用いて基本テンプレート画像から道路標識候補の画像に画像変換するための射影変換行列を算出し、基本テンプレート画像を射影変換行列で変換して得られた変形テンプレート画像と、道路標識候補の画像との形状の一致度を判定し、所定値以上の一致度であるとき、道路標識候補が基本テンプレート画像と同形状の道路標識である判定するマッチング処理部１１を備えた。【選択図】図１
2010086268.tif 000002
【特許請求の範囲】
【請求項１】
車両用表示体認識装置であって、
車両に搭載され車両用表示体を含む画像を撮像可能な撮像手段と、
車両用表示体を撮像した基本テンプレート画像，及びこの基本テンプレート画像の車両用表示体の位置を特定するための付属データを記憶する記憶手段と、
前記基本テンプレート画像を用いて、前記撮像手段によって撮像された画像から車両用表示体候補の画像を抽出する表示体候補抽出手段と、
前記基本テンプレート画像の付属データと対応した前記車両用表示体候補の付属データを取得する付属データ取得手段と、
前記基本テンプレート画像の車両用表示体と前記車両用表示体候補とが同一であると仮定して、前記基本テンプレート画像の付属データと前記車両用表示体候補の付属データとを用いて、前記基本テンプレート画像から前記車両用表示体候補の画像に画像変換するための射影変換行列を算出する変換行列算出手段と、
前記基本テンプレート画像を前記射影変換行列で変換して得られた変形テンプレート画像と、前記車両用表示体候補の画像との形状の一致度を判定し、この一致度が所定値以上であるとき、前記車両用表示体候補が前記基本テンプレート画像と同形状の車両用表示体であると判定する判定手段と、を備えたことを特徴とする車両用表示体認識装置。
【請求項２】
前記付属データが、前記基本テンプレート画像の車両用表示体と前記車両用表示体候補とにおける、それぞれ少なくとも３点の３次元座標値であることを特徴とする請求項１に記載の車両用表示体認識装置。
【請求項３】
前記付属データが、前記基本テンプレート画像の車両用表示体と前記車両用表示体候補とにおける、それぞれ少なくとも１点の３次元座標値と法線ベクトルであることを特徴とする請求項１に記載の車両用表示体認識装置。
【請求項４】
前記付属データが、前記基本テンプレート画像と前記車両用表示体候補の画像とにおける、それぞれ少なくとも４点の画像座標値であることを特徴とする請求項１に記載の車両用表示体認識装置。
【請求項５】
前記判定手段は、さらに車両用表示体と判定した前記車両用表示体候補の画像と、前記変形テンプレート画像との表示内容の一致度を判定し、この一致度が所定値以上であるとき、前記車両用表示体候補が前記基本テンプレート画像と同一の車両用表示体であると判定することを特徴とする請求項１乃至４のいずれか１項に記載の車両用表示体認識装置。
【請求項６】
前記撮像手段で撮像した画像を表示する表示手段を更に備え、
前記表示手段は、前記撮像手段により撮像された画像中において、前記車両用表示体候補の画像を正面から見た画像に変換して表示することを特徴とする請求項１乃至５に記載の車両用表示体認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用表示体認識装置に係り、特に画像認識処理により道路標識等の表示体を認識する車両用表示体認識装置に関する。
【背景技術】
【０００２】
従来、予め用意したテンプレート画像を用いて、撮像手段が撮像した画像中の表示体（道路標識等）の画像認識を行う装置が提案されている（例えば、特許文献１−３参照）。
特許文献１に記載の装置では、実際の道路標識を撮影したフレーム画像に対して、道路標識のテンプレート画像により、いわゆるテンプレートマッチング処理が行われる。その際、テンプレート画像を所定角度ずつ回転させてパターンマッチングが行われる。そして、特許文献１に記載の装置では、マッチング度合が所定レベルを超えるとマッチングが成立したものと判定され、フレーム画像中で道路標識が認識される。
【０００３】
また、特許文献２に記載の装置では、テンプレートマッチング処理を行う際に、マッチング対象物までの距離を考慮して、テンプレート画像の大きさを拡大・縮小させるように補正する。そして、特許文献２に記載の装置では、この補正されたテンプレート画像を用いて、パターンマッチングが行われる。
【０００４】
また、特許文献３に記載の装置では、テンプレートマッチング処理を行う際に、マッチング対象物までの距離を考慮して、テンプレート画像の大きさを拡大・縮小させると共に、マッチング対象物に対する仰角を考慮して、アフィン変換によるテンプレート画像の変形を行っている。そして、特許文献３に記載の装置では、この変形したテンプレート画像を用いて、パターンマッチングが行われる。
【０００５】
【特許文献１】特開２００８−９９１５号公報
【特許文献２】特開２００７−２５７３０１号公報
【特許文献３】特開２００７−４２５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の装置では、テンプレート画像を所定角度ずつ回転させてパターンマッチングを行うため、演算負荷が非常に高くなってしまうという問題がった。また、特許文献１に記載の装置では、テンプレート画像に対して１つの軸に対する回転変形のみを行っているため、対象物が斜め方向を向いている場合等には、マッチングさせることができず、道路標識を認識できないという問題があった。
【０００７】
また、特許文献２及び３に記載の装置のように、距離に応じてテンプレート画像を拡大・縮小し、仰角に応じてテンプレート画像をアフィン変換しても、対象物に対するすべての方向の回転による見かけ上の歪みを考慮できていないので、マッチングさせることができず、道路標識を認識できない場合が生じるという問題があった。
【０００８】
本発明は、このような課題を解決するためになされたものであり、道路標識等の表示体に対する撮像手段の相対的な距離及び向きにかかわらず、演算負荷を増大させることなく、確実に表示体を認識することが可能な車両用表示体認識装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の車両用表示体認識装置は、車両に搭載され車両用表示体を含む画像を撮像可能な撮像手段と、車両用表示体を撮像した基本テンプレート画像，及びこの基本テンプレート画像の車両用表示体の位置を特定するための付属データを記憶する記憶手段と、基本テンプレート画像を用いて、撮像手段によって撮像された画像から車両用表示体候補の画像を抽出する表示体候補抽出手段と、基本テンプレート画像の付属データと対応した車両用表示体候補の付属データを取得する付属データ取得手段と、基本テンプレート画像の車両用表示体と車両用表示体候補とが同一であると仮定して、基本テンプレート画像の付属データと車両用表示体候補の付属データとを用いて、基本テンプレート画像から車両用表示体候補の画像に画像変換するための射影変換行列を算出する変換行列算出手段と、基本テンプレート画像を射影変換行列で変換して得られた変形テンプレート画像と、車両用表示体候補の画像との形状の一致度を判定し、この一致度が所定値以上であるとき、車両用表示体候補が基本テンプレート画像と同形状の車両用表示体であると判定する判定手段と、を備えたことを特徴としている。
【００１０】
このように構成された本発明によれば、基本テンプレート画像を用いて簡易に検出した車両用表示体候補について、基本テンプレート画像を射影変換した変形テンプレート画像を用いて一致度を判定することにより、車両用表示体候補が基本テンプレートの表示体と同形状であるか否かを判定するので、対象となる車両用表示体の距離や向きにかかわらず、その車両用表示体を精度よく検出することができる。
【００１１】
また、本発明において好ましくは、付属データが、基本テンプレート画像の車両用表示体と車両用表示体候補とにおける、それぞれ少なくとも３点の３次元座標値であるか、それぞれ少なくとも１点の３次元座標値と法線ベクトルであるか、それぞれ少なくとも４点の画像座標値である。このように構成された本発明によれば、単一の撮像手段や種々のセンサ等によって、射影変換行列を算出するための付属データを算出することができる。
【００１２】
また、本発明において好ましくは、判定手段は、さらに車両用表示体と判定した車両用表示体候補の画像と、変形テンプレート画像との表示内容の一致度を判定し、この一致度が所定値以上であるとき、車両用表示体候補が基本テンプレート画像と同一の車両用表示体であると判定する。このように構成された本発明によれば、形状が同じだが表示内容が異なる表示体を精度よく検出することができる。
【００１３】
また、本発明において好ましくは、撮像手段で撮像した画像を表示する表示手段を更に備え、表示手段は、撮像手段により撮像された画像中において、車両用表示体候補の画像を正面から見た画像に変換して表示する。
このように構成された本発明によれば、車両用表示体候補の画像は、運転者が目視できる風景中を撮像した画像から切り出した映像であり、この車両用表示体候補の画像を正面から見た画像に変換して表示することにより、運転者は、周辺の設置空間との関係において正確な当該車両用表示体の表示内容及び設置の意味（例えば交通ルール）を認識することができる。
【発明の効果】
【００１４】
本発明の車両用表示体認識装置によれば、道路標識等の表示体に対する撮像手段の相対的な距離及び向きにかかわらず、演算負荷を増大させることなく、確実に表示体を認識することができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照して本発明の実施形態について説明する。図１は車両用表示体認識装置の構成図、図２はフレーム画像撮像時の説明図、図３は図２において外界カメラで撮像されたフレーム画像、図４は基本テンプレートの説明図、図５乃至図７は基本テンプレートの付属データの説明図、図８はフレーム画像撮像時の説明図、図９は図８において外界カメラで撮像されたフレーム画像、図１０はテンプレートマッチング処理の説明図、図１１乃至図１３は射影変換行列算出処理の説明図、図１４は道路標識検出処理の説明図、図１５は道路標識識別処理の説明図、図１６は合成フレーム画像、図１７は道路標識が一部遮蔽・変形された状況の説明図、図１８は一部遮蔽時の道路標識画像及び基本テンプレート画像の説明図、図１９は車両用表示体認識装置が実行する処理のフローチャートである。
【００１６】
本実施形態の車両用表示体認識装置１は、図１に示すように、外界カメラ２と、コントローラ３と、モニタ４とを備えている。
外界カメラ２は、ＣＣＤカメラやＣＭＯＳカメラ等の撮像手段であり、車両５に例えば車両進行方向前方を向くように所定高さで搭載されている。この外界カメラ２は、車両進行方向前方の画像を所定のフレームレートで撮像し、撮像したフレーム画像をコントローラ３に出力するように構成されている。
モニタ４は、ＬＣＤ等の表示装置であり、コントローラ３から受け取ったフレーム画像を運転者に対して表示可能に構成されている。
【００１７】
コントローラ３は、車両内に配置されており、ＣＰＵ，プログラム等を記憶したメモリ等を備えたマイクロコンピュータを含んで構成されている。コントローラ３は、外界カメラ２から受け取ったフレーム画像に対して画像認識処理を行うことにより、道路標識等の表示体を認識して、認識した表示体を運転者がより認識し易いように画像処理した合成フレーム画像を作成してモニタ４に出力するように構成されている。
【００１８】
なお、表示体は、道路標識以外にも、道路案内表示，交通規制表示，渋滞情報表示，信号機，路面上のマーク，ランドマーク等のように、形状・大きさが固定され、且つ、平面又は平面と近似できる表示面を有するものを意味している。以下の説明では、道路標識を例にとって説明する。
【００１９】
本実施形態では、コントローラ３は、画像取得部１０，マッチング処理部１１，道路標識検出識別部１２，変換画像作成部１３，合成画像作成部１４，追跡処理部１５，テンプレート画像作成部１６，テンプレート付属データ作成部１７を備えている。これらは、ＣＰＵがプログラムを実行することにより実現される。また、コントローラ３は、ＨＤＤ等の記憶装置により構成される記憶手段であるテンプレートデータ蓄積部１８を備えている。
【００２０】
画像取得部１０は、外界カメラ２からフレーム画像を取得し、このフレーム画像を各種の処理を行うために各機能部に出力する。
テンプレート画像作成部１６は、外界カメラ２からのフレーム画像を用いて、道路標識を画像中からテンプレートマッチングにより検出するための基本テンプレート画像を作成する。また、テンプレート付属データ作成部１７は、基本テンプレート画像の位置を特定するための付属データを作成する。テンプレートデータ蓄積部１８は、テンプレート画像作成部１６及びテンプレート付属データ作成部１７が作成した基本テンプレート画像と付属データを基本テンプレートとして保存する。
【００２１】
マッチング処理部１１は、外界カメラ２からのフレーム画像と、テンプレートデータ蓄積部１８に記憶された基本テンプレートを用いて、マッチング処理を行うことでフレーム画像から道路標識の可能性がある画像領域（道路標識候補）を抽出する。
さらに、マッチング処理部１１は、道路標識候補の付属データを算出し、この付属データと基本テンプレートの付属データとを用いて、基本テンプレート画像と道路標識画像とが同一対象物の画像であると仮定して、基本テンプレート画像から道路標識画像へ画像変換を行う射影変換行列を算出し、この射影変換行列を用いて基本テンプレート画像を変形して変形テンプレートを作成する。そして、マッチング処理部１１は、変形テンプレートと道路標識候補との比較処理により、道路標識候補から道路標識であるものを検出する処理を行う。
【００２２】
道路標識検出識別部１２は、マッチング処理部１１で道路標識として検出された画像領域に対して、変形テンプレートを用いて詳細な比較処理を行って、この画像領域の道路標識が基本テンプレートで特定される道路標識と同一であるか否かを特定する。
変換画像作成部１３は、基本テンプレートで特定される道路標識と同一と特定された画像領域の標識平面が正面を向くように画像変換処理を行う。そして、合成画像作成部１４は、この正面を向くように画像変換処理された変換画像領域をフレーム画像に合成し合成フレーム画像を作成し、モニタ４に出力し表示させる。
【００２３】
追跡処理部１５は、マッチング処理部１１で道路標識として検出された道路標識画像領域について、外界カメラ２から順次送られてくるフレーム画像中で追跡処理を行い、処理データを変換画像作成部１３に出力する。したがって、変換画像作成部１３は、追跡中の画像領域に対しても同様の画像変換処理を行う。
【００２４】
次に、コントローラ３の各機能部が実行する処理について説明する。
まず、基本テンプレートを構成する基本テンプレート画像とその付属データを作成する処理について説明する。
基本テンプレート画像は、外界カメラ２によって予め撮像されたフレーム画像中の道路標識部分である。外界カメラ２は、例えば図２に示すように車両５に搭載されている。なお、本実施形態では、外界カメラ２が車両前方を向くように配置されているが、道路標識を撮像可能であれば、車両５の任意の位置に任意の方向を向くように配置されていてもよい。
【００２５】
図３は、図２のように車両左前方に道路標識３０が設置されている状況において、外界カメラ２で車両前方を撮像した画像を示している。図３（Ａ），（Ｂ）には、それぞれ一時停止，車両進入禁止の道路標識３０が撮像されている。この場合、道路標識３０は、外界カメラ２に対して正対していなくてもよい。すなわち、画像面又は光軸に対して、標識面が斜め方向を向いていてもよい。
【００２６】
コントローラ３は、このフレーム画像を画像取得部１０で受け取り、さらにテンプレート画像作成部１６に送出する。テンプレート画像作成部１６では、この画像から図３中の例えば破線で示した領域にある道路標識３０を切り取り、所定の画像処理を行って基本テンプレート画像としてテンプレートデータ蓄積部１８に記憶する。図４に基本テンプレート画像２０の作成例を示す。
【００２７】
図４（Ａ），（Ｂ）は、それぞれ図３（Ａ），（Ｂ）のフレーム画像から作成した基本テンプレート画像である。ここでは、例えば、３種類の基本テンプレート画像の作成例を示している。
図４（Ａ），（Ｂ）の基本テンプレート画像２０ａ１，２０ａ２は、逆三角形及び円形の標識の外形のみを認識可能な基本テンプレート画像である。基本テンプレート画像２０ｂ１，２０ｂ２は、標識の外形に加えて、標識の外形内の文字又は記号による表示を認識可能な基本テンプレート画像である。基本テンプレート画像２０ｃ１，２０ｃ２は、標識の外形及び文字又は記号による表示に加えて、標識を支持する支持体を含めた基本テンプレート画像である。
【００２８】
また、テンプレート付属データ作成部１７は、付属データとして以下の３種類のいずれか（付属データ１，２，３）を算出し、作成した基本テンプレート画像に関連させてテンプレートデータ蓄積部１８に記憶する。付属データは、基本テンプレートが示す道路標識の、実空間における外界カメラ２に対する相対位置または画像平面における位置を特定するものであり、これにより道路標識の向き，姿勢，大きさ等を特定可能となる。付属データ１は、道路標識３０の特徴点のうち少なくとも３点の３次元座標値である。付属データ２は、道路標識３０の特徴点のうち少なくとも１点の３次元座標値と標識表面の法線ベクトルである。付属データ３は、道路標識３０の特徴点のうち少なくとも４点の画像座標値である。
【００２９】
付属データ１を算出する方法では、道路標識３０の３次元座標値は、公知の種々の方法により算出することができる。例えば、画像処理による方法では、モーションステレオ法，２台の撮像手段を用いたステレオ法，画像内の消失点と外界カメラの地上高を利用した方法等がある。また、距離センサを利用した方法では、レーザレーダ，ミリ波レーダ，ＴＯＦセンサ，超音波センサ等の距離センサを利用することができる。また、画像処理による方法と距離センサによる方法を組み合わせてもよい。なお、距離センサ等は図１に図示していない。また、外界カメラ２又は自車位置を特定するために、測位センサを用いてもよい。
【００３０】
図５（Ａ）に示すように、この方法では、基本テンプレート画像２０ａ１，２０ｂ１の場合、この画像中の特徴点を抽出し、さらに逆三角形の道路標識３０の特徴点のうち、好ましくは、例えば頂点Ｐ１，Ｑ１，Ｒ１を選択し、これらの点の３次元座標値Ｐ１（Ｘｐ１，Ｙｐ１，Ｚｐ１），Ｑ１（Ｘｑ１，Ｙｑ１，Ｚｑ１），Ｒ１（Ｘｒ１，Ｙｒ１，Ｚｒ１）を算出する。なお、選択する特徴点は頂点以外でもよい。
また、図５（Ｂ）に示すように、基本テンプレート画像２０ｃ１の場合、好ましくは、逆三角形の道路標識３０の上辺を形成する頂点Ｔ１，Ｕ１と、支持体の下端点Ｖ１を選択し、これらの点の３次元座標値Ｔ１（ｔ１，Ｙｔ１，Ｚｔ１），Ｕ１（Ｘｕ１，Ｙｕ１，Ｚｕ１），Ｖ１（Ｘｖ１，Ｙｖ１，Ｚｖ１）を算出する。
【００３１】
また、図５（Ｃ）に示すように、基本テンプレート画像２０ａ２の場合、好ましくは、円形の道路標識３０の特徴点のうち、例えば９０度毎の外周上の点Ｏ２，Ｐ２，Ｑ２，Ｒ２や、重心点Ｓ２から少なくとも３点を選択し、これらの３次元座標値Ｏ２（Ｘｏ２，Ｙｏ２，Ｚｏ２），Ｐ２（Ｘｐ２，Ｙｐ２，Ｚｐ２），Ｑ２（Ｘｑ２，Ｙｑ２，Ｚｑ２），Ｒ２（Ｘｒ２，Ｙｒ２，Ｚｒ２）を算出する。
また、基本テンプレート画像２０ｂ２，２０ｃ２についても、基本テンプレート画像２０ｂ１，２０ｃ１と同様に３次元座標を算出することができる。
【００３２】
なお、基本テンプレート画像は、実環境での道路を走行中に外界カメラ２で撮像したフレーム画像を用いて作成してもよいし、データ保存効率のよい画像サイズで撮影したフレーム画像を用いて作成してもよく、また、所定の画像サイズに正規化してもよい。正規化する場合は、それに合わせて３次元座標値も変更すればよい。
【００３３】
付属データ２を算出する方法では、道路標識３０の３次元座標値は、付属データ１を算出する方法と同様に算出することができる。図６は基本テンプレート２０ａ１の場合を示しており、道路標識３０の点Ｐ１，Ｑ１，Ｒ１の少なくとも１点を選択することができる。また、法線ベクトルＮＣ１は、直交する３軸（Ｘｃ軸，Ｙｃ軸，Ｚｃ軸）からなるカメラ座標系Ｃにおいて、道路標識３０の標識側平面に垂直で且つカメラ側を向いたベクトルであり、標識表面の３点（例えば、Ｐ１，Ｑ１，Ｒ１）によって形成される２つのベクトルの外積から算出することができる。
【００３４】
付属データ３を算出する方法では、道路標識３０の画像データから特徴点の画像座標を算出する。図７は基本テンプレート画像２０ａ１の場合を示しており、フレーム画面中の道路標識３０の頂点ｐ１，ｑ１，ｒ１と、重心ｓ１が選択され、これらの点の画像座標値ｐ１（ｕｐ１，ｖｐ１），ｑ１（ｕｑ１，ｖｑ１），ｒ１（ｕｒ１，ｖｒ１），ｓ１（ｕｓ１，ｖｓ１）を算出する。
【００３５】
次に、車両走行中に撮像したフレーム画像から道路標識の候補となる対象物を検出する処理について説明する。この処理は、フレーム画像から道路標識の可能性がある表示体を検出する処理である。
図８に示すように、車両左前方に建物４０と道路標識３０ａがあり、車両右前方に道路標識３０ｂが設置された道路を車両５が走行中に、外界カメラ２が、図９に示すようなフレーム画像を撮像した場合には、まず、画像取得部１０がこのフレーム画像を外界カメラ２から受け取る。図９に示す画像中では、道路標識３０ａは一時停止標識であり、道路標識３０ｂは徐行標識であり、建物４０には逆三角形状の窓枠（又は看板，模様）４１が設置されている。道路標識３０ａは、右に曲がる道沿いに設置されており、標識面の法線ベクトルが画面左方向に傾くように、運転者に対して斜め方向を向いている。一方、道路標識３０ｂは、標識面の法線ベクトルがほぼ車両進行方向に沿っている。
【００３６】
そして、マッチング処理部１１が、このフレーム画像を画像取得部１０から受け取る。表示体候補抽出手段としてのマッチング処理部１１は、例えば基本テンプレート画像２０ａ１を用いて、受け取ったフレーム画像をテンプレートマッチング処理して、所定の一致度がある画像領域を道路標識候補として検出する。図１０（Ａ）に示すように、テンプレートマッチング処理は、基本テンプレート画像２０ａ１をフレーム画像中で、１画素ずつずらしながら画面全体を走査し、例えば輝度の分布の相関を計算する。そして、相関が所定値よりも高い値となった場合には、その画像領域が道路標識候補として検出される。
【００３７】
この場合には、図１０（Ｂ）に示す３つの画像領域が道路標識候補２５ａ，２５ｂ，２５ｃとして検出されている。このうち、道路標識候補２５ａは道路標識３０ａに対応し、道路標識候補２５ｂは道路標識３０ｂに対応し、道路標識候補２５ｃは建物４０の窓枠４１に対応する。
【００３８】
なお、このときの行われるテンプレートマッチング処理は、基本テンプレート画像とある程度マッチングする表示体画像を検出できればよく、例えば、基本テンプレートと対象画像との輝度相関による方法以外にも、色彩相関による方法、画像の２値化処理後の輝度相関による方法、エッジ検出をして形状マッチングを行う方法等がある。
また、本実施形態では、理解の容易のため、マッチング処理部１１が基本テンプレート画像２０ａ１のみを用いてマッチング処理を行う例を示しているが、マッチング処理部１１は、テンプレートデータ蓄積部１８に記憶されている種々の基本テンプレートを用いてマッチング処理を行ってもよい。
【００３９】
次に、検出した道路標識候補の付属データの算出処理について説明する。
この処理は、上述の基本テンプレート作成処理における付属データの算出処理と同様である。付属データ取得手段としてのマッチング処理部１１は、テンプレート付属データ作成部１７と同様に、特徴点を抽出・選択し、道路標識候補について付属データを算出する。なお、マッチング処理部１１は、基本テンプレート２０ａ１について３次元座標値又は画像座標値を算出した特徴点と対応する同じ特徴点について、３次元座標値，画像座標値を算出する。
【００４０】
次に、基本テンプレート画像を変形するための射影変換行列の算出処理について説明する。
異なる撮像位置から同一道路標識を撮像した場合には、これらの画像中の道路標識を射影変換することにより、両者をマッチングさせることが可能である。さらに、同じ表示内容を有する同一種類の道路標識は規定の形状と大きさに統一されているため、同一種類ではあるが別個の道路標識を異なる撮像位置から撮像した場合であっても、両者をマッチングさせることが可能となる。
【００４１】
本実施形態は、上述のような考えに基づくものであり、基本テンプレート及び道路標識候補の示す道路標識が同一種類（又は形状が同一）であると仮定して、基本テンプレート画像を射影変換して変形テンプレート画像を作成し、この変形テンプレートを用いて道路標識候補画像をマッチングにより精度よく判定する。このため、マッチング処理部１１は、基本テンプレートの付属データ及び道路標識候補画像の付属データを用いて、射影変換行列を算出する。
ここでは、変換行列算出手段としてのマッチング処理部１１は、例えば、道路標識候補２５ａ，２５ｂ，２５ｃに対して、それぞれ射影変換行列Ｈｐ１，Ｈｐ２，Ｈｐ３を算出する。
【００４２】
以下に、付属データ１，２，３の場合についてそれぞれ射影変換行列を算出する処理について説明する。
まず、付属データ１を用いる場合には、マッチング処理部１１は、以下のようにして射影変換行列Ｈｐを算出する。
図１１に示すように、基本テンプレート作成時のカメラ座標系Ｃにおいて画像平面ｍに捕捉された道路標識３０と、道路標識候補を検出した時のカメラ座標Ｃ’において画像平面ｍ’に捕捉された道路標識３０を同一とみなすことにより、これらの関係において射影変換行列を算出することが可能である。
【００４３】
図１１に示すように、マッチング処理部１１は、基本テンプレート作成時のカメラ座標系Ｃの原点を基準として、カメラ座標系Ｃ’への外界カメラ２の運動量（すなわち、座標変換パラメータＰｔ）を算出する。
【００４４】
３次元空間の座標変換は、回転運動成分と並進運動成分に分けることができる。すなわち、Ｘ軸，Ｙ軸，Ｚ軸周りの回転角度α，β，γで回転運動を表すことができ、Ｘ軸，Ｙ軸，Ｚ軸の並進距離Ｔｘ，Ｔｙ，Ｔｚで並進運動を表すことができる。このように、単純には自由度は６であるから、少なくとも３点についての同一箇所の３次元座標値である付属データを用いて、公知の手法で座標変換パラメータＰｔを算出することができる。座標変換パラメータＰｔは、回転運動成分Ｒｃｃ’と、並進運動成分Ｔｃｃ’からなる。例えば、回転運動は正弦及び余弦を用いた回転行列で表すことができ、並進運動は並進ベクトルで表すことができ、座標変換パラメータＰｔは、３点の３次元座標値を用いて、評価関数を定義して特異値分解による解法で算出することができる。
【００４５】
なお、３次元座標値を４点以上用いて算出してもよく、このように座標点数が多いほど、より正確に座標変換パラメータを算出することができる。例えば、６点以上の３次元座標値を用いる場合は、座標変換パラメータは独立な１２変数として、最小二乗法等による簡便な線形解法を用いることもできる。
【００４６】
このようにして外界カメラ２の運動量を求めることができ、これに基づいて、カメラ座標系Ｃの画像平面ｍからカメラ座標系Ｃ’の画像平面ｍ’への座標変換を行うことができる。さらに、撮影対象物である道路標識３０までの実スケール距離を用いて、画像中でのスケールも特定することができる。これにより、射影変換行列Ｈｐを算出することができる。なお、射影変換表列Ｈｐは、回転、並進、相似変換、せん断変形を表すアフィン変換、さらには扇形変形をも含む変換である。
【００４７】
付属データ２を用いる場合には、マッチング処理部１１は、以下のようにして射影変換行列Ｈｐを算出する。
図１２に示すように、マッチング処理部１１は、付属データを用いて、道路標識候補を検出した時のカメラ座標系Ｃ’における法線ベクトルＮＣ１’の原点（すなわち、道路標識３０上の点）と特徴点（この場合、点Ｒとする）とを結ぶ第１ベクトルを算出し、さらに、この第１ベクトルと法線ベクトルＮＣ１’に垂直であって法線ベクトルＮＣ１’の原点を通る第２ベクトルを算出する。さらに、マッチング処理部１１は、第１及び第２ベクトル，法線ベクトルＮＣ１’の単位ベクトルＬｘ’，Ｌｙ’，Ｌｚ’を算出する。すなわち、道路標識３０の平面のローカル座標系を定義する。
【００４８】
同様にして、マッチング処理部１１は、付属データを用いて、基本テンプレート作成時のカメラ座標系Ｃにおける法線ベクトルＮＣ１（＝ＮＣ１’）から、単位ベクトルＬｘ，Ｌｙ，Ｌｚを算出する。
そして、付属データである特徴点Ｒの３次元座標値から、それぞれのカメラ座標系Ｃ，Ｃ’における道路標識３０の標識平面の姿勢及び位置が求められる。したがって、これにより、ローカル座標系からカメラ座標系Ｃへの変換パラメータ（回転行列Ｒｃ，並進ベクトルＴｃ）と、ローカル座標系からカメラ座標系Ｃ’への変換パラメータ（回転行列Ｒｃ’，並進ベクトルＴｃ’）を算出することができる。
【００４９】
さらに、算出した変換パラメータＲｃ，Ｔｃ，Ｒｃ’，Ｔｃ’から、カメラ座標系Ｃからカメラ座標系Ｃ’への座標変換パラメータＰｔ（Ｒｃｃ’，Ｔｃｃ’）を算出することができる。これにより、算出したカメラ運動量と３次元座標値から、射影変換行列Ｈｐを算出することができる。
【００５０】
付属データ３を用いる場合には、マッチング処理部１１は、以下のようにして射影変換行列Ｈｐを算出する。
図１３（Ａ），（Ｂ）に示すように、マッチング処理部１１は、付属データである少なくとも４点について、例えば、基本テンプレート画像２０ａ１の画像座標値ｐ１，ｑ１，ｒ１，ｓ１と、道路標識候補２５ａの画像座標値ｐ１’，ｑ１’，ｒ１’，ｓ１’とをそれぞれ対応付ける。この場合、ｐ１（ｕｐ１，ｖｐ１）とｐ１’（ｕｐ１’，ｖｐ１’）、ｑ１（ｕｑ１，ｖｑ１）とｑ１’（ｕｑ１’，ｖｑ１’）、ｒ１（ｕｒ１，ｖｒ１）とｒ１’（ｕｒ１’，ｖｒ１’）、ｓ１（ｕｓ１，ｖｓ１）とｓ１’（ｕｓ１’，ｖｓ１’）が、それぞれ対応する。
【００５１】
ここで、射影変換行列Ｈｐは、以下のような３行３列の行列で表される。
【数１】
2010086268.tif 000003
【００５２】
ここで、射影変換行列Ｈｐは、行列中の各要素を定数倍して、ｈ33を１としても成り立つので、自由度は８である。
そして、次式に示すように、１点の対応点から２つの拘束が得られるので、４点の対応点により８自由度の射影変換行列Ｈｐのすべての要素を決定することができる。これにより、射影変換行列Ｈｐを算出することができる。
【００５３】
【数２】
2010086268.tif 000004
【００５４】
次に、射影変換行列により基本テンプレート画像を変形して、変形テンプレート画像を算出し、この変形テンプレートを用いて、道路標識候補が道路標識であるか否かを判定する処理について説明する。
上述のように、道路標識を撮影して作成した基本テンプレート画像は、正しく射影変換すれば、同じ形状の表示体を撮影した表示体画像とマッチングさせることができるが、当然ながら、異なる形状の表示体を撮影した表示体画像とはマッチングさせることができない。
【００５５】
換言すると、異なる形状の表示体を撮影した画像と基本テンプレート画像とから算出した射影変換行列は、対応する表示体の形状が異なるので、基本テンプレート画像を正しく変形することができない。したがって、対応しない表示体画像から算出した射影変換行列によって基本テンプレート画像を変形しても、得られた変形テンプレートと道路標識候補との相関は低くなる。
【００５６】
この処理では、図１４に示すように、判定手段としてのマッチング処理部１１は、各道路標識候補２５ａ，２５ｂ，２５ｃについて、基本テンプレート２０ａ１をそれぞれ対応する射影変換行列Ｈｐ１，Ｈｐ２，Ｈｐ３で変形して、変形テンプレート２１ａ１，２１ａ２，２１ａ３を作成する。
【００５７】
そして、マッチング処理部１１は、変形テンプレート２１ａ１，２１ａ２，２１ａ３と、道路標識候補２５ａ，２５ｂ，２５ｃとを比較処理して一致度（相関）をそれぞれ判定し、一致度が所定値以上であるときに、道路標識候補が基本テンプレート画像と同形状の道路標識であると判定する。この場合は、形状等が完全に一致していなくてもよい。なお、この相関度の判定では、簡易的な形状マッチングが行われるが、輝度相関による方法を用いてもよい。
【００５８】
図１４の例では、道路標識候補２５ａ，２５ｂについては、これらの道路標識の形状が、基本テンプレート２０ａ１を作成するために用いた道路標識と同一であるので、変形テンプレート２１ａ１，２１ａ２と道路標識候補２５ａ，２５ｂとは、所定値以上の高い相関をもって一致する。これにより、マッチング処理部１１は、道路標識候補２５ａ，２５ｂを、基本テンプレート画像２０ａ１と同一の形状を有する道路標識であると判定する。
【００５９】
一方、道路標識候補２５ｃについては、この道路標識の形状が、基本テンプレートを作成するために用いた道路標識と同一でないので、変形テンプレート２１ａ３と道路標識候補２５ｃとは、所定値よりも低い相関となり不一致となる。これにより、マッチング処理部１１は、道路標識候補２５ｃを、基本テンプレート画像２０ａ１と同一の形状を有する道路標識であると判定しない。
【００６０】
このように、本実施形態では、道路標識候補と外界カメラ２とがどのような相対位置にあっても、したがって、道路標識候補が画面中でどのような方向を向いていても、基本テンプレート画像を射影変換により変形して変形テンプレートを作成するので、道路標識候補が道路標識であるか否かを正確に判定することができる。また、その際、道路標識候補として切り出された画像領域に対して、変形テンプレートをマッチング処理すればよいので、全画面に対してマッチング処理を行う必要がなく、処理負荷を大幅に軽減することができる。
【００６１】
次に、道路標識と判定された道路標識画像と、基本テンプレート画像との細部比較を行って道路標識の種類を識別する処理について説明する。
この処理では、図１５に示すように、判定手段としての道路標識検出識別部１２は、変形テンプレートと、マッチング処理部１１によって道路標識と判定された道路標識画像２５ａ，２５ｂとを比較処理して一致度（相関）を再度判定し、一致度が所定値以上である道路標識画像を、基本テンプレートと同一の道路標識であると判定する。なお、この相関度の判定では、形状マッチング，輝度相関による方法，輝度勾配による方法，色彩相関による方法，ＳＩＦＴ特徴量の相関による方法等を用いることができる。
【００６２】
この処理では、道路標示の表示内容が一致することを判定するため、基本テンプレートとして、表示内容が認定可能な基本テンプレート２０ｂ１，２０ｃ１，２０ｂ２，２０ｃ２が用いられる。したがって、道路標識か否かを判定する処理までは、表示内容が認定不能な基本テンプレート２０ａ１，２０ａ２を用いることにより、処理の負荷を軽減することができる。
【００６３】
図１５の例では、道路標識検出識別部１２は、各道路標識候補２５ａ，２５ｂについて、基本テンプレート２０ｂ１をそれぞれ対応する射影変換行列Ｈｐ１，Ｈｐ２で変形して、変形テンプレート２１ｂ１，２１ｂ２を作成する。なお、この処理以前に、マッチング処理部１１が基本テンプレート２０ｂ１により変形テンプレート２１ｂ１，２１ｂ２を作成していれば、これらを使用すればよい。
【００６４】
そして、道路標識検出識別部１２は、変形テンプレート２１ｂ１，２１ｂ２と、道路標識画像２５ａ，２５ｂとを比較処理して一致度を判定する。
道路標識候補２５ａについては、この道路標識（一時停止）が、基本テンプレート２０ｂ１を作成するために用いた道路標識と同一であるので、変形テンプレート２１ｂ１と道路標識画像２５ａとは、所定値以上の高い相関をもって一致する。これにより、道路標識検出識別部１２は、道路標識画像２５ａを、基本テンプレート画像２０ｂ１と同一の道路標識であると判定する。
【００６５】
一方、道路標識候補２５ｃについては、この道路標識（徐行）が、基本テンプレート２０ｂ１を作成するために用いた道路標識と同一でないので、変形テンプレート２１ｂ２と道路標識画像２５ｂとは、所定値よりも低い相関となり不一致となる。これにより、道路標識検出識別部１２は、道路標識画像２５ｂを、基本テンプレート画像２０ｂ１と同一の道路標識であると判定しない。
【００６６】
このように、本実施形態では、撮像した道路標識に対するカメラ姿勢の変化をもとに算出した画像変換パラメータを用いることで、道路標識検知のための基本テンプレートを算出した射影変換行列で正確に変形することができる。これにより、本実施形態では、精度よく、短い処理時間で道路標識を検出・識別することができる。例えば、道路標識には、表示内容又は見かけが類似するものが含まれるが、本実施形態では、基本テンプレートを射影変換行列で正確に変形するので、類似する道路標識を識別することが可能となる。
また、本実施形態では、射影変換処理を行うため、道路標識の大きさ、形状等の既知の固定情報を予め持っておく必要がなく、あらゆる標識，マーカに対して同様の処理を行うことが可能となる。
【００６７】
また、本実施形態では、道路標識検出識別部１２により、基本テンプレート画像と同一でないと判定された道路標識画像及びその付属データは、テンプレート画像作成部１６及びテンプレート付属データ作成部１７を経て、基本テンプレートとしてテンプレートデータ蓄積部１８に新たに登録される。
このように、本実施形態では、基本テンプレートに含まれない道路標識候補は、新規に基本テンプレートとして登録されるため、次回以降の処理において、道路標識の検出・識別の精度を向上させることができる。
【００６８】
次に、道路標識であると判定された道路標識画像を、モニタ４上で正面を向くように射影変換処理し、変換した画像を、元のフレーム画像に合成して、モニタ４に表示する処理について説明する。
変換画像作成部１３は、マッチング処理部１１により、道路標識であると判定された道路標識画像２５ａ，２５ｂについて、これらの画像を運転者に正対するように変換処理して、変換道路標識画像２６ａ，２６ｂを作成する。
【００６９】
そして、合成画像作成部１４は、この変換道路標識画像２６ａ，２６ｂを、元のフレーム画像のうち道路標識画像２５ａ，２５ｂが表示されている画像領域に表示するように合成画像処理を行って合成フレーム画像を作成する。合成画像作成部１４は、この合成フレーム画像をモニタ４に出力し、モニタ４は、この合成フレーム画像を運転者に対して表示する。変換画像作成部１３，合成画像作成部１４及びモニタ４は、表示手段に相当する。
【００７０】
変換画像作成部１３は、マッチング処理部１１で算出された道路標識画像２５ａ，２５ｂの付属データから、道路標識の法線ベクトルが外界カメラ２の光軸と平行又は運転者の方向を向くような（又は、標識平面が外界カメラ２の光軸と直交又は運転者と正対するような）変換行列を算出する。変換画像作成部１３は、この変換行列を用いて、道路標識画像２５ａ，２５ｂを変換道路標識画像２６ａ，２６ｂに変換することができる。
合成画像作成部１４は、元のフレーム画像中で、道路標識画像２５ａ，２５ｂを変換道路標識画像２６ａ，２６ｂに置換して、合成フレーム画像を作成する。
【００７１】
図１６はモニタ４の表示映像を示しており、この表示映像に示すように、運転者は、モニタ４で道路標識を正面から見ることができるので、道路標識の形状や標識面の文字・マーク等を容易に認識することが可能となる。
このように、本実施形態では、自車両に対して斜め方向を向く道路標識に対して、これを撮像した道路標識画像部分が正面を向くように画像変換して、撮像画像に合成することで、運転者が認識し易い道路標識画像を表示させることができる。
【００７２】
また、本実施形態では、マッチング処理部１１により道路標識と判定された道路標識候補画像については、さらに詳細な道路標識の種類の識別をしなくても、判定後は、画像変換処理のみを行うことで運転者に対して認識し易く表示することができる。
【００７３】
また、本実施形態では、道路標識候補の画像領域のみを正面を向くように画像変換した合成フレーム画像が表示されるので、運転者は、道路標識候補画像周辺の画像についても合わせて見ることができる。これにより、運転者による目視と整合し易くなり、運転者は、当該道路標識画像の示す道路標識の設置場所も認識することができるので、その道路標識の意味や条件も容易に理解することが可能となる。
【００７４】
また、本実施形態では、フレーム画像中に複数の道路標識が存在する場合であっても、道路標識の優先度や重要度等を判定することなく、すべてを合成画像中に表示することができる。これにより、道路標識の見落としを防止することができ、運転者の的確な判断を促進することが可能となる。
【００７５】
次に、マッチング処理により一旦認識した道路標識を、フレーム画像中で追跡し、認識を継続する処理について説明する。
追跡処理部１５は、マッチング処理部１１で道路標識と判定された道路標識画像２５ａ，２５ｂについて、判定後に画像取得部１０から順次送られてくるフレーム画像中で、これらの道路標識画像２５ａ，２５ｂを追跡処理する。すなわち、追跡処理部１５は、送られてきたフレーム画像と、マッチング処理部１１が道路標識画像２５ａ，２５ｂを道路標識と判定したフレーム画像との間で、射影変換行列Ｈｐを算出する。この場合、外界カメラ２の運動量は、上述のように画像処理による方法や、ＧＰＳ，ＩＮＳ，加速度センサ等の車載センサを用いて算出してもよい。
【００７６】
そして、追跡処理部１５は、順次、算出した射影変換行列Ｈｐで基本テンプレート画像を変形して、変形テンプレートを作成し、この変形テンプレートとフレーム画像中の道路標識画像との一致度を判定し続ける。これにより、マッチング処理部１１で一旦道路標識と判定された道路標識画像を、基本テンプレートを固定して判定後も追跡処理部１５により認識し続けることができる。
【００７７】
また、追跡処理部１５は、追跡中の道路標識画像を変換画像作成部１３に送り、これにより、変換画像作成部１３は、上述のように道路標識画像を正対した変換道路標識画像に変換し、さらに、合成画像作成部１４は、合成画像を作成して、モニタ４に送り出す。これにより、モニタ４は、追跡中の道路標識画像についても、運転者に対して見易いように、正面を向いた画像を表示することができる。
【００７８】
このように、本実施形態では、外界カメラ２の移動に伴う道路標識画像の移動にしたがって射影変換行列を算出し、この射影変換行列で基本テンプレート画像を変換した変形テンプレートを用いて道路標識画像を追跡処理することができるので、高速且つ正確に道路標識画像を認識し続けることが可能であり、運転者へ適切なタイミングで表示や警報を出すことに役立たせることができる。
【００７９】
なお、上記実施形態では、撮像したフレーム画像中に、道路標識３０の全体が表示されている場合について説明したが、図１７に示すように、道路標識３０の一部が遮蔽されていたり、変形していたりする場合であっても、これら道路標識３０を認識することができる。
【００８０】
図１８（Ａ）に示すように、撮像されたフレーム画像中の道路標識３０の一部が遮蔽されている場合、マッチング処理部１１は、遮蔽されていない部分の特徴点についての付属データ（３次元座標値，法線ベクトル，画像座標値）を算出する。この場合、例えば、頂点Ｑ１，Ｒ１と、重心Ｓ１，上辺の中点Ｔ１のうちから、必要数の点を選択することができる。そして、図１８（Ｂ）に示す基本テンプレート２０ｂ１においても、対応する点についての付属データを用いる。これにより、上述と同様に射影変換行列Ｈｐを算出することが可能であり、マッチング処理部１１は、基本テンプレートのうち、遮蔽されていない部分を用いて、変形テンプレートを作成し、マッチング処理を行うことができる。これにより、一部の情報が欠落又は他の情報が混入していたとしても、所定の確度で、マッチング処理を行うことが可能となる。
【００８１】
次に、図１９に基づいて、本実施形態の車両用表示体認識装置１の処理フローについて説明する。
この処理は、コントローラ３によって所定間隔で繰り返し行われる。まず、コントローラ３の画像取得部１０は、外界カメラ２から車両５の進行方向前方のフレーム画像を受け取る（ステップＳ１）。そして、画像取得部１０は、直前に受け取っていたフレーム画像に対して道路標識を検出しているか否かを判断する。道路標識を検出している場合（ステップＳ２；Ｙｅｓ）、画像取得部１０は、現在受け取っているフレーム画像を追跡処理部１５に出力し、このフレーム画像を受け取った追跡処理部１５は、既に検出している道路標識に対して上述の追跡処理を行う（ステップＳ１５）。
【００８２】
そして、追跡処理部１５は、追跡可能な道路標識画像を変換画像作成部１３に出力し、変換画像作成部１３が、この道路標識画像がモニタ４で正面を向くように上述の画像変換処理を行い、合成画像作成部１４が、合成フレーム画像を作成する（ステップＳ１６）。
合成画像作成部１４は、この合成フレーム画像をモニタ４に出力し、モニタ４は、受け取った合成フレーム画像を表示し（ステップＳ１７）、処理を終了する。
【００８３】
一方、画像取得部１０がフレーム画像を受け取った時点で、既に直前に受け取っていたフレーム画像に対して道路標識を検出していなかった場合（ステップＳ２；Ｎｏ）、マッチング処理部１１は、基本テンプレートをテンプレートデータ蓄積部１８から読み出す（ステップＳ３）。
【００８４】
そして、マッチング処理部１１は、読み出した基本テンプレート画像を用いて、フレーム画像に対して、簡易的なマッチング処理を行って、フレーム画像から道路標識の可能性がある画像部分である道路標識候補を抽出する（ステップＳ４）。
さらに、マッチング処理部１１は、道路標識候補の位置情報である付属データを算出する（ステップＳ５）。
【００８５】
次いで、マッチング処理部１１は、道路標識候補の付属データと、基本テンプレートの付属データ等を用いて、上述の射影変換行列Ｈｐを算出する（ステップＳ６）。そして、マッチング処理部１１は、この射影変換行列Ｈｐを用いて、基本テンプレート画像を変形して変形テンプレートを作成し、作成した変形テンプレートと道路標識候補とを、形状マッチング，輝度相関マッチング等の方法により比較処理する（ステップＳ７）。
マッチング処理部１１は、この比較処理により所定値以上の相関があった道路標識候補を道路標識として検出する（ステップＳ８）。
【００８６】
次のステップ９からステップＳ１２の処理は、検出された道路標識候補に対してそれぞれ行われる。
道路標識検出識別部１２は、道路標識と判定された道路標識候補画像に対して、変形テンプレート画像を用いて、輝度相関，輝度勾配相関，色彩相関，位相限定相関，符号相関，ＳＩＦＴ特徴量の相関による方法等により詳細な比較処理を行う（ステップＳ９）。
【００８７】
道路標識検出識別部１２は、この詳細な比較処理で、対象となる道路標識候補と変形テンプレート画像とが所定値以上の相関があったか否かを判定する（ステップＳ１０）。
所定値以上の相関があった場合（ステップＳ１０；Ｙｅｓ）、道路標識検出識別部１２は、当該道路標識候補が、変形テンプレートを構成する基本テンプレートが示す道路標識と同一である識別する（ステップＳ１１）。
【００８８】
一方、所定値以上の相関がなかった場合（ステップＳ１０；Ｎｏ）、道路標識検出識別部１２は、当該道路標識候補のフレーム画像をテンプレート画像作成部１６に出力する。テンプレート画像作成部１６は、このフレーム画像から当該道路標識候補の画像を抽出し所定の画像処理を行って基本テンプレート画像を作成する。さらに、テンプレート付属データ作成部１７は、この基本テンプレート画像についての付属データを作成する。このようにして、新たに作成された基本テンプレートは、テンプレートデータ蓄積部１８に出力され、新たな基本テンプレートとして登録される（ステップＳ１２）。
【００８９】
さらに、道路標識検出識別部１２は、道路標識として判定された道路標識画像を変換画像作成部１３に出力し、変換画像作成部１３が、この道路標識画像がモニタ４で正面を向くように上述の画像変換処理を行い、合成画像作成部１４が、合成フレーム画像を作成する（ステップＳ１３）。
合成画像作成部１４は、この合成フレーム画像をモニタ４に出力し、モニタ４は、受け取った合成フレーム画像を表示し（ステップＳ１４）、処理を終了する。
【図面の簡単な説明】
【００９０】
【図１】本発明の実施形態による車両用表示体認識装置の構成図である。
【図２】本発明の実施形態によるフレーム画像撮像時の説明図である。
【図３】図２において外界カメラで撮像されたフレーム画像である。
【図４】本発明の実施形態による基本テンプレートの説明図である。
【図５】本発明の実施形態による基本テンプレートの付属データの説明図である。
【図６】本発明の実施形態による基本テンプレートの付属データの説明図である。
【図７】本発明の実施形態による基本テンプレートの付属データの説明図である。
【図８】本発明の実施形態によるフレーム画像撮像時の説明図である。
【図９】図８において外界カメラで撮像されたフレーム画像である。
【図１０】本発明の実施形態によるテンプレートマッチング処理の説明図である。
【図１１】本発明の実施形態による射影変換行列算出処理の説明図である。
【図１２】本発明の実施形態による射影変換行列算出処理の説明図である。
【図１３】本発明の実施形態による射影変換行列算出処理の説明図である。
【図１４】本発明の実施形態による道路標識検出処理の説明図である。
【図１５】本発明の実施形態による道路標識識別処理の説明図である。
【図１６】本発明の実施形態による合成フレーム画像である。
【図１７】道路標識が一部遮蔽・変形された状況の説明図である。
【図１８】本発明の実施形態による一部遮蔽時の道路標識画像及び基本テンプレート画像の説明図である。
【図１９】本発明の実施形態による車両用表示体認識装置が実行する処理のフローチャートである。
【符号の説明】
【００９１】
１  車両用表示体認識装置
２  外界カメラ
３  コントローラ
４  モニタ
５  車両
１０  画像取得部
１１  マッチング処理部
１２  道路標識検出識別部
１３  変換画像作成部
１４  合成画像作成部
１５  追跡処理部
１６  テンプレート画像作成部
１７  テンプレート付属データ作成部
１８  テンプレートデータ蓄積部
【図１】
2010086268.tif 000005
【図２】
2010086268.tif 000006
【図３】
2010086268.tif 000007
【図４】
2010086268.tif 000008
【図５】
2010086268.tif 000009
【図６】
2010086268.tif 000010
【図７】
2010086268.tif 000011
【図８】
2010086268.tif 000012
【図９】
2010086268.tif 000013
【図１０】
2010086268.tif 000014
【図１１】
2010086268.tif 000015
【図１２】
2010086268.tif 000016
【図１３】
2010086268.tif 000017
【図１４】
2010086268.tif 000018
【図１５】
2010086268.tif 000019
【図１６】
2010086268.tif 000020
【図１７】
2010086268.tif 000021
【図１８】
2010086268.tif 000022
【図１９】
2010086268.tif 000023