(57)【要約】【課題】従来はカメラで撮像・抽出された道路標識を全て表示するため、運転者にとり過剰警告となり、提示される警告表示への意識低下を招く。また、表示される道路標識画像が必ずしも視認性の良い鮮明な画像であるとは限らない。【解決手段】画像入力手段で車載撮像装置での撮像画像を入力し，道路標識検出手段で入力画像から道路標識を検出し、道路標識検出手段で得られた道路標識領域及びその周辺部から画像特徴抽出手段で画像の特徴を抽出し、この画像の特徴をもとに道路標識認識手段で道路標識を認識し、認識された道路標識が運転者にとり視認性が良いか否かを視認性判定手段が判定し、視認性判定手段の判定結果により運転者への警告表示を行う表示手段を備える。【選択図】図１
2010239448.tif 000002
【特許請求の範囲】
【請求項１】
車載撮像装置により撮像された画像を入力する画像入力手段と，
前記画像入力手段で入力された画像から道路標識を検出する道路標識検出手段と、
前記道路標識検出手段で得られた道路標識領域及びその周辺部から画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段で得られた特徴をもとに道路標識を認識する道路標識認識手段と、
前記道路標識認識手段で認識された道路標識が運転者に視認性が良いか否かを判定する視認性判定手段と、
前記視認性判定手段の判定結果により運転者への警告表示を行う表示手段とを備えることを特徴とする道路標識認識装置。
【請求項２】
画像特徴抽出手段から時系列に入力される画像から視認性の良い道路標識画像を選択する表示画像選択手段を備え、
前記表示手段は表示画像選択手段の選択結果また視認性判定手段の判定結果のいずれかにより運転者への警告表示を行うことを特徴とする請求項１に記載の道路標識認識装置。
【請求項３】
前記視認性判定手段は、前記道路標識検出手段で検出した道路標識領域周辺のエッジ数や色彩情報を用いて運転者に視認性が良い道路標識か否かを判定することを特徴とする請求項１に記載の道路標識認識装置。
【請求項４】
前記視認性判定手段は、前記道路標識認識手段で得られる基準パターンとの相違度を用いて運転者に視認性が良い道路標識か否かを判定することを特徴とする請求項１に記載の道路標識認識装置。
【請求項５】
前記表示手段は、運転者に視認性が良いと判定された道路標識は、運転者に警告表示せず、視認性の悪いと判定された場合のみ運転者に道路標識を警告表示することを特徴とする請求項１に記載の道路標識認識装置。
【請求項６】
前記表示手段は、前記道路標識認識手段で得られる基準パターンとの相違度にもとづいて、前記道路標識検出手段で検出した道路標識領域の画像とあらかじめ保持している道路標識画像との表示を切り替えることを特徴とする請求項１に記載の道路標識認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車載された撮像装置により撮影された画像より道路標識を抽出し表示手段に表示する道路標識認識装置に関する。
【背景技術】
【０００２】
撮像装置で取得した画像から道路標識を抽出できた場合は、抽出した道路標識を表示装置に表示するとともに抽出した道路標識画像を標識情報記憶手段に格納し、道路標識を抽出できない場合は、あらかじめ位置に対応付けて保持している道路標識情報を提示する方法として、例えば特開２００７−１８３７６４号公報「車載装置」(特許文献1)に示されるものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８３７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の車載装置は以上のように構成されており、カメラで撮像し抽出された道路標識を全て表示するため、運転者に過剰に警告することとなり、提示された警告表示に対する意識の低下を招くという課題があった。また、提示あるいは格納する道路標識画像の選定を行わないため、運転者に表示される道路標識画像が必ずしも視認性の良い鮮明な画像であるとは限らないという課題があった。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、道路標識検出手段で検出された道路標識領域、及び、その周辺部からエッジ情報や色情報などの画像特徴を用いて運転者に視認性が良い道路標識か否かを判定する手段を備えることにより、運転者が認識しづらい視認性の悪い道路標識のみを警告表示することが可能となり、運転者への過剰な警告表示を抑制することを目的とする。
【０００６】
またこの発明では、道路標識認識手段で得られる基準パターンとの相違度をもとに時系列に入力される画像から視認性の良い道路標識画像を選択する表示画像選択手段を備えることにより、警告表示を行う際表示する道路標識画像として、運転者にとって視認性の良い道路標識画像を提示することが可能となる。
【課題を解決するための手段】
【０００７】
この発明に係る道路標識認識装置は、
車載撮像装置により撮像された画像を入力する画像入力手段と，
前記画像入力手段で入力された画像から道路標識を検出する道路標識検出手段と、
前記道路標識検出手段で得られた道路標識領域及びその周辺部から画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段で得られた特徴をもとに道路標識を認識する道路標識認識手段と、
前記道路標識認識手段で認識された道路標識が運転者に視認性が良いか否かを判定する視認性判定手段と、
前記視認性判定手段の判定結果により運転者への警告表示を行う表示手段とを備える。
【発明の効果】
【０００８】
この発明に係る道路標識認識装置によれば、道路標識領域やその周辺部の画像特徴を用いて、道路標識が運転者にとって視認性が良いか否かを判定する視認性判定手段を備えることで、運転者が道路標識を認識しやすい環境下か、認識しづらい環境下かにより道路標識の警告表示を行うか否かが可能となり、運転者への過剰な警告表示を抑制することができる効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１を示す構成図である。
【図２】実施の形態１の処理の流れを示すフローチャートである。
【図３】車載カメラで撮影された道路画像の模写図である。
【図４】図３の道路画像から道路標識を検出し、道路標識領域を設定した模写図である。
【図５】道路標識検出領域を設定画素数広げた評価対象領域の説明図である。
【図６】評価対象領域の拡大図である。
【図７】図６の評価対象領域からエッジ点を抽出した説明図である。
【図８】道路標識認識結果をマルチインフォメーションディスプレイ上に表示した図である。
【図９】実施の形態２による道路標識認装置の処理内容を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、この発明の実施の形態について図面を参照して説明する。
実施の形態１．
図１は、この発明の実施の形態１を示す構成図である。図において、画像入力手段１は、車載カメラで撮影した画像の取り込みを行う。道路標識検出手段２は、画像入力手段１で得られた画像から道路標識領域の検出を行う。画像特徴抽出手段３は、前記道路標識検出手段２で検出した道路標識領域やその周辺部からエッジ数や色情報などの画像特徴を抽出する。道路標識認識手段４は、前記画像特徴抽出手段３で抽出した特徴をもとに標識の認識を行う。視認性判定手段５は、前記道路標識認識手段４で認識された道路標識が運転者に視認性が良い道路標識か否かの判定を行う。表示画像選択手段６は、時系列に入力される画像から視認性の良い道路標識画像の選択を行う。表示手段７は、前記表示画像選択手段６で選択された画像を運転者に警告表示する。制御手段８は、前記各手段の処理の制御を行う。
【００１１】
図２は、この実施の形態１の処理の流れを示すフローチャートであり、本図により動作の説明を行う。この実施の形態では、運転者への過剰な警告表示を抑制する例と視認性の良い画像を選定し警告表示を行う両者の例について説明する。
【００１２】
まず、画像入力手段１は、車載カメラで撮影された道路画像の読み込みを行う（ステップＳＴ１１）。ここで図３に撮影された画像の模写図を示す。
【００１３】
次に、道路標識検出手段２は、ステップＳＴ１２において、入力された画像から道路標識領域の検出を行う。道路標識領域を検出する方法として、例えば、非特許文献１に記載の方法を用いることで行うことができる。ここで図４は図３の道路画像から道路標識を検出した例であり、矩形で囲まれた領域が道路標識領域である。
・非特許文献１；「一般化ハフ変換を用いた道路標識検出の高精度化」、ViEW2008、E-5H、pp.233-238、2008
【００１４】
次にステップＳＴ１３に進み、画像特徴抽出手段３は、道路標識検出手段２で検出された道路標識領域およびその周辺部から、画像特徴を抽出する。ここで、図５は、図４の道路標識検出領域を、あらかじめ設定した画素数広げた領域を評価対象領域とし、破線部で囲まれた領域が評価対象領域の例である。また、図６は、評価対象領域の拡大図であり、道路標識検出手段２で検出された道路標識領域を領域Rとし、評価対象領域内において、領域Rを除く斜線でしめされる領域をOとする。この実施の形態では、まず画像特徴として、次式１を用いて領域Oからエッジ数を抽出し、次に式２を用いて領域Rからエッジの勾配情報の抽出を行う。
【００１５】
【数１】
2010239448.tif 000003
【数２】
2010239448.tif 000004
【００１６】
次にステップＳＴ１４に進み、画像特徴抽出手段３は、道路標識検出手段２で検出された道路標識領域およびその周辺部の評価対象領域から、画像特徴として色情報の抽出を行う。まず、次式３を用いて領域Oから彩度の抽出を行い、次に、式４を用いて領域Rから色相情報の抽出を行う。
【００１７】
【数３】
2010239448.tif 000005
【数４】
2010239448.tif 000006
【００１８】
次にステップＳＴ１５に進み、道路標識認識手段４は、式２、式４を用いて道路標識の認識を行う。道路標識の認識を行う方法として、例えば、非特許文献２に開示されているような方法を用いて行うことができる。
・非特許文献２；「正準判別分析法による道路標識認識に関する一検討」、ViEW2008、I-39、pp.327-330、2008
【００１９】
次にステップＳＴ１６に進み、制御手段８は、運転者によって事前に設定された警告表示抑制を行うかどうかを判定する。ここでは、まず、警告表示抑制を行う場合の処理を説明するためステップＳＴ１７に進む。
【００２０】
ステップＳＴ１７において、視認性判定手段５は、前記画像特徴抽出手段３で抽出した特徴を用いて道路標識が運転者に視認性が良いか否かの判定を行う。
運転者への視認性が低下する場合として、道路標識周辺部に看板や街路樹など道路標識以外の物体が存在する場合が上げられるため、この実施の形態では、次式で示される条件式５を満たした場合、視認性が悪い道路標識としてステップＳＴ２０に進み、運転者への警告表示を行う。条件式５を満たさない場合、すなわち道路標識周辺部に道路標識以外の物体が存在しない場合は、運転者への視認性が良いと判定し、警告表示を行わずステップＳＴ１１に戻る。
【００２１】
【数５】
2010239448.tif 000007
【００２２】
ここで図7は、図６の評価対象領域からエッジ点を抽出した例を示しており、道路標識の周辺領域Oに信号や電柱などのエッジが多く存在し、条件式５を満たし、ステップＳＴ２０に進み運転者への警告表示を行う。
【００２３】
なお、ここではステップＳＴ１７において、視認性判定手段５は、道路標識周辺部に運転者の視認性を低下させる看板や街路樹などのエッジが存在するか否かで判定を行う例について示したが、これに限るものではなく、例えば、道路標識領域内Rの彩度を条件式６で評価し、これにより視認性を評価するようにしてもよい。また、これらを組み合わせて用いるようにしてもよい。
【００２４】
【数６】
2010239448.tif 000008
【００２５】
次にステップＳＴ２０では、表示手段７は、道路標識認識手段４の結果を表示装置上に警告表示する。図８は、道路標識認識結果をマルチインフォメーションディスプレイ上に表示している例である。
【００２６】
なお、ここでは、道路標識認識結果をマルチインフォメーションディスプレイ上に表示する例で示したが、これに限るものではなく、カーナビゲーションシステム上の画面への表示や、音声などによる警告を行うようにしてもよい。また、これらを組み合わせるようにしてもよい。
【００２７】
次にステップＳＴ１１に進み、画像入力手段１は、車載カメラで撮影した次時刻の道路画像の読み込みを行う。入力された画像は、上記同様にステップＳＴ１２からステップＳＴ１５の処理を行い道路標識の認識を行う。
【００２８】
次にステップＳＴ１６に進み、制御手段８は、運転者によって事前に設定された表示抑制を行うかどうかを判定する。ここでは、表示抑制を行わない場合の処理を説明するためステップＳＴ１８に進む。
【００２９】
ステップＳＴ１８では、表示画像選択手段６は、過去数フレームの画像特徴抽出手段３で抽出した特徴値を保持しており、現フレームの画像特徴と過去数フレームの画像特徴とを比較し、道路標識領域周辺のエッジ数が少なく道路標識領域内の彩度が高い道路標識画像を視認性の良い道路標識画像として表示画像候補として選択・格納する。
【００３０】
次にステップＳＴ１９に進み、道路標識認識手段４の認識結果が所定フレーム連続で一致していれば、ステップＳＴ２０に進み、ステップＳＴ１８で選択した道路標識画像を運転者に警告表示する。所定フレーム数に満たない場合は、
該道路標識の連続認識フレーム数のカウントを1つ上げ、ステップＳＴ１１に戻り、上記と同様の処理を繰り返す。
【００３１】
以上で明らかなように、この実施の形態１によれば、視認性判定手段５において、道路標識領域やその周辺部の画像特徴を用いて、道路標識が運転者にとって視認性が良いか否かを判定する手段を備えることにより、運転者が認識しやすい環境下では警告表示を行わず、運転者が認識しづらい視認性の悪い道路標識のみを警告表示することが可能となり、運転者への過剰な警告表示を抑制することができる効果を奏する。
【００３２】
また、時系列に入力される画像から視認性の良い道路標識画像を選択する表示画像選択手段６を備えることにより、警告表示を行う際に表示する道路標識画像として、運転者にとって視認性の良い道路標識画像を提示できる効果を奏する。
【００３３】
なお、この実施の形態１では、視認性判定手段５において、画像特徴抽出手段３で抽出した特徴量を用いて判定を行う例を示したが、これに限るものではなく、例えば、道路標識認識手段４で得られる道路標識に対する相違度を用いて視認性を評価するようにしてもよい。また、これらを組み合わせて用いるようにしてもよい。
【００３４】
実施の形態２．
次に、この発明の第２の実施例である道路標識認識装置について説明する。
実施の形態２の構成図は実施の形態１と同様図１で構成され、その説明を省略する。
【００３５】
図９はこの発明の実施の形態２による道路標識認装置の処理内容を示すフローチャートである。実施の形態１の動作と同様の処理を行うステップＳＴ１１〜ステップＳＴ１４、ステップＳＴ１６、及び、ステップＳＴ１８〜ステップＳＴ２０については、同様の番号を付し説明を省略する。
【００３６】
画像入力手段１は、車載カメラで撮影された道路画像の読み込みを行い（ステップＳＴ１１）。次に実施の形態１と同様にステップＳＴ１２〜ステップＳＴ１４の処理を行い画像特徴の抽出を行う。
【００３７】
次にステップＳＴ１０１、ステップＳＴ１０２に進み、道路標識認識手段４は、認識の異なる２種類の方法を用いて道路標識の認識を行う。ステップＳＴ１０１では、画像特徴抽出手段３の抽出した特徴量と、道路標識認識手段４があらかじめ保持している認識対象となる道路標識の鮮明な画像から抽出した特徴（基準パターン）とを照合する。この実施の形態では、Ｃ個（Ｃ≧１）の道路標識を認識対象とし、あらかじめ保持している基準パターンのi番目の道路標識のj番目の特徴をＲFij（１≦i≦Ｃ、1≦ｊ≦M1、Ｍ1は鮮明な道路標識画像から抽出した画像特徴の総数）とし、画像特徴抽出手段３が入力画像から抽出した特徴をIFm（1≦m≦M2,、M2は入力画像から抽出した画像特徴の総数）とする。
【００３８】
道路標識認識手段４では、下記の評価式７であらかじめ保持している道路標識の基準パターンに対する相違度（値が小さいほど類似性が高いことを示す評価値）Ｄｍを求め、この最小値を与える道路標識を認識結果とする。
【００３９】
【数７】
2010239448.tif 000009
【００４０】
ステップＳＴ１０２では、画像特徴抽出手段３の抽出した特徴量と、道路標識認識手段４があらかじめ保持している認識対象となる道路標識のカケや掠れ標識周辺部の看板や街路樹などを含む不鮮明な画像から抽出した特徴とを照合する。ここでステップＳＴ１０２では、ステップＳＴ１０１同様に、評価式８を用いて相違度Dnを評価し、道路標識認識結果を求める。
【００４１】
次にステップＳＴ１６に進み、制御手段８は、運転者によって事前に設定された警告表示抑制を行うかどうかを判定する。警告表示抑制を行わない場合は、実施の形態１と同様にステップＳＴST１８〜ステップＳＴ２０の実施を行う。この実施の形態では、運転者への警告表示抑制を行う処理について説明するため、ステップＳＴ１０３に進む。
【００４２】
視認性判定手段５は、ステップＳＴ１０３において、道路標識認識手段４がステップＳＴ１０１、ステップＳＴ１０２で求めた道路標識に対する相違度をもとに条件式８を用いて運転者に視認性が良い道路標識か否かの判定を行う。視認性が悪い場合は、ステップＳＴ２０に進み、表示手段７に道路画像認識結果を警告表示し、視認性が良い場合はステップＳＴに戻り、同様の処理を繰り返す。
【００４３】
【数８】
2010239448.tif 000010
【００４４】
以上のように、この実施の形態２によれば、道路標識認識手段４において、異なる道路標識の基準パターンを用いて道路標識の相違度を求め、運転者に視認性が良いか否かを判定することで、道路標識領域周辺部の影響を受けることなく安定して視認性の評価を行うことができる効果を奏する。
【００４５】
また、この実施の形態２では、視認性が悪い道路標識の場合、表示手段７に警告表示する例について示したが、道路標識認識手段４の相違度に応じて、相違度が低い場合は、あらかじめ保持している道路標識画像を表示し、相違度が高い場合は、道路標識検出手段２で検出した道路標識領域の画像を表示手段７に表示するよう切り替えるようにしてもよい。
【産業上の利用可能性】
【００４６】
この発明は、運転者の利便性が向上により、乗用車やトラックなどの車に設置されて利用される可能性がある。
【符号の説明】
【００４７】
１；画像入力手段、２；道路標識検出手段、３；画像特徴抽出手段、４；道路標識認識手段、５；視認性判定手段、６；表示画像選択手段、７；表示手段、８；制御手段。
【図１】
2010239448.tif 000011
【図２】
2010239448.tif 000012
【図３】
2010239448.tif 000013
【図４】
2010239448.tif 000014
【図５】
2010239448.tif 000015
【図６】
2010239448.tif 000016
【図７】
2010239448.tif 000017
【図８】
2010239448.tif 000018
【図９】
2010239448.tif 000019