(57)【要約】【課題】  高速走行時であっても、ドライバが警告を受けて余裕を持って対応することができる標識認識情報の提示方法を提供すること。【解決手段】  車両前方の撮像画像から道路の標識を認識し、認識結果をドライバへ提示する標識認識情報の提示方法において、標識を認識する処理を、標識までの距離に応じて複数段階設定し、複数段階にした標識の認識処理結果のそれぞれに基づいた警告をドライバへ提示し、標識の形状が認識できる離れた距離で、標識形状の認識結果に応じた警告音の提示を行い、標識内容を認識する前の段階からドライバへの警告で注意喚起を行うようにした。【選択図】        図１
2008276291.tif 000002
【特許請求の範囲】
【請求項１】
車両前方の撮像画像から道路の標識を認識し、認識結果をドライバへ提示する標識認識情報の提示方法において、
前記標識を認識する処理を、前記標識までの距離に応じて複数段階設定し、複数段階にした標識の認識処理結果のそれぞれに基づいた警告をドライバへ提示する、
ことを特徴とする標識認識情報の提示方法。
【請求項２】
請求項１に記載の標識認識情報の提示方法において、
前記標識の形状を認識できる距離に達した段階で、前記標識の形状を認識する処理を行って、前記標識の形状に基づいた警告をドライバへ提示し、
その後に、前記標識の内容を認識できる距離に達した段階で、前記標識の内容を認識する処理を行って、前記標識の内容に基づいた警告をドライバへ提示する、
ことを特徴とする標識認識情報の提示方法。
【請求項３】
請求項２に記載の標識認識情報の提示方法において、
前記標識の形状を認識する段階の前段階として、前記標識の存在を認識できる距離に達した段階で、前記標識の存在を認識する処理を行い、
前記標識が存在する場合には、標識の存在を認識したことを示す表示のみを行う、
ことを特徴とする標識認識情報の提示方法。
【請求項４】
請求項２又は請求項３に記載の標識認識情報の提示方法において、
前記標識の形状に基づいた警告は、その後に行われる前記標識の内容を認識する処理の結果に基づいた警告が始まるまでの間隔時間において行うようにする、
ことを特徴とする標識認識情報の提示方法。
【請求項５】
車両前方の撮像画像から道路の標識を認識する手段と、認識結果をドライバへ提示する提示手段を有する標識認識情報の提示装置において、
前記標識の認識手段は、
前記標識の存在を認識できる距離に達した段階で、前記標識の存在を認識する標識位置検出手段と、
前記標識の形状を認識できる距離に達した段階で、前記標識の形状を認識する標識形状識別手段と、
前記標識の内容を認識できる距離に達した段階で、前記標識の内容を認識する標識内容識別手段と、
を備え、
前記提示手段は、各認識段階の認識結果に基づいて、それぞれの認識段階でドライバへ警告を提示する、
ことを特徴とする標識認識情報の提示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識による標識認識情報の提示方法及び装置の技術分野に属する。
【背景技術】
【０００２】
従来では、カラーカメラによって画像入力部に画像を入力するとともに、画像処理演算部で入力された画像の色信号を色相・彩度・明度情報に変換して標識の特定色を入力された画像から抽出して抽出画像とし、抽出画像の形状と基調となる形状とを比較して標識を認識し、比較的少ないデータ量でしかも短時間で標識の特定を行い、カラーカメラにより撮影された画像に基づいて簡単に標識の特定を行い、運転者の不注意や漫然運転による交通標識の見落としに対して、警報を発したり車両の自動制御を行うようにしている（例えば、特許文献１参照。）。
【特許文献１】特開平９−１８５７０３号公報（第２−４頁、全図）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来にあっては、色情報を効果的に処理するためには、対象にある程度近づかなければならない。これは夜間などの低照度時に顕著である。しかしながら、高速走行時には、車両が色情報を得られる距離に来てから警報を提示したのでは遅く、ドライバが余裕を持って対応することが困難であった。
【０００４】
本発明は、上記問題点に着目してなされたもので、その目的とするところは、高速走行時であっても、ドライバが警告を受けて余裕を持って対応することができる標識認識情報の提示方法及び装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明では、車両前方の撮像画像から道路の標識を認識し、認識結果をドライバへ提示する標識認識情報の提示方法において、前記標識を認識する処理を、前記標識までの距離に応じて複数段階設定し、複数段階にした標識の認識処理結果のそれぞれに基づいた警告をドライバへ提示する、ことを特徴とする。
【発明の効果】
【０００６】
よって、本発明にあっては、高速走行時であっても、ドライバが警告を受けて余裕を持って対応することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の標識認識情報の提示方法及び装置を実現する実施の形態を、請求項１，２，３，４，５に係る発明に対応する実施例１に基づいて説明する。
【実施例１】
【０００８】
まず、構成を説明する。
図１は実施例１の標識認識情報の提示方法を実施する装置のブロック図である。
標識認識情報の提示装置は、画像処理部１、制御部２、カメラ３、表示部４、警告音出力部５、車速６を主要な構成としている。
画像処理部１は、標識位置検出処理部１１、標識形状識別処理部１２、標識内容識別処理部１３を備え、カメラ３で撮像した画像処理により道路標識を認識する処理を行う。
【０００９】
標識位置検出処理部１１は、カメラ３で撮像した画像から、標識が存在することを検出する処理を行う部分である。
標識形状識別処理部１２は、標識が存在することが検出された画像から、標識の形状、例えば丸形状、三角形状、逆三角形状、四角（菱形）形状のいずれかを識別する処理を行う部分である。
標識内容識別処理部１３は、標識の内容をパターンマッチングにより識別する処理を行う部分である。
【００１０】
制御部２は、画像処理部１の状態と車速６の状況に基づいて、カメラ３、画像処理部１へ制御指令を出力し、画像処理部１の状態を示す情報、及び画像処理結果に応じて、表示部４、警告音出力部５へ制御指令を出力する。
カメラ３は、車両前方の画像を撮像する。なお、実施例１では、カラーとモノクロの切換えを、制御部２の制御により行うようにする。また、カラーと赤外線カメラの切換えであってもよい。
【００１１】
表示部４は、制御部２の制御により、標識認識の状態に応じた表示を行う。警告に相当するものや準ずるもの、及び標識の内容等である。後に具体的に説明する。
警告音出力部５は、制御部２の制御により、ドライバへ警告音、警告アナウンスを出力する。
車速６は、他の車両装置やセンサ等から入力される車速情報である。
【００１２】
作用を説明する。
[標識認識情報の提示処理]
図２は実施例１の標識認識情報の提示装置の画像処理部１及び制御部２で実行する標識認識情報の提示処理の流れを示すフローチャート図で、以下各ステップについて説明する。
なお、夜間で且つ高速走行中などの標識認識が困難な場合にのみ、以降の処理を行う。それ以外の場合は、通常の標識認識・結果表示処理を行う。
【００１３】
ステップＳ１では、カメラ３で撮像したカラーが画像を画像処理部１へ入力する。
【００１４】
ステップＳ２では、入力画像が低照度で、且つ車速が高速であるかどうかを判断し、条件成立ならばステップＳ３へ進み、不成立ならばステップＳ１１へ進む。
【００１５】
ステップＳ３では、入力画像をモノクロに切り換える。もしくは赤外線カメラに切り換える。
【００１６】
ステップＳ４では、標識が入力画像に存在することを検出する処理を行う。
【００１７】
ステップＳ５では、標識らしき物が検出されたかどうかを判断し、検出されたならばステップＳ６へ進み、検出されていないならばステップＳ４へ戻る。
なお、入力された画像全てにおいて検出されないならば、処理の終了もしくはステップＳ１へ戻ることとする。
【００１８】
ステップＳ６では、表示部４（ディスプレイ）に標識位置を検出したことを強調して表示する。
【００１９】
ステップＳ７では、標識形状の識別処理を行う。検出した標識の形状が、例えば、丸形状、三角形状、逆三角形状、四角形状などのいずれに該当するかを判断する。
【００２０】
ステップＳ８では、標識の形状が、三角形、逆三角形、四角形（菱形）に該当するかを判断し、該当するならばステップＳ９へ進み、該当しないならばステップＳ１３へ進む。
【００２１】
ステップＳ９では、警告音を出力する。その際には、０．２秒前後の短時間の警告音を提示し、ドライバに注意を促す。
【００２２】
ステップＳ１０では、入力画像をカラーに切換える。
【００２３】
ステップＳ１１では、標識の内容を識別する処理を行う。
【００２４】
ステップＳ１２では、警告アナウンスを警告音出力部５から出力する。
このステップでは、標識内容に応じて、「横断歩道があります」、「一時停止箇所です」、「この先、合流路です」などをアナウンスする。
【００２５】
ステップＳ１３では、表示部４（ディスプレイ又はＨＵＤ）に標識内容を表示する。
【００２６】
[標識認識情報の提示作用]
図３は実施例１の標識認識情報の提示方法における遠距離時の状態を示す説明図である。図４は実施例１の標識認識情報の提示方法における中距離時の状態を示す説明図である。図５は実施例１の標識認識情報の提示方法における近距離時の状態を示す説明図である。図６は実施例１の標識認識情報の提示方法における警告音、警告アナウンスの提示タイムラグとドライバの感じるタイムラグの関係を示す説明図である。
【００２７】
実施例１の標識認識情報の提示方法では、夜間など低照度条件および車速４０ｋｍ／ｈ以上になった場合、この機能をONにする（ステップＳ１）。
入力画像はカラーカメラとモノクロカメラを切り替える（ステップＳ２）。
入力画像から標識と思わしき物体を検出する（ステップＳ５）。
その物体の輝度、サイズ、縦横比率、周囲輝度との差、輝度のムラ具合などから判定する。標識らしき物が検出された場合、表示部４において該当標識を赤枠で囲み強調表示を行う（ステップＳ６、図３参照）。
【００２８】
このように、実施例１では、標識までの距離が遠距離の場合に、その距離で認識が可能な、道路標識があるかどうかの認識に応じた情報提示を行う。これにより、早い段階からドライバへの注意喚起が可能となる。
この場合、表示部４にのみ表示を行うようにし、警告音は出力しない。そのため、ドライバが意識しないと結果は見えない。まだ不確実性を有する状態であるので、煩わしいものにはならないよう配慮する。意識しないと見ないのであるから、煩わしいものにならない。
また、この表示を行うことにより、システムの動作状態を確認することができ、後の確実に伝達したい警告の確実性を増すことができる。また、ドライバは、このことにより、実施例１の標識認識情報の提示方法が問題なく作動していることを確認することができる。
【００２９】
次に、標識の形状が検出できる距離に近づいたら、標識の形状から内容の重要度を判定する（ステップＳ７）。
そして、標識の形状が、横断歩道などを示す三角形状、止まれなどを示す逆三角形状、警告標識全般に用いられる四角（菱形）形状のいずれかに該当する場合には、警告音をドライバに提示し、注意喚起を行う（ステップＳ８、図４参照）。その際には、標識形状によって緊急度を判断し、警告音の鳴らし方を変えるとより効果的である。
【００３０】
このように、実施例１では、標識までの距離が中距離の場合に、その距離で認識が可能な、道路標識がどの形状かの認識に応じた情報提示を行う。これにより、早い段階からドライバへの注意喚起が可能となる。
また、この段階で０．２秒程度行う警告音処理により、次の近距離段階で標識の内容をパターンマッチングした後に行う標識内容の提示までのタイムラグを、ドライバの体感上、軽減することになる。
さらに、標識の重要度が低い場合には、警告音が出力されないので、煩わしさをドライバに与えない配慮を行うことができる。
【００３１】
次に、標識の色情報が取得できる距離に近づいたら、テンプレートマッチングで標識の内容を識別し、標識内容に対応した警告アナウンスをドライバに提示する（ステップＳ１０〜Ｓ１３、図５参照）。
このように、標識までの距離が近距離の場合に、その距離で認識が可能な、道路標識がどのような内容かの認識に応じた情報提示を行う。これにより、その標識内容に応じてドライバへの注意喚起が可能となる。
さらに、このタイミングでの警告アナウンスや警告音、表示部４への表示等は、そのわずか前に、標識の形状が認識された際に、警告音が出力されたことにより、認識処理を行うために必要な時間に対するタイムラグが軽減しているようにドライバに感じさせることができる。
【００３２】
このように実施例１では、道路標識までの距離に応じて段階分けした認識処理と、その認識状態と道路標識までの距離とを考慮した提示を複数段階で行うことによって、高速走行時や夜間などの低照度条件においても、ドライバが警告を受けて余裕を持って対応することができる。
ここで、認識状態と道路標識までの距離とを考慮した提示では、標識の形状を認識した状態から、次のパターンマッチングを行って標識の内容を認識するまでの処理時間は、図６に示すように、道路標識までの車両の距離に対応すると考える。そして、最終的に標識の内容を認識し、その内容に応じた警告アナウンスの提示を行うための処理時間の間に、その前の標識の形状を認識した状態に合わせたドライバの注意喚起のための警告提示を行うことにより、ドライバが最終的な警告を受けた際に、既に注意喚起がなされていることにより、ドライバが警告を受けて余裕を持って対応することができる。
【００３３】
さらに、認識状態と道路標識までの距離とを考慮した提示では、標識の形状を認識した状態から、次のパターンマッチングを行って標識の内容を認識するまでの処理時間は、０．５〜０．８秒程度かかるものである。実施例１では、標識の形状を認識した状態で、警告音を出力することにより、出力される時間０．２秒程度が、ドライバがタイムラグを感じる時間から体感上、除外され、ドライバがタイムラグを感じる時間は、０．３〜０．５秒程度に低減される（図６参照）。
これにより、標識内容に応じて警告アナウンスが行われる前に、ドライバへ提示される標識形状認識結果の警告音による注意喚起が、タイムラグをドライバが感じることにより損なわれてしまうことを防ぎ、継続感を持たせるようにして、その後の警告と前段階の警告に一体感を持たせることにより、ドライバが警告を受けた際に、余裕を持って対応させる作用を高めることができる。
【００３４】
次に、効果を説明する。
実施例１の標識認識情報の提示方法にあっては、下記に列挙する効果を得ることができる。
【００３５】
(1)車両前方の撮像画像から道路の標識を認識し、認識結果をドライバへ提示する標識認識情報の提示方法において、標識を認識する処理を、標識までの距離に応じて複数段階設定し、複数段階にした標識の認識処理結果のそれぞれに基づいた警告をドライバへ提示するため、標識内容を認識する前の段階からドライバへの警告で注意喚起を行うので、高速走行時であっても、ドライバが警告を受けて余裕を持って対応することができる。
【００３６】
(2)標識の形状を認識できる距離に達した段階で、標識の形状を認識するステップＳ４の処理を行って、標識の形状に基づいた警告音をステップＳ９の処理によりドライバへ提示し、その後に、標識の内容を認識できる距離に達した段階で、標識の内容を認識するステップＳ１１の処理を行って、標識の内容に基づいた警告をステップＳ１２，Ｓ１３の処理でドライバへ提示するため、標識の形状が認識できる離れた距離で、標識形状の認識結果に応じた警告音の提示を行い、標識内容を認識する前の段階からドライバへの警告で注意喚起を行うので、高速走行時であっても、ドライバが警告を受けて余裕を持って対応することができる。
【００３７】
(3)標識の形状を認識する段階の前段階として、標識の存在を認識できる距離に達した段階で、標識の存在を認識するステップＳ４の処理を行い、標識が存在する場合には、標識の存在を認識したことを示すステップＳ６による表示部４への表示のみを行うため、ドライバが意識しないと標識の存在を認識したことが見えないようにして、煩わしさをドライバが感じないようにできる。また、ドライバが表示部４への表示内容を見た場合には、システムの動作状態を確認することができる。
【００３８】
(4)標識の形状に基づいた警告音の出力（ステップＳ９）は、その後に行われる標識の内容を認識する処理の結果に基づいた警告が始まるまでの間隔時間において行うようにするため、標識内容の認識結果に基づく警告アナウンスが始まるまでのタイムラグを軽減し、前後の警告に一体感を持たせて、前段階によるドライバへの注意喚起が損なわれることを防ぎ、高速走行時であっても、ドライバが警告を受けて余裕を持って対応することができる。
【００３９】
(5)車両前方の撮像画像から道路の標識を認識する画像処理部１と、認識結果をドライバへ提示する表示部４及び警告音出力部５を有する標識認識情報の提示装置において、画像処理部１は、標識の存在を認識できる距離に達した段階で、標識の存在を認識する標識位置検出処理部１１と、標識の形状を認識できる距離に達した段階で、標識の形状を認識する標識形状識別処理部１２と、標識の内容を認識できる距離に達した段階で、標識の内容を認識する標識内容識別処理部１３を備え、表示部４及び警告音出力部５は、各認識段階の認識結果に基づいて、それぞれの認識段階でドライバへ警告を提示するため、標識の存在を認識した距離で、標識位置の認識結果に応じた表示部４への表示を行い、標識の形状が認識できる離れた距離で、標識形状の認識結果に応じた警告音の出力を警告音出力部５で行い、標識内容を認識して、警告音出力部５から警告アナウンスを行う前の段階からドライバへの警告で注意喚起を行うので、高速走行時であっても、ドライバが警告を受けて余裕を持って対応することができる。
【００４０】
以上、本発明の標識認識情報の提示方法及び装置を実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
例えば、実施例１では、カラーカメラとモノクロカメラを切り換えたが、このモノクロカメラが赤外線カメラであれば、更に効果高く得られる。また、カラーカメラのみを用いるようにしてもよい。
例えば、表示部は、独立した警告の表示であってもよいし、他の装置の表示部であってもよい。また、ＨＵＤであってもよい。
例えば、警告音出力部は、警告音と警告アナウンス以外であっても、音や音声であれば、他のものを提示してもよい。
【図面の簡単な説明】
【００４１】
【図１】実施例１の標識認識情報の提示方法を実施する装置のブロック図である。
【図２】実施例１の標識認識情報の提示装置の画像処理部及び制御部で実行する標識認識情報の提示処理の流れを示すフローチャート図である。
【図３】実施例１の標識認識情報の提示方法における遠距離時の状態を示す説明図である。
【図４】実施例１の標識認識情報の提示方法における中距離時の状態を示す説明図である。
【図５】実施例１の標識認識情報の提示方法における近距離時の状態を示す説明図である。
【図６】実施例１の標識認識情報の提示方法における警告音、警告アナウンスの提示タイムラグとドライバの感じるタイムラグの関係を示す説明図である。
【符号の説明】
【００４２】
１  画像処理部
１１  標識位置検出処理部
１２  標識形状識別処理部
１３  標識内容識別処理部
２  制御部
３  カメラ
４  表示部
５  警告音出力部
６  車速
Ｃ  車両
Ｓ  標識（認識状態によっては標識らしき物）
【図１】
2008276291.tif 000003
【図２】
2008276291.tif 000004
【図３】
2008276291.tif 000005
【図４】
2008276291.tif 000006
【図５】
2008276291.tif 000007
【図６】
2008276291.tif 000008