(57)【要約】【課題】車両搭載したカメラを利用し、道路面に書かれた道路標示の検出とその形状認識から、精度良く走行状況を判定することができる走行状況判定装置を提供すること。【解決手段】自車が道路交通法や道路規制に反する走行状況であるか否かを判定する走行状況判定装置において、車両に搭載され、周辺道路を含む画像情報を取得するカメラ４と、カメラ４からの画像情報を俯瞰変換する画像処理部１２と、予め道路標示の形状を記憶しておくメモリ１０と、画像処理部１２から得られる俯瞰変換された第１の道路標示と、メモリ１０から抽出された第２の道路標示を形状比較する比較部（ステップS502）と、比較部による比較結果から、自車の走行状況を判定する走行状況判定部（ステップS503,ステップS504）と、を備えた。【選択図】図４
2009122825.tif 000002
【特許請求の範囲】
【請求項１】
自車が道路交通法や道路規制に反する走行状況であるか否かを判定する走行状況判定装置において、
車両に搭載され、周辺道路を含む画像情報を取得するカメラと、
前記カメラからの画像情報を俯瞰変換する画像処理部と、
予め道路標示の形状を記憶しておく道路標示形状記憶部と、
前記画像処理部から得られる俯瞰変換された第１の道路標示と、前記道路標示形状記憶部から抽出された第２の道路標示を形状比較する比較部と、
前記比較部による比較結果から、自車の走行状況を判定する走行状況判定部と、
を備えたことを特徴とする走行状況判定装置。
【請求項２】
請求項１に記載された走行状況判定装置において、
前記比較部は、第１の道路標示と第２の道路標示のパターンマッチングによる比較判定処理を行い、
前記走行状況判定部は、前記比較部により形状認識された第１の道路標示の意味する内容により自車の走行状況を判定することを特徴とする走行状況判定装置。
【請求項３】
請求項２に記載された走行状況判定装置において、
前記走行状況判定部は、前記比較部により進行方向指示標示を認識し、前記進行方向指示標示の矢印の向きが下向きである場合、自車が逆走状況であると判定することを特徴とする走行状況判定装置。
【請求項４】
請求項１に記載された走行状況判定装置において、
前記比較部は、複数の第１の道路標示と複数の第２の道路標示のパターンマッチングによる比較判定処理を行い、
前記走行状況判定部は、前記比較部により形状認識された複数の第１の道路標示の位置関係により自車の走行状況を判定することを特徴とする走行状況判定装置。
【請求項５】
請求項４に記載された走行状況判定装置において、
前記走行状況判定部は、前記比較部により横断歩道指示標示と停止線指示標示を認識し、前記横断歩道指示標示の上部位置に前記停止線指示標示が存在する場合、自車が反対車線への停止・走行状況であると判定することを特徴とする走行状況判定装置。
【請求項６】
請求項１に記載された走行状況判定装置において、
前記比較部は、第１の道路標示と第２の道路標示のパターンマッチングによる比較判定処理を行い、
前記走行状況判定部は、前記比較部により形状認識された第１の道路標示の進行方向に対する角度関係により自車の走行状況を判定することを特徴とする走行状況判定装置。
【請求項７】
請求項６に記載された走行状況判定装置において、
前記走行状況判定部は、前記比較部により通行区分指示標示を形状認識し、該通行区分指示標示の進行方向に対する傾斜角度が閾値以上である場合、自車が車両通行帯から外れた走行状況であると判定することを特徴とする走行状況判定装置。
【請求項８】
請求項１に記載された走行状況判定装置において、
前記比較部は、第１の道路標示と第２の道路標示のパターンマッチングによる比較判定処理を行い、
前記走行状況判定部は、前記比較部により形状認識された第１の道路標示の画角内の左右位置関係により自車の走行状況を判定することを特徴とする走行状況判定装置。
【請求項９】
請求項８に記載された走行状況判定装置において、
前記走行状況判定部は、前記比較部により車道中央線指示標示を形状認識し、該車道中央線指示標示が画角内の中央付近に存在する場合、自車が反対車線へ向かう走行状況であると判定することを特徴とする走行状況判定装置。
【請求項１０】
請求項１乃至請求項９の何れか１項に記載された走行状況判定装置において、
前記比較部および前記走行状況判定部は、ナビゲーションシステムの制御部に有し、
前記走行状況判定部により法規や規制に反する走行状況であると判定されたとき、少なくともナビゲーションシステムの表示部を運転者への報知手段とし、進行方位警告を行うことを特徴とする走行状況判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路を逆走する状況等、自車が道路交通法や道路規制に反する走行状況であるか否かを判定する走行状況判定装置に関する。
【背景技術】
【０００２】
通常、車を運転する場合、運転者は道路標識や道路標示等を認識して道路状況を判断する必要がある。しかしながら、運転者は短時間に道路標識等を認識する必要があるが、不案内な道路を走行する場合、運手者は道路標識等を見落としやすく、また見落とさなくても誤認識する可能性がある。また、特徴的な差異のない高速道路の流出口、深夜や早朝の交通量の少ない時間帯、等の心理的な・物理的な状況により、誤った車線方向に進入するというおそれがある。
【０００３】
これに対して、車両に搭載されているカメラの撮影画像により、車両が反対車線を走行(逆走)しているか否かを検出する技術が提案されている。
例えば、道路面上の複数の線状表示を撮影した画像により、各々の区画線から輝度・色彩・形状の異なる区画線を検出し、それらの位置関係から車両の逆走を検出している（例えば、特許文献１参照）。
また、中央分離帯と道路標識の形状・色を検出し、その有無や大きさ、表裏の情報に基づいて、車両の逆走を検出している（例えば、特許文献２参照）。
【特許文献１】特開2002-163777号公報
【特許文献２】特開2007-140883号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された逆走検出装置にあっては、例えば、取得画像の左右の線幅検出においても右側線幅の方が太いと逆走と検出しているが、高速道路の分岐で左方向に分岐する時は、これが正しい撮影画像である。つまり、区画線の位置関係から車両の逆走を検出するようにした場合、道路交通法にしたがった正しい走行状態を逆走状態と誤検出することがある、という問題があった。
【０００５】
また、特許文献２に記載された逆走検出装置にあっては、例えば、幅広道路において、撮影画像内の左右の道路端に設置されている各々の道路標識の大きさから、逆走の検出をしているが、道路標識が道路中央の中央分離帯に設置されている場合もあり、比較対象物として十分な検出手段と言えない点がある。つまり、道路標識の大きさ関係から車両の逆走を検出するようにした場合、道路交通法にしたがった正しい走行状態を逆走状態と誤検出することがある、という問題があった。
【０００６】
このように各々の従来技術において、必要十分な検出が実現できておらず、新たな解決技術が必要とされている。
【０００７】
本発明は、上記問題に着目してなされたもので、車両搭載したカメラを利用し、道路面に書かれた道路標示の検出とその形状認識から、精度良く走行状況を判定することができる走行状況判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明では、自車が道路交通法や道路規制に反する走行状況であるか否かを判定する走行状況判定装置において、
車両に搭載され、周辺道路を含む画像情報を取得するカメラと、
前記カメラからの画像情報を俯瞰変換する画像処理部と、
予め道路標示の形状を記憶しておく道路標示形状記憶部と、
前記画像処理部から得られる俯瞰変換された第１の道路標示と、前記道路標示形状記憶部から抽出された第２の道路標示を形状比較する比較部と、
前記比較部による比較結果から、自車の走行状況を判定する走行状況判定部と、
を備えたことを特徴とする。
【０００９】
ここで、「道路標示」とは、道路交通法および道路法に基づき道路の路面に描かれた道路鋲、ペイント、石等による線、記号又は文字をいう。つまり、道路交通法に基づき、都道府県公安委員会が設置するものと、道路法に基づき道路管理者が設置するものである。
【発明の効果】
【００１０】
本発明の走行状況判定装置にあっては、画像処理部において、車載されたカメラからの周辺道路を含む画像情報が俯瞰変換される。これにより、道路面に書かれた道路標示の形状を検出することができる。そして、比較部において、画像処理部から得られる俯瞰変換された第１の道路標示と、道路標示形状記憶部から抽出された第２の道路標示が形状比較される。これにより、道路面に書かれた道路標示の形状認識がなされ、自車の周辺の道路面に何を表す道路標示がなされているかを知ることができる。そして、走行状況判定部において、比較部による比較結果から、自車が道路交通法や道路規制に反する走行状況であるか否かが判定される。
この結果、車両搭載したカメラを利用し、道路面に書かれた道路標示の検出とその形状認識から、精度良く走行状況を判定することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の走行状況判定装置を実現する最良の形態を、図面に示す実施例１に基づいて説明する。
【実施例１】
【００１２】
まず、構成を説明する。
図１は実施例１の走行状況判定装置が適用されたナビゲーションシステムを示すシステムブロック図である。
【００１３】
実施例１の走行状況判定装置が適用されたナビゲーションシステムは、図１に示すように、ＧＰＳ受信機１と、ジャイロセンサー２と、車速検出器３と、カメラ４と、制御部５と、ＶＩＣＳ受信機６と、表示部７と、操作部８と、ユーザインターフェース９と、メモリ１０と、地図データ１１と、画像処理部１２と、画像メモリ１３と、を備えている。
【００１４】
前記ＧＰＳ受信機１（「ＧＰＳ」は、Global Positioning Systemの略）は、測位システムとしての現在位置情報受信部である。
【００１５】
前記ジャイロセンサー２は、方位検出部である。
【００１６】
前記車速検出器３は、車速パルスを用いる走行距離検出部である。
【００１７】
前記カメラ４は、車両周辺を撮像する撮像手段として、典型的には、車両に搭載されている前方、後方、側面などの各ＣＣＤカメラやＣＭＯＳカメラである。ここで、カメラ４は、道路面を撮影するものであり、例えば、(1)フロントノーズに取り付けられ、見通しの悪い交差点への進入確認で利用されるカメラ、(2)車両をバックさせる時の後方確認用のカメラ、(3)道路上の白線検知を行い、車線逸脱等を検出し運転者への警告をおこなうシステムなどに用いる車両搭載用のカメラ、との共用も可能である。
【００１８】
前記制御部５は、各部の制御など情報処理を行う。この制御部５には、実施例１の走行状況判定装置が逆走判定プログラムの形で設定されている。
【００１９】
前記ＶＩＣＳ受信機６（「ＶＩＣＳ」は、Vehicle Information and Communication Systemの略）は、ＦＭ多重放送などからのＶＩＣＳ情報の放送受信部である。
【００２０】
前記表示部７は、例えば、車両のインストルメントパネル位置に設定され、液晶パネルによるモニタなどによる情報表示部である。
【００２１】
前記操作部８は、ナビゲーションシステムに関連する情報や指示の入力を受け付けるスイッチなどである。
【００２２】
前記ユーザインターフェース９は、前記表示部７と前記操作部８と前記制御部５との関係を制御する。
【００２３】
前記メモリ１０は、記憶部であり、実施例１の走行状況判定装置で用いられる道路標示の形状が予め記憶されている。
【００２４】
前記地図データ１１は、地図データ再生部（例えば、ＨＤＤ、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭなど記憶装置）から読み出される。
【００２５】
前記画像処理部１２は、カメラ４からの入力信号（アナログ）をデジタル変換して画像データに変換し、必要な画像処理を施した後、画像メモリ１３に記憶するブロックである。
例えば、道路面に書かれた道路標示を抽出するためには、カメラ４からの画像信号をデジタル変換した後、撮影角度による画像のゆがみ・視点変換による俯瞰変換処理・特徴物抽出のための輝度信号を利用した輝度信号抽出や輪郭抽出等をおこない、俯瞰画像を画像メモリ１３に記憶する。
ここで、「画像のゆがみ」とは、図２の実線に示すように、カメラＡ(車両搭載)は道路面を撮影するために下向きに設置されており、このカメラＡで撮影した画像は、カメラＡと対象物の距離に応じて物体の形状が変化をする。例えば、複数の長方形から成る横断歩道は、図３(a)に示すように、台形の集まりの如く見える。
また、「俯瞰画像」とは、カメラ４からの撮像画像を視点変換することによって、図２の破線に示すように、あたかも車両上方に設置されたカメラＡ’(仮想カメラ)から車両前方を見下ろしたような俯瞰図を取得することである。このような俯瞰画像生成原理については、特開平３−９９９５２号公報、特開平９−１７１３４８号公報、特開２００１−１１４０４８号公報、特開２００１−１１６５６７号公報等で示されているように、撮像画像データの各画素について、マップを用いた座標変換処理等を行うことで生成される。
このように、車両上方から真下を見下ろした頂上俯瞰処理をおこなうと、図３(a)の台形の集まりによる横断歩道も、図３(b)に示されるように、複数の長方形から成る横断歩道に変換できる。
【００２６】
図４は実施例１の制御部５にて実行される車両前方画像情報処理１（進行方向指示標示の認識による逆走判定処理）の流れを示すフローチャートであり、以下、各ステップについて説明する。
【００２７】
ステップS501では、まず、画像メモリ１３内の抽出情報を取り込み、ステップS502へ移行する。ここで、画像メモリ１３には、カメラ画像データをデジタル変換し、必要な画像処理を施して道路標示の抽出情報とし、これを記憶している。
【００２８】
ステップS502では、ステップS501での抽出情報の取り込みに続き、取り込んだ抽出情報と、メモリ１０に予め記憶してある進行方向指示標示とのパターンマッチングによる比較判定処理を行い、ステップS503へ移行する。
【００２９】
ステップS503では、ステップS502での抽出情報の比較に続き、取り込んだ抽出情報にあらわれている道路標示形状が、予め記憶してある進行方向指示標示と一致しているか否かを判断し、Yesの場合（進行方向指示標示と一致した場合）は、取得したカメラ画像内に、進行方向指示標示が存在しているため次のステップS504へ移行する。Noの場合は、取得したカメラ画像内には、進行方向指示標示がないことを示しているので、エンドへ移行し、これで処理は終了となる。
【００３０】
ステップS504では、ステップS503での進行方向指示標示と一致しているとの判断に続き、抽出した進行方向指示標示の矢印の向きが下向きであるか否かを判断し、Yesの場合（自車が進行方向指示標示に対し逆方向に進行していることを示す）はステップS505へ移行し、Noの場合（自車が進行方向指示標示方向に進行していることを示す）はエンドへ移行する。
【００３１】
ステップ505では、ステップS504での矢印方向が下向きであるとの判断に続き、道路交通法に違反する走行であるので、ユーザインターフェース９を介して表示部７に進行方位の警告表示を行い、これにより運転者に注意を促す。なお、警告としては、警告表示に、ランプ点滅やブザー等による警告を加えるようにしても良い。
【００３２】
図５は実施例１の制御部５にて実行される車両前方画像情報処理２（横断歩道指示標示と停止線指示標示の認識による反対車線への停止・走行判定処理）の流れを示すフローチャートであり、以下、各ステップについて説明する。
【００３３】
ステップS601では、まず、画像メモリ１３内の抽出情報を取り込み、ステップS602へ移行する。ここで、画像メモリ１３には、カメラ画像データをデジタル変換し、必要な画像処理を施して道路標示の抽出情報とし、これを記憶している。
【００３４】
ステップS602では、ステップS601での抽出情報の取り込みに続き、取り込んだ抽出情報と、メモリ１０に予め記憶してある横断歩道指示標示とのパターンマッチングによる比較判定処理と、メモリ１０に予め記憶してある停止線指示標示とのパターンマッチングによる比較判定処理を行い、ステップS603へ移行する。
【００３５】
ステップS603では、ステップS602での抽出情報の比較に続き、取り込んだ抽出情報にあらわれている道路標示形状が、予め記憶してある横断歩道指示標示と一致しているか否かを判断し、Yesの場合（横断歩道指示標示と一致した場合）は、取得したカメラ画像内に、横断歩道指示標示が存在しているため次のステップS604へ移行する。Noの場合は、取得したカメラ画像内には、横断歩道指示標示がないことを示しているので、エンドへ移行し、これで処理は終了となる。
【００３６】
ステップS604では、ステップS603での横断歩道指示標示と一致しているとの判断に続き、取り込んだ抽出情報にあらわれている道路標示形状が、予め記憶してある停止線指示標示と一致しているか否かを判断し、Yesの場合（停止線指示標示と一致した場合）は、取得したカメラ画像内に、停止線指示標示が存在しているため次のステップS605へ移行する。Noの場合は、取得したカメラ画像内には、停止線指示標示がないことを示しているので、エンドへ移行し、これで処理は終了となる。
【００３７】
ステップS605では、ステップS604での停止線指示標示と一致しているとの判断に続き、横断歩道指示標示の上部位置に停止線指示標示が存在するか否かを判断し、Yesの場合（自車が反対車線に停止しているか反対車線を走行していることを示す）はステップS606へ移行し、Noの場合（自車が正しい車線に停止しているか正しい車線を走行していることを示す）はエンドへ移行する。
【００３８】
ステップ606では、ステップS605での横断歩道の上部に停止線が存在しているとの判断に続き、道路交通法に違反する走行であるので、ユーザインターフェース９を介して表示部７に進行方位の警告表示を行い、これにより運転者に注意を促す。なお、警告としては、警告表示に、ランプ点滅やブザー等による警告を加えるようにしても良い。
【００３９】
図６は実施例１の制御部５にて実行される車両前方画像情報処理３（通行区分指示標示の認識による車両通行帯から外れた走行判定処理）の流れを示すフローチャートであり、以下、各ステップについて説明する。
【００４０】
ステップS701では、まず、画像メモリ１３内の抽出情報を取り込み、ステップS702へ移行する。ここで、画像メモリ１３には、カメラ画像データをデジタル変換し、必要な画像処理を施して道路標示の抽出情報とし、これを記憶している。
【００４１】
ステップS702では、ステップS701での抽出情報の取り込みに続き、取り込んだ抽出情報と、メモリ１０に予め記憶してある通行区分指示標示とのパターンマッチングによる比較判定処理を行い、ステップS703へ移行する。
【００４２】
ステップS703では、ステップS702での抽出情報の比較に続き、取り込んだ抽出情報にあらわれている道路標示形状が、予め記憶してある通行区分指示標示と一致しているか否かを判断し、Yesの場合（通行区分指示標示と一致した場合）は、取得したカメラ画像内に、通行区分指示標示が存在していたので、次のステップS704へ移行する。Noの場合は、取得したカメラ画像内には、通行区分指示標示がないことを示しているので、エンドへ移行し、これで処理は終了となる。
尚、このステップS703では、比較すべき情報の向き(角度)が重要であるので、比較時には比較対象物の回転処理が必要である。
【００４３】
ステップS704では、ステップS703での通行区分指示標示と一致しているとの判断に続き、検出した通行区分指示標示の車両進行方向に対する傾斜角度を取得し、ステップS705へ移行する。
【００４４】
ステップS705では、ステップS704での傾斜角度の取得に続き、取得した通行区分指示標示の傾斜角度が予め設定した閾値未満であるか否かを判断し、Yesの場合（車両通行帯から大きく外れた走行を示す）はステップS706へ移行し、Noの場合（車両通行帯に沿った走行、あるいは、一時的な迂回走行を示す）はエンドへ移行する。
ここで、通常、車両は車両通行帯に沿って走行すると考えられるが、落下物等の通行障害時には、迂回走行をする場合も有り得るので、ある閾値を用いて判断をする。例えば、閾値を車両進行方向に対して左右それぞれ４５度とし、閾値未満であれば迂回走行と考え、閾値以上の場合は、車両通行帯から大きく外れた走行と考える。
【００４５】
ステップ706では、ステップS705での傾斜角度が閾値以上であるとの判断に続き、車両走行に十分な注意が必要であるので、ユーザインターフェース９を介して表示部７に進行方位の警告表示を行い、これにより運転者に注意を促す。なお、警告としては、警告表示に、ランプ点滅やブザー等による警告を加えるようにしても良い。
【００４６】
図７は実施例１の制御部５にて実行される車両前方画像情報処理４（黄色の車道中央線指示標示の認識による反対車線へ向かう走行判定処理）の流れを示すフローチャートであり、以下、各ステップについて説明する。
【００４７】
ステップS801では、まず、画像メモリ１３内の抽出情報を取り込み、ステップS802へ移行する。ここで、画像メモリ１３には、カメラ画像データをデジタル変換し、必要な画像処理を施して道路標示の抽出情報とし、これを記憶している。
【００４８】
ステップS802では、ステップS801での抽出情報の取り込みに続き、取り込んだ抽出情報と、メモリ１０に予め記憶してある黄色の車道中央線指示標示とのパターンマッチングによる比較判定処理を行い、ステップS803へ移行する。
この場合は、道路標示形状のみではなく色の識別を行う。色彩の識別手段としては、具体的には、カメラ(撮影装置)での光学フィルターを用いた色の分離手段やカメラ映像信号出力における各信号(R/G/B)レベルから色の識別を行う。例えば、RGB映像信号における各色信号レベルを確認する手段としては、白色ではRGB各色信号レベルはほぼ同じ値で所望のレベルが存在している。また黄色では、R信号とG信号がほぼ同じ値で所望のレベルが存在しておりB信号のみが小さなレベルとなる(光の三原色)。このように、各色信号レベルの組み合わせを判定することにより、色彩の識別が可能となる。
【００４９】
ステップS803では、ステップS802での抽出情報の比較に続き、黄色の車道中央線指示標示と一致しているか否かを判断し、Yesの場合（黄色の車道中央線指示標示と一致した場合）は、取得したカメラ画像内に、黄色の車道中央線指示標示が存在しているため次のステップS804へ移行する。Noの場合は、取得したカメラ画像内には、黄色の車道中央線指示標示がないことを示しているので、エンドへ移行し、これで処理は終了となる。
【００５０】
ステップS804では、ステップS803での黄色の車道中央線指示標示と一致しているとの判断に続き、認識した黄色の車道中央線指示標示のカメラ画像内における左右位置を取得し、ステップS805へ移行する。
【００５１】
ステップS805では、ステップS804での画角内の左右位置取得に続き、取得した黄色の車道中央線指示標示の位置が右側または左側の所望の範囲内であるか否かを判断し、中央付近である場合（自車が反対車線へ向かう走行状況であることを示す）はステップS806へ移行し、右側または左側である場合はエンドへ移行する。
ここで、通常、車両は車両通行帯に沿って走行すると考えられるが、この場合は、車道中央線等を越えて走行する動作を検出(判定)することが目的であるので、カメラ画像の中央付近に抽出情報が存在することが検出できれば良い。したがって、例えば、カメラ画像を左右方向に３等分しその中央部分に抽出情報が位置するか否かを判断する。算出した位置が右側(または左側)に位置する場合は通常走行と考え、算出した位置が中央の場合は車道中央線を越えて走行する動作と考える。
【００５２】
ステップ806では、ステップS805での中央付近の位置に黄色の車道中央線指示標示が存在するとの判断に続き、車両走行に十分な注意が必要であるので、ユーザインターフェース９を介して表示部７に進行方位の警告表示を行い、これにより運転者に注意を促す。なお、警告としては、警告表示に、ランプ点滅やブザー等による警告を加えるようにしても良い。
【００５３】
次に、作用を説明する。
実施例１の走行状況判定装置における作用を、「進行方向指示標示の認識による逆走判定作用」、「横断歩道指示標示と停止線指示標示の認識による反対車線への停止・走行判定作用」、「通行区分指示標示の認識による車両通行帯から外れた走行判定作用」、「黄色の車道中央線指示標示の認識による反対車線へ向かう走行判定作用」に分けて説明する。
【００５４】
［進行方向指示標示の認識による逆走判定作用］
図８は実施例１の走行状況判定装置における進行方向指示標示の認識による逆走判定作用の説明図であり、(a)は自車が逆走している状態の平面図を示し、(b)は車両前方を写したカメラ画像から得られた道路標示の俯瞰画像を示す。
【００５５】
ナビゲーションシステムでの本来の機能では、内蔵している地図情報と実際に走行している道路形状や走行規制が異なることがある。このため、車両走行状況が法規や規制に反するか否かは、地図情報のみに基づいて判断することができない。
【００５６】
一方、道路標示としては、図８(a)に示すように、車両が進行することができる方向を示す進行方向指示標示100や通行区分指示標示101がある。例えば、車両前方を撮影したカメラ４で取得したカメラ画像から、図８(b)に示すような画像が得られた場合、進行方向指示標示100の矢印が自車の進行方向とは異なる向きであり、自車の進行方向を誤ったと思われる走行（逆走）である。
【００５７】
このような進行方向指示標示100は、高速道路のサービスエリア(SA/PA)流入口や上下線が物理的に分離されていない料金所(例えば、地方のインターチェンジ等)の進入路にも整備されており、運転者がこれを見逃しそのまま進入すると反対車線への進入となる。
【００５８】
これに対し、実施例１の走行状況判定装置において、図８(b)に示すような道路標示の俯瞰画像が得られた場合には、進行方向指示標示100の認識条件（ステップS503）と、矢印の下向き条件（ステップS504）が共に成立する。このため、図４のフローチャートにおいて、ステップS501→ステップS502→ステップS503→ステップS504→ステップS505へと進み、ステップS505では、ユーザインターフェース９を介して表示部７に進行方位の警告表示が行われ、これにより運転者に注意が促される。
【００５９】
したがって、高速道路のサービスエリア(SA/PA)流入口や料金所の進入路等で、運転者が進行方向指示標示100を見逃しそのまま進入したような場合、進行方位の警告表示により進行方向指示標示100の見逃しによる逆走を知り、直ちに車線変更等を行うことで、安全な運転走行に寄与することができる。
【００６０】
［横断歩道指示標示と停止線指示標示の認識による反対車線への停止・走行判定作用］
図９は実施例１の走行状況判定装置における横断歩道指示標示と停止線指示標示の認識による反対車線への停止・走行判定作用の説明図であり、(a)は自車が反対車線に停止または走行している状態の平面図を示し、(b)は車両前方を写したカメラ画像から得られた道路標示の俯瞰画像を示す。
【００６１】
道路標示としては、図９(a)に示すように、横断歩道を示す横断歩道指示標示102や停止線指示標示103や車道中央線指示標示104がある。例えば、正しい車線を走行しているときは車両前方を撮影したカメラ４で取得したカメラ画像では、横断歩道指示標示102の手前の位置（下部位置）に停止線指示標示103がある位置関係となる。しかし、図９(b)に示すように、横断歩道指示標示102の先の位置（上部位置）に停止線指示標示103がある位置関係による画像が得られた場合、自車の進行方向を誤ったと思われる走行（逆走）である。
【００６２】
これに対し、実施例１の走行状況判定装置において、図９(b)に示すような道路標示の俯瞰画像が得られた場合には、横断歩道指示標示102の認識条件（ステップS603）と、停止線指示標示103の認識条件（ステップS604）と、横断歩道指示標示102と停止線指示標示103の位置関係条件（ステップS605）が共に成立する。このため、図５のフローチャートにおいて、ステップS601→ステップS602→ステップS603→ステップS604→ステップS605→ステップS606へと進み、ステップS606では、ユーザインターフェース９を介して表示部７に進行方位の警告表示が行われ、これにより運転者に注意が促される。
【００６３】
したがって、例えば、初めて走行する道路で運転者が誤って反対車線を逆走したような場合、横断歩道指示標示102と停止線指示標示103の位置関係認識に基づき進行方位の警告表示が行われることにより、運転者は反対車線を逆走していることを知り、直ちに車線変更等を行うことで、安全な運転走行に寄与することができる。
【００６４】
［通行区分指示標示の認識による車両通行帯から外れた走行判定作用］
図１０は実施例１の走行状況判定装置における通行区分指示標示の認識による車両通行帯から外れた走行判定作用の説明図であり、(a)は自車が車両通行帯から大きく外れて走行している状態の平面図を示し、(b)は車両前方を写したカメラ画像から得られた道路標示の俯瞰画像を示す。
【００６５】
道路標示としては、図１０(a)に示すように、車両が進行することができる通行帯を示す通行区分指示標示101がある。例えば、正しい車線を走行しているときは車両前方を撮影したカメラ４で取得したカメラ画像では、通行区分指示標示101は車両の進行方向に沿った方向となる。しかし、例えば、車両前方を撮影したカメラ４で取得したカメラ画像から、図１０(b)に示すような画像が得られた場合、通行区分指示標示101が斜め方向に大きな角度を持つことになり、車両通行帯から大きく外れていると思われる走行である。
【００６６】
これに対し、実施例１の走行状況判定装置において、図１０(b)に示すような道路標示の俯瞰画像が得られた場合には、通行区分指示標示101の認識条件（ステップS703）と、車両通行帯から外れることが予想される走行条件（ステップS705）が共に成立する。このため、図６のフローチャートにおいて、ステップS701→ステップS702→ステップS703→ステップS704→ステップS705→ステップS706へと進み、ステップS706では、ユーザインターフェース９を介して表示部７に進行方位の警告表示が行われ、これにより運転者に注意が促される。
【００６７】
したがって、運転者が車両通行帯から大きく外れる走行を行う場合、進行方位の警告表示により、運転者に対し周りの走行環境への注意を喚起し、車速を下げるアクセル操作やブレーキ操作、あるいは、障害物を回避するステアリング操作を行うことで、安全な運転走行に寄与することができる。
【００６８】
［黄色の車道中央線指示標示の認識による反対車線へ向かう走行判定作用］
図１１は実施例１の走行状況判定装置における黄色の車道中央線指示標示の認識による反対車線へ向かう走行判定作用の説明図であり、(a)は自車が反対車線に向かって走行している状態の平面図を示し、(b)は車両前方を写したカメラ画像から得られた道路標示の俯瞰画像を示す。
【００６９】
道路標示としては、図１１(a)に示すように、横断歩道を示す横断歩道指示標示102や停止線指示標示103や車道中央線指示標示104がある。例えば、道路交通法が車両左側通行である場合、正しい車線を走行しているときは車両前方を撮影したカメラ４で取得したカメラ画像では、車道中央線指示標示104が右側にくるか、車道中央線指示標示104から離れた車線での走行である場合には車道中央線指示標示104の無いものとなる。しかし、図１１(b)に示すように、カメラ４で取得したカメラ画像で車道中央線指示標示104が中央付近の位置関係となった場合、自車は車両通行帯を越えて反対車線へ向かって走行していると思われる。なお、車道中央線指示標示104は、追い越しのための右側部分はみ出し通行禁止規制標示や進路変更禁止規制標示の意味を持つ。
【００７０】
これに対し、実施例１の走行状況判定装置において、図１１(b)に示すような道路標示の俯瞰画像が得られた場合には、車道中央線指示標示104の認識条件（ステップS803）と、車道中央線指示標示104が中央付近であるという位置条件（ステップS805）が共に成立する。このため、図７のフローチャートにおいて、ステップS801→ステップS802→ステップS803→ステップS804→ステップS805→ステップS806へと進み、ステップS806では、ユーザインターフェース９を介して表示部７に進行方位の警告表示が行われ、これにより運転者に注意が促される。
【００７１】
したがって、例えば、先行車両を追い抜くために運転者が意図的に車道中央線指示標示104を越えて一時的に反対車線に入るような場合、車道中央線指示標示104が中央付近に存在するとの認識に基づき進行方位の警告表示が行われることにより、運転者に対し周りの走行環境への注意を喚起し、車速を下げるアクセル操作やブレーキ操作、あるいは、障害物を回避するステアリング操作を行うことで、安全な運転走行に寄与することができる。なお、道路工事等を避けるために車道中央線指示標示104を越えて一時的に反対車線に入る場合もあるので、運転者への注意は、あくまでも走行注意である。
【００７２】
次に、効果を説明する。
実施例１の走行状況判定装置にあっては、下記に列挙する効果を得ることができる。
【００７３】
(1) 自車が道路交通法や道路規制に反する走行状況であるか否かを判定する走行状況判定装置において、車両に搭載され、周辺道路を含む画像情報を取得するカメラ４と、前記カメラ４からの画像情報を俯瞰変換する画像処理部１２と、予め道路標示の形状を記憶しておく道路標示形状記憶部（メモリ１０）と、前記画像処理部１２から得られる俯瞰変換された第１の道路標示と、前記道路標示形状記憶部から抽出された第２の道路標示を形状比較する比較部と、前記比較部による比較結果から、自車の走行状況を判定する走行状況判定部と、を備えたため、車両搭載したカメラ４を利用し、道路面に書かれた道路標示の検出とその形状認識から、精度良く走行状況を判定することができる。
【００７４】
(2) 前記比較部は、第１の道路標示と第２の道路標示のパターンマッチングによる比較判定処理を行い、前記走行状況判定部は、前記比較部により形状認識された第１の道路標示の意味する内容により自車の走行状況を判定するため、第１の道路標示を形状認識するだけで、その意味する内容により自車の走行状況を精度良く判定することができる。
【００７５】
(3) 前記走行状況判定部は、前記比較部（ステップS502）により進行方向指示標示100を認識し（ステップS503でYes）、前記進行方向指示標示100の矢印の向きが下向きである場合（ステップS504でYes）、自車が逆走状況であると判定するため、進行方向指示標示100の形状を認識するだけで、精度良く自車が逆走状況であると判定することができる。
【００７６】
(4) 前記比較部は、複数の第１の道路標示と複数の第２の道路標示のパターンマッチングによる比較判定処理を行い、前記走行状況判定部は、前記比較部により形状認識された複数の第１の道路標示の位置関係により自車の走行状況を判定するため、交差点等に存在する複数の道路標示の位置関係を認識するだけで、精度良く自車の走行状況を判定することができる。
【００７７】
(5) 前記走行状況判定部は、前記比較部（ステップS602）により横断歩道指示標示102と停止線指示標示103を認識し（ステップS603,ステップS604）、前記横断歩道指示標示102の上部位置に前記停止線指示標示103が存在する場合（ステップS605でYes）、自車が反対車線への停止・走行状況であると判定するため、横断歩道指示標示102と停止線指示標示103の位置関係を認識するだけで、精度良く自車が反対車線への停止・走行状況であると判定することができる。
【００７８】
(6) 前記比較部は、第１の道路標示と第２の道路標示のパターンマッチングによる比較判定処理を行い、前記走行状況判定部は、前記比較部により形状認識された第１の道路標示の進行方向に対する角度関係により自車の走行状況を判定するため、第１の道路標示の進行方向に対する角度関係を認識するだけで、精度良く自車の走行状況を判定することができる。
【００７９】
(7) 前記走行状況判定部は、前記比較部（ステップS702）により通行区分指示標示101を形状認識し（ステップS703）、該通行区分指示標示101の進行方向に対する傾斜角度が閾値以上である場合（ステップS705）、自車が車両通行帯から外れた走行状況であると判定するため、通行区分指示標示101の進行方向に対する角度関係を認識するだけで、精度良く自車が車両通行帯から外れた走行状況であると判定することができる。
【００８０】
(8) 前記比較部は、第１の道路標示と第２の道路標示のパターンマッチングによる比較判定処理を行い、前記走行状況判定部は、前記比較部により形状認識された第１の道路標示の画角内の左右位置関係により自車の走行状況を判定するため、第１の道路標示の画角内の左右位置関係を認識するだけで、精度良く自車の走行状況を判定することができる。
【００８１】
(9) 前記走行状況判定部は、前記比較部（ステップS802）により車道中央線指示標示104を形状認識し（ステップS803）、該車道中央線指示標示104が画角内の中央付近に存在する場合（ステップS805で中央付近）、自車が反対車線へ向かう走行状況であると判定するため、車道中央線指示標示104が画角内の中央付近に存在することを認識するだけで、精度良く自車が反対車線へ向かう走行状況であると判定することができる。
【００８２】
(10) 前記比較部および前記走行状況判定部は、ナビゲーションシステムの制御部５に有し、前記走行状況判定部により法規や規制に反する走行状況であると判定されたとき、少なくともナビゲーションシステムの表示部７を運転者への報知手段とし、進行方位警告を行うため、ナビゲーションシステムに運転支援機能を付加することができると共に、法規や規制に反する走行状況のときに運転者に注意を促し、安全な運転走行に寄与することができる。
【００８３】
以上、本発明の走行状況判定装置を実施例１に基づき説明してきたが、具体的な構成については、この実施例１に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【００８４】
実施例１では、特定の道路標示について走行状況を判定する例を示した。しかし、実施例１で示す以外の様々な道路標示について走行状況を判定するようにしても良い。要するに、車両に搭載され、周辺道路を含む画像情報を取得するカメラと、カメラからの画像情報を俯瞰変換する画像処理部と、予め道路標示の形状を記憶しておく道路標示形状記憶部と、俯瞰変換された第１の道路標示と道路標示形状記憶部から抽出された第２の道路標示を形状比較する比較部と、比較部による比較結果から、自車の走行状況を判定する走行状況判定部と、を備えたものであれば、実施例１に限られることはない。
【産業上の利用可能性】
【００８５】
実施例１では、本発明の走行状況判定装置をナビゲーションシステムに適用する例を示した。しかし、本発明の走行状況判定装置を走行支援システム等の他の車載制御システムに適用しても良いし、さらに、独立に走行状況判定装置を設置し、走行情報を提供するために情報通信線を介して他の車載制御システムと接続しても良い。要するに、自車が道路交通法や道路規制に反する走行状況であるか否かを判定する走行状況判定装置であれば如何なる適用態様であっても良い。
【図面の簡単な説明】
【００８６】
【図１】実施例１の走行状況判定装置が適用されたナビゲーションシステムを示すシステムブロック図である。
【図２】カメラによる撮影模式図の例を示す。
【図３】横断歩道を撮影したカメラ画像を頂上俯瞰処理した例であり、(a)は頂上俯瞰処理前のカメラ画像を示し、(b)は頂上俯瞰処理後のカメラ画像を示す。
【図４】実施例１の制御部５にて実行される車両前方画像情報処理１（進行方向指示標示の認識による逆走判定処理）の流れを示すフローチャートである。
【図５】実施例１の制御部５にて実行される車両前方画像情報処理２（横断歩道指示標示と停止線指示標示の認識による反対車線への停止・走行判定処理）の流れを示すフローチャートである。
【図６】実施例１の制御部５にて実行される車両前方画像情報処理３（通行区分指示標示の認識による車両通行帯から外れた走行判定処理）の流れを示すフローチャートである。
【図７】実施例１の制御部５にて実行される車両前方画像情報処理４（黄色の車道中央線指示標示の認識による反対車線へ向かう走行判定処理）の流れを示すフローチャートである。
【図８】実施例１の走行状況判定装置における進行方向指示標示の認識による逆走判定作用の説明図であり、(a)は自車が逆走している状態の平面図を示し、(b)は車両前方を写したカメラ画像から得られた道路標示の俯瞰画像を示す。
【図９】実施例１の走行状況判定装置における横断歩道指示標示と停止線指示標示の認識による反対車線への停止・走行判定作用の説明図であり、(a)は自車が反対車線に停止または走行している状態の平面図を示し、(b)は車両前方を写したカメラ画像から得られた道路標示の俯瞰画像を示す。
【図１０】実施例１の走行状況判定装置における通行区分指示標示の認識による車両通行帯から外れた走行判定作用の説明図であり、(a)は自車が車両通行帯から大きく外れて走行している状態の平面図を示し、(b)は車両前方を写したカメラ画像から得られた道路標示の俯瞰画像を示す。
【図１１】実施例１の走行状況判定装置における黄色の車道中央線指示標示の認識による反対車線へ向かう走行判定作用の説明図であり、(a)は自車が反対車線に向かって走行している状態の平面図を示し、(b)は車両前方を写したカメラ画像から得られた道路標示の俯瞰画像を示す。
【符号の説明】
【００８７】
１  ＧＰＳ受信機
２  ジャイロセンサー
３  車速検出器
４  カメラ
５  制御部
６  ＶＩＣＳ受信機
７  表示部
８  操作部
９  ユーザインターフェース
１０  メモリ（道路標示形状記憶部）
１１  地図データ
１２  画像処理部
１３  画像メモリ
【図１】
2009122825.tif 000003
【図２】
2009122825.tif 000004
【図３】
2009122825.tif 000005
【図４】
2009122825.tif 000006
【図５】
2009122825.tif 000007
【図６】
2009122825.tif 000008
【図７】
2009122825.tif 000009
【図８】
2009122825.tif 000010
【図９】
2009122825.tif 000011
【図１０】
2009122825.tif 000012
【図１１】
2009122825.tif 000013