(57)【特許請求の範囲】
【請求項１】
車両内の電源ライン又は信号ラインから、方向指示灯の点滅制御周期及び制御信号波形のノイズ成分データを検出する検出部と、
前記検出部で検出された前記ノイズ成分データを、前記方向指示灯の点滅制御信号判定用の閾値と比較した結果に基づいて、前記方向指示灯の点滅を判定する方向指示灯点滅判定部と、
前記車両の走行車線の逸脱が検出されると、前記方向指示灯点滅判定部による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部とを備えた車線逸脱判定装置。
【請求項２】
請求項１記載の車線逸脱判定装置と、
前記車線逸脱判定装置の意図的逸脱判定部の判定結果に応じて、警報音の波形データを生成する波形データ生成部と、
前記波形データ生成部で生成された警報音の波形データを音出力する音出力部とを備えた車線逸脱警報装置。
【請求項３】
前記音出力部は、前記意図的逸脱判定部により運転者が意図した車線逸脱であると判定されると、警報を出力しないことを特徴とする請求項２記載の車線逸脱警報装置。
【請求項４】
請求項２又は請求項３記載の車線逸脱警報装置を備えたナビゲーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、運転者が意図しない車線の逸脱を判定する車線逸脱判定装置、車線逸脱警報装置及びナビゲーション装置に関する。
【背景技術】
【０００２】
特許文献１には、自車両前方の風景を撮像した画像データを画像処理して得られた走行車線での自車両の位置データ、横加速度等の車両状態量データ、操舵角及び操舵トルク等の運転操作量データの少なくともいずれかと、運転者が車線変更を意図したとき及び車線維持を意図しないときの運転行動に関する時系列パターンの統計的特徴量を表す運動行動パターンパラメータを用いて、隠れマルコフモデルの認識アルゴリズムに従い、運転者の車線変更の意図の有無を認識するレーンキープシステムが開示されている。
また、特許文献２には、自車両前方の道路を含む風景が撮像された画像を画像処理して得られた自車両の車線位置、前方を走行する他車両及びこれと自車両の距離に基づいて、運転者が意図的に車線を逸脱する可能性があるか否かを判定する装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−３２１６９０号公報
【特許文献２】特開２００７−２６４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に代表される従来の技術は、自車両前方の風景が撮像された画像データ以外に、横加速度等の車両状態量データや、操舵角及び操舵トルク等の運転操作量データが利用される。これらのデータは、車両制御に関わる重要な車両情報であり、カーエリアネットワーク（ＣＡＮ）等の自車両情報網で伝送される。ＣＡＮでは、情報伝送における信頼性を確保するため、車両の出荷後にユーザが車両情報を取り出せるインタフェースが設けられていないのが一般である。すなわち、特許文献１に記載された発明を適用するには、車両の製造者側で、ＣＡＮから車両情報を取り出すインタフェースを設けることが前提となり、汎用性に欠ける。
【０００５】
また、特許文献２に代表される従来の技術では、自車両前方の風景が撮像された画像を画像処理した結果から、自車両の車線位置及び前方を走行する他車両に加えて、他車両と自車両との距離も取得する。このように画像情報のみから得られた情報に基づいて、運転者が意図的に車線を逸脱する可能性があるか否かを判定するため、車外環境によっては、上記判定の信頼性が下がる場合がある。例えば、雨天や降雪時、夜間では、自車両の車線位置や他車両と自車両との距離のような定量的なデータが正確に得られない。
【０００６】
この発明は、上記のような課題を解決するためになされたもので、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができる車線逸脱判定装置、車線逸脱警報装置及びナビゲーション装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る車線逸脱判定装置は、車両内の電源ライン又は信号ラインから、方向指示灯の点滅制御周期及び制御信号波形のノイズ成分データを検出する検出部と、検出部で検出されたノイズ成分データを、方向指示灯の点滅制御信号判定用の閾値と比較した結果に基づいて、方向指示灯の点滅を判定する方向指示灯点滅判定部と、車両の走行車線の逸脱が検出されると、方向指示灯点滅判定部による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部とを備える。
【発明の効果】
【０００８】
この発明によれば、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができるという効果がある。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による車線逸脱警報装置の構成を示すブロック図である。
【図２】超広角リアカメラの取り付けの一例を示す図である。
【図３】実施の形態１の車線逸脱警報装置による動作の流れを示すフローチャートである。
【図４】超広角リアカメラの映像の一例を示す図である。
【図５】この発明の実施の形態２による車線逸脱警報装置の構成を示すブロック図である。
【図６】ウィンカランプの点滅音の集音形態を示す図である。
【図７】実施の形態２の車線逸脱警報装置による動作の流れを示すフローチャートである。
【図８】この発明の実施の形態３による車線逸脱警報装置の構成を示すブロック図である。
【図９】ウィンカ制御信号の取得形態を示す図である。
【図１０】実施の形態３の車線逸脱警報装置による動作の流れを示すフローチャートである。
【図１１】この発明の実施の形態４によるナビゲーション装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１による車線逸脱警報装置の構成を示すブロック図である。図１において、実施の形態１の車線逸脱警報装置１は、超広角リアカメラ２で撮影された映像データからウィンカランプ点灯状態を認識した結果に基づいて、運転者が意図的に車線を逸脱したか否かを判定し、意図しない車線の逸脱であれば、運転者に対して警報を行う。その構成として、超広角リアカメラ２、車線逸脱判定装置３、アラーム波形生成部４及びスピーカ５を備える。
【００１１】
超広角リアカメラ２は、視野画角が１９０度以上のカメラであり、少なくともウィンカランプが被写体に含まれる位置に取り付けられる。
図２は、超広角リアカメラ２の取り付けの一例を示す図である。図２に示すように、視野画角が１９０度以上のカメラは、超広角リアカメラ２として車両６の後部バンパー６ａ付近に取り付けると、車両後方の風景に加えて、バンパー６ａ及び左右のウィンカランプ７ａ，７ｂも視野範囲に含まれる。このような超広角リアカメラ２は、駐車支援用の車両後方の映像を得るカメラシステムとして普及してきており、また車両の出荷後にユーザが取り付け可能なカメラキットもある。
【００１２】
また、車線逸脱判定装置３は、超広角リアカメラ２で撮影された映像データからウィンカランプの点灯状態を認識した結果に基づいて、運転者が意図的に車線を逸脱したか否かを判定する装置である。
アラーム波形生成部４は、車線検出逸脱判定部３１の制御に従って所定の波形パターンの警報音データを生成する構成部であり、生成した警報音データは、スピーカ５を介して音放射される。スピーカ５は、車内に設けられ、運転者に対して警報音を音放射する。
【００１３】
また、車線逸脱判定装置３は、画像歪み補正部３０、車線検出逸脱判定部３１、ウィンカ位置特徴検出部３２及びウィンカ点滅認識判定部３３を備える。
画像歪み補正部３０は、超広角リアカメラ２で撮影された映像データの画像歪み補正を行う構成部である。
車線検出逸脱判定部３１は、画像歪み補正部３０で補正された映像データから自車両の走行道路上の車線を画像認識し、認識した車線を自車両が逸脱しているか否かを判定する構成部である。また、車線検出逸脱判定部３１は、車両の走行車線の逸脱を検出すると、ウィンカ点滅認識判定部３３の判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部として機能する。
【００１４】
ウィンカ位置特徴検出部３２は、超広角リアカメラ２で撮影された映像中のウィンカランプ位置を特定する構成部である。なお、超広角リアカメラ２は、視野方向が固定されており、その視野範囲には左右のウィンカランプが含まれる。従って、左右のウィンカランプは、超広角リアカメラ２で撮影された映像中の特定の位置に映し出される。
【００１５】
ウィンカ点滅認識判定部３３は、ウィンカ位置特徴検出部３２で前処理を施された映像中にウィンカランプの点滅制御に対応する周期で変化する画像特徴があるか否かに基づいて、左右のウィンカランプの点滅制御の有無を判定する構成部である。上記画像特徴は、ウィンカランプの色の波長と点滅パターンリズムから予め規定しておく。
【００１６】
なお、画像歪み補正部３０、車線検出逸脱判定部３１、ウィンカ位置特徴検出部３２、ウィンカ点滅認識判定部３３、及びアラーム波形生成部４は、例えば、この発明の趣旨に従う車線逸脱判定警報用プログラムを、車線逸脱警報装置１として機能するコンピュータのプロセッサに実行させることにより、ハードウェアとソフトウェアが協働した具体的な手段として実現される。また、歪み補正はプロセッサの過負荷になる可能性があるので、画像歪み補正部３０については、専用の画像処理チップとしてハードウェアで実現してもかまわない。
【００１７】
次に動作について説明する。
図３は、実施の形態１の車線逸脱警報装置による動作の流れを示すフローチャートであり、この図３に沿って運転者が意図した車線逸脱であるか否かの判定処理を説明する。
超広角リアカメラ２で撮影された映像データは、不図示のビデオデコーダによってプロセッサで処理可能な形式に変換された後、画像歪み補正部３０及びウィンカ位置特徴検出部３２へそれぞれ入力される。
【００１８】
画像歪み補正部３０は、入力した映像データの画像歪み補正を行う。例えば、超広角リアカメラ２で撮影された映像から自車両の走行車線を検出するために必要な後方の風景が含まれる画像領域を切り出して、切り出した画像領域の歪み補正を行う。歪み補正された映像データは、車線検出逸脱判定部３１へ出力される。
【００１９】
車線検出逸脱判定部３１では、画像歪み補正部３０で補正された映像データから自車両の走行道路上の車線を画像認識し、この車線と自車両との相対的な位置関係を示す逸脱量を所定の閾値と比較した結果に応じて、自車両が車線を逸脱しているか否かを判定する。
なお、車両と車線との相対的な位置関係に応じて段階的に警報を行うために、逸脱量の閾値を特定の範囲で設定してもよい。
ここまでの処理がステップＳＴ１の走行車線の監視処理に相当する。なお、超広角リアカメラ２を用いた車線逸脱の監視は、ユーザが動作開始を設定した場合、決められた時間周期で実行される。
【００２０】
一方、ウィンカ位置特徴検出部３２は、超広角リアカメラ２で撮影された映像データの画像中のウィンカランプ７ａ，７ｂの位置を特定し、さらにウィンカランプ７ａ，７ｂの点滅判定を行うための前処理として、超広角リアカメラ２で撮影した映像の輝度及びコントラスト等の画像特性を正規化する。映像中のウィンカランプ７ａ，７ｂの位置は、画像特性が正規化された当該映像データとともにウィンカ点滅認識判定部３３へ送られる。
【００２１】
ウィンカ点滅認識判定部３３では、車線検出逸脱判定部３１により自車両が車線を逸脱していることが検出されると（ステップＳＴ２）、ウィンカ位置特徴検出部３２によって特定されたウィンカランプ７ａ，７ｂの位置に基づいて、前処理を施された映像におけるウィンカランプ７ａ，７ｂの画像領域を画像解析して当該領域の画像特徴を抽出する。次いで、ウィンカ点滅認識判定部３３は、抽出した画像特徴を、予め設定されたウィンカランプの点滅周期に合致する画像特徴を示す参照比較データと比較して、両者が合致するか否かに基づいて、左右のウィンカランプ７ａ，７ｂの点滅制御の有無を判定する（ステップＳＴ３）。その判定結果は、車線検出逸脱判定部３１へ送られる。
【００２２】
車線検出逸脱判定部３１は、ウィンカ点滅認識判定部３３によって左右のウィンカランプ７ａ，７ｂのいずれかに点滅制御があると判定されると（ステップＳＴ３；ＹＥＳ）、運転者が意図した車線逸脱（車線変更など）であると判断して、アラーム波形生成部４に警報鳴動を指示しない。この後、ステップＳＴ１の処理に戻って、走行車線の監視を継続する。
【００２３】
また、ウィンカ点滅認識判定部３３によってウィンカランプ７ａ，７ｂのいずれも点滅制御がないと判定されると（ステップＳＴ３；ＮＯ）、車線検出逸脱判定部３１は、運転者が意図していない車線逸脱であると判断して、アラーム波形生成部４に警報鳴動を指示する。なお、逸脱量の閾値が特定の範囲で設定されている場合、車線検出逸脱判定部３１は、自車両の車線逸脱量がどの閾値範囲に属するかに応じた逸脱レベルを、アラーム波形生成部４に通知する。
【００２４】
アラーム波形生成部４は、車線検出逸脱判定部３１からの指示に従って、自車両の逸脱レベルに応じた波形パターンの警報音データを生成し、生成した警報音データをスピーカ５に出力する。スピーカ５は、アラーム波形生成部４から入力された逸脱レベルに応じた警報音データを音放射する。これにより、運転者に対して警報鳴動がなされる（ステップＳＴ４）。
【００２５】
図４は、超広角リアカメラの映像の一例を示す図である。図４に示すように、超広角リアカメラ２は視野画角が１９０度以上あるので、カメラレンズ端よりも後方の映像も撮影できる。このため、自車両のバンパー６ａ及びウィンカランプ７ａ，７ｂについても後方風景と同時に撮影することができる。
【００２６】
図４（ａ）に示す撮影映像２Ａでは、左右の車線ａ１，ａ２の間を自車両が適切に走行している場合を示している。この場合、車線逸脱がないため、ウィンカ点滅認識判定部３３が、撮影映像２Ａを画像解析することにより、ウィンカランプ７ａ，７ｂがいずれも点滅制御されていないと判定される。
【００２７】
図４（ｂ）に示す撮影映像２Ｂでは、右の車線ａ１を自車両が逸脱して走行した場合を示している。この場合、自車両の車線の逸脱に応じて、ウィンカ点滅認識判定部３３が、撮影映像２Ｂを画像解析することにより、右のウィンカランプ７ａが点滅制御されていると判定される。この判定結果を受けると、車線検出逸脱判定部３１は、運転者が右折するために意図的に車線を逸脱していると判断して、アラーム波形生成部４に警報鳴動を指示しない。
【００２８】
以上のように、この実施の形態１によれば、車両周辺が撮影された映像中のウィンカランプ７ａ，７ｂの位置を検出するウィンカ位置特徴検出部３２と、ウィンカ位置特徴検出部３２で検出された映像中の方向指示灯の位置における画像特徴を、ウィンカランプ７ａ，７ｂの点滅制御に対応する周期で変化する画像特徴と比較した結果に基づいて、ウィンカランプ７ａ，７ｂの点滅を判定するウィンカ点滅認識判定部３３と、車両の走行車線の逸脱が検出されると、ウィンカ点滅認識判定部３３による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する車線検出逸脱判定部３１とを備える。
特に、この車線逸脱判定装置３を備えた車線逸脱警報装置１において、アラーム波形生成部４及びスピーカ５が、車線検出逸脱判定部３１により運転者が意図した車線逸脱であると判定されると、警報を出力しないようにする。
このようにすることで、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができる。つまり、ＣＡＮ等の車両制御情報網を使用せずに運転者が意図した車線変更であるかを判定できる。これにより、運転者が意図した車線変更であるときには警報鳴動を行わず、また、出荷後にユーザが取り付けできる構成であることから、汎用的に適応することができる。
【００２９】
実施の形態２．
図５は、この発明の実施の形態２による車線逸脱警報装置の構成を示すブロック図であり、図１と同一構成要素には同一符号を付して説明を省略する。図５において、実施の形態２の車線逸脱警報装置１Ａは、広角リアカメラ２ａで撮影された映像データを画像解析した結果から車両の車線逸脱が検出されると、ウィンカランプの点滅音の検出結果から運転者が意図した車線逸脱であるか否かを判定し、意図しない車線の逸脱であれば、運転者に警報を行う。その構成として、広角リアカメラ２ａ、車線逸脱判定装置３Ａ、アラーム波形生成部４、スピーカ５、マイク８及び増幅・帯域フィルタ８ａを備える。
【００３０】
広角リアカメラ２ａは、視野画角が１４０度程度のカメラであり、上記実施の形態１で示した超広角リアカメラ２と異なって、自車両のウィンカランプや後部バンパーの一部は視野範囲に含まれない。このような広角リアカメラ２ａは、駐車支援用の後方映像を得るカメラとして超広角リアカメラ２よりも普及している。
【００３１】
また、車線逸脱判定装置３Ａは、広角リアカメラ２ａで撮影された映像データから車線を画像認識した結果に基づいて自車両の車線逸脱を監視し、車両の車線逸脱が検出されると、ウィンカランプの点滅音の検出結果から、運転者が意図した車線の逸脱であるか否かを判定する装置である。
【００３２】
マイク８は、車内に設けられ、ウィンカランプの点滅音を集音するマイクである。増幅・帯域フィルタ８ａは、マイク８で集音した音データを増幅して、増幅した音データからウィンカランプの点滅音の周波数帯域のみを通過するフィルタ処理を施す構成部である。この増幅・帯域フィルタ８ａによって車内の周辺ノイズを除去された音データは、ウィンカ点滅音特徴検出部３４に出力される。
【００３３】
また、車線逸脱判定装置３Ａは、画像歪み補正部３０Ａ、車線検出逸脱判定部３１Ａ、ウィンカ点滅認識判定部３３Ａ及びウィンカ点滅音特徴検出部３４を備える。
画像歪み補正部３０Ａは、広角リアカメラ２ａで撮影された映像データの画像の歪み補正を行う構成部である。
車線検出逸脱判定部３１Ａは、画像歪み補正部３０Ａで補正された映像データから自車両の走行道路上の車線を画像認識し、認識した車線を自車両が逸脱しているか否かを判定する構成部である。また、車線検出逸脱判定部３１Ａは、車両の走行車線の逸脱を検出すると、ウィンカ点滅認識判定部３３Ａの判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部として機能する。
【００３４】
ウィンカ点滅認識判定部３３Ａは、ウィンカ点滅音特徴検出部３４によって検出されたウィンカランプの点滅音の音響特徴を含む音データと、予め設定されたウィンカランプの点滅音の音響特徴に関する所定の閾値との比較結果に基づいて、左右のウィンカランプの点滅制御の有無を判定する構成部である。ウィンカランプの点滅音の音響特徴としては、点滅パターンやその周波数特性が挙げられる。
ウィンカ点滅音特徴検出部３４は、増幅・帯域フィルタ８ａで処理された音データからウィンカランプの点滅音の音響特徴を含む音データを検出する構成部である。
【００３５】
図６は、ウィンカランプの点滅音の集音形態を示す図である。図６（ａ）の例は、車内６ｂに設けたマイク８によって、ウィンカランプを点滅させるリレースイッチのオンオフによる機械的な作動音を集音する場合を示している。また、図６（ｂ）は、ウィンカランプの点滅に同期してスピーカ９ａから音放射される電子音をマイク８で集音する場合を示している。いずれの場合も、車内の騒音から分離可能な音響特徴を有する。従って、この特徴を参照比較データとしてウィンカ点滅音特徴検出部３４に予め設定しておくことで、ウィンカランプの点滅音の音響特徴を含む音データを抽出可能である。
【００３６】
なお、画像歪み補正部３０Ａ、車線検出逸脱判定部３１Ａ、ウィンカ点滅認識判定部３３Ａ、ウィンカ点滅音特徴検出部３４、及びアラーム波形生成部４は、例えば、この発明の趣旨に従う車線逸脱判定警報用プログラムを、車線逸脱警報装置１Ａとして機能するコンピュータのプロセッサに実行させることにより、ハードウェアとソフトウェアが協働した具体的な手段として実現される。
【００３７】
次に動作について説明する。
図７は、実施の形態２の車線逸脱警報装置による動作の流れを示すフローチャートであり、この図７に沿って運転者が意図した車線逸脱であるか否かの判定処理を説明する。
広角リアカメラ２ａで撮影された映像データは、不図示のビデオデコーダによってプロセッサで処理可能な形式に変換された後、画像歪み補正部３０Ａへ入力される。
画像歪み補正部３０Ａは、入力した映像データの画像の歪み補正を行う。例えば、広角リアカメラ２ａで撮影された映像データの画像から自車両の走行車線を検出するために必要な後方の風景が含まれる画像領域を切り出し、切り出した画像領域の歪み補正を行う。歪み補正された映像データは、車線検出逸脱判定部３１Ａへ出力される。
【００３８】
車線検出逸脱判定部３１Ａでは、画像歪み補正部３０Ａで補正された映像データから、自車両の走行道路上の車線を画像認識し、この車線と自車両との相対的な位置関係を示す逸脱量を所定の閾値と比較した結果に応じて、自車両が車線を逸脱しているか否かを判定する。なお、車両と車線との相対的な位置関係に応じて段階的に警報を行うために、逸脱量の閾値を特定の範囲で設定してもよい。
ここまでの処理がステップＳＴ１ａの走行車線の監視処理に相当する。なお、広角リアカメラ２ａを用いた車線逸脱の監視は、ユーザが動作開始を設定した場合、決められた時間周期で実行される。
【００３９】
車線検出逸脱判定部３１Ａにより自車両が車線を逸脱していることが検出されると（ステップＳＴ２ａ）、マイク８が車内６ｂの音を集音し、その集音データを増幅・帯域フィルタ８ａへ出力する。増幅・帯域フィルタ８ａでは、マイク８から入力した集音データを増幅し、増幅した音データからウィンカランプの点滅音の周波数帯域のみを通過するフィルタ処理を施して、ウィンカ点滅音特徴検出部３４に出力する。
【００４０】
ウィンカ点滅音特徴検出部３４は、増幅・帯域フィルタ８ａで処理された音データと、予め設定されたウィンカランプの点滅音の音響特徴を示す参照比較データとを比較して、増幅・帯域フィルタ８ａで処理された音データのうち、この参照比較データの周波数特徴に合致する音データを、ウィンカランプの点滅音の音響特徴を含む音データとして検出する。検出された音データは、ウィンカ点滅認識判定部３３Ａへ送られる。
【００４１】
ウィンカ点滅認識判定部３３Ａは、ウィンカ点滅音特徴検出部３４によって検出されたウィンカランプの点滅音の音響特徴を含む音データと、予め設定されたウィンカランプの点滅音の音響特徴に関する所定の閾値との比較結果に基づいて、左右のウィンカランプの点滅制御の有無を判定する（ステップＳＴ３ａ）。その判定結果は、車線検出逸脱判定部３１Ａへ送られる。
【００４２】
車線検出逸脱判定部３１Ａは、ウィンカ点滅認識判定部３３Ａによって左右のウィンカランプのいずれかに点滅制御があると判定されると（ステップＳＴ３ａ；ＹＥＳ）、運転者が意図した車線逸脱（車線変更など）であると判断して、アラーム波形生成部４に警報鳴動を指示しない。この後、ステップＳＴ１ａの処理に戻って、走行車線の監視を継続する。
【００４３】
また、ウィンカ点滅認識判定部３３Ａによってウィンカランプのいずれも点滅制御がないと判定されると（ステップＳＴ３ａ；ＮＯ）、車線検出逸脱判定部３１Ａは、運転者が意図していない車線逸脱であると判断してアラーム波形生成部４に警報鳴動を指示する。なお、逸脱量の閾値が特定の範囲で設定されている場合、車線検出逸脱判定部３１Ａは、自車両の車線逸脱量がどの閾値範囲に属するかに応じた逸脱レベルを、アラーム波形生成部４に通知する。
【００４４】
アラーム波形生成部４は、車線検出逸脱判定部３１Ａからの指示に従って、自車両の逸脱レベルに応じた波形パターンの警報音データを生成し、生成した警報音データをスピーカ５に出力する。スピーカ５は、アラーム波形生成部４から入力された逸脱レベルに応じた警報音データを音放射する。これにより、運転者に対して警報鳴動がなされる（ステップＳＴ４ａ）。
【００４５】
以上のように、この実施の形態２によれば、車両内で集音された音データから、ウィンカランプの点滅音の音響特徴を含む音データを検出するウィンカ点滅音特徴検出部３４と、ウィンカ点滅音特徴検出部３４で検出されたウィンカランプの点滅音の音響特徴を含む音データを、ウィンカランプの点滅音の音響特徴に関する所定の閾値と比較した結果に基づいて、ウィンカランプの点滅を判定するウィンカ点滅認識判定部３３Ａと、車両の走行車線の逸脱が検出されると、ウィンカ点滅認識判定部３３Ａによる判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する車線検出逸脱判定部３１Ａを備える。
特に、この車線逸脱判定装置３Ａを備えた車線逸脱警報装置１Ａにおいて、アラーム波形生成部４及びスピーカ５が、車線検出逸脱判定部３１Ａにより運転者が意図した車線逸脱であると判定されると、警報を出力しないようにする。
このようにすることで、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができる。つまり、ＣＡＮ等の車両制御情報網を使用せずに運転者が意図した車線変更であるかを判定できる。これにより、運転者が意図した車線変更であるときには警報鳴動を行わず、また、出荷後にユーザが取り付けできる構成であることから、汎用的に適応することができる。
【００４６】
実施の形態３．
図８は、この発明の実施の形態３による車線逸脱警報装置の構成を示すブロック図であり、図１及び図５と同一構成要素には同一符号を付して説明を省略する。図８において、実施の形態３の車線逸脱警報装置１Ｂは、広角リアカメラ２ａで撮影された映像データを画像解析した結果から車両の車線逸脱が検出されると、ウィンカランプの制御信号の漏洩信号取得結果から運転者が意図した車線逸脱であるか否かを判定し、意図しない車線の逸脱であれば、運転者に警報を行う。その構成として、広角リアカメラ２ａ、車線逸脱判定装置３Ｂ、アラーム波形生成部４、スピーカ５、及び車両内の電源ライン１０と接続した直流成分除去部１０ａを備える。
【００４７】
直流成分除去部１０ａは、制御信号が電源ライン１０に漏洩してなるノイズ成分を抽出するため、電源ライン１０から電源に相当する直流成分を除去する構成部である。
車線逸脱判定装置３Ｂは、広角リアカメラ２ａで撮影された映像データから車線を画像認識した結果に基づいて自車両の車線逸脱を監視しており、車両の車線逸脱が検出されると、ウィンカランプの制御信号の漏洩信号取得結果から、運転者が意図した車線の逸脱であるか否かを判定する装置である。
【００４８】
また、車線逸脱判定装置３Ｂは、画像歪み補正部３０Ａ、車線検出逸脱判定部３１Ａ、ウィンカ点滅認識判定部３３Ｂ及びウィンカ制御信号検出部３５を備える。
ウィンカ点滅認識判定部３３Ｂは、ウィンカ制御信号検出部３５に検出されたウィンカ制御信号と推測されるノイズ成分と、ウィンカ制御信号の信号強度の閾値との比較結果に基づいて、ウィンカランプの点滅制御の有無を判定する構成部である。
ウィンカ制御信号検出部３５は、直流成分除去部１０ａにより得られた電源ライン１０のノイズ成分から、電源ライン１０に漏洩したウィンカ制御信号と推測されるノイズ成分を検出する構成部である。
【００４９】
図９は、ウィンカ制御信号の取得形態を示す図である。図９に示す例では、ウィンカ制御信号検出部３５が、ウィンカ制御ＥＣＵ（電子制御ユニット）１１へ電源を供給する電源ライン１０に接続しており、予め設定されたウィンカ制御信号波形の参照比較データに基づいて電源ライン１０に漏洩しているウィンカ制御信号と推測されるノイズ成分を濾波器３６で検出し、これを信号増幅部３７で増幅してウィンカ点滅認識判定部３３Ｂへ出力する。ウィンカ点滅認識判定部３３Ｂにおいては、信号判定部３８が、ウィンカ制御信号検出部３５に検出されたウィンカ制御信号と推測されるノイズ成分と、ウィンカ制御信号の信号強度の閾値との比較結果に基づいてウィンカランプの点滅制御の有無を判定する。この判定結果は、車線検出逸脱判定部３１Ａへ出力される。
【００５０】
なお、画像歪み補正部３０Ａ、車線検出逸脱判定部３１Ａ、ウィンカ点滅認識判定部３３Ｂ、ウィンカ制御信号検出部３５及びアラーム波形生成部４は、例えば、この発明の趣旨に従う車線逸脱判定警報用プログラムを、車線逸脱警報装置１Ｂとして機能するコンピュータのプロセッサに実行させることにより、ハードウェアとソフトウェアが協働した具体的な手段として実現される。
【００５１】
次に動作について説明する。
図１０は、実施の形態３の車線逸脱警報装置による動作の流れを示すフローチャートであり、この図に沿って運転者が意図した車線の逸脱であるか否かの判定処理を説明する。
広角リアカメラ２ａで撮影された映像データは、不図示のビデオデコーダによってプロセッサで処理可能な形式に変換された後、画像歪み補正部３０Ａへ入力される。
画像歪み補正部３０Ａは、入力した映像データの画像の歪み補正を行う。例えば、広角リアカメラ２ａで撮影された映像データの画像から自車両の走行車線を検出するために必要な後方の風景が含まれる画像領域を切り出し、切り出した画像領域の歪み補正を行う。歪み補正された映像データは、車線検出逸脱判定部３１Ａへ出力される。
【００５２】
車線検出逸脱判定部３１Ａでは、画像歪み補正部３０Ａで補正された映像データから、自車両の走行道路上の車線を画像認識し、この車線と自車両との相対的な位置関係を示す逸脱量を所定の閾値と比較した結果に応じて、自車両が車線を逸脱しているか否かを判定する。なお、車両と車線との相対的な位置関係に応じて段階的に警報を行うために、逸脱量の閾値を特定の範囲で設定してもよい。
ここまでの処理がステップＳＴ１ｂの走行車線の監視処理に相当する。なお、広角リアカメラ２ａを用いた車線逸脱の監視は、ユーザが動作開始を設定した場合、決められた時間周期で実行される。
【００５３】
車線検出逸脱判定部３１Ａにより自車両が車線を逸脱していることが検出されると（ステップＳＴ２ｂ）、直流成分除去部１０ａが、電源ライン１０から電源に相当する直流成分を除去し、電源ライン１０に重畳しているノイズ成分を増幅した後、ウィンカ制御信号検出部３５に出力する。
ウィンカ制御信号検出部３５では、直流成分除去部１０ａにより得られた電源ライン１０のノイズ成分と、予め設定されたウィンカ制御周期及び制御信号波形を示す参照比較用データとを比較して、電源ライン１０のノイズ成分のうち、この参照比較データの特徴に合致するノイズ成分を、ウィンカ制御信号と推測されるノイズ成分データとして検出する。この検出されたノイズ成分データは、ウィンカ点滅認識判定部３３Ｂへ送られる。
【００５４】
ウィンカ点滅認識判定部３３Ｂは、ウィンカ制御信号検出部３５に検出されたウィンカ制御信号と推測されるノイズ成分データと、予め設定されたウィンカ制御信号と判定する信号強度の閾値との比較結果に基づいて、左右のウィンカランプの点滅制御の有無を判定する（ステップＳＴ３ｂ）。その判定結果は、車線検出逸脱判定部３１Ａへ送られる。
【００５５】
車線検出逸脱判定部３１Ａは、ウィンカ点滅認識判定部３３Ｂによって左右のウィンカランプのいずれかに点滅制御があると判定されると（ステップＳＴ３ｂ；ＹＥＳ）、運転者が意図した車線逸脱（車線変更など）であると判断して、アラーム波形生成部４に警報鳴動を指示しない。この後、ステップＳＴ１ｂの処理に戻って、走行車線の監視を継続する。
【００５６】
また、ウィンカ点滅認識判定部３３Ｂによってウィンカランプのいずれも点滅制御がないと判定されると（ステップＳＴ３ｂ；ＮＯ）、車線検出逸脱判定部３１Ａは、運転者が意図していない車線逸脱であると判断してアラーム波形生成部４に警報鳴動を指示する。なお、逸脱量の閾値が特定の範囲で設定されている場合、車線検出逸脱判定部３１Ａは、自車両の車線逸脱量がどの閾値範囲に属するかに応じた逸脱レベルを、アラーム波形生成部４に通知する。
【００５７】
アラーム波形生成部４は、車線検出逸脱判定部３１Ａからの指示に従って、自車両の逸脱レベルに応じた波形パターンの警報音データを生成し、生成した警報音データをスピーカ５に出力する。スピーカ５は、アラーム波形生成部４から入力された逸脱レベルに応じた警報音データを音放射する。これにより、運転者に対して警報鳴動がなされる（ステップＳＴ４ｂ）。
【００５８】
なお、ウィンカ制御信号が漏洩するのは電源ラインだけでなく、その他の制御ラインにも重畳していることもある。従って、ウィンカ制御信号検出部３５をその他の制御ラインにも接続して、これらのラインからウィンカ制御信号を取り出すようにしてもよい。
例えば、ラジオのアンテナラインやパーキングブレーキの制御ライン等は、単線で車内を巡っているため、ウィンカ制御信号が漏洩する可能性がある。このように電源及びその他の信号ラインに重畳されているノイズ成分についてウィンカ制御周期及びその信号強度の振幅を解析することにより、ウィンカ制御信号を検出する。
【００５９】
以上のように、この実施の形態３によれば、車両内の電源ライン又は信号ラインから、ウィンカランプの点滅制御周期及び制御信号波形のノイズ成分データを検出するウィンカ制御信号検出部３５と、ウィンカ制御信号検出部３５で検出されたノイズ成分データを、ウィンカランプの点滅制御信号判定用の閾値と比較した結果に基づいて、ウィンカランプの点滅を判定するウィンカ点滅認識判定部３３Ｂと、車両の走行車線の逸脱が検出されると、ウィンカ点滅認識判定部３３Ｂによる判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する車線検出逸脱判定部３１Ａとを備える。
特に、この車線逸脱判定装置３Ｂを備えた車線逸脱警報装置１Ｂにおいて、アラーム波形生成部４及びスピーカ５が、車線検出逸脱判定部３１Ａにより運転者が意図した車線逸脱であると判定されると、警報を出力しないようにする。
このようにすることで、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができる。つまり、ＣＡＮ等の車両制御情報網を使用せずに運転者が意図した車線変更であるかを判定できる。これにより、運転者が意図した車線変更であるときには警報鳴動を行わず、また、出荷後にユーザが取り付けできる構成であることから、汎用的に適応することができる。
【００６０】
実施の形態４．
上記実施の形態１〜３による車線逸脱警報装置は、ナビゲーション装置や車両のＥＣＵの一つの機能として構成することができる。この実施の形態４では、上記実施の形態１〜３による車線逸脱警報装置をカーナビゲーション装置に適用した場合について述べる。
図１１は、この発明の実施の形態４によるナビゲーション装置の構成を示すブロック図である。図１１において、実施の形態４のナビゲーション装置１１は、上記実施の形態１〜３の車線逸脱警報装置の機能構成を備えたナビゲーション装置である。
ナビゲーション処理部１２は、ナビゲーション処理を行う構成部であり、例えば、ナビゲーション処理として経路誘導、経路探索及び地図表示等を行う。また、表示処理部１３は、ナビゲーション処理等で使用される画像をモニタ１４に表示する構成部である。例えば、地図画像や各種の操作画面の画像を表示する。モニタ１４は、表示処理部１３に制御されて画像表示を行う表示モニタであり、液晶モニタ等である。
【００６１】
車線検出逸脱判定部３１Ｂは、上記実施の形態１と同様に、画像歪み補正部３０で補正された映像データから自車両の走行道路上の車線を画像認識して、認識した車線を自車両が逸脱しているか否かを判定する構成部である。また、車線検出逸脱判定部３１Ｂは、車両の走行車線の逸脱を検出すると、ウィンカ点滅認識判定部３３Ｃの判定結果に基づいて運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部として機能する。
ウィンカ点滅認識判定部３３Ｃは、ウィンカ位置特徴検出部３２、ウィンカ点滅音特徴検出部３４及びウィンカ制御信号検出部３５のうちの少なくとも一つによる検出結果に基づいて、ウィンカランプの点滅制御の有無を判定する構成部である。
【００６２】
次に動作について説明する。
超広角リアカメラ２で撮影された映像データは、不図示のビデオデコーダによってプロセッサで処理可能な形式に変換された後、画像歪み補正部３０及びウィンカ位置特徴検出部３２へそれぞれ入力される。画像歪み補正部３０は、入力した映像データの画像歪み補正を行う。歪み補正された映像データは、車線検出逸脱判定部３１Ｂへ出力される。
車線検出逸脱判定部３１Ｂでは、画像歪み補正部３０で補正された映像データから自車両の走行道路の車線を画像認識し、この車線と自車両との相対的な位置関係を示す逸脱量を所定の閾値と比較した結果に応じて、自車両が車線を逸脱しているか否かを判定する。
【００６３】
一方、ウィンカ位置特徴検出部３２は、超広角リアカメラ２で撮影された映像中のウィンカランプの位置を特定し、さらにウィンカランプの点滅判定を行うための前処理として、超広角リアカメラ２で撮影した映像中の輝度及びコントラスト等の画像特性を正規化する。映像中のウィンカランプの位置は、画像特性が正規化された当該映像データとともにウィンカ点滅認識判定部３３Ｃへ送られる。
また、ウィンカ点滅音特徴検出部３４が、増幅・帯域フィルタ８ａで処理された音データと、予め設定されたウィンカランプの点滅音の音響特徴を示す参照比較データとを比較して、増幅・帯域フィルタ８ａで処理された音データのうち、この参照比較データの周波数特徴に合致する音データを、ウィンカランプの点滅音の音響特徴を含む音データとして検出する。検出された音データは、ウィンカ点滅認識判定部３３Ｃへ送られる。
さらに、ウィンカ制御信号検出部３５が、直流成分除去部１０ａにより得られた電源ライン１０のノイズ成分と、予め設定されたウィンカ制御周期及び制御信号波形を示す参照比較用データとを比較して、電源ライン１０のノイズ成分のうち、この参照比較データの特徴に合致するノイズ成分を、ウィンカ制御信号と推測されるノイズ成分データとして検出する。検出されたノイズ成分データは、ウィンカ点滅認識判定部３３Ｃへ送られる。
【００６４】
ウィンカ点滅認識判定部３３Ｃでは、車線検出逸脱判定部３１Ｂにより自車両が車線を逸脱していることが検出されると、ウィンカ位置特徴検出部３２、ウィンカ点滅音特徴検出部３４及びウィンカ制御信号検出部３５のうちの少なくとも一つによる検出結果に基づいて、上記実施の形態１〜３と同様にしてウィンカランプの点滅制御の有無を判定する。
例えば、ウィンカ位置特徴検出部３２、ウィンカ点滅音特徴検出部３４及びウィンカ制御信号検出部３５による各検出結果に判定の優先度を設けておき、優先度が高い検出結果を採用する。あるいは、各検出結果に重み付けを設定して判定してもよい。
【００６５】
車線検出逸脱判定部３１Ｂは、ウィンカ点滅認識判定部３３Ｃによって左右のウィンカランプのいずれかに点滅制御があると判定されると、運転者が意図した車線逸脱（車線変更等）であると判断して、アラーム波形生成部４に警報鳴動を指示しない。これにより、アラーム波形生成部４及びスピーカ５が、警報を出力しないようにすることができる。
【００６６】
また、ウィンカ点滅認識判定部３３Ｃによりウィンカランプのいずれも点滅制御されていないと判定されると、車線検出逸脱判定部３１Ｂは、運転者が意図しない車線逸脱であると判断して、アラーム波形生成部４に警報鳴動を指示する。
アラーム波形生成部４は、車線検出逸脱判定部３１Ｂからの指示に従って、自車両の逸脱レベルに応じた波形パターンの警報音データを生成し、この警報音データをスピーカ５に出力する。スピーカ５は、アラーム波形生成部４から入力された逸脱レベルに応じた警報音データを音放射する。これにより、運転者に対して警報鳴動がなされる。
このとき、ナビゲーション処理部１２が、車線検出逸脱判定部３１Ｂから運転者が意図しない車線逸脱である旨を通知されると、表示処理部１３に対して警告画像をモニタ１４に表示するよう指示する。
表示処理部１３は、ナビゲーション処理部１２の指示に従って、運転者が意図しない車線逸脱に対する警告画像あるいはテキストをモニタ１４に表示する。これにより、警告音のみならず、視覚的に注意喚起することができる。
【００６７】
なお、実施の形態４では、上記実施の形態１〜３による車線逸脱警報装置の機能構成を全て備えたナビゲーション装置１１を示したが、上記実施の形態１〜３のいずれかの車線逸脱警報装置を備える構成であってもよく、上記実施の形態１〜３のいずれかの車線逸脱警報装置の機能構成を組み合わせたものであってもよい。このように構成しても、同様の効果を得ることができる。
【００６８】
以上のように、この実施の形態４によれば、上記実施の形態１〜３による車線逸脱警報装置の少なくとも一つを組み込んでナビゲーション装置を構成したので、ナビゲーション装置１１において、ＣＡＮ等の車両制御情報網を使用せずに運転者が意図した車線変更であるかを判定することができる。これにより、運転者が意図した車線変更であるときには警報鳴動を行わず、また、出荷後にユーザが取り付けできる構成であることから、汎用的に適応することができる。
【００６９】
また、上記実施の形態２では、本発明をカーナビゲーション装置に適用した場合を示したが、携帯電話端末又は携帯情報端末（ＰＤＡ；Personal Digital Assistance）のナビゲーション装置として適用してもよい。また、車両、鉄道、船舶又は航空機等の移動体に、人が携帯して持ち込んで使用するＰＮＤ（Portable Navigation Device）等に適用してもかまわない。
【００７０】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００７１】
１，１Ａ，１Ｂ  車線逸脱警報装置、２  超広角リアカメラ、２ａ  広角リアカメラ、２Ａ，２Ｂ  撮影映像、３，３Ａ，３Ｂ  車線逸脱判定装置、４  アラーム波形生成部、５，９ａ  スピーカ、６ａ  後部バンパー、６ｂ  車内、７ａ，７ｂ  ウィンカランプ、８  マイク、８ａ  増幅・帯域フィルタ、１０  電源、１０ａ  直流成分除去部、１１  ナビゲーション装置、１２  ナビゲーション処理部、１３  表示処理部、１４  モニタ、３０，３０Ａ  画像歪み補正部、３１，３１Ａ，３１Ｂ  車線検出逸脱判定部、３２  ウィンカ位置特徴検出部、３３，３３Ａ，３３Ｂ，３３Ｃ  ウィンカ点滅認識判定部、３４  ウィンカ点滅音特徴検出部、３５  ウィンカ制御信号検出部。
【図１】
0005631250.tif 000002
【図２】
0005631250.tif 000003
【図３】
0005631250.tif 000004
【図４】
0005631250.tif 000005
【図５】
0005631250.tif 000006
【図６】
0005631250.tif 000007
【図７】
0005631250.tif 000008
【図８】
0005631250.tif 000009
【図９】
0005631250.tif 000010
【図１０】
0005631250.tif 000011
【図１１】
0005631250.tif 000012