(57)【要約】【課題】路面上の白線の有無に関わらず、車両の転針を検知する。【解決手段】転針検出装置２は、車両前方又は車両後方を写した２つの画像間における複数のオプティカルフローを計算するオプティカルフロー計算手段２１と、前記オプティカルフロー計算手段により計算された前記オプティカルフローの始点及び終点の一方が座標平面の原点に一致するように前記オプティカルフローを平行移動させ、前記平行移動後の前記オプティカルフローの始点及び終点の他方からなる点群の重心を計算する重心計算手段２２と、前記重心計算手段により計算された前記重心の位置に基づいて前記車両が転針しているかどうかを検出する転針検出手段２３とを備えている。【選択図】図２
2019091204.tif 000002
【特許請求の範囲】
【請求項１】
車両前方又は車両後方を写した２つの画像間における複数のオプティカルフローを計算するオプティカルフロー計算手段と、
前記オプティカルフロー計算手段により計算された前記オプティカルフローの始点及び終点の一方が座標平面の原点に一致するように前記オプティカルフローを平行移動させ、前記平行移動後の前記オプティカルフローの始点及び終点の他方からなる点群の重心を計算する重心計算手段と、
前記重心計算手段により計算された前記重心の位置に基づいて前記車両が転針しているかどうかを検出する転針検出手段と
を備えた転針検出装置。
【請求項２】
前記オプティカルフロー計算手段は、前記画像内で部分的に特定された横長の領域においてのみ前記オプティカルフローを計算するものである、請求項１に記載の転針検出装置。
【請求項３】
前記画像は広角カメラにより撮影されるものであり、
前記領域は前記画像の消失点を含むものである、請求項２に記載の転針検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は転針検出装置に関する。
【背景技術】
【０００２】
特許文献１には、車両に搭載される車載器が記載されている。この車載器は、車両前方を撮影する撮影部から撮影画像を受け付ける画像受付部と、車両の現在の走行速度を算出するための情報を受け付ける速度受付部と、画像受付部及び速度受付部に接続された制御部とを備えている。制御部は、撮影画像における消失点位置に基づいて車両の進路変化を検出し、且つ、車両の走行速度が所定の閾値より大きいことを識別した場合には、画像データの記録及び警報の出力の少なくとも一方を所定の動作として実行する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−７５８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、路面上の白線の有無に関わらず、車両の転針を検知することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明に係る転針検出装置は、車両前方又は車両後方を写した２つの画像間における複数のオプティカルフローを計算するオプティカルフロー計算手段と、前記オプティカルフロー計算手段により計算された前記オプティカルフローの始点及び終点の一方が座標平面の原点に一致するように前記オプティカルフローを平行移動させ、前記平行移動後の前記オプティカルフローの始点及び終点の他方からなる点群の重心を計算する重心計算手段と、前記重心計算手段により計算された前記重心の位置に基づいて前記車両が転針しているかどうかを検出する転針検出手段とを備えている。
【発明の効果】
【０００６】
本発明によれば、路面上の白線の有無に関わらず、車両の転針を検知することができる。
【図面の簡単な説明】
【０００７】
【図１】システムの説明図である。
【図２】コントローラの説明図である。
【図３】コントローラにより行われる処理のフローチャートである。
【図４】オプティカルフローを重畳表示した画像を示す説明図である。
【図５】座標平面を示す説明図である。
【図６】計算された重心を示す説明図である。
【発明を実施するための形態】
【０００８】
以下、本発明を図示の実施の形態に基づいて説明する。ただし、本発明は、以下に説明する実施の形態によって限定されるものではない。
【０００９】
図１に示すように、車両に搭載される転針検出システム１は、コントローラ（「転針検出装置」とも呼ぶ）２とカメラ３と表示部４とスピーカ５とを備えている。カメラ３と表示部４とスピーカ５とは、コントローラ２に接続される。
【００１０】
カメラ３は、車両後方を写した画像を撮影する。この画像は、コントローラ２に送られる。カメラ３は広角レンズを備えているため、カメラ３による画像には路面と空が両方写ることになる。
【００１１】
表示部４は、コントローラ２からの入力に基づいて、転針検出システム１が搭載されている車両の乗員に対し、当該車両が転針しているかどうかを視覚的に伝える装置である。表示部４は、転針検出システム１のための専用ディスプレイとすることができる。あるいは、カーナビゲーションシステムのディスプレイを表示部４として利用することも可能である。
【００１２】
スピーカ５は、コントローラ２からの入力に基づいて、乗員に対し、車両が転針状態にあることを音声で伝える装置である。スピーカ５は、転針検出システム１のための専用スピーカとすることができる。あるいは、転針検出システム１が搭載されている車両のオーディオ装置のスピーカをスピーカ５として利用することも可能である。
【００１３】
図２に示すように、コントローラ２は、オプティカルフロー計算手段２１と、重心計算手段２２と、転針検出手段２３とを備えている。各手段の処理内容は後述する。また、コントローラ２は、そのハードウェア構成として、各手段の機能を実行するように動作可能なプログラム及びデータを格納するメモリと、演算処理を行うプロセッサと、転針検出システム１内の他の装置とのインタフェースとを備えている。
【００１４】
図３は、転針検出装置２が行う処理のフローチャートである。まず、ステップＳ１にて、オプティカルフロー計算手段２１は、カメラ３により第１の時点において撮影された画像と、第１の時点よりも未来の第２の時点において撮影された画像とを取得する。これらの２つの画像のうち、第１の時点において撮影された画像を第１の画像とも呼び、第２の時点において撮影された画像を第２の画像とも呼ぶ。
【００１５】
ステップＳ２にて、オプティカルフロー計算手段２１は、ステップＳ１にて取得された２つの画像に基づいてオプティカルフローを計算する。オプティカルフローは、画像上のある点の動きを表すベクトルのことである。第１の画像内のある特徴点が第２の画像において移動している場合、その移動の向きと大きさを表すオプティカルフローを計算することができる。
【００１６】
広角レンズを備えたカメラ３により撮影された画像から計算されるオプティカルフローには、以下のような特徴がある。
・路面の領域内の特徴点の動きは、画像中心に向かうオプティカルフローを発生させやすい。
・空の領域内の点は、特徴点になりにくいため、オプティカルフローが生じないか、又は生じたとしてもその大きさは路面領域のオプティカルフローの大きさに比べて極端に小さい。
【００１７】
図４に、ステップＳ１にて取得された２つの画像のうちの第１の画像６を示す。符号６１は路面の領域を示し、符号６２は空の領域を示す。さらに、ステップＳ２にて計算されたオプティカルフローＦ１〜Ｆ８が画像６に重ね合わされている。符号Ｆ１ａ〜Ｆ８ａはそれぞれ、オプティカルフローＦ１〜Ｆ８の始点である。符号Ｆ１ｂ〜Ｆ８ｂはそれぞれ、オプティカルフローＦ１〜Ｆ８の終点である。
【００１８】
ステップＳ３にて、重心計算手段２２は、オプティカルフローＦ１〜Ｆ８の始点Ｆ１ａ〜Ｆ８ａが図５に示す座標平面の原点Ｏに一致するように、オプティカルフローＦ１〜Ｆ８を平行移動させる。この座標平面を、後述する重心の位置を評価するための評価用座標平面とも呼ぶ。この平行移動の前後を通じて、オプティカルフローＦ１〜Ｆ８の方向及び大きさは変わらない。
【００１９】
ステップＳ４にて、重心計算手段２２は、評価用座標平面におけるオプティカルフローＦ１〜Ｆ８の終点Ｆ１ｂ〜Ｆ８ｂからなる終点群の重心の座標（ｘｇ，ｙｇ）を次式にしたがって計算する。
【数１】
2019091204.tif 000003
ただし、ｎはオプティカルフローの数であり（本例ではｎ＝８）、ｘｋは第ｋ番目のオプティカルフローの終点のｘ座標であり、ｙｋは第ｋ番目のオプティカルフローの終点のｙ座標である。このようにして計算された重心Ｇの例を図６に示す。
【００２０】
ステップＳ５にて、転針検出手段２３は、評価用座標平面における重心の位置に応じて、車両が直進状態にあるのか転針状態にあるのかを判断する。重心がｙ軸上あるいはｙ軸の近傍（ｙ軸から所定距離の範囲内）に位置している場合、車両は直進状態にあると判断される。重心がｙ軸の近傍に位置しておらず、かつ第一象限Ｑ１に位置する場合、車両は車両前方を基準として右転針状態にあると判断される。重心がｙ軸の近傍に位置しておらず、かつ第二象限Ｑ２に位置する場合、車両は車両前方を基準として左転針状態にあると判断される。
【００２１】
なお、車両が前進している限り、重心が第三象限Ｑ３及び第四象限Ｑ４に位置することはない。車両が右転針状態又は左転針状態にあると判断された場合、転針検出手段２３は、車両が右転針状態又は左転針状態にある旨の発報をするよう、表示部４及びスピーカ５の少なくとも一方に命令を送る。
【００２２】
ステップＳ５ではさらに、転針検出手段２３は、横移動速度を推定する。横移動速度とは、上記２つの画像の間の、車幅方向に沿った車両の移動速度である。
【００２３】
ステップＳ６にて、転針検出手段２３は、横移動速度から横移動量を推定する。横移動量とは、上記２つの画像間の、車幅方向に沿った車両の移動量である。具体的には、上記第１の画像と上記第２の画像との間の重心の移動量を計算し、この重心移動量から車線内の自車移動量を計算する。画像上の重心移動量と車線内の自車移動量とは、一対一の対応関係にあると考えることができる。自車移動量の計算は、例えば、事前に実験を重ねて作成した参照表を使う方法が考えられる。本ステップにて推定された横移動量は、上述のメモリに記憶される。
【００２４】
ステップＳ７にて、転針検出手段２３は、上記２つの画像の少なくとも一方に白線が写っているかどうかを判断する。判断結果がＹｅｓである場合、後述するステップＳ１０が行われる。
【００２５】
ステップＳ７における判断結果がＮｏである場合、ステップＳ９にて転針検出手段２３は、横移動量に基づいて白線予想位置を補正する。
【００２６】
ステップＳ１０にて、転針検出手段２３は、白線位置を決定する。
【００２７】
以下に述べるステップＳ１１〜Ｓ１４は警報発報判定と呼ばれる。ステップＳ１１にて、転針検出手段２３は、車両が車線内の発報エリアに位置しているかどうかを判断する。この判断結果がＹｅｓである場合はステップＳ１２が行われ、さもなければステップＳ１に戻る。
【００２８】
ステップＳ１２にて、転針検出手段２３は、車両が左右の発報エリアのいずれに位置しているかを判断する。
車両が左の発報エリアに位置していると判断された場合は、ステップＳ１３にて、左に位置している旨の発報をするよう、表示部４及びスピーカ５の少なくとも一方に命令を送る。その後、ステップＳ１に戻る。
車両が右の発報エリアに位置していると判断された場合は、ステップＳ１４にて、右に位置している旨の発報をするよう、表示部４及びスピーカ５の少なくとも一方に命令を送る。その後、ステップＳ１に戻る。
【００２９】
ステップＳ５〜Ｓ７及びＳ９〜Ｓ１４の処理について補足する。白線が見つかれば（ステップＳ７の判断結果がＹＥＳであれば）、その白線を頼りに車線上での自車位置が計算される。白線が見つからなければ（ステップＳ７の判断結果がＮＯであれば）、ステップＳ６にて得られた横移動量の推定値を使って、「最後に白線が見つかった時点の白線位置」と、「その時点から積算したステップＳ６で出力された横移動量の総和」の足し算により、現在の車線上の自車位置推定値が計算される（ステップＳ９）。ステップＳ９の計算結果を用いて、自車両に対する白線位置が更新される（ステップＳ１０）。
【００３０】
［効果］
以上の実施形態は、広角レンズを備えたカメラにより撮影された画像において、オプティカルフローが車両の転針によって特徴的な変化をすることを利用するものである。この実施形態によれば、路面上の白線の有無及び形状に関わらず、すなわち画像内の路面に領域に白線が写っているかどうかとは無関係に、車両の転針を検出することができる。すなわち、ステップＳ１〜Ｓ５における転針の検知は路面上の白線の有無に関わらず行うことができる。
【００３１】
一般的には、加速度センサ、ヨーレートセンサ、舵角センサなどを用いることで車両の転針を推定することも可能である。しかし、本実施形態によれば、カメラ３以外の、車両の周囲の状態を捉えるセンサは不要である。そのため、転針検出システムの構成をシンプルにすることができ、コストも低減することができる。
【００３２】
［他の形態］
ステップＳ２におけるオプティカルフローの計算は、画像内の全領域について行うことが可能である。あるいは、画像の部分的な領域に限定してオプティカルフローを計算することもできる。部分的な領域の例を、図４の領域Ｒ１として示す。領域Ｒ１は、消失点Ｐを含み、かつ横長である。このように、オプティカルフローを計算する対象領域を限定することにより、画像の左右のベクトル分布の違いが後続の重心の計算に反映されやすくなり、かつ、オプティカルフローの計算量を低減することができる。
【００３３】
消失点Ｐの位置は、カメラ３の取付位置、光軸角度から前もって決めることができる。カーブした道路の走行中は、消失点Ｐの所定位置と現実の消失点の位置とが一致しない場合があるが、それをカバーできるように領域Ｒ１を定めることができる。
【００３４】
オプティカルフローを計算する対象領域をカメラ視野に合わせて更に小さくすることもできる。あるいは、対象領域を特異な形状にして特定の領域内のオプティカルフローのみを計算してもよい。対象領域は、カメラの視野角、電子的な歪除去の有無、自車の移動方向との関係で決まる。
【００３５】
ステップＳ３にて、重心計算手段２２は、オプティカルフローＦ１〜Ｆ８の終点Ｆ１ｂ〜Ｆ８ｂが図５に示した評価用座標平面の原点Ｏに一致するように、オプティカルフローＦ１〜Ｆ８を平行移動させることもできる。そして、ステップＳ４にて、重心計算手段２２は、評価用座標平面におけるオプティカルフローＦ１〜Ｆ８の始点Ｆ１ａ〜Ｆ８ａからなる始点群の重心の座標を計算することができる。ステップＳ５では、重心がｙ軸上あるいはｙ軸の近傍に位置している場合に、車両は直進状態にあると判断される。重心がｙ軸の近傍に位置しておらず、かつ第三象限Ｑ３に位置する場合、車両は車両前方を基準として右転針状態にあると判断される。重心がｙ軸の近傍に位置しておらず、かつ第四象限Ｑ４に位置する場合、車両は車両前方を基準として左転針状態にあると判断される。
【００３６】
カメラ３が車両前方を写した画像を撮影し、その画像に基づいてコントローラ２が処理を行うことも可能である。
【００３７】
図３に示したコントローラによる処理は、反復的に実行することができる。
【００３８】
前述した転針検出システム及び転針検出装置の機能的構成及び物理的構成は、前述の態様に限られるものではなく、例えば、各機能や物理資源を統合して実装したり、逆に、さらに分散して実装したりすることも可能である。
【００３９】
以上、本発明の実施の形態につき述べたが、本発明は既述の実施の形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。
【符号の説明】
【００４０】
１    転針検出システム
２    転針検出装置
２１  オプティカルフロー計算手段
２２  重心計算手段
２３  転針検出手段
３    カメラ
４    表示部
５    スピーカ
【図１】
2019091204.tif 000004
【図２】
2019091204.tif 000005
【図３】
2019091204.tif 000006
【図４】
2019091204.tif 000007
【図５】
2019091204.tif 000008
【図６】
2019091204.tif 000009