(57)【要約】【課題】周辺環境光の影響を受けにくく高精度に車両の移動状態を推定可能な技術の提供。【解決手段】本発明の移動状態推定システムは、車両の底面に備えられたカメラによって路面を撮像した路面画像を取得する路面画像取得部と、前記路面画像における特徴点の変位に基づいて前記車両の移動状態を推定する移動状態推定部と、を備える。【選択図】図２
2017091128.tif 000002
【特許請求の範囲】
【請求項１】
車両の底面に備えられたカメラによって路面を撮像した路面画像を取得する路面画像取得部と、
前記路面画像における特徴点の変位に基づいて前記車両の移動状態を推定する移動状態推定部と、
を備える移動状態推定システム。
【請求項２】
前記移動状態推定部は、異なる時刻において撮像された複数の前記路面画像間における前記特徴点の変位に基づいて前記車両の移動状態を推定する、
請求項１に記載の移動状態推定システム。
【請求項３】
前記移動状態推定部は、単一の時刻において撮像された単一の前記路面画像における前記特徴点の線像に基づいて前記特徴点の変位を取得し、当該特徴点の変位に基づいて前記車両の移動状態を推定する、
請求項１に記載の移動状態推定システム。
【請求項４】
前記移動状態推定部は、
異なる時刻において撮像された複数の前記路面画像間における前記特徴点の変位に基づいて特定した前記車両の移動状態である第１移動状態と、
単一の時刻において撮像された単一の前記路面画像における前記特徴点の線像に基づいて前記特徴点の変位を取得し、当該特徴点の変位に基づいて特定した前記車両の移動状態である第２移動状態の双方に基づいて、前記車両の移動状態を推定する、
請求項１に記載の移動状態推定システム。
【請求項５】
前記特徴点の変位は、路面に対する車体の傾きと接近度との少なくとも一方に基づいて補正される、
請求項１から請求項４のいずれか一項に記載の移動状態推定システム。
【請求項６】
前記車両の傾きと接近度との少なくとも一方は、前記路面上における前記路面画像の撮像範囲に対して複数の角度で投射された光の投射位置に基づいて特定される、
請求項５に記載の移動状態推定システム。
【請求項７】
車両の底面に備えられたカメラによって路面を撮像した路面画像を取得する路面画像取得工程と、
前記路面画像における特徴点の変位に基づいて前記車両の移動状態を推定する移動状態推定工程と、
を含む移動状態推定方法。
【請求項８】
車両の底面に備えられたカメラによって路面を撮像した路面画像を取得する路面画像取得機能と、
前記路面画像における特徴点の変位に基づいて前記車両の移動状態を推定する移動状態推定機能と、
をコンピュータに実現させる移動状態推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動状態推定システム、方法およびプログラムに関する。
【背景技術】
【０００２】
車両から前後左右のそれぞれの方向を撮像した地上投影画像の変化に基づいて車両の移動量を算出する技術が知られている（特許文献１、参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８-１７５７１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１において、車両から前後左右のそれぞれの方向を撮像した地上投影画像は周辺環境光の影響を受けやすく、算出した車両の移動量の精度が低くなり易いという問題があった。
本発明は、前記課題にかんがみてなされたもので、周辺環境光の影響を受けにくく高精度に車両の移動状態を推定可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記の目的を達成するため、本発明の移動状態推定システムは、車両の底面に備えられたカメラによって路面を撮像した路面画像を取得する路面画像取得部と、路面画像における特徴点の変位に基づいて車両の移動状態を推定する移動状態推定部と、を備える。
【０００６】
また、前記の目的を達成するため、本発明の移動状態推定方法は、車両の底面に備えられたカメラによって路面を撮像した路面画像を取得する路面画像取得工程と、路面画像における特徴点の変位に基づいて車両の移動状態を推定する移動状態推定工程と、を含む。
【０００７】
さらに、前記の目的を達成するため、本発明の移動状態推定プログラムは、車両の底面に備えられたカメラによって路面を撮像した路面画像を取得する路面画像取得機能と、路面画像における特徴点の変位に基づいて車両の移動状態を推定する移動状態推定機能と、をコンピュータに実現させる。
【０００８】
以上のように構成された本発明において、路面画像は、車両の底面に備えられたカメラによって撮像した路面の画像であるため、周辺環境光の影響を抑制できる。従って、周辺環境光の影響を受けにくく高精度に車両の移動状態を推定できる。カメラは車両とともに移動するため、路面画像における特徴点の変位に基づいて、路面に対する車両の移動状態を推定できる。
【図面の簡単な説明】
【０００９】
【図１】移動状態推定システムのブロック図である。
【図２】図２Ａは車両の平面透視図、図２Ｂは車両の側面図、図２Ｃ〜図２Ｆは路面画像を示す図である。
【図３】図３Ａは撮像のタイミングチャート、図３Ｂ，図３Ｄは車両の側面図、図３Ｃ，図３Ｅは路面画像を示す図、図３Ｆは換算係数のグラフである。
【図４】移動状態推定処理のフローチャートである。
【００１０】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）移動状態推定システムの構成：
（２）移動状態推定処理：
（３）他の実施形態：
【００１１】
（１）移動状態推定システムの構成：
図１は、本発明の一実施形態にかかる移動状態推定システムとしてのナビゲーション装置１０の構成を示すブロック図である。ナビゲーション装置１０は、車両に備えられている。ナビゲーション装置１０は、ＣＰＵ（Central Processing Unit），ＲＡＭ（Random Access Memory），ＲＯＭ（Random Access Read Only Memory）等を備える制御部２０と記録媒体３０とを備えており、記録媒体３０やＲＯＭに記憶されたプログラムを制御部２０が実行する。制御部２０は、移動状態推定プログラムとしてのナビゲーションプログラム２１を実行する。
【００１２】
ナビゲーション装置１０の記録媒体３０には、地図情報３０ａが記録されている。地図情報３０ａには、車両が走行する道路上に設定されたノードの位置等を示すノードデータ、ノード間を接続する道路区間の形状を特定するための形状補間点の位置等を示す形状補間データ、道路区間についての各種情報を示すリンクデータ、施設の属性等を示す施設データ等が含まれている。制御部２０は、地図情報３０ａに基づいて地図を描画する。
【００１３】
車両は、タッチパネルディスプレイ４１と４個の発光器４２ａ〜４２ｄとカメラ４３とを備えている。タッチパネルディスプレイ４１は、映像を画面に出力する出力装置と、画面における指等の接触位置によってユーザの入力を受け付ける入力装置とを兼ねる。タッチパネルディスプレイ４１は、制御部２０の制御の下で地図を表示する。
【００１４】
発光器４２ａ〜４２ｄは、車両の下面（底面）に備えられており、設置方向によって定まる光軸方向に光を出力する。発光器４２ａ〜４２ｄが発光する光は、カメラ４３が撮像可能な波長帯域の光であればよい。従って、カメラ４３が赤外線カメラであれば発光器４２ａ〜４２ｄは赤外線を発光し、カメラ４３が紫外線カメラであれば発光器４２ａ〜４２ｄは紫外線を発光し、カメラ４３が可視光のカメラであれば発光器４２ａ〜４２ｄは可視光を発光すればよい。本実施形態のカメラ４３は赤外線カメラであり、発光器４２ａ〜４２ｄは赤外線レーザ発振器である。ただし、発光器４２ａ〜４２ｄは、必ずしもレーザ発振器でなくてもよく、路面付近にて光束を絞り込む光学系を有する発光器であってもよい。本実施形態において、発光器４２ａ〜４２ｄは常時発光していることとする。
【００１５】
カメラ４３は、二次元のイメージセンサであり、車両の下面（底面）に備えられている。路面画像を撮像する。カメラ４３は、照明を備えており、当該照明はカメラ４３が撮像可能な波長の照明光を発光する。カメラ４３は、照明が発光した光が路面にて反射して形成された反射像を撮像する。路面画像は、各画素が赤外光の受光強度を示すグレースケール画像である。カメラ４３の照明光と発光器４２ａ〜４２ｄのレーザ光とは強度が大きく異なっており、路面画像を構成する画素のうち、発光器４２ａ〜４２ｄのレーザ光の反射光を受光した画素を明確に判別できる。なお、カメラ４３がカラーカメラである場合、カメラ４３が撮像可能な光の波長帯において、カメラ４３の照明と発光器４２ａ〜４２ｄとで光の波長を異ならせてもよい。
【００１６】
図２Ａは、発光器４２ａ〜４２ｄとカメラ４３の配置を説明する車両（四輪車）の透視平面図である。図２Ａは、車両を鉛直上方から見た図である。図２Ａに示すように、破線で示す車体Ｈの中央にカメラ４３が備えられている。カメラ４３は、実線で示す撮像範囲Ｒを撮像可能であり、撮像範囲Ｒの反射像を路面画像として撮像する。撮像範囲Ｒも車体Ｈの中央に位置している。平面視において矩形状の撮像範囲Ｒの四隅付近に発光器４２ａ〜４２ｄが備えられている。
【００１７】
図２Ｂは、発光器４２ａ〜４２ｄとカメラ４３を説明する車両の側面図である。図２Ｂは、車両側面下部を路面に平行な方向から見た図である。太線で示す撮像範囲Ｒがハッチングで示す路面上に形成されている。撮像範囲Ｒをカバーするように路面に一様な強度の照明光が投射される。また、発光器４２ａ〜４２ｄが発光したレーザ光（二点鎖線）の路面上の投射位置Ｅａ〜Ｅｄ（白三角）は撮像範囲Ｒ内に形成される。本実施形態において、車両の底面が路面に対して平行となる状態において、カメラ４３の主光軸（一点鎖線）が路面と直交する。図２Ａ，２Ｂに示すように、発光器４２ａ〜４２ｄが発光したレーザ光の方向は、互いに異なる方向であり、発光器４２ａ〜４２ｄのそれぞれの位置から撮像範囲Ｒの中央（カメラ４３の主光軸）に向かう方向である。
【００１８】
ナビゲーションプログラム２１は、ナビゲーションモジュール２１ａと路面画像取得モジュール２１ｂと移動状態推定モジュール２１ｃとを含む。
ナビゲーションモジュール２１ａは、車両の現在位置を示すマーカを地図上に表示させる機能を制御部２０に実現させる。すなわち、ナビゲーションモジュール２１ａの機能により制御部２０は、地図情報３０ａに基づいて現在位置の周辺の地図をタッチパネルディスプレイ４１上に表示し、当該地図上において車両の現在位置を示すマーカを重畳して表示する。なお、制御部２０は、公知の経路探索手法によって探索した移動予定経路を地図上に表示してもよい。さらに、制御部２０は、現在位置や移動予定経路を案内する音声を図示しないスピーカから出力してもよい。
【００１９】
路面画像取得モジュール２１ｂは、車両の底面に備えられたカメラ４３によって路面を撮像した路面画像を取得する機能を制御部２０に実現させる。具体的に、路面画像取得モジュール２１ｂの機能により制御部２０は、予め決められた時間周期（例えば１秒）ごとにカメラ４３が撮像した路面画像を連続して取得する。カメラ４３と制御部２０は、有線接続されていてもよいし、無線通信回線によって接続されてもよい。さらに、カメラ４３が撮像した路面画像を車両のＥＣＵ（Electronic Control Unit）が取得し、当該ＥＣＵを介して制御部２０が路面画像を取得してもよい。
【００２０】
移動状態推定モジュール２１ｃは、路面画像における特徴点の変位に基づいて車両の移動状態を推定する機能を制御部２０に実現させる。移動状態推定モジュール２１ｃの機能により制御部２０は、路面画像において特徴点を抽出する。投射位置Ｅａ〜Ｅｄを除き、カメラ４３は一様な照明光が投射された撮像範囲Ｒを撮像するため、路面が平坦で一様な反射率を有していれば、路面画像は受光強度が一様な画像となる。しかし、路面の一部に凹凸や汚れ等がある場合、他の部分とは受光強度が異なる特徴点が路面画像に表れることなる。例えば、制御部２０は、路面画像の受光強度のヒストグラムを作成し、最も度数が大きい受光強度を有している画素と、投射位置Ｅａ〜Ｅｄに対応する画素（以下、投射画素と表記）とを路面画像から除去することにより、特徴点を抽出する。なお、投射位置Ｅａ〜Ｅｄに対応する投射画素は、発光器４２ａ〜４２ｄから発光されたレーザ光の反射光の受光強度を示すため、照明光の反射光の受光強度を示す画素と区別することができる。また、特徴点は、路面の凹凸や汚れ等の形状に対応した形状を有することとなる。制御部２０は、特徴点の特徴（受光強度，形状）と路面画像における位置を記録媒体３０に記録する。
【００２１】
移動状態推定モジュール２１ｃの機能により制御部２０は、異なる時刻において撮像された複数の路面画像間における特徴点の変位に基づいて車両の移動状態を推定する。図２Ｃ，２Ｄは、開始時刻が異なる露光時間ｔ１，ｔ２にて撮像された路面画像Ｉを示す。露光時間ｔ１の路面画像Ｉにおいて星形の特徴点Ｐｔ１が抽出され、当該特徴点Ｐｔ１と類似する形状の特徴点Ｐｔ２が露光時間ｔ２の路面画像Ｉにおいても抽出されている。制御部２０は、特徴（受光強度，形状）が基準以上類似する特徴点Ｐｔ１，Ｐｔ２を、路面上の同一の凹凸や汚れ等に対応する特徴点Ｐｔ１，Ｐｔ２として抽出する。制御部２０は、路面画像Ｉにおいて特徴点Ｐｔ１を始点とし特徴点Ｐｔ２を終点とする変位ベクトルを取得する。制御部２０は、路面画像Ｉにおいて変位ベクトルと反対の方向を車両の移動方向として推定する。さらに、制御部２０は、変位ベクトルの長さを路面上の移動距離に換算し、当該換算した移動距離を露光時間ｔ１，ｔ２の開始時刻の差分で除算することにより移動速度を推定する。制御部２０は、路面画像Ｉにおける移動距離に換算係数Ｍを乗算することにより、路面上の移動距離を算出する。この換算係数Ｍは、カメラ４３の撮像倍率に対応しており、カメラ４３と路面との接近距離Ｇから導出される。接近距離Ｇについては後述する。以上のようにして、異なる時刻において撮像された複数の路面画像Ｉから導出された移動状態（移動速度、移動方向、移動距離）を第１移動状態と表記する。
【００２２】
さらに、移動状態推定モジュール２１ｃの機能により制御部２０は、単一の時刻において撮像された単一の路面画像Ｉにおける特徴点の線像に基づいて特徴点の変位を取得し、当該特徴点の変位に基づいて車両の移動状態を推定する。図２Ｅは、単一の時刻としての露光時間ｔ３にて撮像された路面画像Ｉを示す。同図に示すように、路面画像Ｉに特徴点の線像Ｌｔ３が表れている。特徴点の線像Ｌｔ３は、特徴的な受光強度を有する線であり、単一の露光時間ｔ３内における被写体ブレである。すなわち、移動速度が大きい場合、路面の凹凸や汚れ等が単一の露光時間ｔ３内にて大きく相対移動することとなり、露光開始時刻における路面の凹凸や汚れ等の像と露光終了時刻における路面の凹凸や汚れ等の像とを結ぶ線が特徴点の線像Ｌｔ３として表れることとなる。なお、制御部２０は、長辺と短辺とのアスペクト比が閾値以上の特徴点が抽出された場合に、特徴点の線像Ｌｔ３が抽出されたと判定してもよい。また、制御部２０は、ハフ変換等の線検出手法により特徴点の線像Ｌｔ３を抽出してもよい。
【００２３】
制御部２０は、特徴点の線像Ｌｔ３の両端を接続するベクトルを変位ベクトルとして取得する。そして、制御部２０は、変位ベクトルの方向と反対の方向を車両の移動方向として推定する。なお、特徴点の線像Ｌｔ３の両端のうち、どちらが始点であるかは単一の路面画像Ｉのみから不明であるが、直前に推定した移動方向に近い移動方向が得られるように変位ベクトルの方向（始点→終点）を定義してもよい。さらに、制御部２０は、変位ベクトルの長さに換算係数Ｍを乗算して路面上の移動距離に換算し、当該換算した移動距離を露光時間ｔ３の長さで除算することにより移動速度を推定する。以上のようにして、単一の時刻において撮像された単一の路面画像Ｉから導出された移動状態（移動速度、移動方向、移動距離）を第２移動状態と表記する。
【００２４】
なお、特徴点の線像Ｌｔ３も特徴的な線の太さや受光強度を有している。従って、図２Ｅ，２Ｆに示すように、制御部２０は、複数の露光時間ｔ３，ｔ４にて撮像された路面画像Ｉにおいて特徴（線の太さ，受光強度）が基準以上類似する特徴点の線像Ｌｔ３，Ｌｔ４を、路面上の同一の凹凸や汚れ等に対応する特徴点の線像Ｌｔ３，Ｌｔ４として抽出し、当該特徴点の線像Ｌｔ３，Ｌｔ４間（例えば始点同士）の変位ベクトルに基づいて車両の第１移動状態を推定することができる。
【００２５】
以上のようにして、単一の路面画像Ｉに特徴点の線像Ｌｔ３，Ｌｔ４が表れる場合、特徴点の線像Ｌｔ３，Ｌｔ４のそれぞれに基づいて露光時間ｔ３，ｔ４のそれぞれにおける第２移動状態が得られる。さらに、複数の路面画像Ｉに互いに類似する特徴点の線像Ｌｔ３，Ｌｔ４が表れる場合、特徴点の線像Ｌｔ３，Ｌｔ４間の変位に基づいて露光時間ｔ３〜ｔ４における第１移動状態が得られることとなる。
【００２６】
移動状態推定モジュール２１ｃの機能により制御部２０は、異なる時刻において撮像された複数の路面画像Ｉ間における特徴点の変位に基づいて特定した車両の移動状態である第１移動状態と、単一の時刻において撮像された単一の路面画像Ｉにおける特徴点の線像に基づいて特徴点の変位を取得し、当該特徴点の変位に基づいて特定した車両の移動状態である第２移動状態の双方に基づいて、車両の移動状態を推定する。移動状態推定モジュール２１ｃの機能により制御部２０は、第１移動状態と第２移動状態とを平均した値を最終的な移動状態として推定する。図３Ａに示すように、露光時間ｔ３の開始時刻から露光時間ｔ４の開始時刻までの期間ｔ３〜ｔ４について第１移動状態が推定されているとともに、露光時間ｔ３と露光時間ｔ４のそれぞれについて第２移動状態が推定されている。例えば、制御部２０は、露光時間ｔ３における第２移動状態としての移動速度Ｖ（ｔ３）と、露光時間ｔ４における第２移動状態としての移動速度Ｖ（ｔ４）との平均値を、期間ｔ３〜ｔ４における第２移動状態としての移動速度として算出する。そして、制御部２０は、期間ｔ３〜ｔ４における第１移動状態としての移動速度Ｖ（ｔ３〜ｔ４）と、期間ｔ３〜ｔ４における第２移動状態としての移動速度との平均値を、最終的な移動速度をとして推定する。なお、制御部２０は、第１移動状態の移動方向と、第２移動状態の移動方向とを平均した方向を最終的な移動方向として推定してもよい。なお、制御部２０は、第１移動状態と第２移動状態のそれぞれの信頼度に応じて第１移動状態と第２移動状態とを加重平均してもよい。例えば、特徴点の線像Ｌｔ３，Ｌｔ４間の類似度が小さいほど、単一の特徴点の線像Ｌｔ３，Ｌｔ４から導出される第２移動状態の重みを大きくして加重平均してもよい。
【００２７】
移動状態推定モジュール２１ｃの機能により制御部２０は、移動距離を移動方向に累積していくことにより、車両の現在位置を推定することができる。この現在位置を用いて地図の表示が行われる。制御部２０は、路面画像Ｉのみに基づいて現在位置を推定しなくてもよく、例えばＧＰＳ信号や自立航行軌跡やマップマッチング等によって現在位置を補正してもよいし、ＧＰＳ信号に基づいて現在位置の初期位置（移動距離を累積する初期位置）を取得してもよい。
【００２８】
次に、換算係数Ｍについて説明する。本実施形態において、特徴点の変位は、路面に対する車体の傾きと接近度との少なくとも一方に基づいて補正される。具体的に、移動状態推定モジュール２１ｃの機能により制御部２０は、車両の傾きと接近度とに応じて換算係数Ｍを導出し、路面画像Ｉにおける距離を路面上の移動距離に変換する際に換算係数Ｍを乗算することにより特徴点の変位を補正する。
【００２９】
また、車両の傾きと接近度との少なくとも一方は、路面上における路面画像Ｉの撮像範囲Ｒに対して複数の角度で投射された光の投射位置Ｅａ〜Ｅｄに基づいて特定される。移動状態推定モジュール２１ｃの機能により制御部２０は、路面画像Ｉにおいて、発光器４２ａ〜４２ｄから発光されたレーザ光の反射光の受光強度を示す画素の位置を、路面上の投射位置Ｅａ〜Ｅｄに対応する投射画素の位置として取得する。
【００３０】
図２Ｂは発光器４２ａ〜４２ｄから路面までの接近距離ＧがＧ１である状態を示し、図３Ｂは発光器４２ａ〜４２ｄから路面までの接近距離ＧがＧ１よりも小さいＧ２である状態を示している。また、図２Ｃ〜２Ｆは発光器４２ａ〜４２ｄから路面までの接近距離ＧがＧ１である場合の路面画像Ｉを示し、図３Ｃは発光器４２ａ〜４２ｄから路面までの接近距離ＧがＧ１よりも小さいＧ２である場合の路面画像Ｉを示している。接近距離Ｇが大きいほど、レーザ光がカメラ４３の主光軸に近い位置に進入したところで路面と交差するため、接近距離Ｇが大きいほど、投射位置Ｅａ〜Ｅｄに対応する投射画素の位置が路面画像Ｉの中央に近づくこととなる。移動状態推定モジュール２１ｃの機能により制御部２０は、投射位置Ｅａ〜Ｅｄに対応する投射画素の位置と、路面画像Ｉの中央との距離に基づいて、発光器４２ａ〜４２ｄごとに接近距離Ｇを推定する。発光器４２ａ〜４２ｄごとに接近距離Ｇを推定するため、発光器４２ａ〜４２ｄごとに接近距離Ｇが異なり得る。
【００３１】
図３Ｄは、前方の２個の発光器４２ａ，４２ｂから路面までの接近距離ＧがＧ２であり、後方の２個の発光器４２ｃ，４２ｄから路面までの接近距離ＧがＧ１である状態を示している。このように、発光器４２ａ〜４２ｄごとに接近距離Ｇを推定することにより、車両の路面に対する傾きを得ることができる。従って、移動状態推定モジュール２１ｃの機能により制御部２０は、路面画像Ｉにおける任意の画素に対応する路面上の位置と車体との間の接近距離Ｇを補間演算によって推定することができる。補間演算は、発光器４２ａ〜４２ｄごとの接近距離Ｇを、任意の画素から路面画像Ｉの四隅までの距離で加重平均することにより行われてもよい。
【００３２】
制御部２０は、特徴点Ｐｔ１，Ｐｔ２や特徴点の線像Ｌｔ３，Ｌｔ４に対応する路面上の位置と車体との間の接近距離Ｇを推定し、当該接近距離Ｇに対応する換算係数Ｍを取得する。図３Ｆは、換算係数Ｍと接近距離Ｇとの関係を示す。接近距離Ｇが小さいほどカメラ４３が路面に接近しているため、一画素に対応する路面上の移動距離が大きくなる。
従って、接近距離Ｇが小さいほど換算係数Ｍが大きくなる。なお、制御部２０は、特徴点Ｐｔ１，Ｐｔ２の間の距離を路面上の移動距離（第１移動状態）に変換するにあたり、特徴点Ｐｔ１，Ｐｔ２の中間の画素について接近距離Ｇを推定し、当該接近距離Ｇに対応する換算係数Ｍを使用してもよい。
【００３３】
また、露光時間ｔ１〜ｔ２間で接近距離Ｇが変化した場合、制御部２０は、変化前後の接近距離Ｇの平均値に対応する換算係数Ｍを使用してもよい。また、制御部２０は、特徴点の線像Ｌｔ３，Ｌｔ４の長さを路面上の移動距離（第２移動状態）に変換するにあたり、特徴点の線像Ｌｔ３，Ｌｔ４それぞれの中点の画素について接近距離Ｇを推定し、当該接近距離Ｇに対応する換算係数Ｍを使用してもよい。以上のように、接近距離Ｇに対応する換算係数Ｍを使用して移動距離を得ることにより、路面に対する車体の傾きと接近度に基づいて特徴点の変位を補正した上で、移動距離を得ることができる。
【００３４】
以上説明した本実施形態の構成において、路面画像Ｉは、車両の底面に備えられたカメラによって撮像した路面の画像であるため、周辺環境光の影響を抑制できる。従って、周辺環境光の影響を受けにくく高精度に車両の移動状態を推定できる。カメラ４３は車両とともに移動するため、路面画像Ｉにおける特徴点の変位に基づいて、路面に対する車両の移動状態を推定できる。
【００３５】
制御部２０は、異なる時刻において撮像された複数の路面画像Ｉ間における特徴点Ｐｔ１，Ｐｔ２の変位に基づいて車両の第１移動状態を推定する。これにより、複数の路面画像Ｉ間における特徴点の変位を、当該複数の路面画像Ｉ間を撮像した時刻間の長さ（時間）で除算した値に基づいて、移動速度を推定できる。また、複数の路面画像間における特徴点の変位の方向に基づいて、車両の移動方向を推定できる。
【００３６】
制御部２０は、単一の時刻において撮像された単一の路面画像Ｉにおける特徴点の線像Ｌｔ３，Ｌｔ４に基づいて特徴点の変位を取得し、当該特徴点の変位に基づいて車両の移動状態を推定する。単一の路面画像Ｉにおける特徴点の線像Ｌｔ３，Ｌｔ４は、単一の路面画像Ｉの露光時間ｔ３，ｔ４の始期における特徴点の位置と、当該露光時間ｔ３，ｔ４の終期における特徴点の位置とを接続する線であると考えることができる。従って、単一の路面画像Ｉにおける特徴点の線像Ｌｔ３，Ｌｔ４に基づいて特徴点の変位を取得できる。単一の露光時間ｔ３，ｔ４ごとに車両の第２移動状態を推定でき、第２移動状態を迅速に得ることができる。さらに、第１移動状態と第２移動状態の双方に基づいて、車両の移動状態を推定するため、推定された移動状態の信頼性を向上させることができる。
【００３７】
また、特徴点の変位が路面に対する車体の傾きと接近度に基づいて補正されるため、路面に対するカメラ４３の撮像距離や光軸方向が変動しても、当該変動の影響を相殺するように特徴点の変位を補正することにより、移動状態を高精度に推定できる。この車両の傾きと接近度とは、路面上における路面画像Ｉの撮像範囲Ｒに対して複数の角度で投射された光の投射位置Ｅａ〜Ｅｄに基づいて特定される。これにより、複数の角度で投射された光の投射位置Ｅａ〜Ｅｄを路面画像Ｉに基づいて特定でき、カメラ４３を個別に設けることなく車両の傾きと接近度とを得ることができる。
【００３８】
（２）移動状態推定処理：
次に、ナビゲーションプログラム２１によって実行される移動状態推定処理を説明する。図４は、移動状態推定処理のフローチャートである。まず、路面画像取得モジュール２１ｂの機能により制御部２０は、路面画像Ｉを取得する（ステップＳ１００）。次に、移動状態推定モジュール２１ｃの機能により制御部２０は、路面画像Ｉにおいて特徴点Ｐｔ２を抽出する（ステップＳ１１０）。なお、図２Ｅ，２Ｆに示すように、特徴点の線像Ｌｔ３，Ｌｔ４が抽出された場合、制御部２０は、特徴点の線像Ｌｔ３，Ｌｔ４の始点を特徴点の位置と見なす。
【００３９】
次に、移動状態推定モジュール２１ｃの機能により制御部２０は、投射画素に基づいて接近距離Ｇを推定する（ステップＳ１２０）。投射画素とは、発光器４２ａ〜４２ｄから発光されたレーザ光の路面における投射位置Ｅａ〜Ｅｄに対応する画素であり、レーザ光の強度に対応する受光強度を示す画素である。制御部２０は、路面画像Ｉにおける投射画素の位置に基づいて発光器４２ａ〜４２ｄごとに接近距離Ｇを推定する。ここで、路面画像Ｉにおける投射画素の位置が路面画像Ｉの中央に近いほど接近距離Ｇとして大きい距離が推定されることとなる。
【００４０】
次に、移動状態推定モジュール２１ｃの機能により制御部２０は、フレーム情報（不図示）を記録媒体３０に記録する（ステップＳ１３０）。フレーム情報とは、現在の路面画像Ｉ（フレーム）についての情報であり、抽出した特徴点Ｐｔ１，Ｐｔ２（特徴点の線像Ｌｔ３，Ｌｔ４の始点も含む）の特徴（受光強度、形状）や位置と、発光器４２ａ〜４２ｄごとに接近距離Ｇとを示す情報である。
【００４１】
次に、移動状態推定モジュール２１ｃの機能により制御部２０は、前フレームのフレーム情報を取得する（ステップＳ１４０）。前フレームとは、直前の撮像周期にて撮像された路面画像Ｉである。ここで、前フレームが露光時間ｔ１の路面画像Ｉ（図２Ｃ）であり、現在のフレームが露光時間ｔ２の路面画像Ｉ（図２Ｄ）であることとして説明する。
【００４２】
次に、移動状態推定モジュール２１ｃの機能により制御部２０は、フレーム間における特徴点Ｐｔ１，Ｐｔ２の変位ベクトルを取得する（ステップＳ１５０）。具体的に、制御部２０は、異なる時刻に撮像された２個の路面画像Ｉから、路面上の同一の凹凸や汚れ等に対応する特徴点Ｐｔ１，Ｐｔ２を抽出し、当該特徴点Ｐｔ１，Ｐｔ２間の変位に基づいて車両の移動状態を推定する。路面上の同一の凹凸や汚れ等に対応する特徴点Ｐｔ１，Ｐｔ２は、特徴（受光強度，形状）が基準以上類似する特徴点Ｐｔ１，Ｐｔ２である。制御部２０は、路面画像Ｉにおいて特徴点Ｐｔ１を始点とし特徴点Ｐｔ２を終点とする変位ベクトルを取得する。
【００４３】
次に、移動状態推定モジュール２１ｃの機能により制御部２０は、接近距離Ｇに対応する換算係数Ｍを取得する（ステップＳ１６０）。具体的に、制御部２０は、露光時間ｔ１，ｔ２における発光器４２ａ〜４２ｄの接近距離Ｇに基づいて、特徴点Ｐｔ１，Ｐｔ２の位置（特徴点Ｐｔ１，Ｐｔ２を結ぶ変位ベクトルの中点）に対応する接近距離Ｇを取得し、当該接近距離Ｇに対応する換算係数Ｍを取得する。
【００４４】
次に、移動状態推定モジュール２１ｃの機能により制御部２０は、第１移動状態を推定する（ステップＳ１７０）。すなわち、制御部２０は、変位ベクトルの方向の反対方向を移動方向として推定するとともに、変位ベクトルの長さに換算係数Ｍを乗算して得た移動距離を２個の路面画像Ｉが撮像された時刻間の期間（ｔ１〜ｔ２）の長さで除算することにより移動速度を推定する。
【００４５】
次に、移動状態推定モジュール２１ｃの機能により制御部２０は、特徴点の線像が抽出されたか否かを判定する（ステップＳ１８０）。すなわち、制御部２０は、短辺と長辺のアスペクト比が閾値以上となる特徴点の線像がステップＳ１１０にて抽出されていたか否かを判定する。ここで、現在のフレームが露光時間ｔ３の路面画像Ｉであり、特徴点の線像Ｌｔ３が抽出されたこととして以下説明する。
【００４６】
特徴点の線像Ｌｔ３が抽出されたと判定した場合（ステップＳ１８０：Ｙ）、移動状態推定モジュール２１ｃの機能により制御部２０は、特徴点の線像Ｌｔ３の両端を接続する変位ベクトルを取得する（ステップＳ２００）。すなわち、制御部２０は、露光開始時刻における特徴点の位置と、露光終了時刻における特徴点の位置とを接続する変位ベクトルを取得する。
【００４７】
次に、移動状態推定モジュール２１ｃの機能により制御部２０は、接近距離Ｇに対応する換算係数Ｍを取得する（ステップＳ２１０）。具体的に、制御部２０は、露光時間ｔ３における発光器４２ａ〜４２ｄの接近距離Ｇに基づいて、特徴点の線像Ｌｔ３の位置に対応する接近距離Ｇを取得し、当該接近距離Ｇに対応する換算係数Ｍを取得する。
【００４８】
次に、移動状態推定モジュール２１ｃの機能により制御部２０は、第２移動状態を推定する（ステップＳ２２０）。すなわち、制御部２０は、変位ベクトルの方向の反対方向を移動方向として推定するとともに、変位ベクトルの長さに換算係数Ｍを乗算して得た移距離を単一の露光時間ｔ３の長さで除算することにより移動速度を推定する。
【００４９】
次に、移動状態推定モジュール２１ｃの機能により制御部２０は、第１移動状態と第２移動状態とを平均した移動状態を出力する（ステップＳ２３０）。すなわち、制御部２０は、第１移動状態と第２移動状態とを平均した移動状態を最終的に推定された移動状態として出力する。これにより、ナビゲーションモジュール２１ａの機能により制御部２０は、最終的に推定された移動状態に基づいて車両の現在位置を推定したり、当該現在位置を示すマーカを重畳してタッチパネルディスプレイ４１上に表示したりすることができる。
【００５０】
一方、特徴点の線像が抽出されたと判定しなかった場合（ステップＳ１８０：Ｎ）、移動状態推定モジュール２１ｃの機能により制御部２０は、第１移動状態を出力する（ステップＳ１９０）。すなわち、制御部２０は、現在のフレームにおいては第２移動状態を推定することができないため、現在のフレームにおいて推定可能な第１移動状態をそのまま出力する。なお、移動速度が小さい場合に特徴点の線像が抽出されず第２移動状態が推定できないこととなる。
【００５１】
（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、本発明の効果を損なわない範囲で実施形態の変更が可能である。例えば、制御部２０は、第１移動状態と第２移動状態の一方のみを推定してもよい。
【００５２】
例えば、路面に対する車体の傾きと接近度は、距離センサや加速度センサやジャイロセンサの計測値に基づいて取得されてもよい。さらに、車両の傾きと接近度は、サスペンションの状態やタイヤの摩耗状態に基づいて取得されてもよい。さらに、発光器４２ａ〜４２ｄから出力されたレーザ光をカメラ４３とは別のカメラにて撮像してもよい。
【００５３】
また、前記実施携形態のように車体の傾きまで考慮しなくてもよく、一点（例えばカメラ４３の主光軸上）のみ接近距離Ｇを計測することにより、路面に対する車体の接近度のみを考慮してもよい。すなわち、制御部２０は、特徴点Ｐｔ１，Ｐｔ２や特徴点の線像Ｌｔ３，Ｐｔ４の位置に非依存の接近距離Ｇに対応する換算係数Ｍを取得してもよい。さらに、制御部２０は、実際の車体の傾きと接近度を計測することなく、車種ごとに一定の接近距離Ｇに対応する換算係数Ｍを取得してもよい。
【００５４】
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。車両の底面とは、車体表面のうち路面と向き合う面である。カメラは、車両の底面に備えられればよいが、できるだけ環境光の影響が少ない撮像範囲となるように光軸方向と画角とが設定されることが望ましい。例えば、鉛直方向から見た場合の車体の中央に光軸が位置するようにカメラが設けられてもよい。また、鉛直方向から見た場合の車体の外縁から規定の距離以上内側に撮像範囲が存在するようにカメラが設けられてもよい。カメラは、可視光が撮像可能なカメラであってもよいし、赤外光や紫外光が撮像可能なカメラであってもよい。例えば、赤外光を撮像可能なカメラを用いることで、環境光の影響が少ない路面画像を得ることができる。
【００５５】
路面画像取得部は、移動状態を推定するタイミングで撮像された路面画像を取得すればよく、周期的に撮像された路面画像を取得することにより移動状態を周期的に推定してもよい。路面画像取得部は、カメラから、直接、路面画像を取得してもよいし、車両を介して路面画像を取得してもよい。特徴点とは、路面画像において画像的な特徴を有する点であり、路面のうち特徴的な形状や色彩を有する点が撮像された点である。特徴点の変位とは、特徴点の移動距離や移動方向である。移動状態推定部は、特徴点の移動距離や移動方向に基づいて車両の移動距離や移動方向を推定できる。
【００５６】
また、移動状態推定部は、異なる時刻において撮像された複数の路面画像間における特徴点の変位に基づいて車両の移動状態を推定してもよい。すなわち、複数の路面画像間における特徴点の変位を、当該複数の路面画像間を撮像した時刻間の長さ（時間）で除算した値に基づいて、移動速度を推定できる。また、複数の路面画像間における特徴点の変位の方向に基づいて、車両の移動方向を推定できる。
【００５７】
さらに、移動状態推定部は、単一の時刻において撮像された単一の路面画像における特徴点の線像に基づいて特徴点の変位を取得し、当該特徴点の変位に基づいて車両の移動状態を推定してもよい。すなわち、単一の路面画像における特徴点の線像（いわゆる被写体ブレ）は、単一の路面画像の露光時間の始期における特徴点の位置と、当該露光時間の終期における特徴点の位置とを接続する線であると考えることができる。従って、単一の路面画像における特徴点の線像に基づいて特徴点の変位を取得できる。単一の露光時間ごとに車両の移動状態を推定でき、移動状態を迅速に得ることができる。
【００５８】
また、移動状態推定部は、異なる時刻において撮像された複数の路面画像間における特徴点の変位に基づいて特定した車両の移動状態である第１移動状態と、単一の時刻において撮像された単一の路面画像における特徴点の線像に基づいて特徴点の変位を取得し、当該特徴点の変位に基づいて特定した車両の移動状態である第２移動状態の双方に基づいて、車両の移動状態を推定してもよい。複数の路面画像間における特徴点の変位に基づいて特定した第１移動状態と、単一の路面画像における特徴点の線像に基づいて特定した第２移動状態の双方に基づいて、車両の移動状態を推定するため、推定された移動状態の信頼性を向上させることができる。
【００５９】
さらに、特徴点の変位は、路面に対する車体の傾きと接近度との少なくとも一方に基づいて補正されてもよい。これにより、路面に対するカメラの撮像距離や光軸方向が変動しても、当該変動の影響を相殺するように特徴点の変位を補正することにより、移動状態を高精度に推定できる。
【００６０】
また、車両の傾きと接近度との少なくとも一方は、路面上における路面画像の撮像範囲に対して複数の角度で投射された光の投射位置に基づいて特定されてもよい。複数の角度で投射された光の投射位置を路面画像に基づいて特定でき、カメラを個別に設けることなく車両の傾きと接近度との少なくとも一方を得ることができる。
【００６１】
さらに、車両の底面に備えられたカメラによって路面を撮像した路面画像に基づいて車両の移動状態を推定する手法は、プログラムや方法としても適用可能である。また、以上のような移動状態推定システム、プログラム、方法は、単独の移動状態推定システムとして実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような移動状態推定システムを備えたナビゲーションシステムや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、移動状態推定システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【符号の説明】
【００６２】
１０…ナビゲーション装置、２０…制御部、２１…ナビゲーションプログラム、２１ａ…ナビゲーションモジュール、２１ｂ…路面画像取得モジュール、２１ｃ…移動状態推定モジュール、３０…記録媒体、３０ａ…地図情報、４１…タッチパネルディスプレイ、４２ａ〜４２ｄ…発光器、４３…カメラ，…受光強度、Ｅａ〜Ｅｄ…投射位置、Ｇ…接近距離、Ｈ…車体、Ｉ…路面画像、Ｌｔ３…線像、Ｌｔ３，Ｌｔ４…特徴点の線像、Ｍ…換算係数、Ｐｔ１，Ｐｔ２…特徴点、Ｒ…撮像範囲、ｔ３〜ｔ４…露光時間、Ｖ…移動速度
【図１】
2017091128.tif 000003
【図２】
2017091128.tif 000004
【図３】
2017091128.tif 000005
【図４】
2017091128.tif 000006