(57)【要約】【課題】車両の速度が比較的低い場合であっても、車両のピッチ角を精度良く推定する。【解決手段】推定装置１０Ａは、車両１２に設けられ、車両１２の前方及び後方の少なくとも一方の画像を撮像する撮像部１４と、第１時刻に撮像部１４により撮像された画像内の所定領域の位置、及び第１時刻より後の第２時刻に撮像部１４により同一方向に対して撮像された画像内の所定領域に対応する領域の位置に基づいて、所定領域の垂直方向の移動量を算出する移動量算出部２４と、移動量算出部２４により移動量が算出される毎に、該移動量の積算値を算出する移動量積算部２６と、過去の所定期間内における移動量積算部２６により算出された移動量の積算値の時系列データに基づいて、移動量積算部２６により算出された現時点の積算値を補正する補正部３０と、補正部３０により補正された積算値に基づいて、車両１２のピッチ角を推定する推定部３２と、を含む。【選択図】図１
2017020942.tif 000002
【特許請求の範囲】
【請求項１】
車両に設けられ、該車両の前方及び後方の少なくとも一方の画像を撮像する撮像手段と、
第１時刻に前記撮像手段により撮像された画像内の所定領域の位置、及び前記第１時刻より後の第２時刻に前記撮像手段により同一方向に対して撮像された画像内の前記所定領域に対応する領域の位置に基づいて、前記所定領域の垂直方向の移動量を算出する算出手段と、
前記算出手段により前記移動量が算出される毎に、該移動量の積算値を算出する積算手段と、
過去の所定期間内における前記積算手段により算出された前記移動量の積算値の時系列データに基づいて、前記積算手段により算出された現時点の前記積算値を補正する補正手段と、
前記補正手段により補正された前記積算値に基づいて、前記車両のピッチ角を推定する推定手段と、
を含む推定装置。
【請求項２】
前記補正手段は、前記移動量の積算値の時系列データの平均値を補正量として用いて現時点の前記積算値を補正する
請求項１記載の推定装置。
【請求項３】
前記補正手段は、前記移動量の積算値の時系列データを近似して得られる外挿値を、補正量として算出し、該補正量を用いて現時点の前記積算値を補正する
請求項１記載の推定装置。
【請求項４】
前記補正手段は、前記移動量の積算値の時系列データと、前記積算手段により算出された現時点の前記積算値とに基づいて、現時点における定常状態からの前記画像の垂直方向のずれ量として、補正した現時点の前記積算値を算出する
請求項１から請求項３の何れか１項記載の推定装置。
【請求項５】
前記所定領域は、遠近法における消失点を含む領域とされている
請求項１から請求項４の何れか１項記載の推定装置。
【請求項６】
前記補正手段は、補正する時点が遅くなるほど前記所定期間を長い期間として、現時点の前記積算値を補正する
請求項１から請求項５の何れか１項記載の推定装置。
【請求項７】
前記算出手段は、パターンマッチングにより前記第１時刻の前記所定領域に対応する前記第２時刻の前記所定領域を探索した後に、前記移動量を算出する
請求項１から請求項６の何れか１項記載の推定装置。
【請求項８】
コンピュータを、
車両に設けられ、該車両の前方及び後方の少なくとも一方の画像を撮像する撮像手段により第１時刻に撮像された画像内の所定領域の位置、及び前記第１時刻より後の第２時刻に前記撮像手段により同一方向に対して撮像された画像内の前記所定領域に対応する領域の位置に基づいて、前記所定領域の垂直方向の移動量を算出する算出手段と、
前記算出手段により前記移動量が算出される毎に、該移動量の積算値を算出する積算手段と、
過去の所定期間内における前記積算手段により算出された前記移動量の積算値の時系列データに基づいて、前記積算手段により算出された現時点の前記積算値を補正する補正手段と、
前記補正手段により補正された前記積算値に基づいて、前記車両のピッチ角を推定する推定手段と、
として機能させるための推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、推定装置及び推定プログラムに係り、特に、車両のピッチ角を推定する推定装置及び推定プログラムに関する。
【背景技術】
【０００２】
従来、車両に設けられた撮像手段により異なる時刻に撮像された複数の画像に基づいて、車両のピッチ角を推定する技術が提案されている。この技術では、上記複数の画像に基づいて、上記撮像手段の移動方向を示す並進ベクトルと、上記撮像手段の姿勢のピッチ方向の角度変化量を示す回転行列を算出する。
【０００３】
また、この技術では、上記並進ベクトルの向きに基づいて第１ピッチ角推定値を逐次算出すると共に、上記回転行列により示される角度変化量を積算することによって第２ピッチ角推定値を算出する。そして、この技術では、所定期間における第１ピッチ角推定値の平均値と第２ピッチ角推定値の平均値との偏差に応じて第２ピッチ角推定値を補正することにより、車両のピッチ角の推定値を決定する。
【先行技術文献】
【非特許文献】
【０００４】
【特許文献１】特開２０１２−０２６９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１の技術では、上記並進ベクトルが路面に平行であるという制約に基づいて車両のピッチ角を推定している。従って、上記特許文献１の技術では、並進ベクトルの大きさが比較的小さい場合、すなわち、車両の速度が比較的低い場合は、車両のピッチ角を精度良く推定することができない。
【０００６】
本発明は、以上の事情に鑑みてなされたものであり、車両の速度が比較的低い場合であっても、車両のピッチ角を精度良く推定することができる推定装置及び推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る推定装置は、車両に設けられ、該車両の前方及び後方の少なくとも一方の画像を撮像する撮像手段と、第１時刻に前記撮像手段により撮像された画像内の所定領域の位置、及び前記第１時刻より後の第２時刻に前記撮像手段により同一方向に対して撮像された画像内の前記所定領域に対応する領域の位置に基づいて、前記所定領域の垂直方向の移動量を算出する算出手段と、前記算出手段により前記移動量が算出される毎に、該移動量の積算値を算出する積算手段と、過去の所定期間内における前記積算手段により算出された前記移動量の積算値の時系列データに基づいて、前記積算手段により算出された現時点の前記積算値を補正する補正手段と、前記補正手段により補正された前記積算値に基づいて、前記車両のピッチ角を推定する推定手段と、を含む。
【０００８】
本発明に係る推定プログラムは、コンピュータを、車両に設けられ、該車両の前方及び後方の少なくとも一方の画像を撮像する撮像手段により第１時刻に撮像された画像内の所定領域の位置、及び前記第１時刻より後の第２時刻に前記撮像手段により同一方向に対して撮像された画像内の前記所定領域に対応する領域の位置に基づいて、前記所定領域の垂直方向の移動量を算出する算出手段と、前記算出手段により前記移動量が算出される毎に、該移動量の積算値を算出する積算手段と、過去の所定期間内における前記積算手段により算出された前記移動量の積算値の時系列データに基づいて、前記積算手段により算出された現時点の前記積算値を補正する補正手段と、前記補正手段により補正された前記積算値に基づいて、前記車両のピッチ角を推定する推定手段と、として機能させるためのプログラムである。
【０００９】
本発明によれば、算出手段によって、車両に設けられ、該車両の前方及び後方の少なくとも一方の画像を撮像する撮像手段により第１時刻に撮像された画像内の所定領域の位置、及び前記第１時刻より後の第２時刻に前記撮像手段により同一方向に対して撮像された画像内の前記所定領域に対応する領域の位置に基づいて、前記所定領域の垂直方向の移動量が算出される。
【００１０】
また、積算手段によって、前記算出手段により前記移動量が算出される毎に、該移動量の積算値が算出される。そして、補正手段によって、過去の所定期間内における前記積算手段により算出された前記移動量の積算値の時系列データに基づいて、前記積算手段により算出された現時点の前記積算値が補正される。さらに、推定手段によって、前記補正手段により補正された前記積算値に基づいて、前記車両のピッチ角が推定される。
【００１１】
このように、本発明によれば、過去の所定期間内における上記積算値の時系列データに基づいて、現時点の積算値を補正しているので、車両の速度が比較的低い場合であっても、車両のピッチ角を精度良く推定することができる。
【００１２】
本発明の推定装置は、前記補正手段が、前記移動量の積算値の時系列データの平均値を補正量として用いて現時点の前記積算値を補正してもよい。
【００１３】
本発明の推定装置は、前記補正手段が、前記移動量の積算値の時系列データを近似して得られる外挿値を、補正量として算出し、該補正量を用いて現時点の前記積算値を補正してもよい。
【００１４】
本発明の推定装置は、前記補正手段が、前記移動量の積算値の時系列データと、前記積算手段により算出された現時点の前記積算値とに基づいて、現時点における定常状態からの前記画像の垂直方向のずれ量として、補正した現時点の前記積算値を算出してもよい。
【００１５】
本発明の推定装置は、前記所定領域が、遠近法における消失点を含む領域とされていてもよい。
【００１６】
本発明の推定装置は、前記補正手段が、補正する時点が遅くなるほど前記所定期間を長い期間として、現時点の前記積算値を補正してもよい。
【００１７】
本発明の推定装置は、前記算出手段が、パターンマッチングにより前記第１時刻の前記所定領域に対応する前記第２時刻の前記所定領域を探索した後に、前記移動量を算出してもよい。
【００１８】
なお、本発明に係る推定プログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。さらにまた、該推定プログラムを、ネットワークに接続されたサーバ等からダウンロードしてもよい。
【発明の効果】
【００１９】
本発明によれば、車両の速度が比較的低い場合であっても、車両のピッチ角を精度良く推定することができる、という効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施の形態に係る推定装置の構成を示すブロック図である。
【図２】第１の実施の形態に係る撮像部による撮像により得られた画像内の所定領域の垂直方向における移動量の説明に供する概略図である。
【図３】第１の実施の形態に係る移動量の積算値の時系列データを示すグラフである。
【図４】第１の実施の形態に係る補正量の算出処理の説明に供するグラフである。
【図５】第１の実施の形態に係る垂直方向のずれ量の時系列データを示すグラフである。
【図６】各実施の形態に係る定常状態における垂直方向のずれ量の算出処理の説明に供する概略図である。
【図７】第１の実施の形態に係る推定処理の流れを示すフローチャートである。
【図８】第２の実施の形態に係る推定装置の構成を示すブロック図である。
【図９】第２の実施の形態に係るオプティカルフローの算出処理の説明に供する概略図である。
【図１０】第２の実施の形態に係る移動量の積算値の時系列データを示すグラフである。
【図１１】第２の実施の形態に係る補正量の算出処理の説明に供するグラフである。
【図１２】第２の実施の形態に係る垂直方向のずれ量の時系列データを示すグラフである。
【図１３】第２の実施の形態に係る推定処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本発明を実施するための形態例について詳細に説明する。
【００２２】
［第１の実施の形態］
まず、図１を参照して、本実施の形態に係る推定装置１０Ａの構成について説明する。
【００２３】
図１に示すように、本実施の形態に係る推定装置１０Ａは、車両１２に各々設けられた撮像部１４及びコンピュータ２０Ａを備えている。
【００２４】
本実施の形態に係る撮像部１４は、一例として、単眼の車載カメラであり、コンピュータ２０Ａによる制御によって、車両１２の前方の画像を所定期間間隔（本実施の形態では、一例として３３ミリ秒）で撮像し、撮像した画像を示す画像データをコンピュータ２０Ａに逐次出力する。なお、撮像部１４は、カラー画像を撮像するものであってもよいし、モノクロ画像を撮像するものであってもよい。また、撮像部１４は、動画撮像が可能なものであってもよいし、連写での静止画撮像が可能なものであってもよい。
【００２５】
本実施の形態に係るコンピュータ２０Ａは、ＣＰＵと、ＲＡＭと、後述する推定処理プログラムを記憶したＲＯＭと、不揮発性の記憶部とを備え、機能的には以下に示すように構成されている。コンピュータ２０Ａは、撮像制御部２２、移動量算出部２４Ａ、移動量積算部２６、補正量算出部２８Ａ、補正部３０、及び推定部３２を備えている。なお、撮像部１４は、撮像手段の一例であり、移動量算出部２４Ａは、算出手段の一例である。また、移動量積算部２６は、積算手段の一例であり、補正量算出部２８Ａ、及び補正部３０は、補正手段の一例であり、推定部３２は、推定手段の一例である。
【００２６】
本実施の形態に係る撮像制御部２２は、撮像部１４を制御して、車両１２の前方の画像を上記所定期間間隔で撮像させる。
【００２７】
本実施の形態に係る移動量算出部２４Ａは、撮像部１４により所定期間間隔で出力された画像データを逐次取得する。そして、移動量算出部２４Ａは、現時点の時刻ｔに取得した画像データと、現時点から上記所定期間間隔を１つ遡った時刻ｔ−１に取得した画像データと、を用いて後述する移動量δｙｔを算出する。以下、図２を参照して、移動量算出部２４Ａによる移動量δｙｔを算出する処理について詳細に説明する。
【００２８】
図２（１）は、移動量算出部２４Ａにより時刻ｔ−１に取得された画像データにより示される画像Ｉｔ−１を示し、図２（２）は、移動量算出部２４Ａにより時刻ｔに取得された画像データにより示される画像Ｉｔを示している。また、図２（３）は、画像Ｉｔ内の領域Ｒｔの領域Ｒｔ−１に対する垂直方向（車両１２のピッチング方向）の移動量δｙｔを示している。
【００２９】
まず、図２（１）に示すように、移動量算出部２４Ａは、画像Ｉｔ−１を示す画像データから、画像Ｉｔ−１内の所定の位置を含む所定の大きさの矩形の領域Ｒｔ−１内の画像を示す画像データを抽出する。具体的には、本実施の形態に係る移動量算出部２４Ａは、一例として、全撮像領域の中央部を中心に含む図２（１）の縦方向及び横方向共に全撮像領域の３分の１の長さの矩形の領域Ｒｔ−１内の画像を示す画像データを抽出する。
【００３０】
次に、図２（２）に示すように、移動量算出部２４Ａは、パターンマッチングにより、画像Ｉｔ内の領域Ｒｔ−１に対応する領域Ｒｔを探索する。具体的には、本実施の形態に係る移動量算出部２４Ａは、一例として、画像Ｉｔの図２（２）の左上端の位置から、領域Ｒｔ−１と同じ形状及び大きさの領域の位置を所定の画素数（本実施の形態では、３画素）ずつ右方向に右端までずらしながら、該領域内の画像を示す画像データと、領域Ｒｔ−１内の画像を示す画像データとの相関性を示す度合を算出する。また、移動量算出部２４Ａは、該算出する処理を、所定の画素数（本実施の形態では、２画素）ずつ図２（２）の下方向に、画像Ｉｔの下端まで繰り返し行う。
【００３１】
そして、移動量算出部２４Ａは、上記相関性を示す度合が最も高い領域を領域Ｒｔと決定する。なお、本実施の形態では、上記相関性を示す度合が最も高い領域として、対応する画素同士の画素値の差分における絶対値の全画素分の和が最小になる領域を適用しているが、これに限定されない。例えば、上記相関性を示す度合が最も高い領域として、２画素×２画素等、対応する複数の画素群毎の所定の位置の画素同士の画素値の差分における絶対値の全画素分の和が最小になる領域を適用してもよい。
【００３２】
そして、図２（３）に示すように、移動量算出部２４Ａは、移動量δｙｔとして、領域Ｒｔ−１と領域Ｒｔとの対応する位置（図２（３）では左上端部の位置）を示す画素位置間の垂直方向（図２（３）の上下方向）の画素数を算出する。
【００３３】
このように、本実施の形態に係る移動量算出部２４Ａは、上記相関性を示す度合が最も高い画像Ｉｔ内の領域を領域Ｒｔと決定しているが、これに限定されない。例えば、移動量算出部２４Ａは、画像Ｉｔ内の領域のうち、上記相関性を示す度合が予め定められた閾値以上の何れかの領域を領域Ｒｔと決定してもよい。
【００３４】
この場合、例えば、移動量算出部２４Ａは、上記探索を開始して、最初に上記相関性を示す度合が上記閾値以上となった領域を領域Ｒｔと決定する形態が例示される。これにより、移動量算出部２４Ａによる領域Ｒｔの探索精度は低下する可能性はあるものの、移動量算出部２４Ａにより画像Ｉｔの全範囲に対して上記探索する処理を行わなくてもよくなるため、移動量算出部２４Ａによる演算量は低減する。
【００３５】
本実施の形態に係る移動量積算部２６は、次の式（１）を用いて、時刻ｔにおける移動量δｙｔの積算値Ｓｙｔとして、移動量算出部２４Ａにより逐次算出された移動量δｙｔの積算値を算出する。
【００３６】
【数１】
2017020942.tif 000003
【００３７】
図３には、移動量積算部２６により算出された積算値Ｓｙｔの時系列データの一例が示されている。なお、図３の縦軸は積算値Ｓｙｔを示し、横軸は時刻を示している。図３に示すように、積算値Ｓｙｔは時間の経過と共に、オフセットされた値となる。
【００３８】
これは、前述したように、移動量積算部２６が、移動量算出部２４Ａにより逐次算出された移動量δｙｔを積算していることによって、移動量δｙｔに含まれる誤差も積算されるためである。なお、この誤差は、例えば、移動量算出部２４Ａによる前述した領域Ｒｔを探索する際の画像処理による影響、及び領域Ｒｔ−１内で撮像された被写体自体が時刻ｔ−１から時刻ｔまでの間に動くことによる影響等によるものである。
【００３９】
そこで、本実施の形態に係る補正量算出部２８Ａは、過去の所定期間内における移動量積算部２６により算出された移動量δｙｔの積算値Ｓｙｔの時系列データに基づいて、上記誤差を補正するための補正量ｃｔを算出する。以下、図４を参照して、補正量算出部２８Ａによる補正量ｃｔの算出処理について詳細に説明する。なお、図４には、図３に示した積算値Ｓｙｔの時系列データが破線で示されている。また、図３と同様に、図４の縦軸は積算値Ｓｙｔを示し、横軸は時刻を示している。
【００４０】
図４に示すように、本実施の形態に係る補正量算出部２８Ａは、次の式（２）を用いて、時刻ｔにおける補正量ｃｔとして、過去の所定期間（図４の時刻ｔ−ｔ１から時刻ｔ−ｔ２までの期間）の上記所定期間間隔毎の各時刻に算出された積算値Ｓｙｔの平均値を算出する。
【００４１】
【数２】
2017020942.tif 000004
但し、Ｔ１は、時刻ｔ−ｔ１から時刻ｔまでに積算値Ｓｙｔが算出された回数を示し、Ｔ２は、時刻ｔ−ｔ２から時刻ｔまでに積算値Ｓｙｔが算出された回数を示す。
【００４２】
なお、本実施の形態では、上記過去の所定期間として、車両１２の実機を用いた実験や車両１２の設計仕様に基づくコンピュータ・シミュレーション等により、後述する車両１２のピッチ角の推定精度が許容範囲内となる期間を固定的に適用しているが、これに限定されない。前述したように、上記誤差も積算されるため、上記所定期間として、補正量ｃｔを算出する時点が遅くなるほど長い期間を適用してもよい。
【００４３】
本実施の形態に係る補正部３０は、補正量算出部２８Ａにより算出された補正量ｃｔを用いて、移動量積算部２６により算出された積算値Ｓｙｔを補正する。具体的には、補正部３０は、次の式（３）を用いて、積算値Ｓｙｔから補正量ｃｔを減算することにより、定常状態における画像内の水平線の垂直方向の位置に対する現時点の時刻ｔにおける画像内の水平線の垂直方向の位置のずれ量ΔＹｔを算出する。なお、ここでいう定常状態としては、例えば、車両１２が停止している状態や前述した移動量δｙｔ≒０の状態が長期間継続している状態等の車両１２の垂直方向に対するゆれがほぼ無い状態が挙げられる。
【００４４】
【数３】
2017020942.tif 000005
【００４５】
図５には、図３に示した積算値Ｓｙｔの時系列データを、上記所定期間間隔毎の各時刻において補正部３０により補正して得られたずれ量ΔＹｔの時系列データが示されている。なお、図５の縦軸はずれ量ΔＹｔを示し、横軸は時刻を示している。
【００４６】
ここで、ずれ量ΔＹｔについて詳細に説明する。時刻ｔにおける撮像部１４により撮像された画像における水平線の垂直方向の位置Ｙｔは、次の式（４）で表される。
【数４】
2017020942.tif 000006
但し、Ｙ０は、上記定常状態における水平線の垂直方向の位置を示す。
【００４７】
そして、一般的に、時刻ｔにおける位置Ｙｔは、定常状態における位置Ｙ０を中心として変動するため、時刻ｔまでの各時刻に算出されたずれ量△Ｙｔの平均値は、ほぼ０（零）に等しくなる。また、積算値Ｓｙｔは、移動量δｙｔに上記誤差が含まれない場合は、ずれ量△Ｙｔに等しくなる。すなわち、この場合は、積算値Ｓｙｔの平均値も、ほぼ０（零）に等しくなる。
【００４８】
しかしながら、前述したように、積算値Ｓｙｔには移動量δｙｔの上記誤差が含まれる。そこで、本実施の形態では、前述したように、上記誤差の補正に用いる補正量ｃｔとして、上記所定期間の上記所定期間間隔毎の各時刻に算出された積算値Ｓｙｔの平均値を算出している。
【００４９】
本実施の形態に係る推定部３２は、補正部３０により補正された積算値Ｓｙｔ（＝ずれ量△Ｙｔ）に基づいて、車両１２のピッチ角を推定する。具体的には、推定部３２は、撮像部１４の解像度及び焦点距離等の諸元値を用いて、ずれ量△Ｙｔから撮像部１４のピッチ角φｔを算出する。
【００５０】
このピッチ角φｔは、定常状態の撮像部１４の光軸に対する時刻ｔにおける撮像部１４の光軸の角度であるため、推定部３２は、定常状態における撮像部１４の路面に対する撮像部１４の光軸のピッチ角φ０を算出する。そして、推定部３２は、時刻ｔにおける車両１２のピッチ角として、撮像部１４の光軸の路面に対する角度であるピッチ角φ０とピッチ角φｔとを加算した角度を算出する。
【００５１】
ここで、図６を参照して、上記定常状態におけるピッチ角φ０の算出処理について説明する。ここでは、錯綜を回避するために、一例として、撮像部１４が、光軸の路面に対するピッチ角が０度の場合に、光軸が画像の中心に位置する撮像手段であるものとして説明する。なお、図６は、上記定常状態において撮像部１４により撮像された画像Ｉ０の一例を示している。
【００５２】
図６に示すように、推定部３２は、２本の白線Ｗの交点Ｊを、水平線Ｈの垂直方向の位置と見なして、定常状態における水平線の位置のずれ量Ｙとして、交点Ｊと、車両のピッチ角が０度である場合に対して予め求められた画像Ｉ０の交点Ｊ０との画素位置間の垂直方向（図６の上下方向）の画素数を算出する。そして、推定部３２は、撮像部１４の解像度及び焦点距離等の諸元値を用いて、ずれ量Ｙからピッチ角φ０を算出する。なお、定常状態におけるピッチ角φ０の算出処理は、これに限定されず、他の公知の手法を用いてもよい。
【００５３】
次に、図７を参照して、本実施の形態に係る推定装置１０Ａの作用について説明する。なお、図７は、例えば車両１２のイグニッションスイッチがオン状態とされた際にコンピュータ２０ＡのＣＰＵによって実行される推定処理プログラムの処理の流れを示すフローチャートである。
【００５４】
図７のステップ１００において、推定部３２は、前述したように、撮像部１４を制御して、車両１２の前方の画像を撮像させ、該撮像により得られた画像Ｉ０から定常状態におけるピッチ角φ０を算出する。
【００５５】
次のステップ１０１において、撮像制御部２２は、撮像部１４を制御して、車両１２の前方の画像を撮像させる。次のステップ１０２において、移動量算出部２４Ａは、上記ステップ１０１の処理により撮像部１４から出力された画像Ｉｔを示す画像データを取得する。
【００５６】
次のステップ１０４Ａにおいて、移動量算出部２４Ａは、上記ステップ１０１〜後述するステップ１１８の繰り返し処理における前回の上記ステップ１０２の処理により取得された画像データから、該画像データにより示される画像Ｉｔ−１の領域Ｒｔ−１内の画像を示す画像データを抽出する。なお、本ステップ１０４Ａの処理及び後述するステップ１０６Ａ〜ステップ１１６の処理は、本推定処理プログラムの実行を開始してから初回に実行されたタイミングでは実行されない。
【００５７】
次のステップ１０６Ａにおいて、移動量算出部２４Ａは、前述したように、直前の上記ステップ１０２の処理により取得された画像データにより示される画像Ｉｔにおける上記ステップ１０４Ａの処理により抽出された領域Ｒｔ−１に対応する領域Ｒｔを探索する。
【００５８】
次のステップ１０８Ａにおいて、移動量算出部２４Ａは、前述したように、上記ステップ１０４Ａの処理により抽出された領域Ｒｔ−１と、上記ステップ１０６Ａの処理により探索された領域Ｒｔとの対応する画素位置に基づいて、移動量δｙｔを算出する。
【００５９】
次のステップ１１０において、移動量積算部２６は、前述したように、上記式（１）を用いて、上記ステップ１０８Ａの処理により算出された移動量δｙｔの積算値Ｓｙｔを算出する。
【００６０】
次のステップ１１２Ａにおいて、補正量算出部２８Ａは、上記式（２）を用いて、補正量ｃｔとして、上記過去の所定期間に上記ステップ１１０の処理により算出された積算値Ｓｙｔの平均値を算出する。
【００６１】
次のステップ１１４において、補正部３０は、上記式（３）を用いて、上記ステップ１１０の処理により算出された積算値Ｓｙｔから上記ステップ１１２Ａの処理により算出された補正量ｃｔを減算することにより、ずれ量ΔＹｔを算出する。
【００６２】
次のステップ１１６において、推定部３２は、前述したように、撮像部１４の諸元値を用いて、上記ステップ１１４の処理により算出されたずれ量ΔＹｔからピッチ角φｔを算出する。そして、推定部３２は、前述したように、該ピッチ角φｔと上記ステップ１００の処理により算出されたピッチ角φ０とを加算して、車両１２のピッチ角を算出する。なお、ここで算出したピッチ角は、例えば、車両１２の高度運転支援等で、カメラ等の撮像手段により撮像された車両１２の前方の画像内のある物体への距離を推定する場合等の２次元の情報から３次元の情報を推定する場合に用いられる。
【００６３】
ステップ１１８において、推定部３２は、所定の終了タイミングが到来したか否かを判定する。この判定が否定判定となった場合は上記ステップ１０１の処理に戻る一方、肯定判定となった場合は本推定処理プログラムを終了する。なお、本実施の形態では、上記所定の終了タイミングとして、一例として車両１２のイグニッションスイッチがオフ状態とされたタイミングを適用している。
【００６４】
なお、前述したように、例えば、上記ステップ１０８Ａの処理により算出された移動量δｙｔが長期間ほぼ０（零）である状態（すなわち、定常状態）が継続した場合は、積算値Ｓｙｔを０（零）にリセットして、ステップ１００の処理から本推定処理プログラムを再度実行してもよい。
【００６５】
以上説明したように、本実施の形態によれば、過去の所定期間内における積算値Ｓｙｔの時系列データに基づいて、現時点の積算値Ｓｙｔを補正しているので、車両１２の速度が比較的低い場合であっても、単眼の撮像部１４を用いて、車両１２のピッチ角を精度良く推定することができる。また、本実施の形態によれば、上記並進ベクトル及び回転行列を算出する場合に比較して、少ない演算量で車両１２のピッチ角を精度良く推定することができる。
【００６６】
［第２の実施の形態］
まず、図８を参照して、本実施の形態に係る推定装置１０Ｂの構成について説明する。なお、図８における図１と同一の機能を有する構成要素については、図１と同一の符号を付して、その説明を省略する。
【００６７】
図８に示すように、本実施の形態に係る推定装置１０Ｂは、コンピュータ２０Ａに代えてコンピュータ２０Ｂを備えている点が上記第１の実施の形態に係る推定装置１０Ａとは異なっている。また、本実施の形態に係るコンピュータ２０Ｂは、移動量算出部２４Ａに代えて移動量算出部２４Ｂを備えている点、及び補正量算出部２８Ａに代えて補正量算出部２８Ｂを備えている点が上記第１の実施の形態に係るコンピュータ２０Ａとは異なっている。
【００６８】
本実施の形態に係る移動量算出部２４Ｂは、撮像部１４により所定期間間隔で出力された画像データを逐次取得する。そして、現時点の時刻ｔに取得した画像データと、現時点から上記所定期間間隔を１つ遡った時刻ｔ−１に取得した画像データと、を用いて移動量δｙｔを算出する。以下、図９を参照して、移動量算出部２４Ｂによる移動量δｙｔを算出する処理について詳細に説明する。
【００６９】
図９（１）は、移動量算出部２４Ｂにより時刻ｔ−１に取得された画像データにより示される画像Ｉｔ−１、及び後述するオプティカルフローＶｉｔの算出に用いる点（以下、「算出点」という。）Ｐｉｔ−１（（ｉ＝１．．．Ｎ（Ｎは自然数。本実施の形態では、５）））を示している。また、図９（２）は、移動量算出部２４Ｂにより時刻ｔに取得された画像データにより示される画像Ｉｔ、及び後述するオプティカルフローＶｉｔを示している。また、図９（３）は、図２（３）と同様に、移動量δｙｔを示している。
【００７０】
まず、図９（１）に示すように、移動量算出部２４Ｂは、画像Ｉｔ−１を示す画像データから、画像Ｉｔ−１内の上記所定の大きさの矩形の領域Ｒｔ−１内の画像を示す画像データを抽出する。なお、本実施の形態では、領域Ｒｔ−１として、車両１２のピッチングが発生していない状態で車両１２が進行した場合に、遠近法における消失点を含む領域を適用している。これは、該領域が、車両１２の進行の影響による動きが比較的少ない領域と見なせる領域であるためである。
【００７１】
次に、図９（１）に示すように、移動量算出部２４Ｂは、領域Ｒｔ−１内のＮ個の予め定められた位置を算出点Ｐｉｔ−１の位置と決定する。なお、本実施の形態では、一例として、算出点Ｐｉｔ−１の位置として、垂直方向（図９（１）の縦方向）に対しては領域Ｒｔ−１の中央の位置で、水平方向（図９（１）の横方向）に対しては各々互いに同一の間隔を隔てた位置を適用している。このように、本実施の形態では、算出点Ｐｉｔ−１の位置として、予め固定的に定められた位置を適用しているが、これに限定されない。例えば、算出点Ｐｉｔ−１の位置として、Harris operator（「C.Harris and M.Stephens(1988).“A combined corner and edge detector”.“Proceedings of the 4th Alvey Vision Conference”. pp.147-151」参照。）等を用いて、複数の画像間の対応する点の対応が取りやすい位置を適用してもよい。
【００７２】
また、図９（２）に示すように、移動量算出部２４Ｂは、各算出点Ｐｉｔ−１について、時刻ｔにおけるオプティカルフローＶｉｔ（＝｛ｖｘｉｔ、ｖｙｉｔ｝）を各々算出する。ここで、上記ｖｘｉｔはオプティカルフローＶｉｔのｘ成分（水平方向の成分）を表し、上記ｖｙｉｔはオプティカルフローＶｉｔのｙ成分（垂直方向の成分）を表す。なお、本実施の形態では、オプティカルフローＶｉｔの算出に用いる手法として、ブロックマッチング法を適用しているが、これに限定されない。例えば、該手法として、lucas-kanade法等の他の手法を適用してもよい。
【００７３】
また、移動量算出部２４Ｂは、移動量δｙｔとして、オプティカルフローＶｉｔのｙ成分（ｖｙｉｔ）の平均値を算出する。なお、本実施の形態に係る移動量算出部２４Ｂは、該平均値を算出する際に、オプティカルフローＶｉｔのｙ成分の値が正常値である範囲として予め定められた範囲外であるオプティカルフローＶｉｔ（図９（２）に示すＶ４ｔ）については算入しない。具体的には、例えば、移動量算出部２４Ｂは、上記平均値を算出する際に、他のオプティカルフローＶｉｔのｙ成分の値の平均値との差が、所定の範囲（例えば、該平均値の±５０％の範囲）外であるオプティカルフローＶｉｔについては算入しない。
【００７４】
このように、本実施の形態では、移動量δｙｔとして、オプティカルフローＶｉｔのｙ成分の値の平均値を適用しているが、これに限定されない。例えば、移動量δｙｔとして、オプティカルフローＶｉｔのｙ成分の値の中央値を適用してもよい。
【００７５】
本実施の形態に係る補正量算出部２８Ｂは、過去の所定期間内における移動量積算部２６により算出された移動量δｙｔの積算値Ｓｙｔの時系列データに基づいて、補正量ｃｔを算出する。以下、図１０及び図１１を参照して、補正量算出部２８Ｂによる補正量ｃｔの算出処理について詳細に説明する。なお、図１０には、図３と同様に、積算値Ｓｙｔの時系列データが示されている。また、図１１には、図４と同様に、図１０に示した積算値Ｓｙｔの時系列データが破線で示されている。
【００７６】
上記第１の実施の形態で前述した移動量δｙｔに含まれる誤差は、一定の値であるとは限らない。そこで、本実施の形態では、図１１に示すように、補正量算出部２８Ｂは、過去の所定期間（図１１の時刻ｔ−ｔ１から時刻ｔ−ｔ２までの期間）の上記所定期間間隔毎の各時刻に算出された積算値Ｓｙｔを、例えば最小二乗法等を用いて近似することにより、回帰直線Ｌを示す一次式を示す一次係数及び定数を算出する。そして、補正量算出部２８Ｂは、該一次式を用いた外挿により、時刻ｔにおける補正量ｃｔを算出する。なお、図１２には、図５と同様に、図１１に示した積算値Ｓｙｔの時系列データを、上記所定期間間隔毎の各時刻において補正部３０により補正したずれ量ΔＹｔの時系列データが示されている。
【００７７】
このように、本実施の形態では、積算値Ｓｙｔの時系列データを一次式に近似しているが、これに限定されない。例えば、積算値Ｓｙｔの時系列データを二次式等に近似してもよいし、過去の所定期間の積算値Ｓｙｔの時系列データから時刻ｔの補正量ｃｔを外挿により算出可能であれば、近似する手法は限定されない。
【００７８】
次に、図１３を参照して、本実施の形態に係る推定装置１０Ｂの作用について説明する。なお、図１３は、例えば車両１２のイグニッションスイッチがオン状態とされた際にコンピュータ２０ＢのＣＰＵによって実行される推定処理プログラムの処理の流れを示すフローチャートである。また、図１３における図７と同一の処理を実行するステップについては図７と同一のステップ番号を付して、その説明を省略する。
【００７９】
図１３のステップ１０４Ｂにおいて、移動量算出部２４Ｂは、上記繰り返し処理における前回のステップ１０２の処理により取得された画像データから、該画像データにより示される画像Ｉｔ−１の領域Ｒｔ−１内の画像を示す画像データを抽出する。
【００８０】
次のステップ１０６Ｂにおいて、移動量算出部２４Ｂは、前述したように、上記ステップ１０４Ｂの処理により抽出された画像データにより示される領域Ｒｔ−１内のＮ個の上記予め定められた位置を算出点Ｐｉｔ−１の位置と決定する。そして、移動量算出部２４Ｂは、前述したように、上記ステップ１０４Ｂの処理により抽出された画像データ、及び直前の上記ステップ１０２の処理により取得された画像データを用いて、各算出点Ｐｉｔ−１について、オプティカルフローＶｉｔを算出する。
【００８１】
次のステップ１０８Ｂにおいて、移動量算出部２４Ｂは、前述したように、移動量δｙｔとして、上記ステップ１０６Ｂの処理により算出された各算出点Ｐｉｔ−１のオプティカルフローＶｉｔのｙ成分の平均値を算出する。
【００８２】
その後、ステップ１１２Ｂにおいて、補正量算出部２８Ｂは、前述したように、過去の所定期間内における移動量算出部２４Ｂにより算出された移動量δｙｔの積算値Ｓｙｔの時系列データに基づいて、補正量ｃｔを算出する。
【００８３】
以上説明したように、本実施の形態によれば、上記第１の実施の形態と同様の効果を奏することができる。
【００８４】
なお、上記第１の実施の形態において、上記第２の実施の形態のように、領域Ｒｔ−１として、上記消失点を含む領域を適用してもよい。また、上記第１の実施の形態において、上記第２の実施の形態のように、オプティカルフローＶｉｔを用いて移動量δｙｔを算出してもよい。また、上記第１の実施の形態において、上記第２の実施の形態のように、過去の所定期間内の積算値Ｓｙｔの時系列データを近似して、外挿により補正量ｃｔを算出してもよい。また、上記第２の実施の形態においても、移動量δｙｔが長期間ほぼ０（零）である状態が継続した場合は、積算値Ｓｙｔを０（零）にリセットして、再度ステップ１００の処理から推定処理プログラムを再度実行してもよい。
【００８５】
また、上記各実施の形態では、撮像部１４により車両１２の前方の画像を撮像する場合について説明したが、本発明はこれに限定されるものではない。例えば、撮像部１４により車両１２の後方の画像を撮像する形態としてもよい。この場合、例えば、上記各実施の形態と同様に車両１２のピッチ角を算出し、該ピッチ角の正負の符号を反転させた角度を車両１２のピッチ角と推定する形態が例示される。
【００８６】
また、上記各実施の形態と撮像部１４により車両１２の後方の画像を撮像する上記形態例とを組み合わせても良い。この場合、上記誤差を補正するための補正量ｃｔの絶対値が小さいほど、該誤差が小さいと考えられる。そこで、この場合、例えば、車両１２の前方と後方とを各々撮像して得られた画像の各々を用いて算出された補正量ｃｔのうち、絶対値が小さい方の補正量ｃｔを用いて車両１２のピッチ角を算出する形態が例示される。また、例えば、車両１２のピッチ角として、車両１２の前方と後方とを各々撮像して得られた画像の各々を用いて算出されたピッチ角の平均値を算出する形態も例示される。
【００８７】
また、上記各実施の形態では、領域Ｒの形状として、矩形を適用した場合について説明したが、本発明はこれに限定されるものではない。例えば、撮像部１４による撮像により得られた画像から、移動量δｙｔを算出可能な形状であれば、円形、三角形等の他の形状でもよいことは言うまでもない。
【符号の説明】
【００８８】
１０Ａ、１０Ｂ  推定装置
１２  車両
１４  撮像部
２０Ａ、２０Ｂ  コンピュータ
２２  撮像制御部
２４Ａ、２４Ｂ  移動量算出部
２６  移動量積算部
２８Ａ、２８Ｂ  補正量算出部
３０  補正部
３２  推定部
【図１】
2017020942.tif 000007
【図２】
2017020942.tif 000008
【図３】
2017020942.tif 000009
【図４】
2017020942.tif 000010
【図５】
2017020942.tif 000011
【図６】
2017020942.tif 000012
【図７】
2017020942.tif 000013
【図８】
2017020942.tif 000014
【図９】
2017020942.tif 000015
【図１０】
2017020942.tif 000016
【図１１】
2017020942.tif 000017
【図１２】
2017020942.tif 000018
【図１３】
2017020942.tif 000019