(57)【要約】【課題】車両に搭載された撮像装置により撮影した画像から、撮像装置の姿勢を推定する。【解決手段】コンピュータは、車両に搭載された撮像装置によって車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像から、第１消失点を求める（ステップ４０１）。また、コンピュータは、撮像装置によって車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像から、第２消失点を求める（ステップ４０２）。そして、コンピュータは、第１消失点と第２消失点とを用いて消失線を求め（ステップ４０３）、消失線を用いて撮像装置の姿勢を推定する（ステップ４０４）。【選択図】図４
2019003522.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された撮像装置によって前記車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像から、第１消失点を求め、
前記撮像装置によって前記車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像から、第２消失点を求め、
前記第１消失点と前記第２消失点とを用いて消失線を求め、
前記消失線を用いて前記撮像装置の姿勢を推定する、
処理をコンピュータに実行させるための推定プログラム。
【請求項２】
前記コンピュータは、前記第１画像内における前記第１消失点の位置が、前記第１画像の右端から所定距離以内に存在し、かつ、前記第２画像内における前記第２消失点の位置が、前記第２画像の左端から前記所定距離以内に存在する場合、前記第１消失点と前記第２消失点とを用いて前記消失線を求めることを特徴とする請求項１記載の推定プログラム。
【請求項３】
前記コンピュータは、センサによって検出された、前記車両の路面に対する傾きが、所定範囲内である場合、前記第１消失点と前記第２消失点とを用いて前記消失線を求めることを特徴とする請求項１又は２記載の推定プログラム。
【請求項４】
前記コンピュータは、
前記車両の右折時に撮影された、前記第１画像を含む複数の画像それぞれから、前記第１消失点を含む複数の消失点を求め、
前記車両の左折時に撮影された、前記第２画像を含む複数の画像それぞれから、前記第２消失点を含む複数の消失点を求め、
前記第１消失点を含む前記複数の消失点と前記第２消失点を含む前記複数の消失点とを用いて、前記消失線を求めることを特徴とする請求項１又は２記載の推定プログラム。
【請求項５】
前記コンピュータは、
前記第１画像を含む前記複数の画像それぞれが撮影されたときにセンサによってそれぞれ検出された、前記車両の路面に対する複数の傾きを、前記第１消失点を含む前記複数の消失点と対応付けて記憶し、
前記第２画像を含む前記複数の画像それぞれが撮影されたときに前記センサによってそれぞれ検出された、前記車両の前記路面に対する複数の傾きを、前記第２消失点を含む前記複数の消失点と対応付けて記憶し、
前記第１消失点を含む前記複数の消失点と対応付けられた前記複数の傾きと、前記第２消失点を含む前記複数の消失点と対応付けられた前記複数の傾きとを用いて、傾きに対する所定範囲を求め、
前記第１消失点を含む前記複数の消失点のうち、前記所定範囲内の傾きと対応付けられた消失点と、前記第２消失点を含む前記複数の消失点のうち、前記所定範囲内の傾きと対応付けられた消失点とを用いて、前記消失線を求めることを特徴とする請求項４記載の推定プログラム。
【請求項６】
車両に搭載された撮像装置によって前記車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像と、前記撮像装置によって前記車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像とを記憶する記憶部と、
前記第１画像から第１消失点を求め、前記第２画像から第２消失点を求め、前記第１消失点と前記第２消失点とを用いて消失線を求める消失線推定部と、
前記消失線を用いて前記撮像装置の姿勢を推定する姿勢推定部と、
を備えることを特徴とする推定装置。
【請求項７】
コンピュータが、
車両に搭載された撮像装置によって前記車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像から、第１消失点を求め、
前記撮像装置によって前記車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像から、第２消失点を求め、
前記第１消失点と前記第２消失点とを用いて消失線を求め、
前記消失線を用いて前記撮像装置の姿勢を推定する、
ことを特徴とする推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、推定プログラム、推定装置、及び推定方法に関する。
【背景技術】
【０００２】
危険運転時の映像を自動的に記録するドライブレコーダとして、販売元の訓練された作業者が特殊な作業空間で車両に取り付ける装置から、ユーザが手軽に取り付けられる廉価な装置まで、様々な種類の装置が普及している。さらに、走行中の映像を記録するだけではなく、映像を利用した車線逸脱警報（Lane Departure Warning：ＬＤＷ）等、交通事故削減に向けた安心安全機能を付加することで、製品価値の差別化が促進されている。
【０００３】
高精度なＬＤＷを実現するためには、車両に対する車載カメラの取付位置及び姿勢を高精度に検出して、走行環境における車両の状況を正しく認識することが望ましい。車載カメラの取付位置及び姿勢は、専用マーカを用いて専用の作業場で人手によって較正することもでき、走行中の映像を利用して自動的に較正することもできる。しかし、大量に流通する車載カメラに対して、１台ずつ人手で取付位置及び姿勢を較正する作業は負荷が大きく、現実的ではないため、走行中の映像を利用した自動較正が望まれる。
【０００４】
車載カメラのキャリブレーションを行う技術、及びカメラ画像から得られる消失点を検出する技術が知られている（例えば、特許文献１及び２を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１１１７４号公報
【特許文献２】特開２０１４−２２９０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
車載カメラの画像から消失点を検出し、検出した消失点の位置に基づいて車載カメラの姿勢を推定する場合、消失点の検出精度が十分ではないため、車載カメラの姿勢の推定精度が低下することがある。
【０００７】
なお、かかる問題は、ＬＤＷを実施する場合に限らず、車両に搭載された撮像装置の姿勢に基づいて他の画像処理を行う場合においても生ずるものである。
【０００８】
１つの側面において、本発明は、車両に搭載された撮像装置により撮影した画像から、撮像装置の姿勢を推定することを目的とする。
【課題を解決するための手段】
【０００９】
１つの案では、推定プログラムは、以下の処理をコンピュータに実行させる。
（１）コンピュータは、車両に搭載された撮像装置によって車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像から、第１消失点を求める。
（２）コンピュータは、撮像装置によって車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像から、第２消失点を求める。
（３）コンピュータは、第１消失点と第２消失点とを用いて消失線を求める。
（４）コンピュータは、消失線を用いて撮像装置の姿勢を推定する。
【発明の効果】
【００１０】
１つの実施形態によれば、車両に搭載された撮像装置により撮影した画像から、撮像装置の姿勢を推定することができる。
【図面の簡単な説明】
【００１１】
【図１】車両に搭載された撮像装置を示す図である。
【図２】消失線の計算精度を示す図である。
【図３】推定装置の機能的構成図である。
【図４】推定処理のフローチャートである。
【図５】推定装置の第１の具体例を示す機能的構成図である。
【図６】消失点検出部の機能的構成図である。
【図７】消失点を示す図である。
【図８】交差点を撮影した画像を示す図である。
【図９】消失線推定処理を示す図である。
【図１０】推定処理の第１の具体例を示すフローチャートである。
【図１１】車両の傾きを示す図である。
【図１２】消失点の位置の変化を示す図である。
【図１３】推定装置の第２の具体例を示す機能的構成図である。
【図１４】傾き検出部の機能的構成図である。
【図１５Ａ】推定処理の第２の具体例を示すフローチャート（その１）である。
【図１５Ｂ】推定処理の第２の具体例を示すフローチャート（その２）である。
【図１６】推定装置の第３の具体例を示す機能的構成図である。
【図１７Ａ】推定処理の第３の具体例を示すフローチャート（その１）である。
【図１７Ｂ】推定処理の第３の具体例を示すフローチャート（その２）である。
【図１８】情報処理装置の構成図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、実施形態を詳細に説明する。
図１は、車両に搭載された撮像装置の例を示している。この例では、車体１０１の前面に撮像装置１０２が取り付けられている。この場合、車体１０１の前後方向の中心線１１１から撮像装置１０２までの横方向の距離１１４（横オフセット）と、車体１０１の底面から撮像装置１０２までの高さ１１５とを用いて、車体１０１に対する撮像装置１０２の取付位置を表すことができる。
【００１３】
また、車体１０１に対する撮像装置１０２の姿勢は、ロール角１２１、ピッチ角１２２、及びヨー角１２３を用いて表すことができる。ロール角１２１は、中心線１１１の周りの回転角であり、ピッチ角１２２は、中心線１１１と直交する横方向の直線１１２の周りの回転角であり、ヨー角１２３は、中心線１１１及び直線１１２と直交する垂直方向の直線１１３の周りの回転角である。
【００１４】
上述した特許文献１のキャリブレーション装置は、走行中に車載カメラが撮影した映像から抽出された、規格が既知の路面標示を利用して、路面上の２組の平行線を抽出する。そして、キャリブレーション装置は、２組の平行線から求められる２つの消失点を通る消失線を利用して、消失線と画像の水平方向とがなす角度から、車載カメラのロール角を推定する。したがって、車載カメラのロール角の推定精度は、消失線の計算精度に依存する。
【００１５】
３次元空間において平行な２本の線分が画像に写っている場合、画像内においてそれらの線分は必ずしも平行ではなく、一定の角度をなすことが多い。この場合、画像内でそれらの２本の線分をそれぞれ延長した２本の直線が交差する点は、消失点と呼ばれる。また、３次元空間内の同一平面上に存在する複数組の平行線から複数の消失点が検出された場合、それらの消失点を通る直線は消失線と呼ばれる。
【００１６】
図２は、消失線の計算精度の例を示している。図２の画像は、６４０画素×４８０画素のVideo Graphics Array（ＶＧＡ）画像である。この画像の左上頂点を原点とし、水平方向にＸ軸を設け、垂直方向にＹ軸を設けた場合、画像内の各点（画素）の位置は、座標（Ｘ，Ｙ）によって表される。
【００１７】
画像の中央付近に存在する点Ａの座標を（３５５，２４０）とし、点Ａから水平方向に１０画素だけ離れた点Ｂの座標を（３６５，２４０）とし、画像から点Ａ及び点Ｂの位置を検出する際に、垂直方向に±５画素の検出誤差が発生する場合を想定する。点Ａの座標として、矢印２０１が示すように（３５５，２４５）が検出され、点Ｂの座標として、矢印２０２が示すように（３６５，２３５）が検出された場合、検出された２点を結ぶ線分２０３の傾きＧ１は、次式により計算される。
【００１８】
Ｇ１＝（２４５−２３５）／（３６５−３５５）＝１      （１）
【００１９】
点Ａと点Ｂを結ぶ線分の正しい傾きは０（０度）であるため、式（１）の傾き１（４５度）は、傾きの誤差が１であることを示している。
【００２０】
次に、画像の左端に存在する点Ｃの座標を（１，２４０）とし、画像の右端に存在する点Ｄの座標を（６４０，２４０）とし、画像から点Ｃ及び点Ｄの位置を検出する際に、垂直方向に±５画素の検出誤差が発生する場合を想定する。点Ｃの座標として、矢印２０４が示すように（１，２４５）が検出され、点Ｄの座標として、矢印２０５が示すように（６４０，２３５）が検出された場合、検出された２点を結ぶ線分２０６の傾きＧ２は、次式により計算される。
【００２１】
Ｇ２＝（２４５−２３５）／（６４０−１）＝０．０１５      （２）
【００２２】
点Ｃと点Ｄを結ぶ線分の正しい傾きは０であるため、式（２）の傾き０．０１５は、傾きの誤差が０．０１５であることを示しており、点Ａと点Ｂを結ぶ線分の傾きの誤差よりもはるかに小さな値になる。
【００２３】
このように、各点の検出誤差が同程度あっても、画像内における水平方向の距離が大きな２点を結ぶ線分の傾きは、水平方向の距離が小さな２点を結ぶ線分の傾きよりも高精度に計算することができる。したがって、画像内において水平方向にできるだけ離れた２つの消失点を利用することで、それらの消失点を通る消失線を高精度に求めることが可能になると考えられる。
【００２４】
しかしながら、同じ時刻に撮影された画像に写っている路面標示から平行線を抽出して消失点を求める場合、水平方向に十分に離れた２つの消失点を求めることは困難である。
【００２５】
図３は、実施形態の推定装置の機能的構成例を示している。図３の推定装置３０１は、記憶部３１１、消失線推定部３１２、及び姿勢推定部３１３を含む。記憶部３１１は、車両に搭載された撮像装置によって車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像３２１と、撮像装置によって車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像３２２とを記憶する。消失線推定部３１２及び姿勢推定部３１３は、記憶部３１１が記憶する第１画像３２１及び第２画像３２２を用いて、推定処理を行う。
【００２６】
図４は、図３の推定装置３０１が行う推定処理の例を示すフローチャートである。まず、消失線推定部３１２は、第１画像３２１から第１消失点を求め（ステップ４０１）、第２画像３２２から第２消失点を求め（ステップ４０２）、第１消失点と第２消失点とを用いて消失線を求める（ステップ４０３）。次に、姿勢推定部３１３は、消失線を用いて撮像装置の姿勢を推定する（ステップ４０４）。
【００２７】
図３の推定装置３０１によれば、車両に搭載された撮像装置により撮影した画像から、撮像装置の姿勢を推定することができる。
【００２８】
図５は、図３の推定装置３０１の第１の具体例を示している。図５の推定装置３０１は、例えば、撮像装置５０１とともに車両に搭載され、記憶部３１１、消失線推定部３１２、及び姿勢推定部３１３を含む。消失線推定部３１２は、旋回検出部５１１、消失点検出部５１２、消失点検証部５１３、チェック部５１４、及び消失線計算部５１５を含む。撮像装置５０１は、例えば、車両に搭載されたカメラであり、車両の進行方向（前方）の映像を撮影する。撮像装置５０１は、図１の撮像装置１０２に対応する。
【００２９】
撮像装置５０１は、車両の停止時又は走行中に映像を撮影して推定装置３０１へ出力する。推定装置３０１は、撮像装置５０１が出力する映像に含まれる各時刻の画像５２１を記憶部３１１に格納する。各時刻の画像５２１は、フレームと呼ばれることもある。
【００３０】
旋回検出部５１１は、車両の右折又は左折を車両の旋回として検出する。例えば、旋回検出部５１１は、車両の方向指示器に対して出力される制御信号（ウィンカー信号）、又は車両センサ（加速度センサ、ジャイロセンサ等）から出力されるセンサ信号を用いて、右折又は左折を検出することができる。また、旋回検出部５１１は、複数時刻の画像５２１から路面特徴等を表す特徴点のフローを求め、求めたフローに基づいて右折又は左折を検出することもできる。
【００３１】
消失点検出部５１２は、旋回検出部５１１が右折又は左折を検出したときの画像５２１から、消失点を検出する。
【００３２】
図６は、図５の消失点検出部５１２の機能的構成例を示している。図６の消失点検出部５１２は、路面標示検出部６０１、平行線検出部６０２、及び交点検出部６０３を含む。路面標示検出部６０１は、画像５２１から、横断歩道の白線、車線の両側に引かれた白線（車線区分線）等の路面標示を検出し、平行線検出部６０２は、検出された路面標示に含まれる１組以上の平行線を検出する。そして、交点検出部６０３は、検出された平行線を延長した２本の直線の交点を消失点として検出し、検出した消失点の位置を、消失点情報５２２として記憶部３１１に格納する。
【００３３】
図７は、画像５２１から検出される消失点の例を示している。撮像装置５０１の視線方向と直交しない路面上に存在する直線７０１及び直線７０２からなる１組の平行線は、画像内において１点で交差する。この交点が消失点７０３として検出される。
【００３４】
車両が右折又は左折する交差点の路面上には、横断歩道、車線区分線等の路面標示が設けられていることが多い。そこで、これらの路面標示に含まれる白線の平行な境界線を利用することで、消失点を容易に検出することができる。
【００３５】
図８は、交差点を撮影した画像５２１の例を示している。画像８０１は、車両が左折するときに撮影された画像５２１の例であり、画像８０２は、車両が右折するときに撮影された画像５２１の例である。
【００３６】
画像８０１に写っている直線８１１及び直線８１２は、路面上の横断歩道に含まれる１組の平行線に対応し、これらの直線の交点が消失点８１３として検出される。この消失点８１３は、画像８０１の左端に近い位置に検出される。
【００３７】
一方、画像８０２に写っている直線８２１及び直線８２２は、路面上の横断歩道又は車線区分線に含まれる１組の平行線に対応し、これらの直線の交点が消失点８２３として検出される。この消失点８２３は、画像８０２の右端に近い位置に検出される。
【００３８】
この場合、画像８０１から検出された消失点８１３と、画像８０２から検出された消失点８２３との間の水平方向の距離Ｄは、画像８０１及び画像８０２の水平方向のサイズに近い。このように、右折時に撮影された画像５２１と左折時に撮影された画像５２１のそれぞれから消失点を検出することで、画像内において水平方向に大きく離れた２つの消失点を求めることができる。そして、大きく離れた２つの消失点を利用することで、消失線を高精度に求めることができる。
【００３９】
消失点検証部５１３は、右折時の画像５２１から検出された消失点が、画像５２１の右端から所定距離ＤＲ以内に存在することを検証し、画像５２１の右端からＤＲ以内に存在する消失点の位置を、右消失点情報５２３として記憶部３１１に格納する。
【００４０】
また、消失点検証部５１３は、左折時の画像５２１から検出された消失点が、画像５２１の左端から所定距離ＤＬ以内に存在することを検証し、画像５２１の左端からＤＬ以内に存在する消失点の位置を、左消失点情報５２４として記憶部３１１に格納する。
【００４１】
例えば、画像５２１の幅Ｗ、所定比率ｒＲ、及び所定比率ｒＬを用いて、次式によりＤＲ及びＤＬを決定することができる。
【００４２】
ＤＬ＝Ｗ＊ｒＬ      （３）
ＤＲ＝Ｗ＊ｒＲ      （４）
【００４３】
ｒＬ及びｒＲは、０〜０．５の範囲の実数であり、好ましくは０．３以下の実数である。ｒＬ及びｒＲの値が小さいほど、画像５２１の端に近い消失点を求めることができる。例えば、ｒＬ＝ｒＲ＝０．２であってもよい。
【００４４】
チェック部５１４は、右消失点情報５２３及び左消失点情報５２４それぞれに所定数Ｎ以上の消失点が記録されたか否かをチェックする。Ｎは、１以上の整数であり、好ましくは、消失線を統計的に計算するために十分な個数である。例えば、Ｎ＝１０００であってもよい。
【００４５】
右消失点情報５２３及び左消失点情報５２４それぞれにＮ個以上の消失点が記録されている場合、消失線計算部５１５は、それらの消失点の位置を用いて消失線を計算し、計算した消失線を示す消失線情報５２５を記憶部３１１に格納する。例えば、消失線計算部５１５は、最小二乗法、Random Sample Consensus（ＲＡＮＳＡＣ）等の統計処理により、消失線を計算することができる。
【００４６】
姿勢推定部３１３は、消失線情報５２５が示す消失線を用いて、撮像装置５０１のロール角、ピッチ角、及びヨー角を推定し、それらの角度を示す姿勢情報５２６を記憶部３１１に格納する。例えば、姿勢推定部３１３は、特許文献１に記載された推定方法等によって、ロール角、ピッチ角、及びヨー角を推定することができる。
【００４７】
図９は、図５の消失線推定部３１２が行う消失線推定処理の例を示している。消失点検出部５１２は、左折時に撮影された複数時刻の画像９０１から複数の消失点を検出し、消失点検証部５１３は、それらの消失点のうち、画像５２１の左端からＤＬ以内に存在する複数の消失点９１１を抽出する。また、消失点検出部５１２は、右折時に撮影された複数時刻の画像９０２から複数の消失点を検出し、消失点検証部５１３は、それらの消失点のうち、画像５２１の右端からＤＲ以内に存在する複数の消失点９１２を抽出する。
【００４８】
そして、消失線計算部５１５は、画像５２１の左端に近い複数の消失点９１１と、画像５２１の右端に近い複数の消失点９１２とを用いて、消失線９１３を計算する。
【００４９】
図５の推定装置３０１によれば、右折時の画像５２１から検出された消失点と、左折時の画像５２１から検出された消失点とを用いることで、車両に搭載された撮像装置５０１の姿勢を高精度に推定することができる。また、右折時の複数の画像５２１それぞれから検出された複数の消失点と、左折時の複数の画像５２１それぞれから検出された複数の消失点とを用いて、消失線を統計的に計算することで、撮像装置５０１の姿勢の推定精度がさらに向上する。
【００５０】
図１０は、図５の推定装置３０１が行う推定処理の第１の具体例を示すフローチャートである。まず、消失線推定部３１２は、記憶部３１１から現時刻の画像５２１を読み出し、旋回検出部５１１は、旋回検出処理を行って（ステップ１００１）、車両の旋回を検出したか否かをチェックする（ステップ１００２）。旋回検出処理において、旋回検出部５１１は、ウィンカー信号、センサ信号等を用いて車両の旋回を検出してもよく、現時刻を含む複数時刻の画像５２１から求めた特徴点のフローに基づいて、車両の旋回を検出してもよい。
【００５１】
車両の旋回を検出しない場合（ステップ１００２，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１００１以降の処理を繰り返す。
【００５２】
車両の旋回を検出した場合（ステップ１００２，ＹＥＳ）、消失点検出部５１２の路面標示検出部６０１は、現時刻の画像５２１に対して、路面標示検出処理を行う（ステップ１００３）。そして、路面標示検出部６０１は、路面標示を検出したか否かをチェックする（ステップ１００４）。路面標示を検出しない場合（ステップ１００４，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１００１以降の処理を繰り返す。
【００５３】
路面標示を検出した場合（ステップ１００４，ＹＥＳ）、平行線検出部６０２は、画像５２１内の検出された路面標示を含む領域に対して、平行線検出処理を行い（ステップ１００５）、平行線を検出したか否かをチェックする（ステップ１００６）。平行線を検出しない場合（ステップ１００６，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１００１以降の処理を繰り返す。
【００５４】
平行線を検出した場合（ステップ１００６，ＹＥＳ）、交点検出部６０３は、検出された平行線を延長して、２本の直線の交点に対応する消失点の位置を計算し、計算した位置を示す座標を消失点情報５２２に記録する（ステップ１００７）。画像５２１から複数組の平行線が検出された場合、それぞれの組の平行線から計算される複数の消失点の座標が消失点情報５２２に記録される。
【００５５】
次に、消失点検証部５１３は、検出された消失点が現時刻の画像５２１の端から所定距離以内に存在するか否かをチェックする（ステップ１００８）。ステップ１００２で検出された旋回が右折である場合、消失点検証部５１３は、画像５２１の右端からＤＲ以内に消失点が存在するか否かをチェックする。一方、ステップ１００２で検出された旋回が左折である場合、消失点検証部５１３は、画像５２１の左端からＤＬ以内に消失点が存在するか否かをチェックする。
【００５６】
消失点が画像５２１の端から所定距離以内に存在しない場合（ステップ１００８，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１００１以降の処理を繰り返す。
【００５７】
消失点が画像５２１の右端からＤＲ以内に存在する場合（ステップ１００８，ＹＥＳ）、消失点検証部５１３は、その消失点の座標を右消失点情報５２３に記録する（ステップ１００９）。一方、消失点が画像５２１の左端からＤＬ以内に存在する場合（ステップ１００８，ＹＥＳ）、消失点検証部５１３は、その消失点の座標を左消失点情報５２４に記録する（ステップ１００９）。
【００５８】
次に、チェック部５１４は、右消失点情報５２３及び左消失点情報５２４それぞれに所定数Ｎ以上の消失点が記録されたか否かをチェックする（ステップ１０１０）。右消失点情報５２３又は左消失点情報５２４のいずれかに記録された消失点の個数がＮ個未満である場合（ステップ１０１０，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１００１以降の処理を繰り返す。
【００５９】
右消失点情報５２３及び左消失点情報５２４それぞれに記録された消失点の個数がＮ個以上である場合（ステップ１０１０，ＹＥＳ）、消失線計算部５１５は、それらの消失点の座標を用いて、統計処理により消失線を計算する（ステップ１０１１）。そして、消失線計算部５１５は、計算した消失線の位置を示す消失線情報５２５を生成する。
【００６０】
次に、姿勢推定部３１３は、消失線情報５２５が示す消失線の位置を用いて、撮像装置５０１の姿勢を表すロール角、ピッチ角、及びヨー角を計算し、計算した角度を示す姿勢情報５２６を生成する（ステップ１０１２）。例えば、姿勢推定部３１３は、特許文献１に記載された推定方法により、画像５２１の水平方向の直線（Ｘ軸）と消失線とがなす角度を、撮像装置５０１のロール角として計算することができる。また、姿勢推定部３１３は、特許文献１に記載された推定方法により、ピッチ角及びヨー角も計算することができる。
【００６１】
ところで、車両が路面上を走行する場合、車両に積載されている人間又は貨物の重量によって、路面に垂直な方向における車両の傾き（ピッチ）が変化することがある。車両の傾きが変化すると、それに応じて撮像装置５０１の姿勢も変化するため、車両の傾きが異なる状態で撮影された複数の画像５２１を用いて消失線を計算すると、消失線の推定精度が低下する。
【００６２】
図１１は、車両の傾きの例を示している。図１１（ａ）に示す状態では、車体１０１が路面に対して平行になっている。一方、図１１（ｂ）に示す状態では、矢印１１０１が示すように、車体１０１のフロント部分が沈み込み、車体１０１が前方へ傾いている。また、図１１（ｃ）に示す状態では、矢印１１０２が示すように、車体１０１のリア部分が沈み込み、車体１０１が後方へ傾いている。
【００６３】
図１２は、車体１０１が前方へ傾いたときの消失点の位置の変化を示す図である。画像１２０１は、図１１（ａ）に示す状態で撮影された画像であり、画像１２０２は、図１１（ｂ）に示す状態で撮影された、同じシーンの画像である。図１１（ｂ）に示す状態では、車体１０１とともに撮像装置５０１も前方へ傾くため、画像１２０２内における消失点１２１２の位置は、画像１２０１内における消失点１２１１の位置よりもΔＹだけ上方へシフトする。
【００６４】
このように、車両の傾きが異なる状態で撮影された複数の画像５２１から検出される複数の消失点が混在していると、正しい消失線の位置を推定することが困難になる。そこで、車体１０１の前後方向の傾きが同じ程度の状態で撮影された画像５２１を選別して、消失点の位置を計算する方法が考えられる。
【００６５】
図１３は、このような計算方法を採用した、図３の推定装置３０１の第２の具体例を示している。図１３の推定装置３０１は、図５の構成において、消失線推定部３１２内に傾き検出部１３０１及び傾き検証部１３０２を追加した構成を有する。
【００６６】
傾き検出部１３０１は、車両に積載されている人間又は貨物によって発生する車両の垂直方向の傾き（沈み込み）を検出し、検出した傾きを示す傾き情報１３１１を記憶部３１１に格納する。
【００６７】
図１４は、図１３の傾き検出部１３０１の機能的構成例を示している。図１４の傾き検出部１３０１は、停止検出部１４０１及び重力方向検出部１４０２を含む。停止検出部１４０１は、車両が停止している状態（停止状態）を検出する。例えば、停止検出部１４０１は、車速センサ等の車両センサから出力されるセンサ信号を用いて、停止状態を検出することができる。また、停止検出部１４０１は、複数時刻の画像５２１から求めた特徴点のフローに基づいて、停止状態を検出することもできる。
【００６８】
重力方向検出部１４０２は、車両が停止している状態で傾き検出処理を行う。このとき、重力方向検出部１４０２は、加速度センサから出力されるセンサ信号等を用いて、車体１０１に対する重力の方向（重力方向）を検出する。そして、重力方向検出部１４０２は、検出した重力方向と、基準時刻において事前に測定しておいた重力方向とを比較することで、それらの重力方向の差分を車両の傾きとして検出し、検出した傾きを傾き情報１３１１に記録する。基準時刻は、車両に人間又は貨物が積載されていない時刻であることが好ましい。例えば、基準時刻は、車両の工場出荷時であってもよい。
【００６９】
傾き検証部１３０２は、傾き情報１３１１が示す傾きが所定範囲内であることを検証する。そして、消失点検出部５１２は、傾き情報１３１１が示す傾きが所定範囲内である場合に、画像５２１から消失点を検出し、検出した消失点の位置を消失点情報５２２に記録する。所定範囲は、事前に決められた所定の角度であってもよく、所定の角度よりも許容誤差だけ小さな値を下限値とし、所定の角度よりも許容誤差だけ大きな値を上限値とする角度範囲であってもよい。
【００７０】
図１３の推定装置３０１によれば、車両の傾きが所定範囲内であるときに撮影された画像５２１のみを用いて消失点の位置が計算されるため、車両の傾きの影響を受けることなく、消失線の位置を高精度に推定することができる。
【００７１】
積載された人間又は貨物の重量に応じて車両の傾きが変化するのは、人間の乗車又は降車、貨物の積み下ろし等が行われるときであり、いずれの場合も車両は停止していると考えられる。そして、車両が走行を開始した後は、次に車両が停止するまで、人間又は貨物の重量によって車両の傾きが変化することはない。そこで、車両の停止状態において傾きを記録しておけば、車両の走行中は、記録されている傾きを車両の最新の傾きとして参照することが可能である。
【００７２】
図１５Ａ及び図１５Ｂは、図１３の推定装置３０１が行う推定処理の第２の具体例を示すフローチャートである。まず、消失線推定部３１２は、記憶部３１１から現時刻の画像５２１を読み出し、停止検出部１４０１は、停止検出処理を行って（ステップ１５０１）、車両の停止状態を検出したか否かをチェックする（ステップ１５０２）。停止検出処理において、停止検出部１４０１は、センサ信号等を用いて車両の停止状態を検出してもよく、現時刻を含む複数時刻の画像５２１から求めた特徴点のフローに基づいて、車両の停止状態を検出してもよい。
【００７３】
車両の停止状態を検出した場合（ステップ１５０２，ＹＥＳ）、重力方向検出部１４０２は、傾き検出処理を行って、検出した車両の傾きを傾き情報１３１１に記録する（ステップ１５０３）。そして、傾き検証部１３０２は、傾き情報１３１１が示す傾きが所定範囲内であるか否かをチェックする（ステップ１５０４）。傾きが所定範囲内ではない場合（ステップ１５０４，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１００１以降の処理を繰り返す。
【００７４】
一方、車両の停止状態を検出しない場合（ステップ１５０２，ＮＯ）、傾き検証部１３０２は、傾き情報１３１１から既に記録されている傾きを取得し（ステップ１５０５）、取得した傾きを用いてステップ１５０４の処理を行う。
【００７５】
傾きが所定範囲内である場合（ステップ１５０４，ＹＥＳ）、推定装置３０１は、ステップ１５０６以降の処理を行う。ステップ１５０６〜ステップ１５１７の処理は、図１０のステップ１００１〜ステップ１０１２の処理と同様である。ただし、ステップ１５０７、ステップ１５０９、ステップ１５１１、ステップ１５１３、又はステップ１５１５において判定結果がＮＯである場合、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１５０１以降の処理を繰り返す。
【００７６】
車両の傾きが所定範囲内であるときに撮影された画像５２１を選別する代わりに、消失点が検出されたときの傾きを記録しておき、傾きに対する統計処理を行って、消失線の計算に用いる消失点を選別する方法も考えられる。
【００７７】
図１６は、このような計算方法を採用した、図３の推定装置３０１の第３の具体例を示している。図１６の推定装置３０１は、図１３の構成において、消失線推定部３１２から傾き検証部１３０２を削除した構成を有する。
【００７８】
傾き検出部１３０１は、図１３の場合と同様にして車両の傾きを検出し、検出した傾きを検出時刻とともに傾き情報１３１１に記録する。
【００７９】
消失点検証部５１３は、画像５２１の右端からＤＲ以内に存在する消失点が検出された場合、その画像５２１の撮影時刻に対応する傾きを傾き情報１３１１から取得し、右傾き情報１６１１として記憶部３１１に格納する。右傾き情報１６１１に含まれる傾きは、右消失点情報５２３に含まれる複数の消失点の位置のうち、その傾きの検出時刻の画像５２１から検出された消失点の位置と対応付けて、記憶部３１１に格納される。
【００８０】
また、消失点検証部５１３は、画像５２１の左端からＤＬ以内に存在する消失点が検出された場合、その画像５２１の撮影時刻に対応する傾きを傾き情報１３１１から取得し、左傾き情報１６１２として記憶部３１１に格納する。左傾き情報１６１２に含まれる傾きは、左消失点情報５２４に含まれる複数の消失点の位置のうち、その傾きの検出時刻の画像５２１から検出された消失点の位置と対応付けて、記憶部３１１に格納される。
【００８１】
チェック部５１４は、右傾き情報１６１１に含まれる複数の傾きと左傾き情報１６１２に含まれる複数の傾きとを用いて統計処理を行うことで、傾きに対する所定範囲を求める。そして、チェック部５１４は、右消失点情報５２３及び左消失点情報５２４それぞれに、所定範囲内の傾きと対応付けられた所定数Ｎ以上の消失点が記録されたか否かをチェックする。
【００８２】
消失線計算部５１５は、右消失点情報５２３及び左消失点情報５２４に含まれる複数の消失点の位置のうち、所定範囲内の傾きと対応付けられた消失点の位置を用いて、消失線を計算する。
【００８３】
図１６の推定装置３０１によれば、車両の傾きが所定範囲内であるときに検出された消失点の位置のみを用いて消失線が計算されるため、車両の傾きの影響を受けることなく、消失線の位置を高精度に推定することができる。
【００８４】
図１７Ａ及び図１７Ｂは、推定処理の第３の具体例を示すフローチャートである。ステップ１７０１及びステップ１７０２の処理は、図１５Ａのステップ１５０１及びステップ１５０２の処理と同様である。
【００８５】
車両の停止状態を検出した場合（ステップ１７０２，ＹＥＳ）、傾き検出部１３０１の重力方向検出部１４０２は、傾き検出処理を行って、検出した車両の傾きと現時刻とを対応付けて傾き情報１３１１に記録する（ステップ１７０３）。
【００８６】
一方、車両の停止状態を検出しない場合（ステップ１７０２，ＮＯ）、重力方向検出部１４０２は、傾き情報１３１１から直前の時刻に対応付けられた傾きを取得し、取得した傾きと現時刻とを対応付けて傾き情報１３１１に記録する（ステップ１７０４）。
【００８７】
次に、推定装置３０１は、ステップ１７０５以降の処理を行う。ステップ１７０５〜ステップ１７１２の処理は、図１０のステップ１００１〜ステップ１００８の処理と同様である。
【００８８】
消失点が画像５２１の端から所定距離以内に存在しない場合（ステップ１７１２，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１７０１以降の処理を繰り返す。
【００８９】
消失点が画像５２１の右端からＤＲ以内に存在する場合（ステップ１７１２，ＹＥＳ）、消失点検証部５１３は、その消失点の座標を右消失点情報５２３に記録する（ステップ１７１３）。そして、消失点検証部５１３は、その消失点が検出された画像５２１の撮影時刻に対応する傾きを傾き情報１３１１から取得し、その消失点の座標と対応付けて右傾き情報１６１１に記録する。
【００９０】
一方、消失点が画像５２１の左端からＤＬ以内に存在する場合（ステップ１７１２，ＹＥＳ）、消失点検証部５１３は、その消失点の座標を左消失点情報５２４に記録する（ステップ１７１３）。そして、消失点検証部５１３は、その消失点が検出された画像５２１の撮影時刻に対応する傾きを傾き情報１３１１から取得し、その消失点の座標と対応付けて左傾き情報１６１２に記録する。
【００９１】
次に、チェック部５１４は、右傾き情報１６１１に含まれる複数の傾きと左傾き情報１６１２に含まれる複数の傾きとを用いて統計処理を行うことで、尤もらしい車両の傾きを計算する（ステップ１７１４）。尤もらしい車両の傾きとしては、複数の傾きの最頻値、平均値、中央値等の統計値を用いることができる。そして、チェック部５１４は、尤もらしい車両の傾きに対する所定範囲を求める。所定範囲は、計算された統計値であってもよく、統計値よりも許容誤差だけ小さな値を下限値とし、統計値よりも許容誤差だけ大きな値を上限値とする角度範囲であってもよい。
【００９２】
次に、チェック部５１４は、右消失点情報５２３及び左消失点情報５２４それぞれに、所定範囲内の傾きと対応付けられた所定数Ｎ以上の消失点が記録されたか否かをチェックする（ステップ１７１５）。右消失点情報５２３又は左消失点情報５２４のいずれかに記録された、所定範囲内の傾きと対応付けられた消失点の個数がＮ個未満である場合（ステップ１７１５，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１７０１以降の処理を繰り返す。
【００９３】
右消失点情報５２３及び左消失点情報５２４それぞれに記録された、所定範囲内の傾きと対応付けられた消失点の個数がＮ個以上である場合（ステップ１７１５，ＹＥＳ）、消失線計算部５１５は、ステップ１７１６の処理を行う。ステップ１７１６において、消失線計算部５１５は、所定範囲内の傾きと対応付けられた消失点の座標を用いて、統計処理により消失線を計算する。そして、姿勢推定部３１３は、消失線情報５２５が示す消失線の位置を用いて、撮像装置５０１の姿勢を計算する（ステップ１７１７）。
【００９４】
図３、図５、図１３、及び図１６の推定装置３０１の構成は一例に過ぎず、推定装置３０１の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。図６の消失点検出部５１２の構成は一例に過ぎず、推定装置３０１の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。図１４の傾き検出部１３０１の構成は一例に過ぎず、推定装置３０１の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。
【００９５】
図４、図１０、図１５Ａ、図１５Ｂ、図１７Ａ、及び図１７Ｂのフローチャートは一例に過ぎず、推定装置３０１の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図４の推定処理において、ステップ４０１とステップ４０２の処理の順序を入れ替えても構わない。
【００９６】
図１の撮像装置１０２の取付位置は一例に過ぎず、撮像装置１０２は、車体１０１の上面、側面、底面等に取り付けられていてもよい。図２に示した消失線の計算精度は一例に過ぎず、消失線の計算精度は、画像の解像度、消失点の位置等に応じて変化する。図７〜図９及び図１２の消失点は一例に過ぎず、消失点の位置は、撮影される画像に応じて変化する。図１１の車両の傾きは一例に過ぎず、車両の傾きは、車両に積載される人間又は貨物の位置及び重量に応じて変化する。式（３）及び式（４）は一例に過ぎず、ＤＬ及びＤＲを別の計算式により決定してもよい。
【００９７】
図１８は、図３、図５、図１３、及び図１６の推定装置３０１として用いられる情報処理装置（コンピュータ）の構成例を示している。図１８の情報処理装置は、Central Processing Unit（ＣＰＵ）１８０１、メモリ１８０２、入力装置１８０３、出力装置１８０４、補助記憶装置１８０５、媒体駆動装置１８０６、及びネットワーク接続装置１８０７を備える。これらの構成要素はバス１８０８により互いに接続されている。
【００９８】
メモリ１８０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１８０２は、図３、図５、図１３、及び図１６の記憶部３１１として用いることができる。
【００９９】
ＣＰＵ１８０１（プロセッサ）は、例えば、メモリ１８０２を利用してプログラムを実行することにより、図３、図５、図１３、及び図１６の消失線推定部３１２及び姿勢推定部３１３として動作する。ＣＰＵ１８０１は、メモリ１８０２を利用してプログラムを実行することにより、旋回検出部５１１、消失点検出部５１２、消失点検証部５１３、チェック部５１４、消失線計算部５１５、傾き検出部１３０１、及び傾き検証部１３０２としても動作する。
【０１００】
ＣＰＵ１８０１は、メモリ１８０２を利用してプログラムを実行することにより、図６の路面標示検出部６０１、平行線検出部６０２、及び交点検出部６０３としても動作する。ＣＰＵ１８０１は、メモリ１８０２を利用してプログラムを実行することにより、図１４の停止検出部１４０１及び重力方向検出部１４０２としても動作する。
【０１０１】
入力装置１８０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示及び情報の入力に用いられる。出力装置１８０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、消失線情報５２５又は姿勢情報５２６であってもよく、姿勢情報５２６に基づいて行われるＬＤＷ等の画像処理の結果であってもよい。
【０１０２】
補助記憶装置１８０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１８０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１８０５にプログラム及びデータを格納しておき、それらをメモリ１８０２にロードして使用することができる。補助記憶装置１８０５は、図３、図５、図１３、及び図１６の記憶部３１１として用いることができる。
【０１０３】
媒体駆動装置１８０６は、可搬型記録媒体１８０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１８０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１８０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１８０９にプログラム及びデータを格納しておき、それらをメモリ１８０２にロードして使用することができる。
【０１０４】
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１８０２、補助記憶装置１８０５、又は可搬型記録媒体１８０９のような、物理的な（非一時的な）記録媒体である。
【０１０５】
ネットワーク接続装置１８０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１８０７を介して受け取り、それらをメモリ１８０２にロードして使用することができる。
【０１０６】
なお、情報処理装置が図１８のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置がオペレータ又はユーザと対話を行わない場合は、入力装置１８０３及び出力装置１８０４を省略してもよい。また、可搬型記録媒体１８０９又は通信ネットワークを利用しない場合は、媒体駆動装置１８０６又はネットワーク接続装置１８０７を省略してもよい。
【０１０７】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【０１０８】
図１乃至図１８を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
車両に搭載された撮像装置によって前記車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像から、第１消失点を求め、
前記撮像装置によって前記車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像から、第２消失点を求め、
前記第１消失点と前記第２消失点とを用いて消失線を求め、
前記消失線を用いて前記撮像装置の姿勢を推定する、
処理をコンピュータに実行させるための推定プログラム。
（付記２）
前記コンピュータは、前記第１画像内における前記第１消失点の位置が、前記第１画像の右端から所定距離以内に存在し、かつ、前記第２画像内における前記第２消失点の位置が、前記第２画像の左端から前記所定距離以内に存在する場合、前記第１消失点と前記第２消失点とを用いて前記消失線を求めることを特徴とする付記１記載の推定プログラム。
（付記３）
前記コンピュータは、センサによって検出された、前記車両の路面に対する傾きが、所定範囲内である場合、前記第１消失点と前記第２消失点とを用いて前記消失線を求めることを特徴とする付記１又は２記載の推定プログラム。
（付記４）
前記コンピュータは、
前記車両の右折時に撮影された、前記第１画像を含む複数の画像それぞれから、前記第１消失点を含む複数の消失点を求め、
前記車両の左折時に撮影された、前記第２画像を含む複数の画像それぞれから、前記第２消失点を含む複数の消失点を求め、
前記第１消失点を含む前記複数の消失点と前記第２消失点を含む前記複数の消失点とを用いて、前記消失線を求めることを特徴とする付記１又は２記載の推定プログラム。
（付記５）
前記コンピュータは、
前記第１画像を含む前記複数の画像それぞれが撮影されたときにセンサによってそれぞれ検出された、前記車両の路面に対する複数の傾きを、前記第１消失点を含む前記複数の消失点と対応付けて記憶し、
前記第２画像を含む前記複数の画像それぞれが撮影されたときに前記センサによってそれぞれ検出された、前記車両の前記路面に対する複数の傾きを、前記第２消失点を含む前記複数の消失点と対応付けて記憶し、
前記第１消失点を含む前記複数の消失点と対応付けられた前記複数の傾きと、前記第２消失点を含む前記複数の消失点と対応付けられた前記複数の傾きとを用いて、傾きに対する所定範囲を求め、
前記第１消失点を含む前記複数の消失点のうち、前記所定範囲内の傾きと対応付けられた消失点と、前記第２消失点を含む前記複数の消失点のうち、前記所定範囲内の傾きと対応付けられた消失点とを用いて、前記消失線を求めることを特徴とする付記４記載の推定プログラム。
（付記６）
前記第１路面標示及び前記第２路面標示は、横断歩道又は車線区分線を表す路面標示であることを特徴とする付記１乃至５のいずれか１項に記載の推定プログラム。
（付記７）
車両に搭載された撮像装置によって前記車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像と、前記撮像装置によって前記車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像とを記憶する記憶部と、
前記第１画像から第１消失点を求め、前記第２画像から第２消失点を求め、前記第１消失点と前記第２消失点とを用いて消失線を求める消失線推定部と、
前記消失線を用いて前記撮像装置の姿勢を推定する姿勢推定部と、
を備えることを特徴とする推定装置。
（付記８）
前記消失線推定部は、前記第１画像内における前記第１消失点の位置が、前記第１画像の右端から所定距離以内に存在し、かつ、前記第２画像内における前記第２消失点の位置が、前記第２画像の左端から前記所定距離以内に存在する場合、前記第１消失点と前記第２消失点とを用いて前記消失線を求めることを特徴とする付記７記載の推定装置。
（付記９）
前記消失線推定部は、センサによって検出された、前記車両の路面に対する傾きが、所定範囲内である場合、前記第１消失点と前記第２消失点とを用いて前記消失線を求めることを特徴とする付記７又は８記載の推定装置。
（付記１０）
前記消失線推定部は、
前記車両の右折時に撮影された、前記第１画像を含む複数の画像それぞれから、前記第１消失点を含む複数の消失点を求め、
前記車両の左折時に撮影された、前記第２画像を含む複数の画像それぞれから、前記第２消失点を含む複数の消失点を求め、
前記第１消失点を含む前記複数の消失点と前記第２消失点を含む前記複数の消失点とを用いて、前記消失線を求めることを特徴とする付記７又は８記載の推定装置。
（付記１１）
コンピュータが、
車両に搭載された撮像装置によって前記車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像から、第１消失点を求め、
前記撮像装置によって前記車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像から、第２消失点を求め、
前記第１消失点と前記第２消失点とを用いて消失線を求め、
前記消失線を用いて前記撮像装置の姿勢を推定する、
ことを特徴とする推定方法。
（付記１２）
前記コンピュータは、前記第１画像内における前記第１消失点の位置が、前記第１画像の右端から所定距離以内に存在し、かつ、前記第２画像内における前記第２消失点の位置が、前記第２画像の左端から前記所定距離以内に存在する場合、前記第１消失点と前記第２消失点とを用いて前記消失線を求めることを特徴とする付記１１記載の推定方法。
（付記１３）
前記コンピュータは、センサによって検出された、前記車両の路面に対する傾きが、所定範囲内である場合、前記第１消失点と前記第２消失点とを用いて前記消失線を求めることを特徴とする付記１１又は１２記載の推定方法。
（付記１４）
前記コンピュータは、
前記車両の右折時に撮影された、前記第１画像を含む複数の画像それぞれから、前記第１消失点を含む複数の消失点を求め、
前記車両の左折時に撮影された、前記第２画像を含む複数の画像それぞれから、前記第２消失点を含む複数の消失点を求め、
前記第１消失点を含む前記複数の消失点と前記第２消失点を含む前記複数の消失点とを用いて、前記消失線を求めることを特徴とする付記１１又は１２記載の推定方法。
【符号の説明】
【０１０９】
１０１  車体
１０２、５０１  撮像装置
１１１  中心線
１１２、１１３、７０１、７０２、８１１、８１２、８２１、８２２  直線
１１４  距離
１２１  ロール角
１２２  ピッチ角
１２３  ヨー角
２０１、２０２、２０４、２０５、１１０１、１１０２  矢印
２０３、２０６  線分
３０１  推定装置
３１１  記憶部
３１２  消失線推定部
３１３  姿勢推定部
３２１  第１画像
３２２  第２画像
５１１  旋回検出部
５１２  消失点検出部
５１３  消失点検証部
５１４  チェック部
５１５  消失線計算部
５２１、８０１、８０２、１２０１、１２０２  画像
５２２  消失点情報
５２３  右消失点情報
５２４  左消失点情報
５２５  消失線情報
５２６  姿勢情報
６０１  路面標示検出部
６０２  平行線検出部
６０３  交点検出部
７０３、８１３、８２３、１２１１、１２１２  消失点
９０１、９０２  複数時刻の画像
９１１、９１２  複数の消失点
９１３  消失線
１３０１  傾き検出部
１３０２  傾き検証部
１３１１  傾き情報
１４０１  停止検出部
１４０２  重力方向検出部
１６１１  右傾き情報
１６１２  左傾き情報
１８０１  ＣＰＵ
１８０２  メモリ
１８０３  入力装置
１８０４  出力装置
１８０５  補助記憶装置
１８０６  媒体駆動装置
１８０７  ネットワーク接続装置
１８０８  バス
１８０９  可搬型記録媒体
【図１】
2019003522.tif 000003
【図２】
2019003522.tif 000004
【図３】
2019003522.tif 000005
【図４】
2019003522.tif 000006
【図５】
2019003522.tif 000007
【図６】
2019003522.tif 000008
【図７】
2019003522.tif 000009
【図８】
2019003522.tif 000010
【図９】
2019003522.tif 000011
【図１０】
2019003522.tif 000012
【図１１】
2019003522.tif 000013
【図１２】
2019003522.tif 000014
【図１３】
2019003522.tif 000015
【図１４】
2019003522.tif 000016
【図１５Ａ】
2019003522.tif 000017
【図１５Ｂ】
2019003522.tif 000018
【図１６】
2019003522.tif 000019
【図１７Ａ】
2019003522.tif 000020
【図１７Ｂ】
2019003522.tif 000021
【図１８】
2019003522.tif 000022