(57)【特許請求の範囲】
【請求項１】
１又は複数のコンピュータに、
車両に配置されたカメラの撮影画像における第１消失点を登録するステップと、
前記撮影画像内の車線の境界線上の点と推定される複数の推定点を検出し、前記第１消失点及び前記複数の推定点に少なくとも基づいて、第２消失点を算出するステップと、を実行させる、
プログラム。
【請求項２】
前記第２消失点を算出するステップは、前記撮影画像内の所定の高さの仮想的な水平線と車線の境界線との交点を推定点として検出することを含む、
請求項１のプログラム。
【請求項３】
前記第２消失点を算出するステップは、前記第１消失点及び前記複数の推定点に少なくとも基づいて前記撮影画像内の車線の境界線と推定される複数の推定境界線を算出し、前記複数の推定境界線に少なくとも基づいて、前記第２消失点を算出することを含む、
請求項１又は２のプログラム。
【請求項４】
前記第２消失点を算出するステップは、前記第１消失点に少なくとも基づいて前記複数の推定点をグルーピングし、同じグループに属する複数の推定点に少なくとも基づいて、１の推定境界線を算出することを含む、
請求項３のプログラム。
【請求項５】
前記第２消失点を算出するステップは、前記複数の推定境界線の交点に少なくとも基づいて、前記第２消失点を算出することを含む、
請求項３又は４のプログラム。
【請求項６】
前記第２消失点を算出するステップは、３以上の推定境界線の複数の交点に対する統計処理を介して前記第２消失点を算出することを含む、
請求項５のプログラム。
【請求項７】
前記第２消失点を算出するステップは、前記複数の交点の代表値を前記第２消失点として算出することを含む、
請求項６のプログラム。
【請求項８】
前記１又は複数のコンピュータに、さらに、前記第２消失点を算出するステップを繰り返し実行させると共に、２以上の所定数の前記第２消失点の算出に応じて、前記所定数の前記第２消失点に対する統計処理を介して第３消失点を算出するステップを実行させる、
請求項１ないし７何れかのプログラム。
【請求項９】
前記第３消失点を算出するステップは、前記所定数の前記第２消失点の代表値を前記第３消失点として算出することを含む、
請求項８のプログラム。
【請求項１０】
前記１又は複数のコンピュータに、さらに、前記撮影画像内の所定のオブジェクトを検出し、前記撮影画像における前記第３消失点と前記所定のオブジェクトとの位置関係に少なくとも基づいて、前記カメラと前記所定のオブジェクトとの間の距離に基づく距離を算出するステップを実行させる、
請求項８又は９のプログラム。
【請求項１１】
前記第１消失点を登録するステップは、前記第３消失点を新たな前記第１消失点として登録することを含む、
請求項８ないし１０何れかのプログラム。
【請求項１２】
車両に配置されたカメラの撮影画像内の車線の境界線上の点と推定される複数の推定点を検出するように構成された推定点検出部と、
前記撮影画像における消失点を算出及び登録するように構成された消失点算出部と、を備え、
前記消失点算出部は、先に登録された第１消失点及び前記複数の推定点に少なくとも基づいて、第２消失点を算出するように構成されている、
装置。
【請求項１３】
車両に配置されたカメラの撮影画像における第１消失点を登録する工程と、
前記撮影画像内の車線の境界線上の点と推定される複数の推定点を検出し、前記第１消失点及び前記複数の推定点に少なくとも基づいて第２消失点を算出する工程と、を備える、
方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像における消失点を算出するためのプログラム、装置、及び方法に関するものである。
【背景技術】
【０００２】
従来、車両に配置されたカメラの撮影画像における消失点を用いた様々な技術が提案されている。例えば、下記特許文献１は、車両前方の撮像画像の中から対象車両画像及び消失点を検出し、これらの対象車両画像及び消失点に基づいて、当該対象車両までの距離（車間距離）を算出する装置を開示している。また、例えば、下記特許文献２は、車両前方の景色の撮影画像に基づいて車両前方側の視界における消失点を算出し、当該消失点に基づいて、車両の前照灯（ヘッドライト）を制御する装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１６７３９７号公報
【特許文献２】特開２０１９−１０９６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、車両の走行中において、車体の振動等によってカメラの向きが変化すると、撮影画像における消失点の位置も変化してしまう場合がある。こうした消失点の位置の変化は、上述した車間距離の算出、及び、前照灯の制御等の消失点を利用する様々な処理に対して影響を与えてしまう可能性がある。
【０００５】
本発明の実施形態は、車両に配置されたカメラの撮影画像における消失点の適切な算出を支援することを目的の一つとする。本発明の実施形態の他の目的は、本明細書全体を参照することにより明らかとなる。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係るプログラムは、１又は複数のコンピュータに、車両に配置されたカメラの撮影画像における第１消失点を算出するステップと、前記撮影画像内の車線の境界線上の点と推定される複数の推定点を検出し、前記第１消失点及び前記複数の推定点に少なくとも基づいて、第２消失点を算出するステップと、を実行させる。ここで、本明細書において、「消失点」は、遠近法や透視図法において平行な直線群が集まる点として定義され、「消点」及び「無限遠点」等が含まれる。
【０００７】
本発明の一実施形態に係る装置は、車両に配置されたカメラの撮影画像内の車線の境界線上の点と推定される複数の推定点を検出するように構成された推定点検出部と、前記撮影画像における消失点を算出するように構成された消失点算出部と、を備え、前記消失点算出部は、前記撮影画像における第１消失点及び前記複数の推定点に少なくとも基づいて、第２消失点を算出するように構成されている。
【０００８】
本発明の一実施形態に係る方法は、車両に配置されたカメラの撮影画像における第１消失点を算出する工程と、前記撮影画像内の車線の境界線上の点と推定される複数の推定点を検出し、前記第１消失点及び前記複数の推定点に少なくとも基づいて第２消失点を算出する工程と、を備える。
【発明の効果】
【０００９】
本発明の様々な実施形態は、車両に配置されたカメラの撮影画像における消失点の適切な算出を支援する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る車載装置１０の構成を概略的に示す構成図。
【図２】車載装置１０が実行する消失点の算出に関する処理を例示するフロー図。
【図３】本実施形態における推定点を説明するための図。
【図４】複数の推定点をグルーピングする際に車載装置１０の消失点算出部１１４が実行する処理を例示するフロー図。
【図５】推定点のグルーピングの手順を説明するための図。
【図６】推定点のグルーピングの手順を説明するための図。
【図７】仮消失点を算出する手順を説明するための図。
【図８】車載装置１０が実行する車間距離の算出に関する処理を例示するフロー図である。
【図９】車両が検出される撮影画像２０を例示する図。
【図１０】車間距離を算出する方法を説明するための図。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施形態について説明する。
【００１２】
図１は、本発明の一実施形態に係る車載装置１０の構成を概略的に示す構成図である。装置１０は、一般的なコンピュータとして構成されており、図示するように、コンピュータプロセッサ１１と、メインメモリ１２と、入出力Ｉ／Ｆ１３と、通信Ｉ／Ｆ１４と、ストレージ（記憶装置）１５とを備え、これらの各構成要素が図示しないバス等を介して電気的に接続されている。車載装置１０は、自動車等の車両に搭載されて使用される。
【００１３】
コンピュータプロセッサ１１は、ＣＰＵ及びＧＰＵ等として構成され、ストレージ１５等に記憶されている様々なプログラムをメインメモリ１２に読み込んで、当該プログラムに含まれる各種の命令を実行する。メインメモリ１２は、例えば、ＤＲＡＭ等によって構成される。
【００１４】
入出力Ｉ／Ｆ１３は、ユーザ等との間で情報をやり取りするための各種の入出力装置を含む。入出力Ｉ／Ｆ１３は、例えば、ポインティングデバイス（例えば、タッチパネル等）、物理ボタン等の情報入力装置、マイクロフォン等の音声入力装置、カメラ等の画像入力装置を含む。また、入出力Ｉ／Ｆ１３は、ディスプレイ等の画像出力装置（表示装置）、スピーカー等の音声出力装置を含む。
【００１５】
本実施形態において、入出力Ｉ／Ｆ１３は、カメラ１３１を含む。車載装置１０は、当該装置１０が搭載されている車両の前方がカメラ１３１の視野となると共に、当該カメラ１３１の光軸が路面と平行となるように設置される。
【００１６】
通信Ｉ／Ｆ１４は、ネットワークアダプタ等のハードウェア、各種の通信用ソフトウェア、及びこれらの組み合わせとして実装され、有線又は無線の通信を実現できるように構成されている。
【００１７】
ストレージ１５は、例えば磁気ディスク又はフラッシュメモリ等によって構成される。ストレージ１５は、オペレーティングシステムを含む様々なプログラム及び各種データ等を記憶する。本実施形態において、ストレージ１５には、コンピュータを、本実施形態の車載装置１０として機能させるための車載装置用プログラム１５１と、カメラ１３１によって撮影される撮影画像に含まれる道路標示の区画線上の点と推定される推定点の検出に用いられる推定点検出用学習済みモデル１５２と、同じく撮影画像に含まれる車両（所定のオブジェクト）の検出に用いられる車両検出用学習済みモデル１５３とが格納されている。
【００１８】
本実施形態において、車載装置１０は、それぞれが上述したハードウェア構成を有する複数の装置を用いて構成され得る。
【００１９】
次に、本実施形態の車載装置１０が有する機能について説明する。図１に示すように、装置１０のコンピュータプロセッサ１１は、カメラ１３１によって撮影される撮影画像内の区画線上の点と推定される複数の推定点を検出するように構成された推定点検出部１１２、カメラ１３１の撮影画像における消失点を算出するように構成された消失点算出部１１４、カメラ１３１の撮影画像内の車両を検出するように構成された車両検出部１１６、及び、車間距離を算出するように構成された車間距離算出部１１８、として機能するように構成されている。これらの機能は、コンピュータプロセッサ１１が、メインメモリ１２等のハードウェア、並びに、ストレージ１５等に記憶されている各種プログラムやデータ等と協働して動作することによって実現され、例えば、メインメモリ１２に読み込まれたプログラムに含まれる命令を実行することによって実現される。
【００２０】
次に、本実施形態の車載装置１０の動作について説明する。まず、消失点の算出（カメラ１３１のオートキャリブレーション）に関する動作について説明する。図２は、車載装置１０が実行する消失点の算出に関する処理を例示するフロー図である。これらの処理は、車載装置１０の起動時に実行され、その後、定期的に繰り返し実行される。
【００２１】
車載装置１０は、まず、図２に示すように、カメラ１３１によって撮影される撮影画像を取得し（ステップＳ１００）、取得した撮影画像内の道路標示の区画線上の点と推定される複数の推定点を検出する（ステップＳ１１０）。これらの撮影画像の取得、及び、推定点の検出は、推定点検出部１１２によって実行される。具体的には、推定点検出部１１２は、その時点におけるカメラ１３１の撮影画像（車載装置１０が搭載されている走行中の車両の前方の景色に対応する画像）を取得する。また、本実施形態において、推定点検出部１１２は、取得した撮影画像内の所定の高さの仮想的な水平線と区画線との交点を、推定点として検出する。
【００２２】
図３は、本実施形態における推定点を説明するための図であり、カメラ１３１の撮影画像の一例としての撮影画像２０を例示している。当該撮影画像２０において、車道に描かれている３本の区画線ＭＬ１〜ＭＬ３が前方（車両の進行方向）に延びており、これらの区画線ＭＬ１〜ＭＬ３の各々と、高さの異なる３つの仮想的な水平線ｙ１〜ｙ３の各々との交点（つまり「所定の３つの高さにおける各区画線上の３つの点」と言うこともできる。）が、推定点ＥＰとして検出される。
【００２３】
本実施形態において、撮影画像内の推定点の検出は、上述した推定点検出用学習済みモデル１５２を用いて行われる。推定点検出用学習済みモデル１５２は、例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：ＣＮＮ）モデルとして構成されており、撮影画像が入力されると、当該撮影画像に含まれる推定点の位置を特定する位置特定情報（例えば、座標情報及び信頼度）を出力するように構成されている。こうした学習済みモデル１５２は、学習データを用いた機械学習によって生成される。学習データは、例えば、走行中の車両から撮影された多数の学習用画像を含む。学習用画像は、例えば、車両の前方を撮影するように設けられたカメラを介して撮影される動画を構成する各フレームに対応する静止画である。学習用画像には、当該画像に含まれる、１又は複数の区画線の各々と、３つの仮想的な水平線ｙ１〜ｙ３の各々との交点の位置特定情報が関連付けられる。
【００２４】
なお、学習済みモデルを用いた推定点の検出は、推定点を検出する手法の一例であって、本発明の他の実施形態においては、他の手法を用いて推定点が検出される。例えば、他の実施形態においては、ルールベースのアルゴリズムを用いた画像解析によって推定点が検出される。
【００２５】
図２のフロー図に戻る。こうして推定点を検出すると、車載装置１０は、次に、複数の推定点のグルーピングを行う（ステップＳ１２０）。当該グルーピングは、消失点算出部１１４によって実行される。本実施形態において、消失点算出部１１４は、前回登録された前回消失点（第１消失点）の位置に基づいて複数の推定点のグルーピングを行う。前回登録された消失点が存在しない場合（例えば、車載装置１０の起動直後等）には、所定位置（例えば、撮影画像の重心（中央）等）が前回消失点の位置とされる。
【００２６】
図４は、複数の推定点をグルーピングする際に車載装置１０の消失点算出部１１４が実行する処理を例示するフロー図である。消失点算出部１１４は、まず、図示するように、３つの仮想的な水平線ｙ１〜ｙ３のうち、最も高さの低い（最も下側に位置する）水平線ｙ１上の推定点の中から、グルーピングを未処理の推定点を特定する（ステップＳ２００）。未処理の推定点は、例えば、左側の推定点から右側の推定点へと向かって順に特定される。
【００２７】
次に、消失点算出部１１４は、特定した水平線ｙ１上の推定点及び前回消失点を通る仮想的な直線と、水平線ｙ１の１つ上側に位置する仮想的な水平線ｙ２と、の交点を算出する（ステップＳ２１０）。図５は、推定点のグルーピングの手順を説明するための図である。ステップＳ２１０では、例えば、図５に示すように、水平線ｙ１上の推定点ＥＰ１及び前回消失点ＶＰ＿ｐｒｅｖを通る直線ＳＬ１と水平線ｙ２との交点ＩＰ１１（の座標情報）が算出される。
【００２８】
図４のフロー図に戻る。こうして水平線ｙ１上の推定点及び前回消失点を通る直線と水平線ｙ２との交点を算出すると、消失点算出部１１４は、次に、算出した交点から水平方向の所定範囲（例えば、±ｘピクセルの範囲）内に水平線ｙ２上の推定点が存在するか否かを判定し（ステップＳ２２０）、所定範囲内に水平線ｙ２上の推定点が存在する場合には（ステップＳ２２０においてＹＥＳ）、当該推定点を、水平線ｙ１上の推定点と同じグループの推定点として選択する一方（ステップＳ２３０）、所定範囲内に水平線ｙ２上の推定点が存在しない場合には（ステップＳ２２０においてＮＯ）、水平線ｙ１上の推定点及び前回消失点を通る直線と水平線ｙ２との交点を、水平線ｙ１上の推定点と同じグループの推定点として選択する（ステップＳ２４０）。
【００２９】
例えば、図５の例では、直線ＳＬ１と水平線ｙ２との交点ＩＰ１１から水平方向の所定範囲Ｒ（交点ＩＰ１１の右側）に水平線ｙ２上の推定点ＥＰ２が存在しているから、当該推定点ＥＰ２が、水平線ｙ１上の推定点ＥＰ１と同じグループの推定点として選択される。一方、図６の例では、直線ＳＬ１と水平線ｙ２との交点ＩＰ１１から水平方向の所定範囲Ｒに水平線ｙ２上の推定点が存在していないから、当該交点ＩＰ１１が、水平線ｙ１上の推定点ＥＰ１と同じグループの推定点として選択される。このように、一部の推定点が欠落する場合は、例えば、撮影画像における仮想的な水平線と区画線との交点付近に障害物等が存在して区画線が隠れてしまっている場合等が考えられる。このように、一部の推定点が欠落している場合に他の点（前回消失点を通る直線と水平線との交点）を推定点と見做して処理を進めることにより、消失点を算出する処理の高速化が図られる。
【００３０】
図４のフロー図に戻り、消失点算出部１１４は、次に、水平線ｙ１上の推定点及び前回消失点を通る仮想的な直線と、最も上側の水平線ｙ３と、の交点を算出し（ステップＳ２５０）、算出した交点から水平方向の所定範囲（例えば、±ｘピクセルの範囲）内に水平線ｙ３上の推定点が存在するか否かを判定し（ステップＳ２６０）、所定範囲内に水平線ｙ３上の推定点が存在する場合には（ステップＳ２６０においてＹＥＳ）、当該推定点を、水平線ｙ１上の推定点と同じグループの推定点として選択する一方（ステップＳ２７０）、所定範囲内に水平線ｙ３上の推定点が存在しない場合には（ステップＳ２６０においてＮＯ）、水平線ｙ１上の推定点及び前回消失点を通る直線と水平線ｙ３との交点を、水平線ｙ１上の推定点と同じグループの推定点として選択する（ステップＳ２８０）。
【００３１】
例えば、図５及び図６の例では、直線ＳＬ１と水平線ｙ３との交点ＩＰ１２から水平方向の所定範囲Ｒ（交点ＩＰ１２の右側）に水平線ｙ３上の推定点ＥＰ３が存在しているから、当該推定点ＥＰ３が、水平線ｙ１上の推定点ＥＰ１と同じグループの推定点として選択される。この結果、図５の例では、水平線ｙ１上の推定点ＥＰ１、水平線ｙ２上の推定点ＥＰ２、及び、水平線ｙ３上の推定点ＥＰ３が同じグループにグルーピングされる。一方、図６の例では、水平線ｙ１上の推定点ＥＰ１、水平線ｙ２上の交点ＩＰ１１、及び、水平線ｙ３上の推定点ＥＰ３が同じグループにグルーピングされる。
【００３２】
図４のフロー図に戻り、消失点算出部１１４は、次に、水平線ｙ１上の未処理の推定点が存在する（残っている）か否かを判定し（ステップＳ２９０）、未処理の推定点が存在する場合には（ステップＳ２９０においてＹＥＳ）、当該未処理の推定点の特定（ステップＳ２００）へと戻る一方、未処理の推定点が存在しない場合には（ステップＳ２９０においてＮＯ）、図４のフロー図における処理を終了する。図４のフロー図における処理を終了すると、水平線ｙ１上の推定点の数と同じ数のグループが作成されていることになる。
【００３３】
図２のフロー図に戻る。こうして複数の推定点のグルーピングを行うと、車載装置１０は、次に、グルーピングによって作成されたグループの数が２以上であるか否かを判定する（ステップＳ１３０）。当該判定は、消失点算出部１１４によって実行される。
【００３４】
そして、車載装置１０は、グループの数が２未満（つまり、１）である場合には（ステップＳ１３０においてＮＯ）、撮影画像の取得（ステップＳ１００）へと戻り、その時点におけるカメラ１３１の撮影画像を新たに取得して、再び推定点の検出（ステップＳ１１０）へと進む。
【００３５】
一方、グループの数が２以上である場合には（ステップＳ１３０においてＹＥＳ）、車載装置１０は、仮消失点（第２消失点）の算出及び蓄積を行う（ステップＳ１４０）。仮消失点の算出及び蓄積は、消失点算出部１１４によって実行される。本実施形態において、消失点算出部１１４は、同じグループに属する複数の推定点に基づいて、区画線と推定される推定区画線を算出し、複数の推定区画線の交点に基づいて仮消失点を算出する。
【００３６】
図７は、仮消失点を算出する手順を説明するための図である。図７の例において、水平線ｙ１上の３つの推定点ＥＰ１１、ＥＰ２１、ＥＰ３１のうち、左側の推定点ＥＰ１１は、水平線ｙ２上の左側の推定点ＥＰ１２及び水平線ｙ３上の左側の推定点ＥＰ１３と同じグループにグルーピングされている。同様に、水平線ｙ１上の左右方向中央の推定点ＥＰ２１は、水平線ｙ２上の左右方向中央の推定点ＥＰ２２及び水平線ｙ３上の左右方向中央の推定点ＥＰ２３と同じグループにグルーピングされており、また、水平線ｙ１上の右側の推定点ＥＰ３１は、水平線ｙ２上の右側の推定点ＥＰ３２及び水平線ｙ３上の右側の推定点ＥＰ３３と同じグループにグルーピングされている。
【００３７】
本実施形態において、消失点算出部１１４は、同じグループに属する３つの推定点における２つの推定点の組合せ（３つの組合せが存在する。）毎に、２つの推定点を通る直線の傾きを算出し、３つの組合せの各々の傾きの代表値（例えば、平均値又は中央値等）を推定区画線の傾きとし、当該傾きを有すると共に同じグループに属する水平線ｙ１上の推定点を通る直線を、推定区画線として算出する。
【００３８】
例えば、図７の例では、同じグループに属する３つの推定点ＥＰ１１、ＥＰ１２、ＥＰ１３における２つの推定点の組合せである推定点ＥＰ１１、ＥＰ１２を通る直線の傾き、同じく推定点ＥＰ１１、ＥＰ１３を通る直線の傾き、及び、同じく推定点ＥＰ１２、ＥＰ１３を通る直線の傾きの代表値を算出し、算出した代表値の傾きを有すると共に水平線ｙ１上の推定点ＥＰ１１を通る直線が、推定区画線ＥＬ１として算出される。同様に、同じグループに属する３つの推定点ＥＰ２１、ＥＰ２２、ＥＰ２３に基づいて推定区画線ＥＬ２が算出されると共に、同じグループに属する３つの推定点ＥＰ３１、ＥＰ３２、ＥＰ３３に基づいて推定区画線ＥＬ３が算出される。
【００３９】
このように、本実施形態では、推定区画線を算出する際には、３つの仮想的な水平線ｙ１〜ｙ３のうち最も下側に位置する水平線ｙ１上の推定点が基準となっている（水平線ｙ１上の推定点と前回消失点とを通る直線に基づいて推定点のグルーピングが行われると共に、水平線ｙ１上の推定点を通るように推定区画線が算出される。）。しかしながら、本発明の他の実施形態では、推定区画線を算出する際に、水平線ｙ２上の推定点が基準となり、又は、水平線ｙ３上の推定点が基準となる。
【００４０】
また、こうした推定区画線を算出する手法は例示であって、本発明の他の実施形態においては、他の手法を用いて推定区画線が算出される。例えば、他の実施形態においては、同じグループに属する３つの推定点に対して最小二乗法を適用することによって得られる直線が、推定区画線として用いられる。
【００４１】
本実施形態において、消失点算出部１１４は、複数の推定区画線の交点を仮消失点として算出し、当該交点が複数存在する場合（つまり、推定区画線の数が３以上である場合）には、複数の交点の代表値（平均値又は中央値）を仮消失点として算出する。
【００４２】
例えば、図７の例では、３つの推定区画線ＥＬ１〜ＥＬ３のうち、推定区画線ＥＬ１、ＥＬ２の交点ＩＰ２１、推定区画線ＥＬ１、ＥＬ３の交点ＩＰ２２、及び、推定区画線Ｅ２１、ＥＬ３の交点ＩＰ２３に基づいて仮消失点が算出され、具体的には、これらの交点ＩＰ２１、ＩＰ２２、ＩＰ２３の各々のＸ座標の代表値、及び、Ｙ座標の代表値によって特定される点が、仮消失点（の座標情報）として算出される。
【００４３】
図２のフロー図に戻り、ステップＳ１４０では、算出した仮消失点に関する情報（例えば、座標情報が含まれる。）が、ストレージ１５において蓄積される。こうして仮消失点の算出及び蓄積を行うと、車載装置１０は、次に、蓄積された仮消失点の数が閾値Ｎｖｐ以上であるか否かを判定する（ステップＳ１５０）。当該判定は、消失点算出部１１４によって実行される。そして、蓄積されている仮消失点の数が閾値Ｎｖｐ未満である場合には（ステップＳ１５０においてＮＯ）、車載装置１０は、撮影画像の取得（ステップＳ１００）へと戻り、その時点におけるカメラ１３１の撮影画像を新たに取得して、再び推定点の検出（ステップＳ１１０）へと進む。
【００４４】
一方、蓄積された仮消失点の数が閾値Ｎｖｐ以上である場合には（ステップＳ１５０においてＹＥＳ）、車載装置１０は、蓄積されている複数の仮消失点に基づいて消失点（第３消失点）の算出及び登録を行う（ステップＳ１６０）。消失点の算出及び登録は、消失点算出部１１４によって実行される。
【００４５】
本実施形態において、消失点算出部１１４は、蓄積されている複数の仮消失点の各々のＸ座標の代表値、及び、Ｙ座標の代表値によって特定される点を、今回の消失点として算出（フィルタリング）する。算出された消失点に関する情報（例えば、座標情報が含まれる。）は、ストレージ１５において記憶される。このように、複数の仮消失点に基づいて今回の消失点を算出することによって、消失点の正確な算出が促進される。
【００４６】
図２に例示したフロー図における処理は、上述したように、車載装置１０の起動後、定期的に（例えば、消失点の算出及び登録が行われてから所定時間が経過する都度）、繰り返し実行される。そして、次回の推定点のグルーピング（ステップＳ１２０）においては、今回新たに登録された消失点が、前回消失点として用いられる。
【００４７】
このように、本実施形態では、消失点が繰り返し算出されるから、例えば、車体の振動等によるカメラの向きの変化に応じて消失点の位置が変化してしまった場合に対応することが可能であり、また、今回の消失点の算出（より詳しくは、複数の推定点のグルーピング）において前回の消失点が用いられるから、処理の簡易化及び高速化が促進される。
【００４８】
以上、消失点の算出に関する動作について説明した。次に、車間距離の算出に関する動作について説明する。図８は、車載装置１０が実行する車間距離の算出に関する処理を例示するフロー図である。
【００４９】
車載装置１０は、まず、図８に示すように、カメラ１３１の撮影画像内の車両を検出する（ステップＳ３００）。当該車両の検出は、車両検出部１１６によって実行される。
【００５０】
本実施形態において、撮影画像内の車両の検出は、上述した車両検出用学習済みモデル１５３を用いて行われる。車両検出用学習済みモデル１５３は、例えば、畳み込みニューラルネットワークモデルとして構成されており、撮影画像が入力されると、当該撮影画像に含まれる車両を囲む矩形の検出領域を特定する領域特定情報（例えば、矩形領域の左下頂点及び右上頂点それぞれの座標情報）を出力するように構成されている。こうした学習済みモデル１５３は、学習データを用いた機械学習によって生成される。学習データは、例えば、走行中の車両から撮影された多数の学習用画像を含む。学習用画像は、例えば、車両の前方を撮影するように設けられたカメラを介して撮影される動画を構成する各フレームに対応する静止画である。学習用画像には、当該画像に含まれる車両を囲む矩形の検出領域の領域特定情報が関連付けられる。
【００５１】
例えば、図９に例示するように、撮影画像２０に含まれる車両ＣＲは、矩形の検出領域ＤＡとして検出される。なお、本発明の他の実施形態では、車両に代えて、又は、これに加えて、歩行者等の他のオブジェクトが検出されるように構成される。
【００５２】
なお、学習済みモデルを用いた車両の検出は、車両を検出する手法の一例であって、本発明の他の実施形態においては、他の手法を用いて車両が検出される。例えば、他の実施形態においては、ルールベースのアルゴリズムを用いた画像解析によって車両が検出される。
【００５３】
図８のフロー図に戻り、続いて、車載装置１０は、撮影画像における車両の検出領域と消失点との位置関係に基づいて車間距離を算出する（ステップＳ３１０）。車間距離の算出は、車間距離算出部１１８によって実行される。
【００５４】
本実施形態において、車間距離算出部１１８は、具体的には、撮影画像における車両の検出領域の下辺と消失点との高さ方向の差分、及び、カメラ１３１の路面からの高さに基づいて、車間距離を算出する。消失点は、その時点で登録されている最新の消失点が用いられる。ここで、図９に例示した撮影画像２０において、消失点ＶＰのｙ座標（高さ）をｙＶＰ、検出領域ＤＡの下辺のｙ座標をｙＤＡとする。
【００５５】
図１０は、カメラ１３１の路面からの高さＨ、撮影画像２０における消失点ＶＰのｙ座標ｙＶＰと検出領域ＤＡの下辺のｙ座標ｙＤＡとの差分Δｙ、及び、カメラ１３１と車両ＣＲとの間の車間距離Ｌとの関係を例示する。車間距離Ｌは、以下の式（１）によって算出される。
Ｌ＝α（Ｈ）／Δｙ・・・（１）
ここで、α（Ｈ）は、高さＨに基づいて算出される定数である。高さＨ（カメラ１３１の路面からの高さ）は、車載装置１０が車両に搭載される際に計測されて、予めストレージ１５に記憶されている。
【００５６】
図８に例示したフロー図の処理は、繰り返し実行され、つまり、撮影画像に含まれる車両の検出、及び、検出された車両との間の車間距離の算出が繰り返し実行される。
【００５７】
以上説明した本実施形態に係る車載装置１０は、カメラ１３１の撮影画像内の道路標示の区画線上の点と推定される複数の推定点を検出し、これらの複数の推定点及び前回の消失点に基づいて今回の消失点を算出するから、消失点の適切な算出が支援される。
【００５８】
上述した実施形態では、道路標示の区画線と推定される推定区画線に基づいて仮消失点を算出するようにしたが、道路標示の区画線に加えて、車両が走行する車線の様々な境界線（例えば、車道と歩道との境界線等が含まれる。）と推定される推定境界線に基づいて、仮消失点を算出するようにしても良い。
【００５９】
上述した実施形態では、高さの異なる３つの仮想的な水平線と区画線との交点を推定点として検出するようにしたが、２つ、又は、４つ以上の水平線と区画線との交点を推定点として検出するようにしても良い。例えば、２つの水平線と区画線との交点を推定点として検出する場合には、同じグループに属する２つの推定点を通る直線が、推定区画線として算出される。
【００６０】
上述した実施形態では、消失点に基づいて車間距離を算出するように構成したが、本発明の他の実施形態では、消失点に基づく他の処理が実行されるように構成され、例えば、消失点に基づく前照灯（ヘッドライト）の制御が実行されるように構成される。
【００６１】
本発明の他の実施形態では、車載装置１０の機能の少なくとも一部は、クラウドサーバ（通信ネットワークを介して接続されたサーバ等）等によって実現される。
【００６２】
本明細書で説明された処理及び手順は、明示的に説明されたもの以外にも、ソフトウェア、ハードウェアまたはこれらの任意の組み合わせによって実現される。例えば、本明細書で説明される処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク等の媒体に、当該処理及び手順に相当するロジックを実装することによって実現される。また、本明細書で説明された処理及び手順は、当該処理・手順に相当するコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。
【００６３】
本明細書中で説明された処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理または手順は複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は複数のモジュールによって実行され得る。また、本明細書において説明されたソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、またはより多い構成要素に分解することによって実現することも可能である。
【００６４】
本明細書において、発明の構成要素が単数もしくは複数のいずれか一方として説明された場合、又は、単数もしくは複数のいずれとも限定せずに説明された場合であっても、文脈上別に解すべき場合を除き、当該構成要素は単数又は複数のいずれであってもよい。
【符号の説明】
【００６５】
１０  車載装置
１１  コンピュータプロセッサ
１１２  推定点検出部
１１４  消失点算出部
１１６  車両検出部
１１８  車間距離算出部
１３  入出力Ｉ／Ｆ
１３１  カメラ
１５  ストレージ
１５１  車載装置用プログラム
１５２  推定点検出用学習済みモデル
１５３  車両検出用学習済みモデル
２０  撮影画像
ＤＡ  検出領域
ＥＬ  推定区画線
ＥＰ  推定点
ＭＬ  区画線
ＶＰ  消失点
【図１】
0006948365.tif 000002
【図２】
0006948365.tif 000003
【図３】
0006948365.tif 000004
【図４】
0006948365.tif 000005
【図５】
0006948365.tif 000006
【図６】
0006948365.tif 000007
【図７】
0006948365.tif 000008
【図８】
0006948365.tif 000009
【図９】
0006948365.tif 000010
【図１０】
0006948365.tif 000011