(57)【要約】      （修正有）【課題】検出対象の車両をカメラから見たときの車幅を求めることができる車幅検出装置を提供する。【解決手段】車幅検出装置１は、車両の周辺を撮影するカメラ１０と、カメラ１０にて撮影した撮影画像を取得する画像取得部２０と、撮影画像に映る車両を検出する車両検出部２１と、カメラ１０のレンズ主点から車両への方向に垂直な面に車両の車幅を投影した第１の投影車幅と、車両の画像との関係を学習した学習済みモデルを記憶した学習済みモデル記憶部１２と、学習済みモデルに車両検出部２１にて検出した車両の画像を適用して、車両の第１の投影車幅を推論する投影車幅推論部２３とを備える。【選択図】図１
2019020171.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮影するカメラ（１０）と、
前記カメラ（１０）にて撮影した撮影画像を取得する画像取得部（２０）と、
前記撮影画像に映る車両を検出する車両検出部（２１）と、
カメラ（１０）のレンズ主点から前記車両への方向に垂直な面に前記車両の車幅を投影した第１の投影車幅と、前記車両の画像との関係を学習した学習済みモデルを記憶した記憶部（１２）と、
前記学習済みモデルに前記車両検出部２１にて検出した車両の画像を適用して、前記車両の第１の投影車幅を推論する推論部（２３）と、
を備える車幅検出装置。
【請求項２】
前記第１の投影車幅は、車両の正面または背面、もしくは、車両の全体に対応する幅である請求項１に記載の車幅検出装置。
【請求項３】
前記第１の投影車幅は、可視領域の幅である請求項２に記載の車幅検出装置。
【請求項４】
車両の周辺を撮影するカメラ（１０）と、
前記カメラ（１０）にて撮影した撮影画像を取得する画像取得部（３０）と、
前記撮影画像に映る車両を検出する車両検出部（３１）と、
検出された車両の車種を判定する車種判定部（３３）と、
車種ごとの車幅のデータを記憶した車幅データベース（３７）に基づいて、検出された車両の車幅を求める車幅算出部（３４）と、
前記車両の前記カメラ（１０）の光軸に対する向きを推定する車両向き推定部（３２）と、
前記車両のある方向及び前記車両の向きに基づいて、前記撮像面に平行な面に前記車両の車幅を投影した第２の投影車幅を求める投影車幅算出部（３５）と、
を備える車幅検出装置。
【請求項５】
車両の周辺を撮影するカメラ（１０）と、
前記カメラ（１０）にて撮影した撮影画像を取得する画像取得部（３０）と、
前記撮影画像に映る車両を検出する車両検出部（３１）と、
検出された車両の車種を判定する車種判定部（３３）と、
車種ごとの車幅及び車長のデータを記憶した車幅・車長データベース（３９）に基づいて、検出された車両の車幅及び車長を求める車幅・車長算出部（３８）と、
前記車両の前記カメラ（１０）の光軸に対する向きを推定する車両向き推定部（３２）と、
前記車両のある方向及び前記車両の向きに基づいて、前記撮像面に平行な面に前記車両全体の幅を投影した第２の投影車幅を求める投影車幅算出部（３５）と、
を備える車幅検出装置。
【請求項６】
前記車両が遮蔽されている量を推定する遮蔽量推定部（４０）をさらに備え、
前記投影車幅算出部（３５）は、前記第２の投影車幅から遮蔽量を減算して可視領域における投影車幅を求める請求項４または５に記載の車幅検出装置。
【請求項７】
カメラにて車両の周辺を撮影した撮影画像を取得するステップと、
前記撮影画像に映る車両を検出するステップと、
前記カメラのレンズ主点から前記車両への方向に垂直な面に前記車両の車幅を投影した第１の投影車幅と、前記車両の画像との関係を学習した学習済みモデルを記憶部から読み出すステップと、
前記学習済みモデルに前記撮影画像から検出された車両の画像を適用して、前記車両の第１の投影車幅を推論するステップと、
を備える車幅検出方法。
【請求項８】
カメラにて車両の周辺を撮影した撮影画像を取得するステップと、
前記撮影画像に映る車両を検出するステップと、
検出された車両の車種を判定するステップと、
車種ごとの車幅のデータを記憶した車幅データベースに基づいて、検出された車両の車幅を求めるステップと、
前記車両の前記カメラの光軸に対する向きを推定するステップと、
前記車両のある方向及び前記車両の向きに基づいて、前記撮像面に平行な面に前記車両の車幅を投影した第２の投影車幅を求めるステップと、
を備える車幅検出方法。
【請求項９】
カメラにて車両の周辺を撮影した撮影画像を取得するステップと、
前記撮影画像に映る車両を検出するステップと、
検出された車両の車種を判定するステップと、
車種ごとの車幅及び車長のデータを記憶した車幅・車長データベースに基づいて、検出された車両の車幅及び車長を求めるステップと、
前記車両の前記カメラの光軸に対する向きを推定するステップと、
前記車両のある方向及び前記車両の向きに基づいて、前記撮像面に平行な面に前記車両全体の幅を投影した第２の投影車幅を求めるステップと、
を備える車幅検出方法。
【請求項１０】
カメラにて車両の周辺を撮影した撮影画像から車幅を検出するためのプログラムであって、コンピュータに、
前記撮影画像に映る車両を検出するステップと、
前記カメラのレンズ主点から前記車両への方向に垂直な面に前記車両の車幅を投影した第１の投影車幅と、前記車両の画像との関係を学習した学習済みモデルを記憶部から読み出すステップと、
前記学習済みモデルに前記撮影画像から検出された車両の画像を適用して、前記車両の第１の投影車幅を推論するステップと、
を実行させるプログラム。
【請求項１１】
カメラにて車両の周辺を撮影した撮影画像から車幅を検出するためのプログラムであって、コンピュータに、
前記撮影画像に映る車両を検出するステップと、
検出された車両の車種を判定するステップと、
車種ごとの車幅のデータを記憶した車幅データベースに基づいて、検出された車両の車幅を求めるステップと、
前記車両の前記カメラの光軸に対する向きを推定するステップと、
前記車両のある方向及び前記車両の向きに基づいて、前記撮像面に平行な面に前記車両の車幅を投影した第２の投影車幅を求めるステップと、
を実行させるプログラム。
【請求項１２】
カメラにて車両の周辺を撮影した撮影画像から車幅を検出するためのプログラムであって、コンピュータに、
前記撮影画像に映る車両を検出するステップと、
検出された車両の車種を判定するステップと、
車種ごとの車幅及び車長のデータを記憶した車幅・車長データベースに基づいて、検出された車両の車幅及び車長を求めるステップと、
前記車両の前記カメラの光軸に対する向きを推定するステップと、
前記車両のある方向及び前記車両の向きに基づいて、前記撮像面に平行な面に前記車両全体の幅を投影した第２の投影車幅を求めるステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車幅検出装置、車幅検出方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、単眼カメラによって得られた画像に映った車両までの距離を求める方法として、車両の車幅と撮影した画像に映る車両画像の車幅とに基づいて求める方法が知られている。特許文献１では、車両の左右のエッジの幅に基づいて、先行車両までの距離を計算する。特許文献２では、車両グループごとに設定した車幅または車高に基づいて、先行車両までの距離を計算する。このように、距離を求める際には、距離の計算対象となる車両の車幅等のデータを用いていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３４３０６４１号
【特許文献２】特許５７５２７２９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、対象車両が同じ車両であっても、その向きによって車幅は異なって見える。前方車両との車間距離を求める場合には、対象車両は概ね前方にあるので距離を求めることができるが、上記した従来の方法では、例えば、交差点において左右から近づいてくる車両や、駐車場等に停車している車両までの距離を求めることは難しい。また、遮蔽物がある場合には、車両の見えている部分が限られるため、見えている部分の幅は、実際の車幅より小さくなる。このような場合に、対象の車両までの距離を正しく計算することができない。
【０００５】
本発明は、上記背景に鑑み、検出対象の車両をカメラから見たときの車幅を求めることができる車幅検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、ひとつの態様として後述する実施の形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。
【０００７】
本発明の車幅検出装置（１）は、車両の周辺を撮影するカメラ（１０）と、前記カメラ（１０）にて撮影した撮影画像を取得する画像取得部（２０）と、前記撮影画像に映る車両を検出する車両検出部（２１）と、カメラ（１０）のレンズ主点から前記車両への方向に垂直な面に前記車両の車幅を投影した第１の投影車幅と前記車両の画像との関係を学習した学習済みモデルを記憶した記憶部（１２）と、前記学習済みモデルに前記車両検出部（２１）にて検出した車両の画像を適用して、前記車両の第１の投影車幅を推論する推論部（２３）とを備える。
【０００８】
このように学習済みモデルを用いることにより、画像内に映る車両の画像の幅に対応する第１の投影車幅を求めることができる。また、第１の投影車幅を求めることにより、カメラ（１０）の光軸からずれた位置にある車両についても、カメラ（１０）の光軸上にある車両と同様に扱うことができる。
【０００９】
前記第１の投影車幅は、車両の正面または背面、もしくは車両全体に対応する幅であってもよい。また、車両の正面または背面、もしくは車両全体に対応する幅のうち、カメラ（１０）から見えている可視領域の幅としてもよい。
【００１０】
本発明の別の態様の車幅検出装置（２）は、車両の周辺を撮影するカメラ（１０）と、前記カメラ（１０）にて撮影した撮影画像を取得する画像取得部（３０）と、前記撮影画像に映る車両を検出する車両検出部（３１）と、検出された車両の車種を判定する車種判定部（３３）と、車種ごとの車幅のデータを記憶した車幅データベース（３７）に基づいて、検出された車両の車幅を求める車幅算出部（３４）と、前記車両の前記カメラ（１０）の光軸に対する向きを推定する車両向き推定部（３２）と、前記車両のある方向及び前記車両の向きに基づいて、前記撮像面に平行な面に前記車両の車幅を投影した第２の投影車幅を求める投影車幅算出部（３５）とを備える。
【００１１】
このように車幅データベース（３７）を参照して車種に基づいて実際の車幅を求め、求めた車幅を撮像面と平行な面に投影することにより、車両までの距離を求めるのに適した第２の投影車幅を求めることができる。
【００１２】
本発明の別の態様の車幅検出装置（３）は、車両の周辺を撮影するカメラ（１０）と、前記カメラ（１０）にて撮影した撮影画像を取得する画像取得部（３０）と、前記撮影画像に映る車両を検出する車両検出部２１と、検出された車両の車種を判定する車種判定部（３３）と、車種ごとの車幅及び車長のデータを記憶した車幅・車長データベース（３９）に基づいて、検出された車両の車幅及び車長を求める車幅・車長算出部（３８）と、前記車両の前記カメラ（１０）の光軸に対する向きを推定する車両向き推定部（３２）と、前記車両のある方向及び前記車両の向きに基づいて、前記撮像面に平行な面に前記車両全体の幅を投影した第２の投影車幅を求める投影車幅算出部（３５）とを備える。
【００１３】
このように車幅・車長データベース（３９）を参照して車種に基づいて実際の車幅及び車長を求め、求めた車幅及び車長を撮像面と平行な面に投影することにより、車両までの距離を求めるのに適した第２の投影車幅を求めることができる。なお、ここでは、車幅として車両全体の幅を求めている。
【００１４】
本発明の車幅検出装置（４）（５）は、前記車両が遮蔽されている量を推定する遮蔽量推定部（４０）をさらに備え、前記投影車幅算出部（３５）は、前記第２の投影車幅から遮蔽量を減算して可視領域における投影車幅を求めてもよい。
【００１５】
本発明の車幅検出方法は、カメラにて車両の周辺を撮影した撮影画像を取得するステップと、前記撮影画像に映る車両を検出するステップと、前記カメラのレンズ主点から前記車両への方向に垂直な面に前記車両の車幅を投影した第１の投影車幅と、前記車両の画像との関係を学習した学習済みモデルを記憶部から読み出すステップと、前記学習済みモデルに前記撮影画像から検出された車両の画像を適用して、前記車両の第１の投影車幅を推論するステップとを備える。
【００１６】
本発明の車幅検出方法は、カメラにて車両の周辺を撮影した撮影画像を取得するステップと、前記撮影画像に映る車両を検出するステップと、検出された車両の車種を判定するステップと、車種ごとの車幅のデータを記憶した車幅データベースに基づいて、検出された車両の車幅を求めるステップと、前記車両の前記カメラの光軸に対する向きを推定するステップと、前記車両のある方向及び前記車両の向きに基づいて、前記撮像面に平行な面に前記車両の車幅を投影した第２の投影車幅を求めるステップとを備える。
【００１７】
本発明の車幅検出方法は、カメラにて車両の周辺を撮影した撮影画像を取得するステップと、前記撮影画像に映る車両を検出するステップと、検出された車両の車種を判定するステップと、車種ごとの車幅及び車長のデータを記憶した車幅・車長データベースに基づいて、検出された車両の車幅及び車長を求めるステップと、前記車両の前記カメラの光軸に対する向きを推定するステップと、前記車両のある方向及び前記車両の向きに基づいて、前記撮像面に平行な面に前記車両全体の幅を投影した第２の投影車幅を求めるステップとを備える。
【００１８】
本発明のプログラムは、カメラにて車両の周辺を撮影した撮影画像から車幅を検出するためのプログラムであって、コンピュータに、前記撮影画像に映る車両を検出するステップと、前記カメラのレンズ主点から前記車両への方向に垂直な面に前記車両の車幅を投影した第１の投影車幅と、前記車両の画像との関係を学習した学習済みモデルを記憶部から読み出すステップと、前記学習済みモデルに前記撮影画像から検出された車両の画像を適用して、前記車両の第１の投影車幅を推論するステップとを実行させる。
【００１９】
本発明の別の態様のプログラムは、カメラにて車両の周辺を撮影した撮影画像から車幅を検出するためのプログラムであって、コンピュータに、前記撮影画像に映る車両を検出するステップと、検出された車両の車種を判定するステップと、車種ごとの車幅のデータを記憶した車幅データベースに基づいて、検出された車両の車幅を求めるステップと、前記車両の前記カメラの光軸に対する向きを推定するステップと、前記車両のある方向及び前記車両の向きに基づいて、前記撮像面に平行な面に前記車両の車幅を投影した第２の投影車幅を求めるステップとを実行させる。
【００２０】
本発明の別の態様のプログラムは、カメラにて車両の周辺を撮影した撮影画像から車幅を検出するためのプログラムであって、コンピュータに、前記撮影画像に映る車両を検出するステップと、検出された車両の車種を判定するステップと、車種ごとの車幅及び車長のデータを記憶した車幅・車長データベースに基づいて、検出された車両の車幅及び車長を求めるステップと、前記車両の前記カメラの光軸に対する向きを推定するステップと、前記車両のある方向及び前記車両の向きに基づいて、前記撮像面に平行な面に前記車両全体の幅を投影した第２の投影車幅を求めるステップとを実行させる。
【発明の効果】
【００２１】
本発明により、検出対象の車両をカメラから見たときの車幅を求めることができる。
【図面の簡単な説明】
【００２２】
【図１】第１の実施の形態の車幅検出装置の構成を示す図である。
【図２】カメラにて車両を撮影する様子を模式的に示す図である。
【図３】投影車幅推論部が推論に用いる学習済みモデルの例を示す図である。
【図４】学習済みモデルを生成するための学習フェーズの動作を示すフローチャートである。
【図５】（ａ）撮影画像の例を示す図である。（ｂ）撮影画像から切り出した学習用の入力画像の例を示す図である。
【図６】車幅検出装置による推論の動作を示すフローチャートである。
【図７】車幅の例を示す図である。
【図８】第２の実施の形態の車幅検出装置の構成を示す図である。
【図９】第３の実施の形態の車幅検出装置の構成を示す図である。
【図１０】実車幅ｗ０と実車長ｌ０を面Π’’に投影して第２の投影車幅ｗ０’’を求めた例を示す図である。
【図１１】第４の実施の形態の車幅検出装置の構成を示す図である。
【図１２】第５の実施の形態の車幅検出装置の構成を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態の車幅検出装置について図面を参照しながら説明する。
（第１の実施の形態）
図１は、第１の実施の形態の車幅検出装置１の構成を示す図である。車幅検出装置１は、車両に搭載されて用いられる。第１の実施の形態の車幅検出装置１は、図７（ａ）に示すように、他の車両の正面または背面の可視領域の幅を車幅として検出する。車幅検出装置１は、車両の周辺を撮影するカメラ１０と、カメラ１０にて撮影した画像（これを「撮影画像」という。）に基づいて周辺の車両の車幅を求めると共に、求めた車幅に基づいて距離を計算する制御部１１と、求めた車幅または距離を出力する出力部１３とを有している。
【００２４】
制御部１１は、カメラ１０から撮影画像を取得する画像取得部２０と、撮影画像に映っている車両を検出する車両検出部２１と、車両の画像を切り出す車両画像切出部２２と、切り出した画像を用いて車両の投影車幅を推論する投影車幅推論部２３と、投影車幅に基づいてその車両までの距離を求める距離計算部２４の機能を有している。以下、制御部１１の各機能について説明を行うが、その前に、本実施の形態で用いている用語について説明をしておく。
【００２５】
図２は、カメラ１０にて車両を撮影する様子を模式的に示す図である。図２に示す各記号について説明する。
［点と面の定義］
Ｉ：カメラの撮像面
Ｏ：レンズ主点、すなわちレンズ中心
Ｌ：カメラ光軸
Ｖ：対象車両
Ｔ０：対象車両の位置を定義する代表点（例えば、Ｔ１とＴ２の中点）
Ｔ１：対象車両の端を示す点（例えば、後左端）
Ｔ２：対象車両の端を示す点（例えば、後右端）
Ｔ３：対象車両の端を示す点（例えば、前左端）
Π：対象車両の背面に平行な面
Π’：Ｔ０を通り、線ＯＴ０に垂直な面
Π’’：Ｔ０を通り、カメラ光軸Ｌに垂直な面
［定数、変数の定義］
ｆ：焦点距離「m」
ρ：解像度［pixel/m］
ｗｉ：画像内の車幅［pixel］
ｗ０：対象車両の実車幅［m］
ｌ０：対象車両の実車長［m］
ｗ０’：Π’に投影された実車幅［m］
ｗ０’’：Π’’に投影された実車幅［m］
θ：Π’とΠ’’のなす角［rad］
φ：ΠとΠ’’のなす角［rad］
ｄ：対象車両までのカメラ光軸に沿った距離［m］
【００２６】
次に、制御部１１の各機能について説明する。画像取得部２０は、カメラ１０にて撮影された撮影画像を取得する。車両検出部２１は、撮影画像に含まれる車両の画像を検出する。車両画像切出部２２は、撮影画像から検出された車両の画像を切り出す。本実施の形態では、車両の正面または背面の可視領域の幅を求めるので（図７（ａ））、車両の正面または背面の部分に所定のマージンを付けた領域を切り出してもよいし、車両の全体を切り出してもよい。また、車両の周囲も含めて切り出してもよい。どの範囲で車両の画像を切り出すかは、後述する学習済みモデルを生成する際に、どのような車両画像を学習データとして用いたかによる。つまり、学習データとして用いた画像の範囲と同じ範囲で車両の画像の切り出しを行う。
【００２７】
投影車幅推論部２３は、車両の実車幅ｗ０をカメラ１０のレンズ主点Ｏから車両への方向に垂直な面Π’に投影した幅ｗ０’を推論によって求める。この幅ｗ０’を「第１の投影車幅」という。図３は、投影車幅推論部２３が推論に用いる学習済みモデルの例を示す図である。学習済みモデルは、車両画像を入力とし、投影された実写幅ｗ０’を出力とするニューラルネットワークのモデルである。投影車幅推論部２３は、学習済みモデルの入力層に、切り出した車両の画像を入力し、投影された実車幅ｗ０’を推論する。
【００２８】
距離計算部２４は、求められた第１の投影車幅ｗ０’に基づいて、その車両との距離ｄを計算する。まず、第１の投影車幅ｗ０’を、カメラ１０光Ｌに垂直な面Π’’に投影した第２の投影車幅ｗ０’’を計算する。第２の投影車幅ｗ０’’を面Π’に投影する関数ｐを以下の式（１）のとおり定義する。
ｗ０’＝ｐ（ｗ０’’，θ）・・・（１）
【００２９】
この逆関数を使って、第１の投影車幅ｗ０’から第２の投影車幅ｗ０’’を求める。面Π’’への第２の投影車幅ｗ０’’が求まると、第２の投影車幅ｗ０’’が撮像面Ｉに映る車両の幅ｗｉとの関係から、次の式（２）によって距離ｄを求めることができる。
ｄ＝ｗ０’’ρｆ／ｗｉ・・・（２）
【００３０】
以上、制御部１１の機能について説明したが、制御部１１の機能は、電子制御ユニット（ＥＣＵ）にてプログラムを実行することによって実現される。このようなプログラムも本発明の範囲に含まれる。
【００３１】
出力部１３は、投影車幅推論部２３にて求めた第１の投影車幅、または、距離計算部２４にて求めた対象車両までの距離のデータを出力する。出力部１３は、例えば、自動運転の制御部１１にこれらのデータを出力することにより、自動運転の制御部は、これらのデータを自動運転制御に用いることができる。また、出力部１３は、例えば、ドライバに注意を促す警報装置に対してデータを出力してもよい。周囲の車両までの距離のデータを警報装置に出力することにより、警報装置は他の車両が所定の閾値より近くにいる場合や、急速に接近している場合に、ドライバに注意を促す警報を発することができる。
【００３２】
次に、学習済みモデルを生成するための学習フェーズについて説明する。図４は、学習済みモデルを生成するための動作を示すフローチャートである。学習フェーズでは、撮影装置と測距装置を備えたデータ収集装置によって収集した走行データを教師データとして用いて学習を行う。走行データには、１台または複数台の車両が映った撮影画像と車両までの距離のデータが含まれる。
【００３３】
学習モデルを生成する学習装置は、まず、処理対象の走行データを取得し（Ｓ１０）、撮影画像から車両の画像を切り出す（Ｓ１１）。
【００３４】
図５（ａ）は、撮影画像の例を示す図である。この例では、撮影画像の中に車両Ｖが映っている。本実施の形態では、車両の正面または背面の可視領域の幅を車幅として検出するので、車両の背面の可視領域の幅ｗ０’の検出結果Ｋが得られる。図５（ｂ）は、図５（ａ）に示す撮影画像から切り出した学習用の入力画像の例を示す図である。学習装置は、遮蔽物Ｂのある部分も含めて車両の全体を切り出す。また、本実施の形態では、車両の全体と車両の上下左右に所定幅のマージンを持たせた領域を切り出す。切り出した画像は、そのまま用いてもよいし、上下左右方向に拡大や縮小させてもよい。
【００３５】
次に、学習装置は、投影車幅ｗ０’を計算する。投影車幅ｗ０’は、画像内の車幅ｗｉと車両までの距離ｄと車両のある方向角φから求められる。図２を参照して説明する。面Π’’に投影された車幅ｗ０’’は、画像内の車幅ｗｉを用いて、次の式（３）で求められる。
ｗ０’’＝ｗｉｄ／ρｆ・・・（３）
次に、第２の投影車幅ｗ０’’を面Π’に投影して、第１の投影車幅ｗ０’を求める。
ｗ０’＝ｐ（ｗ０’’，θ）・・・（４）
【００３６】
切り出した入力画像とそれに対応する第１の投影車幅ｗ０’を教師データとして、学習装置は、学習モデルのモデルパラメータを更新する（Ｓ１３）。次に、学習装置は、学習を終了するか否かを判定し（Ｓ１４）、学習を終了すると判定された場合は（Ｓ１４でＹＥＳ）、モデルの学習を終了する。学習を終了しないと判定された場合は（Ｓ１４でＮＯ）、次の走行データを取得し（Ｓ１０）、モデルパラメータの更新の処理を行う。
【００３７】
図６は、本実施の形態の車幅検出装置１による車幅検出の動作を示すフローチャートである。車幅検出装置１は、まず、カメラ１０にて撮影された撮影画像データを取得し（Ｓ２０）、撮影画像の中から車両を検出する（Ｓ２１）。次に、車幅検出装置１は、検出された車両を含む車両画像を切り出し（Ｓ２２）、切り出した車両画像を学習モデルに入力して、推論を行うことによって、第１の投影車幅ｗ０’を求める（Ｓ２３）。続いて、車幅検出装置１は、第１の投影車幅ｗ０’に基づいて、対象の車両までの距離を計算する（Ｓ２４）。車幅検出装置１は、車両の第１の投影車幅ｗ０’と距離のデータを出力する（Ｓ２５）。
【００３８】
本実施の形態では、図７（ａ）に示すように、車両の正面または背面の可視領域の幅を車幅として求める例を挙げて説明したが、他の部分の幅を車幅として求めることもできる。
【００３９】
例えば、図７（ｂ）では、車両全体の可視領域の幅を車幅として求める例を示している。図７（ｃ）では、車両の正面または背面の不可視領域も含む幅を車幅として求める例を示し、図７（ｄ）では、車両の全体の不可視領域も含む幅を車幅として求める例を示している。図７（ｂ）〜図７（ｄ）に示すように、車両の他の部分の幅を車幅として求める場合には、それに対応する教師データを用いてモデルを学習しておく。これにより、撮影画像から検出した車両の画像に基づいて、適切に車幅を計算することができる。
【００４０】
なお、図７（ａ）〜図７（ｄ）では、遮蔽物を透明に描いているが、実際には遮蔽物に隠れている部分は見えない。このような場合であっても、本実施の形態の車幅検出装置は、学習済みモデルを用いた推論によって車幅を推論することができる。
【００４１】
（第２の実施の形態）
図８は、第２の実施の形態の車幅検出装置２の構成を示す図である。図８に示す車幅検出装置２は、図７（ｃ）に示すように車両の正面または背面の第２の投影車幅ｗ０’’を求める装置である。
【００４２】
車幅検出装置２は、車両の周辺を撮影するカメラ１０と、カメラ１０にて撮影した撮影画像に基づいて周辺にある他の車両の車幅を求めると共に、求めた車幅に基づいて他の車両までの距離を計算する制御部１１と、求めた車幅または距離を出力する出力部１３とを有している。
【００４３】
制御部１１は、カメラ１０から撮影画像を取得する画像取得部３０と、撮影画像に映っている車両を検出する車両検出部３１と、車両の向きを推定する車両向き推定部３２と、車両の車種を判定する車種判定部３３と、車種に基づいて車両の実車幅ｗ０を算出する車幅算出部３４と、実車幅と車両の向きに基づいて車両の第２の投影車幅ｗ０’’を算出する投影車幅算出部３５と、第２の投影車幅ｗ０’’に基づいてその車両までの距離を求める距離計算部３６の機能を有している。
【００４４】
車種判定部３３は、入力画像と車種の対応をディープニューラルネットワーク（ＤＮＮ）等で学習した学習済みモデルを用いてもよいし、パターンマッチングを用いてもよい。車両向き推定部３２は、例えば、入力画像と車両向きの対応をＤＮＮで学習したものを用いて、面Π’’と面Πとの角度φを求める。
【００４５】
車幅算出部３４は、車種ごとの車幅を記憶した車幅データベース（以下、「車幅ＤＢ」という。）３７を参照して、車両の車幅を算出する。投影車幅算出部３５は、車幅算出部３４にて算出した車両の実車幅ｗ０を、車両の向きφと車両のある方向θとに基づいて面Π’’に投影し、第２の投影車幅ｗ０’’を求める。面Π’’への投影には、式（５）に示す関数γを用いる。
ｗ０’’＝γ（ｗ０，φ，θ）・・・（５）
【００４６】
距離計算部３６は、第２の投影車幅ｗ０’’と画像内の車幅ｗｉとの関係に基づいて上述した式（２）を用いて、他の車両までの距離を計算する。
【００４７】
（第３の実施の形態）
図９は、第３の実施の形態の車幅検出装置３の構成を示す図である。図９に示す車幅検出装置３は、図７（ｄ）に示すように、車両の全体を車幅として求める装置である。第３の実施の形態の車幅検出装置３は、車両の正面または背面の実車幅ｗ０に加え、実車長ｌ０を用いる。
【００４８】
第３の実施の形態の車幅検出装置３の基本的な構成は第２の実施の形態の車幅検出装置２と同じである。車幅検出装置３は、車両の周辺を撮影するカメラ１０と、カメラ１０にて撮影した撮影画像に基づいて周辺にある他の車両の車幅を求めると共に、求めた車幅に基づいて他の車両までの距離を計算する制御部１１と、求めた車幅または距離を出力する出力部１３とを有している。
【００４９】
第３の実施の形態の車幅検出装置３は、車幅ＤＢ３７に代えて車幅・車長ＤＢ３９を有している。車幅・車長ＤＢ３９は、車種ごとの車幅及び車長のデータを記憶している。車幅・車長算出部３８は、車種判定部３３にて判定された車種に対応する車幅および車長のデータを、車幅・車長ＤＢ３９から読み出し、対象車両の実車幅ｗ０と実車長ｌ０を求める。投影車幅算出部３５は、車両の実車幅ｗ０と実車長ｌ０をカメラ光軸に垂直な面Π’’に投影して、第２の投影車幅ｗ０’’を求める。
【００５０】
図１０は、実車幅ｗ０と実車長ｌ０を面Π’’に投影して第２の投影車幅ｗ０’’を求めた例を示す図である。第２の投影車幅ｗ０’’を求めるためには、第２の実施の形態の場合と同様に、車両の向きφと車両のある方向θの情報を用いる。
【００５１】
（第４の実施の形態）
図１１は、第４の実施の形態の車幅検出装置４の構成を示す図である。図１２に示す車幅検出装置４は、図７（ａ）に示すように、車両の正面または背面の可視領域における幅を車幅として求める装置である。第４の実施の形態の車幅検出装置４の基本的な構成は第２の実施の形態の車幅検出装置２と同じであるが、遮蔽量推定部４０をさらに備えている点が異なる。
【００５２】
遮蔽量推定部４０は、例えば、車両の画像を入力とし、遮蔽量を出力とするＤＮＮで学習した学習済みモデルを用いて、車両の画像から遮蔽量を推論する構成を有する。
【００５３】
車幅検出装置４は、対象の車両が遮蔽物によって遮蔽されている場合には、車種に基づいて求められた実車幅ｗ０から、遮蔽量推定部４０にて推定した遮蔽量を減算することによって、可視領域における実車幅を求める。そして、求めた実車幅を面Π’’に投影することによって第２の投影車幅を求める。
【００５４】
（第５の実施の形態）
図１２は、第５の実施の形態の車幅検出装置５の構成を示す図である。図１２に示す車幅検出装置５は、図７（ｂ）に示すように、車両の全体の可視領域における幅を車幅として求める装置である。第５の実施の形態の車幅検出装置５の基本的な構成は第３の実施の形態の車幅検出装置３と同じであるが、遮蔽量推定部４０をさらに備えている点が異なる。
【００５５】
遮蔽量推定部４０は、例えば、車両の画像を入力とし、遮蔽量を出力とするＤＮＮで学習した学習済みモデルを用いて、車両の画像から遮蔽量を推論する構成を有する。
【００５６】
車幅検出装置５は、対象の車両が遮蔽物によって遮蔽されている場合には、車種に基づいて求められた実車幅ｗ０から、遮蔽量推定部４０にて推定した遮蔽量を減算することによって、可視領域における実車幅を求める。そして、求めた実車幅を面Π’’に投影することによって第２の投影車幅を求める。
【００５７】
（その他の例）
上記した第２の実施の形態、第３の実施の形態等では、オクルージョン等の理由により対象車両の全体が見えていない場合にも、隠れた部分を含めた実車幅を推定する。これは、車間距離算出だけでなく、衝突可能性の判定など、別用途にも利用することができる。
【００５８】
上記した実施の形態では、車両の正面または背面の幅、または車両の全体の幅を車幅として求める例を挙げたが、上記の実施の形態は、車幅の定義を限定するものではない。例えば、車両の任意の２点、または２つの線の間の距離を車幅として求めてもよい。また、上記した実施の形態では、車幅（すなわち、水平方向の長さ）を求める例を挙げて説明したが、車幅は車高に置き換え、車高を求めることも可能である。例えば、左右方向の遮蔽量が多いが、上下方向の遮蔽量が少ないケースでは有効である。
【符号の説明】
【００５９】
１〜５・・・車幅検出装置、１０・・・カメラ、１１・・・制御部、
１２・・・学習済みモデル記憶部、１３・・・出力部、２０・・・画像取得部、
２１・・・車両検出部、２２・・・車両画像切出部、２３・・・投影車幅推論部、
２４・・・距離計算部、３０・・・画像取得部、３１・・・車両検出部、
３２・・・車両向き推定部、３３・・・車種判定部、３４・・・車幅算出部、
３５・・・投影車幅算出部、３６・・・距離計算部、３７・・・車幅ＤＢ、
３８・・・車幅・車長算出部、３９・・・車幅・車長ＤＢ、４０・・・遮蔽量推定部
【図１】
2019020171.tif 000003
【図２】
2019020171.tif 000004
【図３】
2019020171.tif 000005
【図４】
2019020171.tif 000006
【図５】
2019020171.tif 000007
【図６】
2019020171.tif 000008
【図７】
2019020171.tif 000009
【図８】
2019020171.tif 000010
【図９】
2019020171.tif 000011
【図１０】
2019020171.tif 000012
【図１１】
2019020171.tif 000013
【図１２】
2019020171.tif 000014