(57)【要約】【課題】車両周辺の障害物を適切に確認可能にすること。【解決手段】車両の周辺を撮影した周辺映像を取得する映像取得部４２と、車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得部４３と、映像取得部４２が取得した周辺映像から車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成部４５と、障害物情報取得部４３が取得した障害物情報に基づいて、障害物を示す情報を俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成部４６と、重畳映像生成部４６が生成した俯瞰映像を表示パネル３１に表示させる表示制御部４７とを有することを特徴とする。【選択図】図１
2018050277.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮影した周辺映像を取得する映像取得部と、
前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得部と、
前記映像取得部が取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成部と、
前記障害物情報取得部が取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成部と、
前記重畳映像生成部が生成した俯瞰映像を表示部に表示させる表示制御部と
を有することを特徴とする俯瞰映像生成装置。
【請求項２】
前記障害物情報取得部は、検出した障害物までの距離を含む障害物情報を取得し、
前記重畳映像生成部は、前記障害物情報取得部が取得した障害物情報に基づいて、検出した障害物までの距離が所定閾値以上であれば、前記俯瞰映像で囲まれた中央部に前記車両を示す自車アイコンを表示させ、前記障害物を示す情報を前記俯瞰映像に重畳させた俯瞰映像を生成し、前記障害物情報取得部が取得した障害物情報に基づいて、検出した障害物までの距離が所定閾値未満であれば、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する請求項１に記載の俯瞰映像生成装置。
【請求項３】
前記障害物情報取得部は、前記俯瞰映像として表示する範囲より遠方の範囲において検出した障害物の障害物情報を取得し、
前記重畳映像生成部は、前記障害物情報取得部が取得した障害物情報に基づいて、検出した障害物までの距離が前記俯瞰映像として表示する範囲より遠方であれば、前記俯瞰映像で囲まれた中央部に前記車両を示す自車アイコンを表示させ、前記障害物を示す情報を前記俯瞰映像に重畳させた俯瞰映像を生成し、前記障害物情報取得部が取得した障害物情報に基づいて、検出した障害物までの距離が前記俯瞰映像として表示する範囲に含まれる範囲であれば、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する請求項２に記載の俯瞰映像生成装置。
【請求項４】
前記障害物を示す情報は、前記障害物を検出した方向を示す情報である請求項１から３のいずれか一項に記載の俯瞰映像生成装置。
【請求項５】
前記障害物を示す情報は、検出した障害物までの距離に応じて変化する請求項１から４のいずれか一項に記載の俯瞰映像生成装置。
【請求項６】
前記障害物を示す情報は、前記障害物を検出した方向を向いた複数の構成要素を有し、前記複数の構成要素の間隔によって前記障害物までの距離を示し、
前記重畳映像生成部は、検出した障害物までの距離に基づいて、前記複数の構成要素の間隔を変化させる、
請求項１から５のいずれか一項に記載の俯瞰映像生成装置。
【請求項７】
前記障害物情報取得部は、検出した障害物の水平方向幅を含む障害物情報を取得し、
前記障害物を示す情報は、検出した障害物の水平方向幅を示す情報を含み、
前記重畳映像生成部は、前記障害物情報取得部が取得した障害物情報に基づいて、前記障害物を示す情報の幅を、検出した障害物の水平方向幅に対応させた幅として前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する、
請求項１から６のいずれか一項に記載の俯瞰映像生成装置。
【請求項８】
前記重畳映像生成部は、前記障害物情報取得部が取得した障害物情報に基づいて、前記車両の進行方向に位置する前記障害物について、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する請求項１から７のいずれか一項に記載の俯瞰映像生成装置。
【請求項９】
請求項１から８のいずれか一項に記載の俯瞰映像生成装置と、
前記車両の周辺を撮影し前記映像取得部に周辺映像を供給する撮影部と、
前記車両の周辺において障害物を検出し前記障害物情報取得部に障害物情報を供給する障害物検出部と
を有することを特徴とする俯瞰映像生成システム。
【請求項１０】
車両の周辺を撮影した周辺映像を取得する映像取得ステップと、
前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得ステップと、
前記映像取得ステップで取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成ステップと、
前記障害物情報取得ステップで取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成ステップと、
前記重畳映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップと
を含む俯瞰映像生成方法。
【請求項１１】
車両の周辺を撮影した周辺映像を取得する映像取得ステップと、
前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得ステップと、
前記映像取得ステップで取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成ステップと、
前記障害物情報取得ステップで取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成ステップと、
前記重畳映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップと
を俯瞰映像生成装置として動作するコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラムに関する。
【背景技術】
【０００２】
車両の俯瞰映像を車両画像と共に表示する車両周辺表示装置に関する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−０７６６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両の周辺をより確認しやすくするため、車両の周辺において検出した障害物の障害物情報を俯瞰映像に重畳させて表示する技術がある。ところが、障害物情報を俯瞰映像に重畳させると、俯瞰映像に映った障害物の視認性が阻害されるおそれがある。
【０００５】
本発明は、上記に鑑みてなされたものであって、車両周辺の障害物を適切に確認可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の周辺を撮影した周辺映像を取得する映像取得部と、前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得部と、前記映像取得部が取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成部と、前記障害物情報取得部が取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成部と、前記重畳映像生成部が生成した俯瞰映像を表示部に表示させる表示制御部とを有することを特徴とする。
【０００７】
本発明に係る俯瞰映像生成システムは、上記の俯瞰映像生成装置と、前記車両の周辺を撮影し前記映像取得部に周辺映像を供給する撮影部と、前記車両の周辺において障害物を検出し前記障害物情報取得部に障害物情報を供給する障害物検出部とを有することを特徴とする。
【０００８】
本発明に係る俯瞰映像生成方法は、車両の周辺を撮影した周辺映像を取得する映像取得ステップと、前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得ステップと、前記映像取得ステップで取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成ステップと、前記障害物情報取得ステップで取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成ステップと、前記重畳映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップとを含む。
【０００９】
本発明に係るプログラムは、車両の周辺を撮影した周辺映像を取得する映像取得ステップと、前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得ステップと、前記映像取得ステップで取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成ステップと、前記障害物情報取得ステップで取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成ステップと、前記重畳映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップとを俯瞰映像生成装置として動作するコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、車両周辺の障害物を適切に確認可能にすることができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。
【図２】図２は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像および障害物報知アイコンを示す図である。
【図３】図３は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。
【図４】図４は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。
【図５】図５は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。
【図６】図６は、第二実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。
【図７】図７は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。
【図８】図８は、第三実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。
【図９】図９は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。
【図１０】図１０は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。
【図１１】図１１は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。
【図１２】図１２は、障害物報知アイコンにおける、円弧間の間隔と障害物までの距離との関係の一例を示すグラフである。
【図１３】図１３は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。
【図１４】図１４は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。
【図１５】図１５は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照して、本発明に係る俯瞰映像生成装置４０、俯瞰映像生成システム１、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
【００１３】
［第一実施形態］
図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。俯瞰映像生成システム１は、車両の俯瞰映像１００（図２参照）を生成する。俯瞰映像生成装置４０および俯瞰映像生成システム１は、車両に搭載されている。俯瞰映像生成装置４０および俯瞰映像生成システム１は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。
【００１４】
図１を用いて、俯瞰映像生成システム１について説明する。俯瞰映像生成システム１は、前方カメラ（撮影部）１１と、後方カメラ（撮影部）１２と、左側方カメラ（撮影部）１３と、右側方カメラ（撮影部）１４と、前方左センサ（障害物検出部）２１と、前方中央センサ（障害物検出部）２２と、前方右センサ（障害物検出部）２３と、後方左センサ（障害物検出部）２４と、後方中央センサ（障害物検出部）２５と、後方右センサ（障害物検出部）２６と、表示パネル３１と、俯瞰映像生成装置４０とを有する。
【００１５】
前方カメラ１１は、車両の前方に配置され、車両の前方を中心とした周辺を撮影する。前方カメラ１１は、撮影した映像を俯瞰映像生成装置４０の映像取得部４２へ出力する。
【００１６】
後方カメラ１２は、車両の後方に配置され、車両の後方を中心とした周辺を撮影する。後方カメラ１２は、撮影した映像を俯瞰映像生成装置４０の映像取得部４２へ出力する。
【００１７】
左側方カメラ１３は、車両の左側方に配置され、車両の左側方を中心とした周辺を撮影する。左側方カメラ１３は、撮影した映像を俯瞰映像生成装置４０の映像取得部４２へ出力する。
【００１８】
右側方カメラ１４は、車両の右側方に配置され、車両の右側方を中心とした周辺を撮影する。右側方カメラ１４は、撮影した映像を俯瞰映像生成装置４０の映像取得部４２へ出力する。
【００１９】
前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで、車両の全方位を撮影する。
【００２０】
前方左センサ２１は、車両の前方左側に配置され、車両の前方左側における障害物を検出する。前方左センサ２１は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。前方左センサ２１は、車両と接触するおそれがある、地上から高さを有するものを検出する。前方左センサ２１は、例えば、車両から５ｍ程度までの距離の障害物を検出する。前方左センサ２１は、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の障害物を検出する。前方左センサ２１の検出範囲は、前方中央センサ２２の検出範囲の一部と重複していてもよい。前方左センサ２１は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。障害物情報の例としては、前方左センサ２１の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。
【００２１】
前方中央センサ２２は、車両の前方中央に配置され、車両の前方中央における障害物を検出する。前方中央センサ２２は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。前方中央センサ２２は、車両と接触するおそれがある、地上から高さを有するものを検出する。前方中央センサ２２は、例えば、車両から５ｍ程度までの距離の障害物を検出する。前方中央センサ２２は、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の障害物を検出する。前方中央センサ２２の検出範囲は、前方左センサ２１および前方右センサ２３の検出範囲の一部と重複していてもよい。前方中央センサ２２は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。障害物情報の例としては、前方中央センサ２２の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。
【００２２】
前方右センサ２３は、車両の前方右側に配置され、車両の前方右側における障害物を検出する。前方右センサ２３は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。前方右センサ２３は、車両と接触するおそれがある、地上から高さを有するものを検出する。前方右センサ２３は、例えば、車両から５ｍ程度までの距離の障害物を検出する。前方右センサ２３は、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の障害物を検出する。前方右センサ２３の検出範囲は、前方中央センサ２２の検出範囲の一部と重複していてもよい。前方右センサ２３は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。障害物情報の例としては、前方右センサ２３の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。
【００２３】
前方左センサ２１と前方中央センサ２２と前方右センサ２３とで、車両の前方の障害物を検出する。
【００２４】
後方左センサ２４は、車両の後方左側に配置され、車両の後方左側における障害物を検出する。後方左センサ２４は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。後方左センサ２４は、車両と接触するおそれがある、地上から高さを有するものを検出する。後方左センサ２４は、例えば、車両から５ｍ程度までの距離の障害物を検出する。後方左センサ２４は、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の障害物を検出する。後方左センサ２４の検出範囲は、後方中央センサ２５の検出範囲の一部と重複していてもよい。後方左センサ２４は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。障害物情報の例としては、後方左センサ２４の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。
【００２５】
後方中央センサ２５は、車両の後方中央に配置され、車両の後方中央における障害物を検出する。後方中央センサ２５は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。後方中央センサ２５は、車両と接触するおそれがある、地上から高さを有するものを検出する。後方中央センサ２５は、例えば、車両から５ｍ程度までの距離の障害物を検出する。後方中央センサ２５は、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の障害物を検出する。後方中央センサ２５の検出範囲は、後方左センサ２４および後方右センサ２６の検出範囲の一部と重複していてもよい。後方中央センサ２５は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。障害物情報の例としては、後方中央センサ２５の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。
【００２６】
後方右センサ２６は、車両の後方右側に配置され、車両の後方右側における障害物を検出する。後方右センサ２６は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。後方右センサ２６は、車両と接触するおそれがある、地上から高さを有するものを検出する。後方右センサ２６は、例えば、車両から５ｍ程度までの距離の障害物を検出する。後方右センサ２６は、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の障害物を検出する。後方右センサ２６の検出範囲は、後方中央センサ２５の検出範囲の一部と重複していてもよい。後方右センサ２６は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。障害物情報の例としては、後方右センサ２６の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。
【００２７】
後方左センサ２４と後方中央センサ２５と後方右センサ２６とで、車両の後方の障害物を検出する。
【００２８】
表示パネル３１は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。表示パネル３１は、俯瞰映像生成システム１の俯瞰映像生成装置４０から出力された映像信号に基づいて、俯瞰映像１００を表示する。表示パネル３１は、俯瞰映像生成システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル３１は、運転者から視認容易な位置に配置されている。
【００２９】
俯瞰映像生成装置４０は、制御部４１と、記憶部４９とを有する。
【００３０】
制御部４１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などで構成された演算処理装置である。制御部４１は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４１は、映像取得部４２と、障害物情報取得部４３と、車両情報取得部４４と、俯瞰映像生成部４５と、重畳映像生成部４６と、表示制御部４７とを有する。
【００３１】
映像取得部４２は、車両の周辺を撮影した周辺映像を取得する。より詳しくは、映像取得部４２は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが出力した映像を取得する。映像取得部４２は、取得した映像を俯瞰映像生成部４５に出力する。
【００３２】
障害物情報取得部４３は、車両の周辺において検出した障害物の障害物情報を取得する。本実施形態では、障害物情報取得部４３は、検出した障害物までの距離を含む障害物情報を取得する。より詳しくは、障害物情報取得部４３は、前方左センサ２１と前方中央センサ２２と前方右センサ２３と後方左センサ２４と後方中央センサ２５と後方右センサ２６とが出力した障害物情報を取得する。障害物情報取得部４３は、取得した障害物情報を重畳映像生成部４６に出力する。
【００３３】
車両情報取得部４４は、車両のギア操作情報など、俯瞰映像を表示させるためのトリガとなる車両情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や車両の状態をセンシングする各種センサなどから取得する。車両情報取得部４４は、取得した車両情報を俯瞰映像生成部４５に出力する。
【００３４】
俯瞰映像生成部４５は、映像取得部４２で取得した周辺映像から車両を上方から見下ろすように視点変換処理を行った俯瞰映像１００を生成する。より詳しくは、俯瞰映像生成部４５は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで撮影した映像に基づいて、俯瞰映像１００を生成する。俯瞰映像１００を生成する方法は、公知のいずれの方法でもよく、限定されない。俯瞰映像生成部４５は、生成した俯瞰映像１００を表示制御部４７に出力する。
【００３５】
図２を用いて、俯瞰映像１００について説明する。図２は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像および障害物報知アイコンを示す図である。俯瞰映像１００は、縦長の矩形状である。俯瞰映像１００は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４と、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とで囲まれた中央部に位置する中央映像１０５とを含む。前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４と、中央映像１０５とは、枠状の境界線で区切られていてもよい。
【００３６】
中央映像１０５は、縦長の矩形状に生成される。中央映像１０５は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４との境界が線で区切られている。中央映像１０５は、俯瞰映像１００における車両の位置を示す。
【００３７】
図２においては、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４との境界を示す斜めの破線を説明のために図示しているが、実際に表示パネル３１に表示される俯瞰映像１００には当該破線は表示されない。他の図も同様である。
【００３８】
重畳映像生成部４６は、障害物情報取得部４３が取得した障害物情報に基づいて、障害物を示す情報を、俯瞰映像１００の中央映像１０５に重畳した俯瞰映像１００を生成する。本実施形態では、重畳映像生成部４６は、障害物情報取得部４３が取得した障害物情報に基づいて、俯瞰映像１００の中央映像１０５に障害物を検出した方向を示す情報を重畳した俯瞰映像１００を生成する。本実施形態では、重畳映像生成部４６は、障害物を検出した方向を示す情報を障害物報知アイコン（障害物を示す情報）１１０で示す。障害物報知アイコン１１０は、障害物を検出する各センサの水平方向における検出方向を模式的に示しており、複数の円弧の配置方向は、センサの取付位置を起点とした検出方向、または車両を中心とした放射状の配置などである。障害物報知アイコン１１０を構成する円弧の幅は、障害物を検出する各センサの検出範囲を示していてもよく、各センサの検出範囲によらず検出方向に対応した固定幅であってもよい。
【００３９】
障害物報知アイコン１１０は、障害物を報知するアイコンである。障害物報知アイコン１１０は、障害物までの距離と方向とを示す。障害物報知アイコン１１０は、前方左アイコン（障害物を示す情報）１１１と前方中央アイコン（障害物を示す情報）１１２と前方右アイコン（障害物を示す情報）１１３と後方左アイコン（障害物を示す情報）１１４と後方中央アイコン（障害物を示す情報）１１５と後方右アイコン（障害物を示す情報）１１６とを含む。
【００４０】
前方左アイコン１１１は、車両の前方左側の障害物を報知するアイコンである。より詳しくは、前方左アイコン１１１は、前方左センサ２１で障害物を検出したことを報知するアイコンである。前方左アイコン１１１は、図２において、俯瞰映像１００の中央映像１０５の左上に重畳される。
【００４１】
本実施形態では、前方左アイコン１１１は、３重の弧状の曲線で構成される。弧状の曲線は、俯瞰映像１００の外側に向かって膨出している。３重の弧状の曲線は、俯瞰映像１００の外側から中心側に向かって半径が小さくなっている。３重の弧状の曲線は、俯瞰映像１００の外側から中心側に向かって短くなっている。
【００４２】
前方左アイコン１１１は、障害物までの距離に応じて、色を変化させてもよい。例えば、前方左アイコン１１１は、障害物までの距離が第一所定距離以上の場合、緑色で表示する。前方左アイコン１１１は、障害物までの距離が第一所定距離未満かつ第一所定距離より小さい第二所定距離以上の場合、黄色で表示する。前方左アイコン１１１は、障害物までの距離が第二所定距離未満の場合、赤色で表示する。
【００４３】
前方左アイコン１１１は、障害物までの距離に応じて、弧状の曲線の本数を変化させてもよい。例えば、前方左アイコン１１１は、障害物までの距離が第一所定距離以上の場合、３重の弧状の曲線のうち、最も外側の弧状の曲線を表示する。前方左アイコン１１１は、障害物までの距離が第一所定距離未満かつ第二所定距離以上の場合、３重の弧状の曲線のうち、最も外側の弧状の曲線と中央の弧状の曲線とを表示する。前方左アイコン１１１は、障害物までの距離が第二所定距離未満の場合、３重の弧状の曲線をすべて表示する。
【００４４】
前方中央アイコン１１２は、車両の前方中央の障害物を報知するアイコンである。より詳しくは、前方中央アイコン１１２は、前方中央センサ２２で障害物を検出したことを報知するアイコンである。前方中央アイコン１１２は、図２において、俯瞰映像１００の中央映像１０５の上側中央に重畳される。前方中央アイコン１１２は、前方左アイコン１１１と同様に構成されている。
【００４５】
前方右アイコン１１３は、車両の前方右側の障害物を報知するアイコンである。より詳しくは、前方右アイコン１１３は、前方右センサ２３で障害物を検出したことを報知するアイコンである。前方右アイコン１１３は、図２において、俯瞰映像１００の中央映像１０５の右上に重畳される。前方右アイコン１１３は、前方左アイコン１１１と同様に構成されている。
【００４６】
後方左アイコン１１４は、車両の後方左側の障害物を報知するアイコンである。より詳しくは、後方左アイコン１１４は、後方左センサ２４で障害物を検出したことを報知するアイコンである。後方左アイコン１１４は、図２において、俯瞰映像１００の中央映像１０５の左下に重畳される。後方左アイコン１１４は、前方左アイコン１１１と同様に構成されている。
【００４７】
後方中央アイコン１１５は、車両の後方中央の障害物を報知するアイコンである。より詳しくは、後方中央アイコン１１５は、後方中央センサ２５で障害物を検出したことを報知するアイコンである。後方中央アイコン１１５は、図２において、俯瞰映像１００の中央映像１０５の下側中央に重畳される。後方中央アイコン１１５は、前方左アイコン１１１と同様に構成されている。
【００４８】
後方右アイコン１１６は、車両の後方右側の障害物を報知するアイコンである。より詳しくは、後方右アイコン１１６は、後方右センサ２６で障害物を検出したことを報知するアイコンである。後方右アイコン１１６は、図２において、俯瞰映像１００の中央映像１０５の右下に重畳される。後方右アイコン１１６は、前方左アイコン１１１と同様に構成されている。
【００４９】
表示制御部４７は、重畳映像生成部４６が生成した俯瞰映像１００を表示パネル３１に表示させる。
【００５０】
記憶部４９は、俯瞰映像生成装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部４９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ  Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。
【００５１】
次に、図３を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図３は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。
【００５２】
制御部４１は、俯瞰映像表示を開始するか否かを判定する（ステップＳ１１）。俯瞰映像表示を開始する判定の例として、制御部４１は、後退トリガの有無に基づいて、俯瞰映像表示を開示するか否かを判定する。後退トリガとは、例えば、シフトポジションが「リバース」とされたことをいう。または、後退トリガとは、車両の進行方向が車両の前後方向の後方となったことをいう。制御部４１は、後退トリガがない場合、俯瞰映像表示を開始しないと判定し（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。制御部４１は、後退トリガがある場合、俯瞰映像表示を開始すると判定し（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。
【００５３】
制御部４１は、俯瞰映像１００を生成し表示する（ステップＳ１２）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、映像取得部４２が取得した周辺映像から車両を上方から見下ろすように視点変換処理を行った俯瞰映像１００を生成させる。そして、制御部４１は、表示制御部４７で、生成した俯瞰映像１００を表示パネル３１に表示させる。
【００５４】
制御部４１は、障害物を検出したか否かを判定する（ステップＳ１３）。より詳しくは、制御部４１は、障害物情報取得部４３で障害物情報が取得されたか否かを判定する。制御部４１は、障害物情報取得部４３で障害物情報が取得されたと判定した場合（ステップＳ１３でＹｅｓ）、ステップＳ１４に進む。制御部４１は、障害物情報取得部４３で障害物情報が取得されていないと判定した場合（ステップＳ１３でＮｏ）、ステップＳ１５に進む。
【００５５】
制御部４１は、俯瞰映像１００の中央部に障害物を示す障害物報知アイコン１１０を重畳表示する（ステップＳ１４）。より詳しくは、制御部４１は、重畳映像生成部４６で、障害物情報取得部４３が取得した障害物情報に基づいて、俯瞰映像１００の中央映像１０５に、障害物を検出した方向を示すように障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。そして、制御部４１は、表示制御部４７で、生成した俯瞰映像１００を表示パネル３１に表示させる。
【００５６】
制御部４１は、前方左センサ２１と前方中央センサ２２と前方右センサ２３と後方左センサ２４と後方中央センサ２５と後方右センサ２６の複数のセンサからの障害物情報を取得した場合、重畳映像生成部４６で、俯瞰映像１００の中央映像１０５に、複数の障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。
【００５７】
制御部４１は、俯瞰映像表示を終了するか否かを判定する（ステップＳ１５）。より詳しくは、制御部４１は、後退トリガの有無に基づいて、俯瞰映像表示を終了するか否かを判定する。制御部４１は、後退トリガがない場合、言い換えると、後退トリガが解除された場合、俯瞰映像表示を終了すると判定し（ステップＳ１５でＹｅｓ）、処理を終了する。制御部４１は、後退トリガがある場合、俯瞰映像表示を終了しないと判定し（ステップＳ１５でＮｏ）、ステップＳ１３に戻って処理を継続する。
【００５８】
このようにして、俯瞰映像生成システム１は、障害物が検出されると、俯瞰映像１００の中央部に、障害物を検出した方向を示すように障害物報知アイコン１１０を重畳して、表示パネル３１に映像信号を出力する。表示パネル３１は、俯瞰映像生成システム１から出力された映像信号に基づいて、例えば、ナビゲーション画面とともに俯瞰映像１００を表示する。
【００５９】
例えば、車両の後退時、後方左側に障害物を検出した場合の一例を、図４を用いて説明する。図４は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。図４において、俯瞰映像１００の後方映像１０２には、後方左側の障害物の障害物映像２００が含まれている。
【００６０】
制御部４１は、ステップＳ１３において、障害物を検出したと判定する。そして、制御部４１は、ステップＳ１４において、重畳映像生成部４６で、障害物情報取得部４３が取得した障害物情報に基づいて、俯瞰映像１００の中央映像１０５に、障害物を検出した後左方向を示すように障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。そして、制御部４１は、表示制御部４７で、生成した俯瞰映像１００を表示パネル３１に表示させる。
【００６１】
車両の後退時、後方左側に障害物を検出した場合の他の例を、図５を用いて説明する。図５は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。
【００６２】
図５においては、俯瞰映像１００の中央映像１０５に、車両を上方から見た、車両を示す自車アイコンである自車アイコン１２０が合成されている。制御部４１は、ステップＳ１４において、重畳映像生成部４６で、自車アイコン１２０に、障害物を検出した後左方向を示すように障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。
【００６３】
上述したように、本実施形態は、車両の周辺に障害物が検出されると、俯瞰映像１００の中央映像１０５に、障害物を検出した方向を示すように障害物報知アイコン１１０を重畳した俯瞰映像１００を表示パネル３１に表示させる。本実施形態は、障害物報知アイコン１１０が俯瞰映像１００の中央映像１０５に重畳されるので、障害物報知アイコン１１０と俯瞰映像１００に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像１００に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
【００６４】
本実施形態は、障害物報知アイコン１１０で、障害物を検出した方向と距離とを報知することができる。
【００６５】
本実施形態は、図４に示すように、俯瞰映像１００の中央映像１０５に自車アイコン１２０を表示しない場合、障害物報知アイコン１１０の視認性をより向上することができる。このように、本実施形態は、車両周辺の障害物をより適切に確認可能にすることができる。
【００６６】
本実施形態は、図５に示すように、俯瞰映像１００の中央映像１０５に自車アイコン１２０を表示してもよい。これにより、本実施形態は、車両に対する障害物の方向をより認識しやすい俯瞰映像１００を表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
【００６７】
［第二実施形態］
図６、図７を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図６は、第二実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。図７は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。俯瞰映像生成システム１は、基本的な構成は第一実施形態の俯瞰映像生成システム１と同様である。以下の説明においては、俯瞰映像生成システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成装置４０の障害物情報取得部４３と重畳映像生成部４６と制御部４１における処理とが、第一実施形態の俯瞰映像生成システム１と異なる。
【００６８】
障害物報知アイコン１１０は、第一実施形態の前方左アイコン１１１と前方中央アイコン１１２と前方右アイコン１１３と後方左アイコン１１４と後方中央アイコン１１５と後方右アイコン１１６とに加えて、第二前方左アイコン（障害物を示す情報）と第二前方中央アイコン（障害物を示す情報）と第二前方右アイコン（障害物を示す情報）と第二後方左アイコン（障害物を示す情報）と第二後方中央アイコン（障害物を示す情報）と第二後方右アイコン（障害物を示す情報）とを含む。図７においては、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方中央アイコンと第二後方右アイコンは図示されておらず、第二後方左アイコン（障害物を示す情報）が示されている。
【００６９】
前方左アイコン１１１は、障害物までの距離が閾値未満の、車両の前方左側の障害物を報知するアイコンである。より詳しくは、前方左アイコン１１１は、前方左センサ２１で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。
【００７０】
前方中央アイコン１１２は、障害物までの距離が閾値未満の、車両の前方中央の障害物を報知するアイコンである。より詳しくは、前方中央アイコン１１２は、前方中央センサ２２で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。
【００７１】
前方右アイコン１１３は、障害物までの距離が閾値未満の、車両の前方右側の障害物を報知するアイコンである。より詳しくは、前方右アイコン１１３は、前方右センサ２３で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。
【００７２】
後方左アイコン１１４は、障害物までの距離が閾値未満の、車両の後方左側の障害物を報知するアイコンである。より詳しくは、後方左アイコン１１４は、後方左センサ２４で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。
【００７３】
後方中央アイコン１１５は、障害物までの距離が閾値未満の、車両の後方中央の障害物を報知するアイコンである。より詳しくは、後方中央アイコン１１５は、後方中央センサ２５で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。
【００７４】
後方右アイコン１１６は、障害物までの距離が閾値未満の、車両の後方右側の障害物を報知するアイコンである。より詳しくは、後方右アイコン１１６は、後方右センサ２６で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。
【００７５】
第二前方左アイコンは、障害物までの距離が閾値以上の、車両の前方左側の障害物を報知するアイコンである。より詳しくは、第二前方左アイコンは、前方左センサ２１で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二前方左アイコンは、俯瞰映像１００の中央映像１０５より外側の左上に重畳される。第二前方左アイコンは、前方左アイコン１１１と同様に構成されている。
【００７６】
第二前方中央アイコンは、障害物までの距離が閾値以上の、車両の前方中央の障害物を報知するアイコンである。より詳しくは、第二前方中央アイコンは、前方中央センサ２２で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二前方中央アイコンは、俯瞰映像１００の中央映像１０５より外側の上側中央に重畳される。第二前方中央アイコンは、前方左アイコン１１１と同様に構成されている。
【００７７】
第二前方右アイコンは、障害物までの距離が閾値以上の、車両の前方右側の障害物を報知するアイコンである。より詳しくは、第二前方右アイコンは、前方右センサ２３で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二前方右アイコンは、俯瞰映像１００の中央映像１０５より外側の右上に重畳される。第二前方右アイコンは、前方左アイコン１１１と同様に構成されている。
【００７８】
第二後方左アイコンは、障害物までの距離が閾値以上の、車両の後方左側の障害物を報知するアイコンである。より詳しくは、第二後方左アイコンは、後方左センサ２４で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二後方左アイコンは、俯瞰映像１００の中央映像１０５より外側の左下に重畳される。第二後方左アイコンは、前方左アイコン１１１と同様に構成されている。
【００７９】
第二後方中央アイコンは、障害物までの距離が閾値以上の、車両の後方中央の障害物を報知するアイコンである。より詳しくは、第二後方中央アイコンは、後方中央センサ２５で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二後方中央アイコンは、俯瞰映像１００の中央映像１０５より外側の下側中央に重畳される。第二後方中央アイコンは、前方左アイコン１１１と同様に構成されている。
【００８０】
第二後方右アイコンは、障害物までの距離が閾値以上の、車両の後方右側の障害物を報知するアイコンである。より詳しくは、第二後方右アイコンは、後方右センサ２６で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二後方右アイコンは、俯瞰映像１００の中央映像１０５より外側の右下に重畳される。第二後方右アイコンは、前方左アイコン１１１と同様に構成されている。
【００８１】
障害物情報取得部４３は、検出した障害物までの距離を含む情報を取得する。障害物情報取得部４３は、取得した障害物までの距離を含む情報を重畳映像生成部４６に出力する。
【００８２】
重畳映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、検出した障害物までの距離が所定閾値以上であれば、俯瞰映像１００の中央映像１０５に自車アイコン１２０を表示させ、障害物を示す情報である障害物報知アイコン１１０を俯瞰映像１００の中央部の外側に重畳させた俯瞰映像１００を生成する。
【００８３】
重畳映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、検出した障害物までの距離が所定閾値未満であれば、障害物報知アイコン１１０を、俯瞰映像１００の中央映像１０５に重畳した俯瞰映像１００を生成する。
【００８４】
次に、図６を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図６に示すフローチャートのステップＳ２１、ステップＳ２３、ステップＳ２６、ステップＳ２７の処理は、図３に示すフローチャートのステップＳ１１、ステップＳ１３、ステップＳ１４、ステップＳ１５の処理と同様である。
【００８５】
制御部４１は、自車アイコン１２０を重畳した俯瞰映像１００を生成し表示する（ステップＳ２２）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、映像取得部４２が取得した周辺映像から車両を上方から見下ろすように視点変換処理を行った俯瞰映像１００を生成させる。制御部４１は、表示制御部４７で、生成した俯瞰映像１００の中央部に自車アイコン１２０を合成する。そして、制御部４１は、表示制御部４７で、生成した俯瞰映像１００を表示パネル３１に表示させる。
【００８６】
制御部４１は、障害物までの距離が閾値以上であるか否かを判定する（ステップＳ２４）。より詳しくは、制御部４１は、障害物情報取得部４３で取得された、検出した障害物までの距離が所定閾値以上である場合（ステップＳ２４でＹｅｓ）、ステップＳ２５に進む。制御部４１は、障害物情報取得部４３で取得された、検出した障害物までの距離が所定閾値未満である場合（ステップＳ２４でＮｏ）、ステップＳ２６に進む。
【００８７】
所定閾値は、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方左アイコンと第二後方中央アイコンと第二後方右アイコンとが表示される位置が、俯瞰映像１００の障害物の映像と重複しない値に設定される。より詳しくは、所定閾値は、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方左アイコンと第二後方中央アイコンと第二後方右アイコンの最も外側の円弧状の曲線の位置に対応する車両からの距離以上の値であればよい。例えば、所定閾値は、２ｍ程度としてもよい。
【００８８】
制御部４１は、自車アイコン１２０の外側の俯瞰映像１００に、障害物報知アイコン１１０を重畳表示する（ステップＳ２５）。より詳しくは、制御部４１は、重畳映像生成部４６で、障害物情報取得部４３が取得した障害物情報に基づいて、自車アイコン１２０の外側の俯瞰映像１００に、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方左アイコンと第二後方中央アイコンと第二後方右アイコンとの少なくともいずれかを重畳した俯瞰映像１００を生成させる。そして、制御部４１は、表示制御部４７で、生成した俯瞰映像１００を表示パネル３１に表示させる。
【００８９】
このようにして、俯瞰映像生成システム１は、障害物までの距離が所定閾値以上であると、自車アイコン１２０の外側の俯瞰映像１００に、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方左アイコンと第二後方中央アイコンと第二後方右アイコンとの少なくともいずれかを重畳した俯瞰映像１００を生成し、表示パネル３１に映像信号を出力する。俯瞰映像生成システム１は、障害物までの距離が所定閾値未満であると、俯瞰映像１００の中央映像１０５に、前方左アイコン１１１と前方中央アイコン１１２と前方右アイコン１１３と後方左アイコン１１４と後方中央アイコン１１５と後方右アイコン１１６との少なくともいずれかを重畳した俯瞰映像１００を生成し、表示パネル３１に映像信号を出力する。
【００９０】
例えば、車両の後退時、後方左側の所定閾値上の距離に障害物を検出した場合の一例を、図７を用いて説明する。
【００９１】
制御部４１は、ステップＳ２３において、障害物を検出したと判定する。そして、制御部４１は、ステップＳ２４において、障害物情報取得部４３で取得された、検出した障害物までの距離が所定閾値以上であると判定する（ステップＳ２４でＹｅｓ）。そして、制御部４１は、ステップＳ２５において、自車アイコン１２０の外側の俯瞰映像１００に、障害物を検出した後左方向を示す第二後方左アイコン１１７を重畳した、図７に示す俯瞰映像１００を生成させる。そして、制御部４１は、生成した俯瞰映像１００を表示パネル３１に表示させる。
【００９２】
上述したように、本実施形態は、障害物までの距離が所定閾値以上であると、自車アイコン１２０の外側の俯瞰映像１００に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成し表示パネル３１に表示させる。本実施形態は、障害物までの距離が所定閾値以上の場合、障害物報知アイコン１１０が自車アイコン１２０の外側の俯瞰映像１００に重畳されるので、障害物報知アイコン１１０と俯瞰映像１００に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像１００に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
【００９３】
本実施形態は、障害物までの距離が所定閾値未満であると、俯瞰映像１００の中央映像１０５に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成し表示パネル３１に表示させる。本実施形態は、障害物までの距離が所定閾値未満の場合、障害物報知アイコン１１０が俯瞰映像１００の中央映像１０５に重畳されるので、障害物報知アイコン１１０と俯瞰映像１００に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像１００に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。
【００９４】
このように、本実施形態は、障害物までの距離に応じて、車両周辺の障害物を適切に確認可能にすることができる。
【００９５】
本実施形態は、障害物までの距離に応じて、俯瞰映像１００における障害物報知アイコン１１０の表示位置が変化する。このため、本実施形態は、障害物までの距離をより把握しやすくすることができる。
【００９６】
［第三実施形態］
図８を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図８は、第三実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成装置４０の障害物情報取得部４３と重畳映像生成部４６と制御部４１における処理とが、第二実施形態の俯瞰映像生成システム１と異なる。
【００９７】
前方左センサ２１と前方中央センサ２２と前方右センサ２３と後方左センサ２４と後方中央センサ２５と後方右センサ２６とは、俯瞰映像１００として表示する範囲より遠方の範囲を検出範囲とする。
【００９８】
障害物情報取得部４３は、俯瞰映像１００として表示する範囲より遠方の範囲において検出した障害物の障害物情報を取得する。
【００９９】
重畳映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、検出した障害物までの距離が俯瞰映像１００として表示する範囲より遠方であれば、俯瞰映像１００の中央部に自車アイコン１２０を表示させ、障害物報知アイコン１１０を自車アイコン１２０の外側の俯瞰映像１００に重畳させた俯瞰映像１００を生成する。
【０１００】
重畳映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、検出した障害物までの距離が俯瞰映像１００として表示する範囲に含まれる範囲であれば、障害物報知アイコン１１０を、俯瞰映像１００の中央映像１０５に障害物を検出した方向を示すように重畳した俯瞰映像１００を生成する。
【０１０１】
次に、図８を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図８に示すフローチャートのステップＳ３１〜ステップＳ３３、ステップＳ３５〜ステップＳ３７の処理は、図６に示すフローチャートのステップＳ２１〜ステップＳ２３、ステップＳ２５〜ステップＳ２７の処理と同様である。
【０１０２】
制御部４１は、障害物までの距離は俯瞰映像１００の表示範囲以上であるか否かを判定する（ステップＳ３４）。制御部４１は、障害物情報取得部４３で取得された、検出した障害物までの距離が俯瞰映像１００の表示範囲より遠方の範囲である場合（ステップＳ３４でＹｅｓ）、ステップＳ３５に進む。制御部４１は、障害物情報取得部４３で取得された、検出した障害物までの距離が俯瞰映像１００の表示範囲に含まれる場合（ステップＳ３４でＮｏ）、ステップＳ３６に進む。
【０１０３】
このようにして、俯瞰映像生成システム１は、障害物までの距離が俯瞰映像１００の表示範囲より遠方の範囲であると、自車アイコン１２０の外側の俯瞰映像１００に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成し、表示パネル３１に映像信号を出力する。俯瞰映像生成システム１は、障害物までの距離が俯瞰映像１００の表示範囲に含まれると、俯瞰映像１００の中央映像１０５に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成し、表示パネル３１に映像信号を出力する。
【０１０４】
上述したように、本実施形態は、障害物までの距離が俯瞰映像１００の表示範囲より遠方の範囲であると、自車アイコン１２０の外側の俯瞰映像１００に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成し表示パネル３１に表示させる。本実施形態は、障害物までの距離が俯瞰映像１００の表示範囲より遠方の範囲の場合、障害物報知アイコン１１０が自車アイコン１２０の外側に重畳されるので、障害物報知アイコン１１０と俯瞰映像１００に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像１００に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
【０１０５】
本実施形態は、障害物までの距離が俯瞰映像１００の表示範囲に含まれると、俯瞰映像１００の中央映像１０５に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成し表示パネル３１に表示させる。本実施形態は、障害物までの距離が俯瞰映像１００の表示範囲に含まれる場合、障害物報知アイコン１１０が俯瞰映像１００の中央映像１０５に重畳されるので、障害物報知アイコン１１０と俯瞰映像１００に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像１００に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。
【０１０６】
このように、本実施形態は、障害物までの距離に応じて、車両周辺の障害物を適切に確認可能にすることができる。
【０１０７】
本実施形態は、俯瞰映像１００の表示範囲より遠方の範囲に障害物がある場合にも、障害物報知アイコン１１０を表示させることができる。このため、本実施形態は、俯瞰映像１００の表示範囲より遠方の範囲の障害物を報知することができる。
【０１０８】
［第四実施形態］
本実施形態に係る俯瞰映像生成システム１について説明する。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成装置４０の重畳映像生成部４６と制御部４１における処理とが、第一実施形態の俯瞰映像生成システム１と異なる。より詳しくは、制御部４１における障害物を検出したか否かの判定において、車両の進行方向に位置する障害物を検出する点が第一実施形態の俯瞰映像生成システム１と異なる。
【０１０９】
重畳映像生成部４６は、障害物情報取得部４３が取得した障害物情報に基づいて、車両の進行方向に位置する障害物について、障害物報知アイコン１１０を俯瞰映像１００の中央映像１０５に重畳した俯瞰映像１００を生成する。
【０１１０】
次に、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。
【０１１１】
制御部４１は、ステップＳ１３において、障害物情報取得部４３で取得した障害物情報に基づいて、車両の進行方向に障害物が検出されたか否かを判定する。制御部４１は、車両の進行方向に障害物を検出したと判定した場合（ステップＳ１３でＹｅｓ）、ステップＳ１４に進む。制御部４１は、車両の進行方向に障害物が検出されていないと判定した場合（ステップＳ１３でＮｏ）、ステップＳ１５に進む。
【０１１２】
このようにして、制御部４１は、車両に近づく障害物に対して、障害物報知アイコン１１０を表示し、車両から遠ざかる障害物に対して、障害物報知アイコン１１０を非表示とする。
【０１１３】
上述したように、本実施形態は、車両周辺の障害物をより適切に確認可能にすることができる。
【０１１４】
［第五実施形態］
図９ないし図１２を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図９は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。図１０は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図１１は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図１２は、障害物報知アイコンにおける、円弧間の間隔と障害物までの距離との関係の一例を示すグラフである。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成装置４０の重畳映像生成部４６における処理が、第一実施形態の俯瞰映像生成システム１と異なる。
【０１１５】
図９ないし図１１に示すように、障害物報知アイコン１１０は、障害物を検出した方向を向いた複数の構成要素を有し、複数の構成要素の間隔によって障害物までの距離を示す。本実施形態では、障害物報知アイコン１１０は、三重の円弧を構成要素としている。本実施形態では、障害物報知アイコン１１０は、円弧の間隔で障害物までの距離を示す。本実施形態では、障害物報知アイコン１１０は、障害物までの距離が大きいほど円弧の間隔を広く、障害物までの距離が小さいほど円弧の間隔を狭く示す。
【０１１６】
障害物報知アイコン１１０の円弧の間隔は、図１２において実線で示すように、障害物までの距離が大きいほど広くなるように、直線状に設定されていてもよい。
【０１１７】
障害物報知アイコン１１０の円弧の間隔は、図１２において破線で示すように、障害物までの距離が大きいほど広くなるように、階段状に設定されていてもよい。より詳しくは、障害物までの距離が第一閾値以上の場合、例えば、２ｍ以上の場合、円弧の間隔を第一間隔ｄ１とする。第一閾値は、俯瞰映像１００として表示する範囲に含まれる境界の距理としてもよい。障害物までの距離が第一閾値以上の場合、最も外側の円弧状の曲線を俯瞰映像１００の中央映像１０５の外部に表示してもよい。障害物までの距離が第一閾値未満かつ第二閾値以上の場合、例えば、２ｍ未満１ｍ以上の場合、円弧の間隔を第一間隔ｄ１より小さい第二間隔ｄ２とする。障害物までの距離が第二閾値未満の場合、例えば、１ｍ未満の場合、円弧の間隔を第二間隔ｄ２より小さい第三間隔ｄ３とする。さらに障害物までの距離が小さくなった場合、円弧の間隔をゼロとして円弧を重ねてもよい。
【０１１８】
障害物までの距離とは、障害物を検出する各センサから障害物までの距離である。障害物までの距離は、車両の障害物方向の端部から障害物までの距離とほぼ一致する。
【０１１９】
重畳映像生成部４６は、障害物情報取得部４３で取得された、検出した障害物までの距離に基づいて、円弧の間隔を変化させた障害物報知アイコン１１０を俯瞰映像１００の中央映像１０５に重畳した俯瞰映像１００を生成する。
【０１２０】
車両の後退時、後方左側に障害物を検出した場合の例を、図９ないし図１１を用いて説明する。
【０１２１】
例えば、車両の後退時、後方左側に障害物を検出し、障害物までの距離が２ｍである場合の一例を、図９を用いて説明する。ステップＳ１４において、制御部４１は、重畳映像生成部４６で、俯瞰映像１００の中央映像１０５に、円弧の膨出方向で障害物を検出した後左方向を示し、円弧の間隔で障害物までの距離を示す障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。障害物報知アイコン１１０は、円弧の間隔が第一間隔ｄ１である。障害物報知アイコン１１０は、最も外側の円弧状の曲線が中央映像１０５の外部に位置する。制御部４１は、重畳映像生成部４６で、図９に示す、生成した俯瞰映像１００を表示パネル３１に表示させる。障害物報知アイコン１１０の円弧の間隔と、最も外側の円弧状の曲線が中央映像１０５の外部に位置していることから、障害物が俯瞰映像１００として表示する範囲の境界付近に位置していることがわかる。
【０１２２】
例えば、車両の後退時、後方左側に障害物を検出し、障害物までの距離が１．５ｍである場合の一例を、図１０を用いて説明する。ステップＳ１４において、制御部４１は、重畳映像生成部４６で、俯瞰映像１００の中央映像１０５に、円弧の膨出方向で障害物を検出した後左方向を示し、円弧の間隔で障害物までの距離を示す障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。障害物報知アイコン１１０は、円弧の間隔が第二間隔ｄ２である。制御部４１は、重畳映像生成部４６で、図１０に示す、生成した俯瞰映像１００を表示パネル３１に表示させる。障害物報知アイコン１１０の円弧の間隔から、障害物が俯瞰映像１００として表示する範囲内に位置していることがわかる。
【０１２３】
例えば、車両の後退時、後方左側に障害物を検出し、障害物までの距離が１ｍである場合の一例を、図１１を用いて説明する。ステップＳ１４において、制御部４１は、重畳映像生成部４６で、俯瞰映像１００の中央映像１０５に、円弧の膨出方向で障害物を検出した後左方向を示し、円弧の間隔で障害物までの距離を示す障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。障害物報知アイコン１１０は、円弧の間隔が第三間隔ｄ３である。制御部４１は、重畳映像生成部４６で、図１１に示す、生成した俯瞰映像１００を表示パネル３１に表示させる。障害物報知アイコン１１０の円弧の間隔が狭いことから、障害物が車両の後端部の近傍に位置していることがわかる。
【０１２４】
このようにして、制御部４１は、検出した障害物までの距離に基づいて、円弧の間隔を変化させた障害物報知アイコン１１０を俯瞰映像１００の中央映像１０５に重畳した俯瞰映像１００を生成する。
【０１２５】
上述したように、本実施形態は、車両の周辺に障害物が検出されると、俯瞰映像１００の中央映像１０５に、障害物を検出した方向を示し、円弧の間隔で障害物までの距離を示すように障害物報知アイコン１１０を重畳した俯瞰映像１００を表示パネル３１に表示させる。本実施形態は、障害物報知アイコン１１０によって、障害物の方向と、障害物までの距離を表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
【０１２６】
［第六実施形態］
図１３ないし図１５を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図１３は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。図１４は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図１５は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成装置４０の重畳映像生成部４６における処理が、第一実施形態の俯瞰映像生成システム１と異なる。
【０１２７】
図１３ないし図１５に示すように、障害物報知アイコン１１０は、アイコン自身の水平方向の幅によって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅を示す。本実施形態では、障害物報知アイコン１１０は、障害物を検出しているセンサの水平方向における検出範囲が広いほど円弧の長さを大きく、障害物を検出しているセンサの水平方向における検出範囲が狭いほど円弧の長さを小さく示す。本実施形態では、障害物報知アイコン１１０は、障害物の水平方向の幅が広いほど円弧の長さを大きく、障害物の水平方向の幅が狭いほど円弧の長さを小さく示す。
【０１２８】
より詳しくは、例えば、障害物報知アイコン１１０は、俯瞰映像１００の中央部から障害物の水平方向の両端部までの投影幅を円弧の長さとしてもよい。
【０１２９】
重畳映像生成部４６は、障害物情報取得部４３が取得した障害物情報に基づいて、障害物を示す情報の幅を、検出した障害物の水平方向幅に対応させた幅として俯瞰映像１００の中央映像１０５に重畳した俯瞰映像１００を生成する。
【０１３０】
車両の後退時、後方左側に障害物を検出した場合の例を、図１３ないし図１５を用いて説明する。
【０１３１】
例えば、車両の後退時、後方左側に障害物を検出し、障害物までの距離が２ｍである場合の一例を、図１３を用いて説明する。ステップＳ１４において、制御部４１は、重畳映像生成部４６で、俯瞰映像１００の中央映像１０５に、アイコン自身の水平方向の幅によって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅を示す障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。ここでいう障害物の水平方向の幅とは、センサで検出した見かけの幅、つまり投影幅である。制御部４１は、重畳映像生成部４６で、図１３に示す、生成した俯瞰映像１００を表示パネル３１に表示させる。障害物報知アイコン１１０の水平方向の幅によって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅が狭いことがわかる。
【０１３２】
例えば、図１３に示す状態から、障害物までの距離が１ｍであった場合の一例を、図１４を用いて説明する。ステップＳ１４において、制御部４１は、重畳映像生成部４６で、俯瞰映像１００の中央映像１０５に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。俯瞰映像１００の中央部から障害物の水平方向の両端部までの投影幅が広くなるので、障害物報知アイコン１１０は、水平方向の幅が、図１３の障害物報知アイコン１１０の水平方向の幅より広い。制御部４１は、重畳映像生成部４６で、図１４に示す、生成した俯瞰映像１００を表示パネル３１に表示させる。障害物報知アイコン１１０の水平方向の幅が図１３より広くなっていることによって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅が広がっている、すなわち、障害物が車両の後端に近づいていることがわかる。
【０１３３】
このように、重畳映像生成部４６は、障害物の近接状況に応じて、障害物報知アイコン１１０の水平方向の幅を、図１３から図１４に示すように変化させて表示させる。障害物報知アイコン１１０の水平方向の幅の変化によって、障害物が車両に近づいているのか遠ざかっているのかがわかる。
【０１３４】
例えば、車両の後退時、後方左側に、図１４に示す障害物より水平方向の幅が狭い障害物を検出した場合の一例を、図１５を用いて説明する。ステップＳ１４において、制御部４１は、重畳映像生成部４６で、俯瞰映像１００の中央映像１０５に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。障害物報知アイコン１１０は、水平方向の幅が、図１４の障害物報知アイコン１１０の水平方向の幅より狭い。制御部４１は、重畳映像生成部４６で、図１５に示す、生成した俯瞰映像１００を表示パネル３１に表示させる。障害物報知アイコン１１０の水平方向の幅が図１４より狭くなっていることによって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅が狭くなっている、すなわち、障害物の水平方向の幅が狭いことがわかる。
【０１３５】
上述したように、本実施形態は、車両の周辺に障害物が検出されると、俯瞰映像１００の中央映像１０５に、障害物を検出した方向を示し、円弧の水平方向の幅で障害物の水平方向の幅を示すように障害物報知アイコン１１０を重畳した俯瞰映像１００を表示パネル３１に表示させる。本実施形態は、障害物報知アイコン１１０によって、障害物の方向と、障害物の水平方向の幅を表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
【０１３６】
さらに、本実施形態は、障害物までの距離が変化すると、障害物報知アイコン１１０の水平方向の幅を、例えば、図１３から図１４に示すように変化させて表示させる。これにより、本実施形態によれば、障害物報知アイコン１１０の水平方向の幅の変化で、障害物の近接状況を確認可能にすることができる。
【０１３７】
さて、これまで本発明に係る俯瞰映像生成システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。
【０１３８】
図示した俯瞰映像生成システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
【０１３９】
俯瞰映像生成システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
【０１４０】
上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
【０１４１】
重畳映像生成部４６は、例えば、最も近い障害物までの距離が所定閾値未満の場合、俯瞰映像１００の中央映像１０５に、障害物報知アイコン１１０とともに障害物までの距離を数値で表示してもよい。または、重畳映像生成部４６は、例えば、最も近い障害物までの距離が所定閾値未満の場合、俯瞰映像１００の中央映像１０５に、障害物報知アイコン１１０とともに障害物までの距離に応じて形状や色が変化する図形を表示してもよい。俯瞰映像生成システム１は、障害物までの距離に応じた障害物報知アイコン１１０の変化に加えて、障害物までの距離を報知することができる。これにより、俯瞰映像生成システム１は、車両周辺の障害物をより適切に確認可能にすることができる。
【０１４２】
制御部４１は、障害物が複数ある場合、優先順位の高い障害物について、障害物報知アイコン１１０を表示するようにしてもよい。例えば、優先順位は、障害物までの距離が最も小さいものを最も高い優先順位としてもよい。または、例えば、優先順位は、障害物が動体であるものを最も高い優先順位としてもよい。または、例えば、優先順位は、障害物が動体で、かつ、車両に近づいてきているものを最も高い優先順位としてもよい。
【０１４３】
障害物が動体であることが検出された場合、俯瞰映像１００の中央映像１０５に、動体であることを示すアイコンを表示してもよい。動体であることを示すアイコンは、例えば、歩行者を示すアイコンや車両であることを示すアイコンとしてもよい。これにより、俯瞰映像生成システム１は、車両周辺の障害物をより適切に確認可能にすることができる。
【０１４４】
障害物報知アイコン１１０は、３重の弧状の曲線で構成されるものとして説明したが、これに限定されない。障害物報知アイコン１１０は、例えば、障害物の方向を示す矢印状の図形でもよい。この場合、障害物報知アイコン１１０は、障害物までの距離に応じて、太さや大きさを変えた矢印状の図形としてもよい。
【０１４５】
本実施形態では、障害物検出部であるセンサとして、前方左センサ２１と前方中央センサ２２と前方右センサ２３と後方左センサ２４と後方中央センサ２５と後方右センサ２６との６つのセンサを有するものとしたが、センサの数は限定されない。障害物の方向をより細分化して検出したい場合、センサの数を増やしてもよい。
【０１４６】
本実施形態では、障害物報知アイコン１１０は、センサの数に対応して、前方左アイコン１１１と前方中央アイコン１１２と前方右アイコン１１３と後方左アイコン１１４と後方中央アイコン１１５と後方右アイコン１１６とを含むものとしたが、これに限定されない。言い換えると、障害物報知アイコン１１０は、各センサの検出結果と表示させるアイコンとが対応付けられていればよい。
【符号の説明】
【０１４７】
１      俯瞰映像生成システム
１１    前方カメラ（撮影部）
１２    後方カメラ（撮影部）
１３    左側方カメラ（撮影部）
１４    右側方カメラ（撮影部）
２１    前方左センサ（障害物検出部）
２２    前方中央センサ（障害物検出部）
２３    前方右センサ（障害物検出部）
２４    後方左センサ（障害物検出部）
２５    後方中央センサ（障害物検出部）
２６    後方右センサ（障害物検出部）
３１    表示パネル
４０    俯瞰映像生成装置
４１    制御部
４２    映像取得部
４３    障害物情報取得部
４４    車両情報取得部
４５    俯瞰映像生成部
４６    重畳映像生成部
４７    表示制御部
４９    記憶部
１００  俯瞰映像
１１０  障害物報知アイコン（障害物を示す情報）
１１１  前方左アイコン（障害物を示す情報）
１１２  前方中央アイコン（障害物を示す情報）
１１３  前方右アイコン（障害物を示す情報）
１１４  後方左アイコン（障害物を示す情報）
１１５  後方中央アイコン（障害物を示す情報）
１１６  後方右アイコン（障害物を示す情報）
１２０  自車アイコン
【図１】
2018050277.tif 000003
【図２】
2018050277.tif 000004
【図３】
2018050277.tif 000005
【図４】
2018050277.tif 000006
【図５】
2018050277.tif 000007
【図６】
2018050277.tif 000008
【図７】
2018050277.tif 000009
【図８】
2018050277.tif 000010
【図９】
2018050277.tif 000011
【図１０】
2018050277.tif 000012
【図１１】
2018050277.tif 000013
【図１２】
2018050277.tif 000014
【図１３】
2018050277.tif 000015
【図１４】
2018050277.tif 000016
【図１５】
2018050277.tif 000017