(57)【要約】【課題】遠隔操作による自動駐車に適した処理を実行する技術を提供する。【解決手段】取得部１１２は、車両２００により検出された障害物に関する第１情報と、車両２００の当該障害物に対する推定された車両２００の動作に関する第２情報とを取得する。重畳部１１４は、端末装置１００の撮像部１２６で撮像した映像に対して、第２情報における動作が示された複合現実ＵＩを、第１情報において示された障害物の位置に重畳する。表示Ｉ／Ｆ１３０は、複合現実ＵＩが重畳された映像を端末装置１００の表示装置１３２に表示させる。操作Ｉ／Ｆ１３６は、表示装置１３２に表示させた映像に重畳した複合現実ＵＩに対して、車両２００の動作を指定させるための指示を受けつける。通信部１１０は、受けつけた動作の指定を駐車支援装置３００に送信する。【選択図】図１
2019073190.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された通信装置と通信可能な端末装置でのプログラムであって、
前記車両により検出された障害物に関する第１情報と、前記車両の当該障害物に対する動作に関する第２情報とを取得するステップと、
前記端末装置の撮像部で撮像した映像に対して、第２情報における動作が示された複合現実ＵＩを、第１情報において示された障害物の位置に重畳するステップと、
複合現実ＵＩが重畳された映像を前記端末装置の表示部に表示させるステップと、
前記表示部に表示させた映像に重畳した複合現実ＵＩに対して、前記車両の動作を指定させるための指示を受けつけるステップと、
受けつけた動作の指定の指示を前記通信装置に送信するステップと、
をコンピュータに実行させるためのプログラム。
【請求項２】
前記取得するステップにおいて取得した第２情報は、前記車両の動作として、障害物に接触する、障害物を回避する、障害物を乗り越える、のいずれか１つを行うことを示し、
前記受けつけるステップは、第２情報において示された１つの動作とは異なる１つの動作を指定させるための指示を受けつける、
請求項１に記載のプログラム。
【請求項３】
前記取得するステップにおいて取得した第１情報は、前記車両から障害物までの距離情報をさらに含み、
前記重畳するステップは、第１情報に含まれた距離情報をさらに重畳する、
請求項１または２に記載のプログラム。
【請求項４】
前記車両において探索された探索結果を受信するステップと、
受信した探索結果から障害物を検出するステップと、
検出した障害物に対する前記車両の動作を推定するステップと、
をさらに備え、
前記取得するステップは、検出結果をもとにした第１情報を取得するとともに、推定結果をもとにした第２情報を取得する、
請求項１から３のいずれかに記載のプログラム。
【請求項５】
前記車両において探索された探索結果に対する障害物の検出結果をもとに生成された第１情報と、検出された障害物に対する前記車両の動作の推定結果をもとに生成された第２情報とを受信するステップをさらに備え、
前記取得するステップは、受信した第１情報と第２情報とを取得する、
請求項１から３のいずれかに記載のプログラム。
【請求項６】
前記表示部に表示させた映像において、複合現実ＵＩが非重畳の部分を選択するための指示を受けつけるステップをさらに備え、
前記取得するステップは、受けつけた指示において示された部分に対する新たな第１情報と新たな第２情報とを取得する、
請求項１から５のいずれかに記載のプログラム。
【請求項７】
前記車両の位置情報と、前記車両の方位情報とを受信するステップと、
前記端末装置の位置情報と、前記端末装置の撮像部の方位情報とを検出するステップと、
前記車両の位置情報と、前記車両の方位情報と、前記端末装置の位置情報と、前記端末装置の撮像部の方位情報とをもとに、前記端末装置の撮像部の視点に、前記車両の撮像部で撮像された映像を投影変換するステップとをさらに備え、
前記重畳するステップは、前記端末装置の撮像部で撮像した映像に対して、投影変換した映像と複合現実ＵＩとを重畳する、
請求項１から６のいずれかに記載のプログラム。
【請求項８】
前記端末装置の位置情報と、前記端末装置の撮像部の方位情報とを検出するステップと、
検出した前記端末装置の位置情報と、前記端末装置の撮像部の方位情報とを送信するステップと、
前記車両の位置情報と、前記車両の方位情報と、前記端末装置の位置情報と、前記端末装置の撮像部の方位情報とをもとに、前記端末装置の撮像部の視点に、前記車両の撮像部で撮像された映像が投影変換されており、投影変換された映像を受信するステップをさらに備え、
前記重畳するステップは、前記端末装置の撮像部で撮像した映像に対して、投影変換された映像と複合現実ＵＩとを重畳する、
請求項１から６のいずれかに記載のプログラム。
【請求項９】
自動駐車させるべき車両に搭載された駐車支援装置であって、
端末装置の撮像部で撮像した映像に対して、前記車両に対して検出された障害物の位置に、当該障害物に対して推定された前記車両の動作が示された複合現実ＵＩが重畳されるとともに、複合現実ＵＩを重畳した映像が前記端末装置の表示部に表示されており、前記表示部に表示させた映像に重畳した複合現実ＵＩに対して、前記車両の動作を変更させるための指示を前記端末装置が受けつけた場合に、変更後の前記車両の動作に関する情報を前記端末装置から受信する通信部と、
前記通信部において受信した情報であって、かつ変更後の前記車両の動作に関する情報を反映させて駐車経路を生成する駐車経路生成部と、
を備える駐車支援装置。
【請求項１０】
前記車両の動作は、障害物に接触する、障害物を回避する、障害物を乗り越える、のいずれか１つを示す、
請求項９に記載の駐車支援装置。
【請求項１１】
前記車両の外部を探索する探索部と、
前記探索部における探索結果から障害物を検出する障害物検出部と、
前記障害物検出部において検出した障害物に対する前記車両の動作を推定する動作推定部をさらに備え、
前記通信部は、前記障害物検出部において検出した障害物に関する第１情報と、前記動作推定部において推定した前記車両の動作に関する第２情報とを送信する、
請求項９または１０に記載の駐車支援装置。
【請求項１２】
前記通信部は、前記表示部に表示させた映像において、複合現実ＵＩが非重畳の部分を選択するための指示を前記端末装置が受けつけた場合に、複合現実ＵＩが非重畳の部分を選択するための指示を前記端末装置から受信し、
前記障害物検出部と前記動作推定部は、前記通信部が受信した指示に応じて、新たな検出処理と新たな推定処理を実行し、
前記通信部は、前記障害物検出部と前記動作推定部において実行した新たな検出処理の結果と新たな推定処理の結果とをもとにした新たな第１情報と新たな第２情報とを送信する、
請求項１１に記載の駐車支援装置。
【請求項１３】
前記車両の外部を探索する探索部をさらに備え、
前記通信部は、前記探索部における探索結果を送信し、
前記通信部が送信した探索結果から障害物を検出させるとともに、障害物に対する前記車両の動作を推定させる、
請求項９または１０に記載の駐車支援装置。
【請求項１４】
前記通信部は、前記端末装置の位置情報と、前記端末装置の撮像部の方位情報とを受信し、
本駐車支援装置は、
前記車両の位置情報と、前記車両の方位情報とを検出する位置・方位検出部と、
前記車両の位置情報と、前記車両の方位情報と、前記端末装置の位置情報と、前記端末装置の撮像部の方位情報とをもとに、前記端末装置の撮像部の視点に、前記車両の撮像部で撮像された映像を投影変換する投影変換部とをさらに備え、
前記通信部は、前記投影変換部において投影変換された映像を送信する、
請求項９に記載の駐車支援装置。
【請求項１５】
前記車両の位置情報と、前記車両の方位情報とを検出する位置・方位検出部をさらに備え、
前記通信部は、前記位置・方位検出部において検出した前記車両の位置情報と、前記車両の方位情報とを送信し、
前記通信部が送信した前記車両の位置情報と前記車両の方位情報と、前記端末装置の位置情報と、前記端末装置の撮像部の方位情報とをもとに、前記端末装置の撮像部の視点に、前記車両の撮像部で撮像された映像が投影変換される、
請求項９に記載の駐車支援装置。
【請求項１６】
自動駐車させるべき車両に搭載された通信装置と、端末装置と通信可能であるサーバのプログラムであって、
前記車両において探索された探索結果を前記通信装置から受信するステップと、
受信した探索結果から障害物を検出するステップと、
検出した障害物に対する前記車両の動作を推定するステップと、
検出した障害物に関する第１情報と、推定した前記車両の動作に関する第２情報とを前記端末装置に送信するステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、駐車支援技術、特に駐車を支援するプログラムおよび駐車支援装置に関する。
【背景技術】
【０００２】
車両を狭いスペースに駐車させる場合などに運転者の操作を補助する運転支援システムとして、車両を遠隔操作するシステムが提案されている。これでまでの運転支援システムでは、リモコン送信装置による車両操作が実現可能であるが、ボタン操作が煩雑であるとともに、操作者自身の移動が必要である。このような運転支援システムにおける操作性を改良するために、車両は、生成した俯瞰画像を携帯型遠隔操作装置に送信し、携帯型遠隔操作装置は、俯瞰画像を表示するとともに、俯瞰画像上への経路の入力を受けつける。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９２２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
低い高さの低障害物には、接触すべき輪留め、踏んではいけないプランタ、乗り越えるべき駐車場のフラップなどがあり、その種類に応じた経路を生成すべきである。一方、低障害物の種類を自動検出する場合、自動検出の結果が誤ることもあるので、それを修正する機能が望まれる。
【０００５】
本開示はこうした状況に鑑みなされたものであり、その目的は、遠隔操作による自動駐車に適した処理を実行する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本開示のある態様のプログラムは、車両に搭載された通信装置と通信可能な端末装置でのプログラムであって、車両により検出された障害物に関する第１情報と、車両の当該障害物に対する動作に関する第２情報とを取得するステップと、端末装置の撮像部で撮像した映像に対して、第２情報における動作が示された複合現実ＵＩを、第１情報において示された障害物の位置に重畳するステップと、複合現実ＵＩが重畳された映像を端末装置の表示部に表示させるステップと、表示部に表示させた映像に重畳した複合現実ＵＩに対して、車両の動作を指定させるための指示を受けつけるステップと、受けつけた動作の指定の指示を通信装置に送信するステップと、をコンピュータに実行させる。
【０００７】
本開示の別の態様は、駐車支援装置である。この装置は、自動駐車させるべき車両に搭載された駐車支援装置であって、端末装置の撮像部で撮像した映像に対して、車両に対して検出された障害物の位置に、当該障害物に対して推定された車両の動作が示された複合現実ＵＩが重畳されるとともに、複合現実ＵＩを重畳した映像が端末装置の表示部に表示されており、表示部に表示させた映像に重畳した複合現実ＵＩに対して、車両の動作を変更させるための指示を端末装置が受けつけた場合に、変更後の車両の動作に関する情報を端末装置から受信する通信部と、通信部において受信した情報であって、かつ変更後の車両の動作に関する情報を反映させて駐車経路を生成する駐車経路生成部と、を備える。
【０００８】
本開示のさらに別の態様もまた、プログラムである。このプログラムは、自動駐車させるべき車両に搭載された通信装置と、端末装置と通信可能であるサーバのプログラムであって、車両において探索された探索結果を通信装置から受信するステップと、受信した探索結果から障害物を検出するステップと、検出した障害物に対する車両の動作を推定するステップと、検出した障害物に関する第１情報と、推定した車両の動作に関する第２情報とを端末装置に送信するステップと、をコンピュータに実行させる。
【０００９】
なお、以上の構成要素の任意の組合せ、本開示の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本開示の態様として有効である。
【発明の効果】
【００１０】
本開示によれば、遠隔操作による自動駐車に適した処理を実行できる。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態１に係る駐車支援システムの構成を示す図である。
【図２】図１の投影変換部における処理の概要を示す図である。
【図３】図１の表示装置に表示される映像を示す図である。
【図４】図４ａ−図４ｂは、図１の表示装置に表示される別の映像を示す図である。
【図５】図５ａ−図５ｍは、図１の表示装置に表示され、操作部によって操作される複合現実ＵＩを示す図である。
【図６】図１の駐車支援システムにおける駐車支援手順を示すシーケンス図である。
【図７】図１の端末装置における送信手順を示すフローチャートである。
【図８】図１の端末装置における別の送信手順を示すフローチャートである。
【図９】図１の端末装置における障害物状況重畳表示手順を示すフローチャートである。
【図１０】図１の端末装置における別の障害物状況重畳表示手順を示すフローチャートである。
【図１１】図１の端末装置におけるさらに別の障害物状況重畳表示手順を示すフローチャートである。
【図１２】本実施の形態２に係る駐車支援システムの構成を示す図である。
【図１３】図１２の駐車支援システムにおける駐車支援手順を示すシーケンス図である。
【図１４】本実施の形態３に係る駐車支援システムの構成を示す図である。
【図１５】図１４の駐車支援システムにおける駐車支援手順を示すシーケンス図である。
【発明を実施するための形態】
【００１２】
（実施の形態１）
本実施形態を具体的に説明する前に、概要を述べる。本実施の形態は、車両の駐車を支援する駐車支援システムに関する。ここでは、携帯電話装置、スマートフォン等の端末装置を所持した運転者が車両の外部に存在する状況下において、駐車支援装置を搭載した車両が自動駐車を実行することを前提とする。車両には、カメラ等の撮像部とソナーが備えられており、それらによって障害物が探索される。駐車支援装置は、障害物の探索結果を反映しながら駐車経路を生成し、駐車経路にそって車両を移動させる。このような駐車の状況下において、高さ１０ｃｍ程度の低い障害物（以下、「低障害物」という）として、輪留め、プランタ、駐車場のフラップ等が検出されうる。輪留めを検出した場合、駐車支援装置は、輪留めに車両のタイヤを接触させるように駐車経路を生成すべきである。また、プランタを検出した場合、駐車支援装置は、プランタを踏まないように避けるような駐車経路を生成すべきである。さらに、フラップを検出した場合、駐車支援装置は、フラップを乗り越えるような駐車経路を生成すべきである。つまり、駐車支援装置は、低障害物の種類に応じて車両の動作を変えなければならず、低障害物の種類の特定が重要になる。一方、撮像部とソナーには誤検出が発生しうる。
【００１３】
このような状況下において低障害物の種類を正確に特定するために、本実施例に係る駐車支援システムは次の処理を実行する。車両の撮像部（以下、「車載カメラ」という）とソナーで低障害物が探索される。端末装置は、探索結果を受信し、探索結果から低障害物を検出するとともに、それの種類に応じた車両の動作を特定する。端末装置は、撮像した映像に対して、特定された車両の動作が示されるＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を、低障害物の位置に重畳させて表示装置に表示する。この表示により、運転者は、低障害物に対する車両の動作を認識できる。
【００１４】
車両の動作が誤っている場合、運転者は、表示されたＵＩをタッチして、車両の動作の選択肢を表示させることによって、正しい車両の動作をフリック操作で選択する。一方、低障害物が存在するにもかかわらずＵＩが表示されていない場合、当該低障害物は未検出であるので、運転者は、表示された低障害物を指定することで検出に参考情報を与え検出性能を高める。車両は、修正された車両の動作も反映させながら駐車経路を生成する。以下、本実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する各実施の形態は一例であり、本開示はこれらの実施の形態により限定されるものではない。
【００１５】
図１は、本実施の形態１に係る駐車支援システム１０００の構成を示す。駐車支援システム１０００は、端末装置１００、車両２００を含む。端末装置１００は、測位装置１１６、デジタルコンパス１１８、撮像部１２６、表示装置１３２、操作部１３４、処理部１６０を含む。処理部１６０は、通信部１１０、取得部１１２、重畳部１１４、位置・方位検出部１２０、撮像Ｉ／Ｆ１２８、表示Ｉ／Ｆ１３０、操作Ｉ／Ｆ１３６、設定部１３８、制御部１５０、障害物検出部５００、動作推定部５０２、投影変換部５０４を含む。位置・方位検出部１２０は、測位Ｉ／Ｆ１２２、コンパスＩ／Ｆ１２４を含む。
【００１６】
車両２００は、移動制御装置２１０、駐車支援装置３００、測位装置３１０、デジタルコンパス３１２、撮像部３２０、ソナー３２２を含む。駐車支援装置３００は、位置・方位検出部３１４、探索部３２４、通信部３３０、駐車経路生成部３３２、制御部３５０を含む。位置・方位検出部３１４は、測位Ｉ／Ｆ３１６、コンパスＩ／Ｆ３１８を含み、探索部３２４は、撮像Ｉ／Ｆ３２６、ソナーＩ／Ｆ３２８を含む。ここで、端末装置１００の通信部１１０と駐車支援装置３００の通信部３３０は、無線通信システムにより接続される。なお、これらは、直接接続されてもよく、基地局装置を介して接続されてもよい。
【００１７】
運転者は、端末装置１００を所持しながら、車両２００の外部に存在する。このような状態において、車両２００を自動駐車させる場合、運転者は、端末装置１００の操作部１３４に自動駐車実行の指示を入力する。操作部１３４は、運転者からの操作を受付可能であり、例えば、表示装置１３２との組合せによってタッチパネルを構成する。操作部１３４は、運転者からの操作として自動駐車実行の指示を受けつける。操作部１３４は、受けつけた操作を操作Ｉ／Ｆ１３６に出力する。操作Ｉ／Ｆ１３６は、操作部１３４から受けつけた操作が自動駐車実行の指示である場合、自動駐車実行の指示を制御部１５０に通知するとともに、設定部１３８経由で通信部１１０に出力する。制御部１５０は、操作Ｉ／Ｆ１３６から自動駐車実行の指示を受けつけると、自動駐車の処理の実行を開始する。また、通信部１１０は、操作Ｉ／Ｆ１３６から自動駐車実行の指示を受けつけると、自動駐車実行の指示が含まれた信号を駐車支援装置３００に送信する。
【００１８】
駐車支援装置３００の通信部３３０は、端末装置１００からの信号を受信する。通信部３３０は、受信した信号に含まれた自動駐車実行の指示を制御部３５０に出力する。制御部３５０は、通信部３３０から自動駐車実行の指示を受けつけると、自動駐車の処理の実行を開始する。撮像部３２０は車両２００に搭載されたカメラである。車両２００には複数の撮像部３２０が搭載されていてもよく、例えば、車両２００の前後左右に４つの撮像部３２０が搭載されてもよい。撮像部３２０は、車両２００の外部の映像を撮像する。ここで、映像は、複数の画像が時系列に並べられることによって構成される。撮像部３２０は、撮像した映像を撮像Ｉ／Ｆ３２６に出力する。
【００１９】
ソナー３２２は車両２００に搭載された探知装置である。車両２００には複数のソナー３２２が搭載されてもよい。例えば、車両２００の前方と後方にそれぞれ４つのソナー３２２が搭載され、車両２００の前方左側、前方右側、後方左側、後方右側に１つずつのソナー３２２が搭載されることによって、車両２００に合計１２個のソナー３２２が搭載されてもよい。ソナー３２２は、音波によって物体、例えば低障害物を探索する装置であり、物体との距離を測定することができるものである。ソナー３２２は、探索結果をソナーＩ／Ｆ３２８に出力する。
【００２０】
撮像Ｉ／Ｆ３２６は、撮像部３２０からの映像を受けつけ、ソナーＩ／Ｆ３２８は、ソナー３２２からの探索結果を受けつける。撮像部３２０において撮像される映像によっても低障害物を探索することが可能であるので、映像を受けつけることも探索結果を受けつけることに相当する。そのため、撮像Ｉ／Ｆ３２６とソナーＩ／Ｆ３２８を含む探索部３２４は、車両２００の外部を探索するといえる。探索部３２４は、映像および探索結果（以下、これらを「探索結果」と総称する）を通信部３３０に出力する。
【００２１】
測位装置３１０は、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）の衛星から受信した信号をもとに、車両２００の位置を測位する。車両２００の位置は、例えば、緯度、経度、高度によって示される。測位装置３１０は、測位した位置の情報（以下、「位置情報」という）を測位Ｉ／Ｆ３１６に出力する。デジタルコンパス１１８は、電子的なセンサーによって地磁気を検知して方位を判定する。ここでは、車両２００の前方あるいは後方が向く方位が判定される。この方位は車両２００の方位と呼ばれる。デジタルコンパス１１８は、判定した方位の情報（以下、「方位情報」という）をコンパスＩ／Ｆ３１８に出力する。
【００２２】
測位Ｉ／Ｆ３１６は、測位装置３１０から位置情報を受けつけ、コンパスＩ／Ｆ３１８は、デジタルコンパス３１２から方位情報を受けつける。そのため、測位Ｉ／Ｆ３１６とコンパスＩ／Ｆ３１８とを含む位置・方位検出部３１４は、車両２００の位置情報と、車両２００の方位情報とを検出するといえる。位置・方位検出部３１４は、車両２００の位置情報と、車両２００の方位情報とを通信部３３０に出力する。
【００２３】
通信部３３０は、探索部３２４から探索結果を受けつけると、探索結果が含まれた信号を端末装置１００に送信する。通信部３３０は、位置・方位検出部３１４から車両２００の位置情報と、車両２００の方位情報とを受けつけると、車両２００の位置情報と、車両２００の方位情報とが含まれた信号を端末装置１００に送信する。駐車支援装置３００、測位装置３１０、デジタルコンパス３１２、撮像部３２０、ソナー３２２におけるこれらの処理は、繰り返し実行される。
【００２４】
端末装置１００の通信部１１０は、駐車支援装置３００からの信号を受信する。信号には、車両２００の位置情報と、車両２００の方位情報が含まれていたり、探索結果が含まれていたりする。通信部１１０は、探索結果を障害物検出部５００に出力するとともに、探索結果のうちの映像と、車両２００の位置情報と、車両２００の方位情報とを投影変換部５０４に出力する。測位装置１１６は、測位装置３１０と同様であり、デジタルコンパス１１８は、デジタルコンパス３１２と同様である。ここで、測位装置１１６は、端末装置１００の位置を測位し、デジタルコンパス１１８は、撮像部１２６の向く方位を判定する。
【００２５】
測位Ｉ／Ｆ１２２は、測位Ｉ／Ｆ３１６と同様であり、コンパスＩ／Ｆ１２４は、コンパスＩ／Ｆ３１８と同様である。測位Ｉ／Ｆ１２２は、測位装置１１６からの位置情報を受けつけるとともに、コンパスＩ／Ｆ１２４は、デジタルコンパス１１８からの方位情報を受けつける。そのため、測位Ｉ／Ｆ１２２とコンパスＩ／Ｆ１２４とを含む位置・方位検出部１２０は、端末装置１００の位置情報と撮像部１２６の方位情報とを検出するといえる。位置・方位検出部１２０は、端末装置１００の位置情報と撮像部１２６の方位情報とを投影変換部５０４、重畳部１１４に出力する。
【００２６】
投影変換部５０４は、車両２００の位置情報と、車両２００の方位情報と、端末装置１００の位置情報と、撮像部１２６の方位情報とを受けつけるとともに、車両２００の撮像部３２０において撮像された映像（以下、「車両２００の映像」という）を受けつける。ここでは、投影変換部５０４の処理を説明するために、図２を使用する。図２は、投影変換部５０４における処理の概要を示す。これは、車両２００を上方から見た上面図である。車両２００の後方には、他車両２２０と総称される第１他車両２２０ａと第２他車両２２０ｂとが並列に駐車されており、それらの間には駐車領域２３０が配置される。ここでは、車両２００を駐車領域２３０に駐車させる場合を想定する。また、車両２００の外側には運転者５０が存在しており、運転者５０は端末装置１００を所持する。ここで、端末位置１８０は、端末装置１００の位置情報を示し、端末方位１８２は、撮像部１２６の方位情報を示し、車両位置２８０は、車両２００の位置情報を示し、車両方位２８２は、車両２００の方位情報を示す。
【００２７】
投影変換部５０４は、車両２００を基準とした座標系に空間モデル６００を生成する。空間モデル６００とは、車両２００の映像を３次元空間座標系にマッピングする曲面からなるモデルである。図示のごとく、空間モデル６００は円筒形状を有する曲面からなり、その内側の面に車両２００の映像がマッピングされる。ここで、車両２００の映像に含まれる画像を構成する各画素の位置は、撮像部３２０を含むＵ−Ｖ平面上の座標として示される。投影変換部５０４は、Ｕ−Ｖ座標系の座標として示される画素をワールド座標系における座標に変換する。また、投影変換部５０４は、車両位置２８０、車両方位２８２、画素のワールド座標から、画素の空間モデル６００への投影点を計算する。さらに、投影変換部５０４は、空間モデル６００の投影点に画素の色データをマッピングする。
【００２８】
投影変換部５０４は、空間モデル６００にマッピングされた映像を、端末位置１８０と端末方位１８２から投影した映像に変換する。以下では、このように投影変換された映像を「投影変換映像」ということもある。つまり、投影変換部５０４は、車両２００の位置情報と方位情報と、端末装置１００の位置情報と、撮像部１２６の方位情報とをもとに、撮像部１２６の視点に、車両２００の映像を投影変換する。図１に戻る。投影変換部５０４は、投影変換映像と、車両２００の映像と投影変換映像との座標の対応関係を重畳部１１４に出力する。
【００２９】
障害物検出部５００は、通信部１１０から探索結果を受けつける。障害物検出部５００は、探索結果から障害物を検出する。ここでは、障害物のうち、低障害物を処理対象として説明する。障害物検出部５００における低障害物の検出は、低障害物の位置と、低障害物の形状とを検出することを含む。また、低障害物の位置は、車両２００の映像上の座標として示されるとともに、緯度・経度・高度でも示される。障害物検出部５００における処理に公知の技術が使用されればよいので、ここでは説明を省略する。障害物検出部５００は、検出した低障害物の位置に関する情報（以下、「第１情報」という）を取得部１１２に出力し、検出した低障害物の形状に関する情報を動作推定部５０２に出力する。
【００３０】
動作推定部５０２は、障害物検出部５００から低障害物の形状に関する情報を受けつける。動作推定部５０２は、低障害物の形状と車両２００の動作との対応関係が示されたテーブルを予め記憶する。テーブルでは、例えば、「輪留め」の形状と「低障害物に接触」の動作とが対応づけられ、「プランタ」の形状と「低障害物を回避する」動作とが対応づけられ、「フラップ」の形状と「低障害物を乗り越える」動作とが対応づけられている。なお、テーブルの内容はこれらに限定されない。動作推定部５０２は、テーブルに含まれた複数種類の形状から、受けつけた低障害物の形状に最も近い形状を選択する。当該選択には公知の技術が使用されればよい。また、動作推定部５０２は、選択した形状に対応した動作をテーブルから特定する。これは、検出した低障害物に対する車両２００の動作を推定することに相当する。動作推定部５０２は、車両２００の動作に関する情報（以下、「第２情報」という）を取得部１１２に出力する。
【００３１】
取得部１１２は、障害物検出部５００から第１情報を受けつけるとともに、動作推定部５０２から第２情報を受けつける。第２情報は、車両２００の動作として、低障害物に接触する、低障害物を回避する、低障害物を乗り越える、のいずれか１つを示す。取得部１１２は、第１情報と第２情報との組合せを障害物情報として重畳部１１４、設定部１３８に出力する。撮像部１２６は、撮像部３２０と同様であり、撮像Ｉ／Ｆ１２８は、撮像Ｉ／Ｆ３２６と同様である。撮像Ｉ／Ｆ１２８は、撮像部１２６において撮像された映像（以下、「端末装置１００の映像」という）を重畳部１１４に出力する。
【００３２】
重畳部１１４は、取得部１１２からの障害物情報を受けつけ、撮像Ｉ／Ｆ１２８からの端末装置１００の映像を受けつけ、投影変換部５０４からの投影変換映像を受けつける。また、重畳部１１４は、車両２００の映像と投影変換映像との座標の対応関係を投影変換部５０４から受けつける。重畳部１１４は、対応関係を利用して、障害物情報における第１情報で示された位置を座標変換する。座標変換された位置は、端末装置１００の映像における低障害物の位置を示す。また、重畳部１１４は、低障害物の位置の近傍の領域を投影変換映像から抽出する。重畳部１１４は、端末装置１００からの映像に対して、抽出した投影変換映像（以下、「抽出投影変換映像」という）を、位置を合わせながら重畳する。重畳部１１４は、抽出投影変換映像を重畳した映像における低障害物の位置に、車両２００の動作が示されたアイコン（以下、「複合現実ＵＩ」という）を重畳する。重畳部１１４は、抽出投影変換映像と複合現実ＵＩとが重畳された映像（以下、「重畳映像」という）を表示Ｉ／Ｆ１３０に出力する。表示Ｉ／Ｆ１３０は、重畳映像を表示装置１３２に表示させる。表示装置１３２は、重畳映像を表示する。
【００３３】
図３は、表示装置１３２に表示される映像を示す。これは、図２に示された状況を示す。表示装置１３２には重畳映像が示されており、重畳映像には第１他車両２２０ａと第２他車両２２０ｂとが含まれる。また、第１他車両２２０ａと第２他車両２２０ｂとの間には、抽出投影変換映像６２２が配置される。抽出投影変換映像６２２には輪留め６３０が含まれ、輪留め６３０を指し示すように複合現実ＵＩ６２０が配置される。複合現実ＵＩ６２０には、「Ａｐｐｒ．」の文字メッセージが示されているが、これは「低障害物に接触（Ａｐｐｒｏａｃｈ）」を意味する。
【００３４】
図４ａ−図４ｂは、表示装置１３２に表示される別の映像を示す。図３において第１他車両２２０ａ上に抽出投影変換映像６２２が重畳されているので、第１他車両２２０ａの一部が欠けている。この欠けを防止するために、障害物検出部５００が他車両２２０等の障害物を検出した場合に、重畳部１１４は、抽出投影変換映像６２２にマスク処理を施すことによって、障害物上に抽出投影変換映像６２２を重畳させなくてもよい。図４は、このような処理がなされた表示を示す。図示のごとく、第１他車両２２０ａの一部は欠けていない。
【００３５】
図１の障害物検出部５００は、車両２００から低障害物までの距離を測定してもよい。距離の測定には公知の技術が使用されればよいので、ここでは説明を省略する。障害物検出部５００は、測定した距離の情報（以下、「距離情報」という）も第１情報に含めて取得部１１２に出力する。そのため、取得部１１２が取得した第１情報には、車両２００から低障害物までの距離情報も含まれる。重畳部１１４は、第１情報に含まれた距離情報も重畳する。図４ｂは、このような処理がなされた表示を示す。複合現実ＵＩ６２０の上方に距離情報６２４が示される。図１に戻る。
【００３６】
運転者は、図３、図４ａ−図４ｂのような表示装置１３２の複合現実ＵＩ６２０を見て車両２００の動作を正しいと判断した場合、図３、図４ａ−図４ｂに示されたＯＫボタン６２６に触れる。端末装置１００の操作部１３４は、ＯＫボタン６２６が触れられることによるＯＫの指示を受けつける。操作部１３４は、受けつけたＯＫの指示を操作Ｉ／Ｆ１３６に出力する。操作Ｉ／Ｆ１３６は、ＯＫの指示を設定部１３８に出力する。設定部１３８は、ＯＫの指示を受けつけると、取得部１１２から受けつけた障害物情報を通信部１１０に出力する。
【００３７】
一方、運転者は、表示装置１３２の複合現実ＵＩ６２０を見て車両２００の動作を正しくないと判断した場合、次の操作を実行する。図５ａ−図５ｍは、表示装置１３２に表示され、操作部１３４によって操作される複合現実ＵＩ６２０を示す。図５ａは、プランタ６３２に対する複合現実ＵＩ６２０において、「Ａｐｐｒ．」の文字メッセージが示されている場合を示す。本来、プランタ６３２に対する車両２００の動作は「低障害物を回避する」であるので、文字メッセージとして「Ｇｕａｒｄ」が示されなければならない。
【００３８】
その際、運転者は、プランタ６３２あるいは複合現実ＵＩ６２０に触れる。端末装置１００の操作部１３４は、プランタ６３２あるいは複合現実ＵＩ６２０が触れられることによって複数の行動の表示の指示を受けつける。操作Ｉ／Ｆ１３６は、複数の行動の表示の指示を設定部１３８に出力する。設定部１３８は、複数の行動の表示の指示を受けつけると、取得部１１２を介して重畳部１１４に対して、複合現実ＵＩ６２０において複数の行動を表示することを指示する。これに応じて、重畳部１１４、表示Ｉ／Ｆ１３０、表示装置１３２は、図５ｂのように、複合現実ＵＩ６２０において、「Ａｐｐｒ．」、「Ｇｕａｒｄ」、「Ｏｖｅｒ」の文字メッセージを表示させる。なお、「Ｏｖｅｒ」の文字メッセージは「低障害物を乗り越える」を意味する。
【００３９】
運転者は、図５ｃのように、「Ｇｕａｒｄ」をフリック操作によって選択する。その結果、図５ｄのように、プランタ６３２に対する複合現実ＵＩ６２０において、「Ｇｕａｒｄ」の文字メッセージが示される。端末装置１００の操作部１３４は、このような操作によって、車両２００の動作を変更させるための指示（以下、「変更指示」という）を受けつける。変更指示では、「Ａｐｐｒ．」から「Ｇｕａｒｄ」への変更が示される。操作部１３４は、受けつけた変更指示を操作Ｉ／Ｆ１３６に出力する。操作Ｉ／Ｆ１３６は、変更指示を設定部１３８に出力する。設定部１３８は、変更指示を受けつけると、取得部１１２から受けつけた障害物情報を変更指示に応じて変更する。
【００４０】
図５ｅは、フラップ６３４に対する複合現実ＵＩ６２０において、「Ａｐｐｒ．」の文字メッセージが示されている場合を示す。本来、フラップ６３４に対する車両２００の動作は「低障害物を乗り越える」であるので、文字メッセージとして「Ｏｖｅｒ」が示されなければならない。そのため、運転者がこれまでと同様の操作を実行することによって、図５ｆ、図５ｇ、図５ｈと遷移する。この場合、変更指示では、「Ａｐｐｒ．」から「Ｏｖｅｒ」への変更が示される。
【００４１】
これまでの説明では、障害物検出部５００において低障害物が検出されていることを前提にしている。一方、障害物検出部５００において低障害物が検出されない場合もある。図５ｉのように、表示装置１３２には、輪留め６３０が表示されているが、当該輪留め６３０に対する複合現実ＵＩ６２０は表示されていない。その際、運転者は、輪留め６３０に触れる。端末装置１００の操作部１３４は、輪留め６３０が触れられることによって再検出の指示を受けつける。再検出の指示は、映像において、複合現実ＵＩ６２０が非重畳の部分を選択するための指示であるといえる。操作Ｉ／Ｆ１３６は、再検出の指示を設定部１３８に出力する。設定部１３８は、再検出の指示を受けつけると、障害物検出部５００に再検出を指示する。
【００４２】
障害物検出部５００は、指示を受けつけると、輪留め６３０の周囲の一定範囲のみを対象にして、低障害物の検出処理を実行する。その際、障害物検出部５００は、検出がされやすくなるように検出のパラメータを変更する。障害物検出部５００において輪留め６３０が検出された場合、動作推定部５０２、取得部１１２、重畳部１１４、表示Ｉ／Ｆ１３０、表示装置１３２はこれまでと同様の処理を実行する。つまり、取得部１１２は、受けつけた指示において示された部分に対する新たな第１情報と新たな第２情報とを取得する。その結果、表示装置１３２には、図５ｊのように、輪留め６３０に対する複合現実ＵＩ６２０が表示される。
【００４３】
図５ｋから図５ｍも、図５ｉから図５ｊと同様の状況に対する処理であるが、障害物検出部５００において再検出させるべき領域を図５ｍのようにスワイプ操作で指定することが、図５ｊとは異なる。その際、スワイプ操作で指定された線分が対角線となる矩形領域が、再検出させるべき領域とされる。図１に戻る。
【００４４】
端末装置１００の通信部１１０は、障害物情報を設定部１３８から受けつける。障害物情報には、変更後の車両２００の動作に関する情報も含まれる。通信部１１０は、障害物情報が含まれた信号を駐車支援装置３００に送信する。駐車支援装置３００の通信部３３０は、端末装置１００からの信号を受信すると、信号に含まれた障害物情報を駐車経路生成部３３２に出力する。駐車経路生成部３３２は、通信部１１０から障害物情報を受けつけ、位置・方位検出部３１４から車両２００の位置情報と、車両２００の方位情報とを受けつけ、探索部３２４から探索結果を受けつける。駐車経路生成部３３２は、これらの情報を反映させて、駐車経路を生成する。駐車経路の生成には、公知の技術が使用されればよいので、ここでは説明を省略する。駐車経路生成部３３２は、駐車経路を移動制御装置２１０に出力する。移動制御装置２１０は、駐車経路に沿って車両２００を移動させる。
【００４５】
以上の構成による駐車支援システム１０００の動作を説明する。図６は、駐車支援システム１０００における駐車支援手順を示すシーケンス図である。駐車支援装置３００は映像を撮像し（Ｓ１０）、端末装置１００も映像を撮像する（Ｓ１２）。駐車支援装置３００は、探索結果を端末装置１００に送信する（Ｓ１４）。駐車支援装置３００は位置と方位とを検出し（Ｓ１６）、端末装置１００も位置と方位とを検出する（Ｓ１８）。駐車支援装置３００は、位置情報と方位情報とを端末装置１００に送信する（Ｓ２０）。端末装置１００は、低障害物を検出するとともに、車両２００の動作を推定する（Ｓ２２）。端末装置１００は、車両２００の映像を投影変換し（Ｓ２４）、投影変換映像と複合現実ＵＩ６２０とを端末装置１００の映像に重畳して表示する（Ｓ２６）。端末装置１００は、車両２００の動作の変更の指示を受けつける（Ｓ２８）。端末装置１００は、障害物情報を駐車支援装置３００に出力する（Ｓ３０）。駐車支援装置３００は、駐車経路を生成する（Ｓ３２）。
【００４６】
図７は、端末装置１００における送信手順を示すフローチャートである。通信部１１０は、車両２００の位置情報と、車両２００の方位情報とを受信する（Ｓ５０）。位置・方位検出部１２０は、端末装置１００の位置情報と、端末装置１００の方位情報とを検出する（Ｓ５２）。障害物検出部５００は低障害物を検出し、動作推定部５０２は車両２００の動作を推定する（Ｓ５４）。重畳部１１４は、低障害物の状況を重畳して表示する（Ｓ５６）。運転者による操作がなければ（Ｓ５８のＮ）、ステップ５０に戻る。運転者による操作がある場合（Ｓ５８のＹ）に、操作が決定でなければ（Ｓ６０のＮ）、設定部１３８は、低障害物判定を修正して（Ｓ６２）、ステップ５０に戻る。操作が決定であれば（Ｓ６０のＹ）。通信部１１０は障害物情報を送信する（Ｓ６４）。
【００４７】
図８は、端末装置１００における別の送信手順を示すフローチャートである。通信部１１０は、車両２００の位置情報と、車両２００の方位情報とを受信する（Ｓ１００）。位置・方位検出部１２０は、端末装置１００の位置情報と、端末装置１００の方位情報とを検出する（Ｓ１０２）。障害物検出部５００は低障害物を検出し、動作推定部５０２は車両２００の動作を推定する（Ｓ１０４）。重畳部１１４は、低障害物の状況を重畳して表示する（Ｓ１０６）。運転者による操作がなければ（Ｓ１０８のＮ）、ステップ１００に戻る。運転者による操作がある場合（Ｓ１０８のＹ）に、操作が決定でなく（Ｓ１１０のＮ）、複合現実ＵＩ６２０の操作であれば（Ｓ１１２のＹ）、設定部１３８は、低障害物判定を修正して（Ｓ１１４）、ステップ１００に戻る。複合現実ＵＩ６２０の操作でなければ（Ｓ１１２のＮ）、障害物検出部５００は、手動による低障害物検出を実行して（Ｓ１１６）、ステップ１０６に戻る。操作が決定であれば（Ｓ１１０のＹ）。通信部１１０は障害物情報を送信する（Ｓ１１８）。
【００４８】
図９は、端末装置１００における低障害物状況重畳表示手順を示すフローチャートである。これは、図７のステップ５６、図８のステップ１０６の処理に相当する。投影変換部５０４は、車両２００の映像を、車両２００の位置と向き、端末装置１００の位置と向きに基づき、端末装置１００の視点からの映像に投影変換する（Ｓ１５０）。重畳部１１４は、端末装置１００の映像の一部に抽出投影変換映像を重畳する（Ｓ１５２）。重畳部１１４は、判別された低障害物の位置、車両２００の位置と向き、端末装置１００の位置と向きに基づき、端末装置１００の映像に映っている低障害物の映像上での座標を算出する（Ｓ１５４）。重畳部１１４は、判別に基づき複合現実ＵＩ６２０を生成する（Ｓ１５６）。重畳部１１４は、複合現実ＵＩ６２０を座標に重畳する（Ｓ１５８）。
【００４９】
図１０は、端末装置１００における別の低障害物状況重畳表示手順を示すフローチャートである。これも、図７のステップ５６、図８のステップ１０６の処理に相当する。投影変換部５０４は、車両２００の映像を、車両２００の位置と向き、端末装置１００の位置と向きに基づき、端末装置１００の視点からの映像に投影変換する（Ｓ２００）。重畳部１１４は、抽出投影変換映像を、車両２００の周辺の障害物の三次元空間での配置に基づいて、障害物で隠される部分に関してマスク処理を実行する（Ｓ２０２）。重畳部１１４は、端末装置１００の映像の一部に抽出投影変換映像を重畳する（Ｓ２０４）。重畳部１１４は、判別された低障害物の位置、車両２００の位置と向き、端末装置１００の位置と向きに基づき、端末装置１００の映像に映っている低障害物の映像上での座標を算出する（Ｓ２０６）。重畳部１１４は、判別に基づき複合現実ＵＩ６２０を生成する（Ｓ２０８）。重畳部１１４は、複合現実ＵＩ６２０を座標に重畳する（Ｓ２１０）。
【００５０】
図１１は、端末装置１００におけるさらに別の低障害物状況重畳表示手順を示すフローチャートである。これも、図７のステップ５６、図８のステップ１０６の処理に相当する。投影変換部５０４は、判別された低障害物の位置、車両２００の位置と向き、端末装置１００の位置と向きに基づき、端末装置１００の映像に映っている判別された低障害物の映像上での座標を算出する（Ｓ２５０）。重畳部１１４は、判別に基づき複合現実ＵＩ６２０を生成する（Ｓ２５２）。重畳部１１４は、複合現実ＵＩ６２０を座標に重畳する（Ｓ２５４）。障害物検出部５００は、判別された低障害物の位置、車両２００の位置と向きに基づき、判別された低障害物と車両２００の後端の間の距離を算出する（Ｓ２５６）。障害物検出部５００は、距離に基づき距離情報を生成する（Ｓ２５８）。重畳部１１４は、距離情報を映像の座標に重畳する（Ｓ２６０）。
【００５１】
本実施の形態によれば、遠隔操作による自動駐車における物体検出の未検出／誤検出を端末装置の表示装置に複合現実表示して修正するので操作性をよくできる。また、高さの低い輪留め／低障害物／段差は検出による判別が難しいにも関わらず、その判別によって駐車経路が異なっており、フリック操作で所定の選択肢を選択するので、正しい選択を実行できる。また、検出による判別が難しい高さの低い輪留め／低障害物／段差の誤検出をフリック操作で修正するので、簡便な操作で迅速に修正できる。
【００５２】
また、表示された映像に重畳した複合現実ＵＩに対して、車両の動作を変更させるための指示を受けつけ、受けつけた変更の指示を駐車支援装置に送信するので、低障害物の種類の検出結果を修正できる。また、低障害物に接触する、低障害物を回避する、低障害物を乗り越える、のいずれか１つを別の１つに変更させるので、推定された動作を、低障害物に対して適した動作に修正できる。また、映像に距離情報も重畳されるので、車両から低障害物までの距離を運転者に知らせることができる。
【００５３】
また、低障害物を検出してから、検出した低障害物に対する車両の動作を推定するので、低障害物に対する動作を自動的に推定できる。また、複合現実ＵＩが非重畳の部分を選択するための指示を受けつけると、当該部分に対して検出処理と推定処理を再実行するので、未検出であった低障害物を検出できる。また、検出処理と推定処理を再実行する際に、検出されやすくなるようなパラメータを設定するので、未検出であった低障害物を検出しやすくできる。また、検出処理と推定処理を再実行して新たな第１情報と新たな第２情報とを取得するので、未検出であった低障害物の検出結果を修正できる。また、車両の映像を投影変換してから、端末装置の映像に重畳させるので、運転者に見やすい映像を提供できる。
【００５４】
また、変更後の車両の動作に関する情報を端末装置から受信した場合、変更後の車両の動作に関する情報を反映させて駐車経路を生成するので、低障害物に対して適切に対応できる。また、低障害物に接触する、低障害物を回避する、低障害物を乗り越える、のいずれか１つが示されるので、低障害物に対して適した動作を反映した駐車経路を生成できる。また、車両の位置情報と、車両の方位情報とを送信して、それらをもとに、車両の撮像部で撮像された映像を投影変換させるので、駐車支援装置の処理量を低減できる。また、探索結果を送信し、探索結果から低障害物を検出させるとともに、低障害物に対する車両の動作を推定させるので、駐車支援装置の処理量を低減できる。
【００５５】
（実施の形態２）
次に、実施の形態２を説明する。実施の形態２は、実施の形態１と同様に、車両の駐車を支援する駐車支援システムに関し、駐車支援装置と端末装置とを含む。実施の形態１では、障害物検出部、動作推定部、投影変換部が端末装置に含まれているが、実施の形態２では、これらが駐車支援装置に含まれる。ここでは、これまでとの差異を中心に説明する。
【００５６】
図１２は、本実施の形態２に係る駐車支援システム１０００の構成を示す。駐車支援システム１０００は、端末装置１００、車両２００を含む。端末装置１００は、測位装置１１６、デジタルコンパス１１８、撮像部１２６、表示装置１３２、操作部１３４、処理部１６０を含む。処理部１６０は、通信部１１０、取得部１１２、重畳部１１４、位置・方位検出部１２０、撮像Ｉ／Ｆ１２８、表示Ｉ／Ｆ１３０、操作Ｉ／Ｆ１３６、設定部１３８、制御部１５０を含む。位置・方位検出部１２０は、測位Ｉ／Ｆ１２２、コンパスＩ／Ｆ１２４を含む。
【００５７】
車両２００は、移動制御装置２１０、駐車支援装置３００、測位装置３１０、デジタルコンパス３１２、撮像部３２０、ソナー３２２を含む。駐車支援装置３００は、位置・方位検出部３１４、探索部３２４、通信部３３０、駐車経路生成部３３２、制御部３５０、障害物検出部５００、動作推定部５０２、投影変換部５０４を含む。位置・方位検出部３１４は、測位Ｉ／Ｆ３１６、コンパスＩ／Ｆ３１８を含み、探索部３２４は、撮像Ｉ／Ｆ３２６、ソナーＩ／Ｆ３２８を含む。
【００５８】
測位Ｉ／Ｆ１２２とコンパスＩ／Ｆ１２４とを含む位置・方位検出部１２０は、これまでと同様に、端末装置１００の位置情報と撮像部１２６の方位情報とを検出する。位置・方位検出部１２０は、端末装置１００の位置情報と撮像部１２６の方位情報とを通信部１１０、重畳部１１４に出力する。通信部１１０は、位置・方位検出部１２０から、端末装置１００の位置情報と撮像部１２６の方位情報とを受けつける。通信部１１０は、端末装置１００の位置情報と撮像部１２６の方位情報とが含まれた信号を駐車支援装置３００に送信する。
【００５９】
駐車支援装置３００の通信部３３０は、端末装置１００からの信号を受信する。通信部３３０は、信号に含まれた端末装置１００の位置情報と撮像部１２６の方位情報とを投影変換部５０４に出力する。撮像Ｉ／Ｆ３２６とソナーＩ／Ｆ３２８を含む探索部３２４は、これまでと同様に、車両２００の外部を探索する。探索部３２４は、探索結果を障害物検出部５００、投影変換部５０４に出力する。測位Ｉ／Ｆ３１６とコンパスＩ／Ｆ３１８とを含む位置・方位検出部３１４は、これまでと同様に、車両２００の位置情報と、車両２００の方位情報とを検出する。位置・方位検出部３１４は、車両２００の位置情報と、車両２００の方位情報とを投影変換部５０４、通信部３３０、駐車経路生成部３３２に出力する。
【００６０】
投影変換部５０４は、位置・方位検出部３１４から、車両２００の位置情報と、車両２００の方位情報とを受けつけ、通信部３３０から、端末装置１００の位置情報と撮像部１２６の方位情報とを受けつけ、探索部３２４から探索結果を受けつける。投影変換部５０４は、車両２００の位置情報と、車両２００の方位情報と、端末装置１００の位置情報と、撮像部１２６の方位情報とをもとに、撮像部１２６の視点に、車両２００の映像を投影変換する。投影変換部５０４は、投影変換映像と、車両２００の映像と投影変換映像との座標の対応関係を通信部３３０に出力する。通信部３３０は、これらが含まれた信号を端末装置１００に送信する。
【００６１】
障害物検出部５００は、探索部３２４から探索結果を受けつける。障害物検出部５００は、探索結果から低障害物を検出する。障害物検出部５００は、検出した低障害物の位置に関する第１情報を通信部３３０に出力し、検出した低障害物の形状に関する情報を動作推定部５０２に出力する。動作推定部５０２は、障害物検出部５００から低障害物の形状に関する情報を受けつける。動作推定部５０２、検出した低障害物に対する車両２００の動作を推定する。動作推定部５０２は、車両２００の動作に関する第２情報を通信部３３０に出力する。通信部３３０は、第１情報と第２情報との組合せを障害物情報とし、障害物情報が含まれた信号を端末装置１００に送信する。
【００６２】
端末装置１００の通信部１１０は、駐車支援装置３００からの信号を受信する。取得部１１２は、通信部１１０から障害物情報を取得する。重畳部１１４は、取得部１１２からの障害物情報を受けつけ、撮像Ｉ／Ｆ１２８からの端末装置１００の映像を受けつけ、通信部１１０からの投影変換映像を受けつける。また、重畳部１１４は、車両２００の映像と投影変換映像との座標の対応関係を通信部１１０から受けつける。重畳部１１４は、これらを利用して、抽出投影変換映像と複合現実ＵＩ６２０とが端末装置１００の映像に重畳された重畳映像を生成する。重畳部１１４は、重畳映像を表示Ｉ／Ｆ１３０に出力する。表示Ｉ／Ｆ１３０は、重畳映像を表示装置１３２に表示させる。表示装置１３２は、重畳映像を表示する。
【００６３】
なお、障害物検出部５００において低障害物が検出されない場合、運転者はこれまでと同様の処理を実行する。端末装置１００の操作部１３４は、再検出の指示を受けつけ、再検出の指示を設定部１３８経由で通信部１１０に出力する。通信部１１０は、再検出の指示が含まれた信号を駐車支援装置３００に送信する。駐車支援装置３００の通信部３３０は、端末装置１００からの信号を受信し、信号に含まれた再検出の指示を障害物検出部５００に出力する。障害物検出部５００と動作推定部５０２は、再検出の指示に応じて、新たな検出処理と新たな推定処理を実行する。通信部３３０は、新たな検出処理の結果と新たな推定処理の結果とをもとにした新たな第１情報と新たな第２情報とを障害物情報として、障害物情報が含まれた信号を端末装置１００に送信する。端末装置１００の通信部１１０は、駐車支援装置３００からの信号を受信し、信号に含まれた障害物情報を取得部１１２に出力する。つまり、取得部１１２は、受けつけた指示において示された部分に対する新たな第１情報と新たな第２情報とを取得する。これに続く処理は、これまでと同様である。
【００６４】
以上の構成による駐車支援システム１０００の動作を説明する。図１３は、駐車支援システム１０００における駐車支援手順を示すシーケンス図である。駐車支援装置３００は映像を撮像し（Ｓ３００）、端末装置１００も映像を撮像する（Ｓ３０２）。駐車支援装置３００は位置と方位とを検出し（Ｓ３０４）、端末装置１００も位置と方位とを検出する（Ｓ３０６）。端末装置１００は、位置情報と方位情報とを駐車支援装置３００に送信する（Ｓ３０８）。駐車支援装置３００は、低障害物を検出するとともに、車両２００の動作を推定する（Ｓ３１０）。駐車支援装置３００は、車両２００の映像を投影変換し（Ｓ３１２）、障害物情報と投影変換映像を端末装置１００に送信する（Ｓ３１４）。端末装置１００は、投影変換映像と複合現実ＵＩ６２０とを端末装置１００の映像に重畳して表示する（Ｓ３１６）。端末装置１００は、車両２００の動作の変更の指示を受けつける（Ｓ３１８）。端末装置１００は、障害物情報を駐車支援装置３００に出力する（Ｓ３２０）。駐車支援装置３００は、駐車経路を生成する（Ｓ３２２）。
【００６５】
本実施の形態によれば、第１情報と第２情報とを駐車支援装置から受信するので、端末装置において、低障害物の検出処理と動作の推定処理を不要にできる。また、駐車支援装置において生成された投影変換映像を受信するので、端末装置の処理量を低減できる。また、複合現実ＵＩが非重畳の部分を選択するための指示を受けつけると、当該部分に対する新たな第１情報と新たな第２情報とを送信するので、未検出であった低障害物の検出結果を修正できる。また、車両の映像を投影変換してから送信するので、運転者に見やすい映像を提供できる。
【００６６】
（実施の形態３）
次に、実施の形態３を説明する。実施の形態３は、これまでと同様に、車両の駐車を支援する駐車支援システムに関する。一方、実施の形態３に係る駐車支援システムは、駐車支援装置と端末装置とに加えてサーバも含む。サーバには、障害物検出部、動作推定部、投影変換部が含まれる。ここでは、これまでとの差異を中心に説明する。
【００６７】
図１４は、本実施の形態３に係る駐車支援システム１０００の構成を示す。駐車支援システム１０００は、端末装置１００、車両２００、サーバ４００を含む。車両２００は、駐車支援装置３００を含む。サーバ４００は、通信部４１０、データ交換部４１２、障害物検出部５００、動作推定部５０２、投影変換部５０４を含む。サーバ４００は、ネットワークを介して、端末装置１００、駐車支援装置３００と通信可能である。
【００６８】
サーバ４００の通信部４１０は、端末装置１００からの信号を受信するとともに、車両２００からの信号を受信する。これにより、通信部４１０は、端末装置１００の位置情報と、端末装置１００の撮像部１２６の方位情報とを端末装置１００から受信し、車両２００において探索された探索結果を駐車支援装置３００から受信する。さらに、通信部４１０は、車両２００の位置情報と、車両２００の方位情報とを駐車支援装置３００から受信する。データ交換部４１２は、通信部４１０に接続されるとともに、障害物検出部５００、動作推定部５０２、投影変換部５０４とも接続され、これらの間でデータを交換する。
【００６９】
投影変換部５０４は、データ交換部４１２から、車両２００の位置情報と、車両２００の方位情報と、端末装置１００の位置情報と、撮像部１２６の方位情報と、探索結果を受けつける。投影変換部５０４は、車両２００の位置情報と、車両２００の方位情報と、端末装置１００の位置情報と、撮像部１２６の方位情報とをもとに、撮像部１２６の視点に、車両２００の映像を投影変換する。投影変換部５０４は、投影変換映像と、車両２００の映像と投影変換映像との座標の対応関係をデータ交換部４１２経由で通信部４１０に出力する。通信部４１０は、これらが含まれた信号を端末装置１００に送信する。
【００７０】
障害物検出部５００は、データ交換部４１２から探索結果を受けつける。障害物検出部５００は、探索結果から低障害物を検出する。障害物検出部５００は、検出した低障害物の位置に関する第１情報をデータ交換部４１２経由で通信部４１０に出力し、検出した低障害物の形状に関する情報を動作推定部５０２に出力する。動作推定部５０２は、障害物検出部５００から低障害物の形状に関する情報を受けつける。動作推定部５０２、検出した低障害物に対する車両２００の動作を推定する。動作推定部５０２は、車両２００の動作に関する第２情報をデータ交換部４１２経由で通信部４１０に出力する。通信部４１０は、第１情報と第２情報との組合せを障害物情報とし、障害物情報が含まれた信号を端末装置１００に送信する。
【００７１】
以上の構成による駐車支援システム１０００の動作を説明する。図１５は、駐車支援システム１０００における駐車支援手順を示すシーケンス図である。駐車支援装置３００は映像を撮像し（Ｓ３５０）、端末装置１００も映像を撮像する（Ｓ３５２）。駐車支援装置３００は、探索結果をサーバ４００に送信する（Ｓ３５４）。駐車支援装置３００は位置と方位とを検出し（Ｓ３５６）、端末装置１００も位置と方位とを検出する（Ｓ３５８）。駐車支援装置３００は位置情報と方位情報とをサーバ４００に送信し（Ｓ３６０）、端末装置１００は位置情報と方位情報とをサーバ４００に送信する（Ｓ３６２）。サーバ４００は、低障害物を検出するとともに、車両２００の動作を推定する（Ｓ３６４）。サーバ４００は、車両２００の映像を投影変換し（Ｓ３６６）、障害物情報と投影変換映像を端末装置１００に送信する（Ｓ３６８）。端末装置１００は、投影変換映像と複合現実ＵＩ６２０とを端末装置１００の映像に重畳して表示する（Ｓ３７０）。端末装置１００は、車両２００の動作の変更の指示を受けつける（Ｓ３７２）。端末装置１００は、障害物情報を駐車支援装置３００に出力する（Ｓ３７４）。駐車支援装置３００は、駐車経路を生成する（Ｓ３７６）。
【００７２】
本実施の形態によれば、車両の映像を投影変換してから送信するので、運転者に見やすい映像を提供できる。また、投影変換映像の生成をサーバにおいて実行するので、端末装置と駐車支援装置の処理量を低減できる。また、検出された低障害物に対する車両の動作を推定するので、低障害物に対する動作を自動的に推定できる。また、低障害物の検出と車両の動作の推定とをサーバにおいて実行するので、端末装置と駐車支援装置の処理量を低減できる。
【００７３】
以上、本開示に係る実施の形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現されうる。上述した機能をプログラムにより実現するコンピュータは、キーボードやマウス、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ、ハードディスク装置やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの記憶装置、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＵＳＢメモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。また、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。また、ＣＰＵが、記憶装置に記憶されたプログラムをＲＡＭにコピーし、そのプログラムに含まれる命令をＲＡＭから順次読み出して実行することにより、上記各装置の機能が実現される。
【００７４】
本開示の一態様の概要は、次の通りである。本開示のある態様のプログラムは、車両に搭載された通信装置と通信可能な端末装置でのプログラムであって、車両により検出された障害物に関する第１情報と、車両の当該障害物に対する動作に関する第２情報とを取得するステップと、端末装置の撮像部で撮像した映像に対して、第２情報における動作が示された複合現実ＵＩを、第１情報において示された障害物の位置に重畳するステップと、複合現実ＵＩが重畳された映像を端末装置の表示部に表示させるステップと、表示部に表示させた映像に重畳した複合現実ＵＩに対して、車両の動作を指定させるための指示を受けつけるステップと、受けつけた動作の指定の指示を通信装置に送信するステップと、をコンピュータに実行させる。
【００７５】
この態様によると、表示された映像に重畳した複合現実ＵＩに対して、車両の動作を変更させるための指示を受けつけ、受けつけた変更の指示を通信装置に送信するので、障害物の種類の検出結果を修正できる。
【００７６】
取得するステップにおいて取得した第２情報は、車両の動作として、障害物に接触する、障害物を回避する、障害物を乗り越える、のいずれか１つを行うことを示し、受けつけるステップは、第２情報において示された１つの動作とは異なる１つの動作を指定させるための指示を受けつける。この場合、障害物に接触する、障害物を回避する、障害物を乗り越える、のいずれか１つを別の１つに変更させるので、障害物に対して適した動作に修正できる。
【００７７】
取得するステップにおいて取得した第１情報は、車両から障害物までの距離情報をさらに含んでもよい。重畳するステップは、第１情報に含まれた距離情報をさらに重畳する。この場合、距離情報も重畳されるので、車両から障害物までの距離を運転者に知らせることができる。
【００７８】
車両において探索された探索結果を受信するステップと、受信した探索結果から障害物を検出するステップと、検出した障害物に対する車両の動作を推定するステップと、をさらに備えてもよい。取得するステップは、検出結果をもとにした第１情報を取得するとともに、推定結果をもとにした第２情報を取得する。この場合、障害物を検出してから、検出した障害物に対する車両の動作を推定するので、障害物に対する動作を自動的に推定できる。
【００７９】
車両において探索された探索結果に対する障害物の検出結果をもとに生成された第１情報と、検出された障害物に対する車両の動作の推定結果をもとに生成された第２情報とを受信するステップをさらに備えてもよい。取得するステップは、受信した第１情報と第２情報とを取得する。この場合、第１情報と第２情報とを受信するので、障害物の検出処理と動作の推定処理を不要にできる。
【００８０】
表示部に表示させた映像において、複合現実ＵＩが非重畳の部分を選択するための指示を受けつけるステップをさらに備えてもよい。取得するステップは、受けつけた指示において示された部分に対する新たな第１情報と新たな第２情報とを取得する。この場合、複合現実ＵＩが非重畳の部分を選択するための指示を受けつけると、当該部分に対する新たな第１情報と新たな第２情報とを取得するので、未検出であった障害物の検出結果を修正できる。
【００８１】
車両の位置情報と、車両の方位情報とを受信するステップと、端末装置の位置情報と、端末装置の撮像部の方位情報とを検出するステップと、車両の位置情報と、車両の方位情報と、端末装置の位置情報と、端末装置の撮像部の方位情報とをもとに、端末装置の撮像部の視点に、車両の撮像部で撮像された映像を投影変換するステップとをさらに備えてもよい。重畳するステップは、端末装置の撮像部で撮像した映像に対して、投影変換した映像と複合現実ＵＩとを重畳する。この場合、車両の撮像部で撮像された映像を投影変換してから、端末装置の撮像部で撮像した映像に重畳させるので、運転者に見やすい映像を提供できる。
【００８２】
端末装置の位置情報と、端末装置の撮像部の方位情報とを検出するステップと、検出した端末装置の位置情報と、端末装置の撮像部の方位情報とを送信するステップと、車両の位置情報と、車両の方位情報と、端末装置の位置情報と、端末装置の撮像部の方位情報とをもとに、端末装置の撮像部の視点に、車両の撮像部で撮像された映像が投影変換されており、投影変換された映像を受信するステップをさらに備えてもよい。重畳するステップは、端末装置の撮像部で撮像した映像に対して、投影変換された映像と複合現実ＵＩとを重畳する。この場合、車両の撮像部で撮像された映像が投影変換されてから受信するので、処理量を低減できる。
【００８３】
本開示の別の態様は、駐車支援装置である。この装置は、自動駐車させるべき車両に搭載された駐車支援装置であって、端末装置の撮像部で撮像した映像に対して、車両に対して検出された障害物の位置に、当該障害物に対して推定された車両の動作が示された複合現実ＵＩが重畳されるとともに、複合現実ＵＩを重畳した映像が端末装置の表示部に表示されており、表示部に表示させた映像に重畳した複合現実ＵＩに対して、車両の動作を変更させるための指示を端末装置が受けつけた場合に、変更後の車両の動作に関する情報を端末装置から受信する通信部と、通信部において受信した情報であって、かつ変更後の車両の動作に関する情報を反映させて駐車経路を生成する駐車経路生成部と、を備える。
【００８４】
この態様によると、変更後の車両の動作に関する情報を端末装置から受信した場合、変更後の車両の動作に関する情報を反映させて駐車経路を生成するので、障害物の種類の検出結果の修正に適した駐車経路を生成できる。
【００８５】
車両の動作は、障害物に接触する、障害物を回避する、障害物を乗り越える、のいずれか１つを示す。この場合、障害物に接触する、障害物を回避する、障害物を乗り越える、のいずれか１つが示されるので、障害物に対して適した動作を反映した駐車経路を生成できる。
【００８６】
車両の外部を探索する探索部と、探索部における探索結果から障害物を検出する障害物検出部と、障害物検出部において検出した障害物に対する車両の動作を推定する動作推定部をさらに備えてもよい。通信部は、障害物検出部において検出した障害物に関する第１情報と、動作推定部において推定した車両の動作に関する第２情報とを送信する。この場合、障害物を検出してから、検出した障害物に対する車両の動作を推定するので、障害物に対する動作を自動的に推定できる。
【００８７】
通信部は、表示部に表示させた映像において、複合現実ＵＩが非重畳の部分を選択するための指示を端末装置が受けつけた場合に、複合現実ＵＩが非重畳の部分を選択するための指示を端末装置から受信し、障害物検出部と動作推定部は、通信部が受信した指示に応じて、新たな検出処理と新たな推定処理を実行し、通信部は、障害物検出部と動作推定部において実行した新たな検出処理の結果と新たな推定処理の結果とをもとにした新たな第１情報と新たな第２情報とを送信する。この場合、複合現実ＵＩが非重畳の部分を選択するための指示を受けつけると、当該部分に対する新たな第１情報と新たな第２情報とを送信するので、未検出であった障害物の検出結果を修正できる。
【００８８】
車両の外部を探索する探索部をさらに備えてもよい。通信部は、探索部における探索結果を送信し、通信部が送信した探索結果から障害物を検出させるとともに、障害物に対する車両の動作を推定させる。この場合、探索結果を送信し、探索結果から障害物を検出させるとともに、障害物に対する車両の動作を推定させるので、処理量を低減できる。
【００８９】
通信部は、端末装置の位置情報と、端末装置の撮像部の方位情報とを受信し、本駐車支援装置は、車両の位置情報と、車両の方位情報とを検出する位置・方位検出部と、車両の位置情報と、車両の方位情報と、端末装置の位置情報と、端末装置の撮像部の方位情報とをもとに、端末装置の撮像部の視点に、車両の撮像部で撮像された映像を投影変換する投影変換部とをさらに備えてもよい。通信部は、投影変換部において投影変換された映像を送信する。この場合、車両の撮像部で撮像された映像を投影変換してから送信するので、運転者に見やすい映像を提供できる。
【００９０】
車両の位置情報と、車両の方位情報とを検出する位置・方位検出部をさらに備えてもよい。通信部は、位置・方位検出部において検出した車両の位置情報と、車両の方位情報とを送信し、通信部が送信した車両の位置情報と車両の方位情報と、端末装置の位置情報と、端末装置の撮像部の方位情報とをもとに、端末装置の撮像部の視点に、車両の撮像部で撮像された映像が投影変換される。この場合、車両の位置情報と、車両の方位情報とを送信して、それらをもとに、車両の撮像部で撮像された映像を投影変換させるので、処理量を低減できる。
【００９１】
本開示のさらに別の態様もまた、プログラムである。このプログラムは、自動駐車させるべき車両に搭載された通信装置と、端末装置と通信可能であるサーバのプログラムであって、車両において探索された探索結果を通信装置から受信するステップと、受信した探索結果から障害物を検出するステップと、検出した障害物に対する車両の動作を推定するステップと、検出した障害物に関する第１情報と、推定した車両の動作に関する第２情報とを端末装置に送信するステップと、をコンピュータに実行させる。
【００９２】
この態様によると、検出された障害物に対する車両の動作を推定するので、障害物に対する動作を自動的に推定できる。
【００９３】
以上、本開示を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
【００９４】
本実施の形態１から３において、障害物検出部５００、動作推定部５０２、投影変換部５０４は、端末装置１００、駐車支援装置３００、サーバ４００のいずれかにまとめて含まれる。しかしながらこれに限らず例えば、障害物検出部５００、動作推定部５０２が端末装置１００、駐車支援装置３００、サーバ４００のいずれかに含まれ、投影変換部５０４が、障害物検出部５００、動作推定部５０２を含んだ装置以外の装置に含まれてもよい。本変形例によれば、構成の自由度を向上できる。
【００９５】
本実施の形態１から３において、重畳映像には、抽出投影変換映像が重畳されている。しかしながらこれに限らず例えば、重畳映像に抽出投影変換映像が重畳されてなくてもよい。本変形例によれば、処理を簡易にできる。
【産業上の利用可能性】
【００９６】
本開示によれば、遠隔操作による自動駐車に適した処理を実行できる。
【符号の説明】
【００９７】
１００  端末装置、  １１０  通信部、  １１２  取得部、  １１４  重畳部、  １１６  測位装置、  １１８  デジタルコンパス、  １２０  位置・方位検出部、  １２２  測位Ｉ／Ｆ、  １２４  コンパスＩ／Ｆ、  １２６  撮像部、  １２８  撮像Ｉ／Ｆ、  １３０  表示Ｉ／Ｆ、  １３２  表示装置、  １３４  操作部、  １３６  操作Ｉ／Ｆ、  １３８  設定部、  １５０  制御部、  １６０  処理部、  １８０  端末位置、  １８２  端末方位、  ２００  車両、  ２１０  移動制御装置、  ２２０  他車両、  ２３０  駐車領域、  ２８０  車両位置、  ２８２  車両方位、  ３００  駐車支援装置、  ３１０  測位装置、  ３１２  デジタルコンパス、  ３１４  位置・方位検出部、  ３１６  測位Ｉ／Ｆ、  ３１８  コンパスＩ／Ｆ、  ３２０  撮像部、  ３２２  ソナー、  ３２４  探索部、  ３２６  撮像Ｉ／Ｆ、  ３２８  ソナーＩ／Ｆ、  ３３０  通信部、  ３３２  駐車経路生成部、  ３５０  制御部、  ５００  障害物検出部、  ５０２  動作推定部、  ５０４  投影変換部、  ６２０  複合現実ＵＩ、  １０００  駐車支援システム。
【図１】
2019073190.tif 000003
【図２】
2019073190.tif 000004
【図３】
2019073190.tif 000005
【図４】
2019073190.tif 000006
【図５】
2019073190.tif 000007
【図６】
2019073190.tif 000008
【図７】
2019073190.tif 000009
【図８】
2019073190.tif 000010
【図９】
2019073190.tif 000011
【図１０】
2019073190.tif 000012
【図１１】
2019073190.tif 000013
【図１２】
2019073190.tif 000014
【図１３】
2019073190.tif 000015
【図１４】
2019073190.tif 000016
【図１５】
2019073190.tif 000017