(57)【要約】【課題】車両の遠隔操作における利便性及び操作性を向上させることが可能な技術を提供する。【解決手段】車両遠隔操作装置は、表示部と、車両を操作するための操作部と、前記操作部に対する操作に基づき前記車両の操作信号を生成する信号生成部と、前記車両と通信を行う通信部と、を備える。前記表示部は、前記車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示し、さらに当該車両遠隔操作装置自体の周辺領域を含む合成画像を表示する。前記通信部は、前記操作信号を前記車両に送信する。【選択図】図１
2019161549.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
車両を操作するための操作部と、
前記操作部に対する操作に基づき前記車両の操作信号を生成する信号生成部と、
前記車両と通信を行う通信部と、
を備え、
前記表示部は、前記車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示し、さらに当該車両遠隔操作装置自体の周辺領域を含む合成画像を表示し、
前記通信部は、前記操作信号を前記車両に送信する車両遠隔操作装置。
【請求項２】
前記通信部は、前記車両において生成された前記合成画像を前記車両から受信する請求項１に記載の車両遠隔操作装置。
【請求項３】
前記操作信号は、前記合成画像の前記視点位置及び前記視線方向の操作に係る信号を含む請求項１または請求項２に記載の車両遠隔操作装置。
【請求項４】
前記表示部は、当該車両遠隔操作装置自体の位置を前記合成画像に表示する請求項１から請求項３のいずれかに記載の車両遠隔操作装置。
【請求項５】
前記表示部は、前記車両及び当該車両遠隔操作装置自体への他の物体の接近が検出された場合に、前記車両及び当該車両遠隔操作装置に接近した前記物体の周辺領域を拡大した前記合成画像を表示する請求項１から請求項４のいずれかに記載の車両遠隔操作装置。
【請求項６】
前記車両及び当該車両遠隔操作装置自体への前記物体の接近は、前記物体が前記車両及び当該車両遠隔操作装置から所定範囲内に進入したことに基づき判定される請求項５に記載の車両遠隔操作装置。
【請求項７】
前記車両及び当該車両遠隔操作装置自体への前記物体の接近は、前記車両及び当該車両遠隔操作装置から前記物体までの距離と、前記物体の移動速度とに基づき判定される請求項５に記載の車両遠隔操作装置。
【請求項８】
前記通信部は、前記車両において検出された前記車両及び当該車両遠隔操作装置自体への前記物体の接近に係る情報を前記車両から受信する請求項１から請求項７のいずれかに記載の車両遠隔操作装置。
【請求項９】
前記通信部は、前記車両の傾斜状態に係る情報を前記車両から受信し、
前記表示部は、前記傾斜状態に係る前記情報を表示する請求項１から請求項８のいずれかに記載の車両遠隔操作装置。
【請求項１０】
前記通信部は、前記車両のステアリング舵角に係る情報を前記車両から受信し、
前記表示部は、前記ステアリング舵角に係る前記情報を表示する請求項１から請求項９のいずれかに記載の車両遠隔操作装置。
【請求項１１】
前記表示部は、前記車両の上方を撮影した撮影画像を表示する請求項１から請求項１０のいずれかに記載の車両遠隔操作装置。
【請求項１２】
車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示し、さらに当該車両遠隔操作装置自体の周辺領域を含む合成画像を生成する工程と、
前記合成画像を車両遠隔操作装置に表示する工程と、
前記車両遠隔操作装置で前記車両に対する操作を受け付ける工程と、
前記操作に基づき前記車両の操作信号を生成する工程と、
前記操作信号を前記車両遠隔操作装置から前記車両に対して送信する工程と、
を含む車両遠隔操作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両遠隔操作装置及び車両遠隔操作方法に関する。
【背景技術】
【０００２】
近年、車両の遠隔操作に係る技術が種々提案されている。例えば、特許文献１で提案された携帯端末は、車両を所定の第１位置から第２位置に移動させるための端末である。この携帯端末は、端末自体のカメラで撮影された撮影画像に基づき車両の像を含む俯瞰画像を表示し、当該車両に対するユーザーの操作を受け付ける。また例えば、特許文献２で提案された駐車支援装置は、ジョイスティック等の遠隔操作手段を用いて駐車が可能である。また例えば、特許文献３で提案された車両遠隔操作システムは、タッチパネルへの接触操作に対応する操作信号を車両に送信する携帯端末を備える。この携帯端末は、車両に対して走行操作信号と、操舵操作信号とを送信することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−６５３９２号公報
【特許文献２】特開２０１０−９５０２７号公報
【特許文献３】特開２０１６−７４２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、車両の遠隔操作における利便性及び操作性が十分に満足できるものではないことに課題があった。
【０００５】
本発明は、上記の課題に鑑みなされたものであり、車両の遠隔操作における利便性及び操作性を向上させることが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る車両遠隔操作装置は、表示部と、車両を操作するための操作部と、前記操作部に対する操作に基づき前記車両の操作信号を生成する信号生成部と、前記車両と通信を行う通信部と、を備え、前記表示部は、前記車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示し、さらに当該車両遠隔操作装置自体の周辺領域を含む合成画像を表示し、前記通信部は、前記操作信号を前記車両に送信する構成（第１の構成）である。
【０００７】
また、上記第１の構成の車両遠隔操作装置において、前記通信部は、前記車両において生成された前記合成画像を前記車両から受信する構成（第２の構成）であっても良い。
【０００８】
また、上記第１または第２の構成の車両遠隔操作装置において、前記操作信号は、前記合成画像の前記視点位置及び前記視線方向の操作に係る信号を含む構成（第３の構成）であっても良い。
【０００９】
また、上記第１から第３の構成の車両遠隔操作装置において、当該車両遠隔操作装置自体の位置を前記合成画像に表示する構成（第４の構成）であっても良い。
【００１０】
また、上記第１から第４の構成の車両遠隔操作装置において、前記表示部は、前記車両及び当該車両遠隔操作装置自体への他の物体の接近が検出された場合に、前記車両及び当該車両遠隔操作装置に接近した前記物体の周辺領域を拡大した前記合成画像を表示する構成（第５の構成）であっても良い。
【００１１】
また、上記第５の構成の車両遠隔操作装置において、前記車両及び当該車両遠隔操作装置自体への前記物体の接近は、前記物体が前記車両及び当該車両遠隔操作装置から所定範囲内に進入したことに基づき判定される構成（第６の構成）であっても良い。
【００１２】
また、上記第５の構成の車両遠隔操作装置において、前記車両及び当該車両遠隔操作装置自体への前記物体の接近は、前記車両及び当該車両遠隔操作装置から前記物体までの距離と、前記物体の移動速度とに基づき判定される構成（第７の構成）であっても良い。
【００１３】
また、上記第１から第７の構成の車両遠隔操作装置において、前記通信部は、前記車両において検出された前記車両及び当該車両遠隔操作装置自体への前記物体の接近に係る情報を前記車両から受信する構成（第８の構成）であっても良い。
【００１４】
また、上記第１から第８の構成の車両遠隔操作装置において、前記通信部は、前記車両の傾斜状態に係る情報を前記車両から受信し、前記表示部は、前記傾斜状態に係る前記情報を表示する構成（第９の構成）であっても良い。
【００１５】
また、上記第１から第９の構成の車両遠隔操作装置において、前記通信部は、前記車両のステアリング舵角に係る情報を前記車両から受信し、前記表示部は、前記ステアリング舵角に係る前記情報を表示する構成（第１０の構成）であっても良い。
【００１６】
また、上記第１から第１０の構成の車両遠隔操作装置において、前記表示部は、前記車両の上方を撮影した撮影画像を表示する構成（第１１の構成）であっても良い。
【００１７】
また、本発明に係る車両遠隔操作方法は、車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示し、さらに当該車両遠隔操作装置自体の周辺領域を含む合成画像を生成する工程と、前記合成画像を車両遠隔操作装置に表示する工程と、前記車両遠隔操作装置で前記車両に対する操作を受け付ける工程と、前記操作に基づき前記車両の操作信号を生成する工程と、前記操作信号を前記車両遠隔操作装置から前記車両に対して送信する工程と、を含む構成（第１２の構成）である。
【発明の効果】
【００１８】
本発明の構成によれば、車両の周辺領域を、携帯端末に表示される合成画像で広範囲にわたって確認することができる。また、車両及び車両を遠隔操作するユーザーに接近する物体の存在を、合成画像で迅速に把握することができる。すなわち、車両の遠隔操作における利便性及び操作性を向上させることが可能である。
【図面の簡単な説明】
【００１９】
【図１】実施形態の車両遠隔操作システムの構成を示すブロック図
【図２】車載カメラが車両に配置される位置を例示する図
【図３】車両の周辺領域を示す合成画像を生成する手法を説明するための図
【図４】実施例１の合成画像が表示された携帯端末の模式図（第１例）
【図５】実施例１の携帯端末に表示された合成画像の模式図
【図６】実施例１の合成画像が表示された携帯端末の模式図（第２例）
【図７】実施例１の合成画像が表示された携帯端末の模式図（第３例）
【図８】実施例１の車両遠隔操作に係る携帯端末における処理フローの例を示すフローチャート
【図９】実施例１の車両遠隔操作に係る車両における処理フローの例を示すフローチャート
【図１０】実施例２の合成画像及び補助画像が表示された携帯端末の模式図
【図１１】実施例３の携帯端末に表示された合成画像の模式図
【図１２】実施例４の車載カメラが車両に配置される位置を例示する図
【図１３】実施例４の合成画像及び補助画像が表示された携帯端末の模式図
【図１４】実施例５の車両遠隔操作システムの構成を示すブロック図
【発明を実施するための形態】
【００２０】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。
【００２１】
また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向（前方）」とする。車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向（後方）」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の右側から左側に向かう方向を「左方向」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の左側から右側に向かう方向を「右方向」とする。
【００２２】
＜１．車両遠隔操作システムの構成＞
図１は、実施形態の車両遠隔操作システムＲＳの構成を示すブロック図である。車両遠隔操作システムＲＳは、携帯端末１と、画像処理装置２と、車両制御装置３と、を含む。
携帯端末１は、車両５を遠隔操作するための車両遠隔操作装置である。画像処理装置２及び車両制御装置３は、車両５に搭載される。車両遠隔操作システムＲＳは、車両５の周辺領域を示す合成画像を表示することが可能な携帯端末１によって車両５を遠隔操作するシステムである。車両５は、さらに撮影部４（車載カメラ）と、センサ部５１と、を含む。
【００２３】
携帯端末１は、画像処理装置２から出力される表示用画像を受信して表示し、車両制御装置３に対して操作信号を送信して車両５を遠隔操作する装置である。携帯端末１としては、例えば車両５の所有者等が所持するスマートフォン、タブレット型端末などが含まれる。本実施形態では、携帯端末１は、例えばスマートフォンである。
【００２４】
画像処理装置２は、車載カメラで撮影された撮影画像を処理する装置である。画像処理装置２は、車載カメラを搭載する車両ごとに備えられる。本実施形態では、画像処理装置２は、撮影部４から撮影画像を取得して処理する。また、画像処理装置２は、センサ部５１から情報を取得し、当該取得情報に基づいて画像処理に関する判断を行うことが可能である。また、画像処理装置２は、携帯端末１及び車両制御装置３との間で情報を送受信する。画像処理装置２は、携帯端末１に対して、画像処理装置２で生成された表示用画像を出力することができる。
【００２５】
車両制御装置３は、車両の動作全般に関わる制御を行う。車両制御装置３は、例えばエンジンを制御するエンジンＥＣＵ（Electronic Control Unit）、ステアリングを制御するステアリングＥＣＵ、ブレーキを制御するブレーキＥＣＵ、シフトを制御するシフトＥＣＵ、電源を制御する電源制御ＥＣＵ、ライトを制御するライトＥＣＵ、電動ミラーを制御するミラーＥＣＵ等を含む。本実施形態では、車両制御装置３は、携帯端末１及び画像処理装置２との間で情報を送受信する。車両制御装置３は、車両５の操作信号を携帯端末１から受信するとともに、当該操作信号に基づき車両５を制御する。
【００２６】
撮影部４は、車両周辺の状況を監視する目的で設けられる。撮影部４は、例えば４つの車載カメラ４１〜４４を備える。図２は、車載カメラ４１〜４４が車両５に配置される位置を例示する図である。
【００２７】
車載カメラ４１は車両５の前端に設けられる。このため、車載カメラ４１をフロントカメラ４１とも呼ぶ。フロントカメラ４１の光軸４１ａは上からの平面視で車両５の前後方向に沿って延びる。フロントカメラ４１は車両５の前方向を撮影する。車載カメラ４３は車両５の後端に設けられる。このため、車載カメラ４３をバックカメラ４３とも呼ぶ。バックカメラ４３の光軸４３ａは上からの平面視で車両５の前後方向に沿って延びる。バックカメラ４３は車両５の後方向を撮影する。フロントカメラ４１及びバックカメラ４３の取付位置は、車両５の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であっても良い。
【００２８】
車載カメラ４２は車両５の右側ドアミラー６１に設けられる。このため、車載カメラ４２を右サイドカメラ４２とも呼ぶ。右サイドカメラ４２の光軸４２ａは上からの平面視で車両５の左右方向に沿って延びる。右サイドカメラ４２は車両５の右方向を撮影する。車載カメラ４４は車両５の左側ドアミラー６２に設けられる。このため、車載カメラ４４を左サイドカメラ４４とも呼ぶ。左サイドカメラ４４の光軸４４ａは上からの平面視で車両５の左右方向に沿って延びる。左サイドカメラ４４は車両５の左方向を撮影する。
【００２９】
なお、車両５がいわゆるドアミラーレス車である場合、右サイドカメラ４２は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられ、左サイドカメラ４４は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられる。
【００３０】
車載カメラ４１〜４４のレンズとしては、例えば魚眼レンズが使用される。車載カメラ４１〜４４は、それぞれの水平方向の画角θが１８０度以上であるため、車両５の水平方向における全周囲を撮影することができる。
【００３１】
図１に戻って、センサ部５１は、車載カメラ４１〜４４が搭載される車両５に関する情報を検出する複数のセンサを有する。車両５に関する情報には、車両自体の情報と、車両周辺の情報とが含まれて良い。本実施形態では、センサ部５１は、例えば車両の速度を検出する車速度センサ、ステアリングの回転角を検出する舵角センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ、車両周辺の照度を検出する照度センサ、車両の振動を検出する振動センサ、車両の傾きを検出する傾斜センサ、車両周辺の人や動物、車両、その他の物体を検出する障害物センサ等が含まれる。
【００３２】
障害物センサは、例えば超音波センサ、赤外線等を用いた光センサ、レーダなどを利用し、車両周辺の人や動物、車両、その他の物体を検出することができる。障害物センサは、例えば車両５のフロントバンパー、リアバンパー及びドアなどの複数箇所に埋設される。障害物センサは、送信波を車両周辺に向けて送信し、人や他の車両などで反射した反射波を受信することで、人や他の車両などの有無や方向、位置を検出する。
【００３３】
＜２．携帯端末の構成＞
携帯端末１は、表示部１１、操作部１２、カメラ１３、音声入出力部１４、制御部１６、記憶部１７及び通信部１８を含んで構成される。
【００３４】
表示部１１は、スマートフォンである携帯端末１の正面に配置される。本実施形態では、表示部１１は、例えば液晶表示パネルであって、操作部１２の一部であるタッチパネルをその表面に備える。表示部１１は、例えば画像処理装置２から出力された表示用画像を画面表示する。
【００３５】
操作部１２は、例えば表示部１１の表面に設けられたタッチパネルと、その他の操作ボタン等を含む。操作部１２は、文字や数値などの入力、メニューやその他選択肢の選択、処理の実行、キャンセルなど、ユーザーが外部から情報を入力できる構成である。本実施形態では、操作部１２は車両５を操作するために用いられるタッチパネルである。なお、操作部１２は、タッチパネル等を利用したソフトウェアキーに限定されるわけではなく、物理的な入力装置として携帯端末１に設けられたハードウェアキーであっても良い。
【００３６】
カメラ１３は、スマートフォンである携帯端末１の正面及び背面に配置される。正面のカメラ１３は、携帯端末１の正面側の周囲を撮影する。背面のカメラ１３は、携帯端末１の背面側の周囲を撮影する。
【００３７】
音声入出力部１４は、例えばマイクロフォンと、スピーカとを含む。マイクロフォンは、ユーザーが発する音声を含む、携帯端末１の周囲の音声情報を取得する。スピーカは、外部に向けて報知音及び通信回線上の音声等を発する。
【００３８】
制御部１６は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む、いわゆるマイコンである。制御部１６は、記憶部１７に記憶されたプログラムに基づいて情報の処理及び送受信を行う。制御部１６は、有線で表示部１１、操作部１２、カメラ１３、音声入出力部１４、記憶部１７及び通信部１８に接続される。
【００３９】
制御部１６は、表示制御部１６１と、操作判別部１６２と、信号生成部１６３と、を備える。制御部１６が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。
【００４０】
表示制御部１６１は、表示部１１の表示内容を制御する。表示制御部１６１は、例えば携帯端末１の各種機能の実行及び設定に係る入力を受け付けるに際し、その機能に係る機能画像を表示部１１に表示させる。機能画像は、携帯端末１の各種機能に対応する画像であって、例えばアイコン、ボタン、ソフトキー、スライドバー、スライドスイッチ、チェックボックス、テキストボックスなどを含む。ユーザーは、表示部１１に表示された機能画像をタッチパネル（操作部１２）を介してタッチして選択することで、携帯端末１の各種機能の実行及び設定を行うことが可能になる。
【００４１】
操作判別部１６２は、タッチパネル（操作部１２）が出力した検出信号を受信し、その検出信号に基づきタッチパネルに対する操作内容を判別する。操作判別部１６２は、タッチパネルにおける位置情報に加えて、タップ、ドラッグ、フリックなどの操作を判別する。ドラッグ、フリックなどの移動を伴う操作である場合、その移動方向、移動量等についても判別する。
【００４２】
信号生成部１６３は、操作部１２に対する操作に基づき車両５の操作信号を生成する。生成された車両５の操作信号は、通信部１８を介して車両５に送信される。
【００４３】
記憶部１７は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１７は、例えばファームウェアとしてのプログラム、制御部１６が各種機能を実行するための様々なデータなどを記憶する。
【００４４】
通信部１８は、例えば無線によって様々な外部機器と接続される。携帯端末１は、通信部１８を介して、車両５の画像処理装置２で生成された表示用画像や、車両５のセンサ部５１で検出された各種情報（ステアリング舵角、シフト位置、走行速度、障害物情報等）を受信することが可能である。携帯端末１は、通信部１８を介して、操作部１２に対する操作に基づく車両５の操作信号を車両５に対して送信することが可能である。
【００４５】
＜３．画像処理装置の構成＞
画像処理装置２は、画像生成部２１、制御部２２及び記憶部２３を含んで構成される。
【００４６】
画像生成部２１は、撮影部４で撮影された撮影画像を処理して表示用画像を生成する。本実施形態では、画像生成部２１は、各種の画像処理が可能なハードウェア回路として構成される。本実施形態では、画像生成部２１は、車両５に搭載された車載カメラ４１〜４４によって撮影された撮影画像に基づき、仮想視点から見た車両５の周辺領域を示す合成画像を生成する。さらに、画像生成部２１は、当該合成画像に基づき、携帯端末１で表示するための表示用画像を生成する。合成画像を生成する手法の詳細については後述する。
【００４７】
制御部２２は、不図示のＣＰＵ、ＲＡＭ、及びＲＯＭを含む、いわゆるマイコンである。制御部２２は、記憶部２３に記憶されたプログラムに基づいて情報の処理及び送受信を行う。制御部２２は、有線または無線で携帯端末１、車両制御装置３、撮影部４及びセンサ部５１に接続される。
【００４８】
制御部２２は、画像取得部２２１と、画像制御部２２２と、を備える。制御部２２が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。
【００４９】
画像取得部２２１は、車載カメラ４１〜４４で撮影された撮影画像を取得する。本実施形態では、車載カメラ４１〜４４の数は４つであり、画像取得部２２１は、車載カメラ４１〜４４それぞれで撮影された撮影画像を取得する。
【００５０】
画像制御部２２２は、画像生成部２１によって実行される画像処理の制御を行う。例えば、画像制御部２２２は、画像生成部２１に対して、合成画像及び表示用画像を生成するために必要となる各種のパラメータ等の指示を行う。また、画像制御部２２２は、画像生成部２１によって生成された表示用画像を携帯端末１に対して出力する際の制御を行う。なお、この説明において、携帯端末１の表示部１１に表示される「合成画像の表示用画像」のことを、単に「合成画像」と呼ぶ場合がある。
【００５１】
記憶部２３は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部２３は、例えばファームウェアとしてのプログラム、画像生成部２１が合成画像及び表示用画像を生成するための各種のデータを記憶する。また、記憶部２３は、画像取得部２２１及び画像制御部２２２が処理を実行するために必要となる各種のデータを記憶する。
【００５２】
＜４．合成画像の生成＞
画像生成部２１が、仮想視点から見た車両５の周辺の様子を示す合成画像を生成する手法について説明する。図３は、車両５の周辺領域を示す合成画像ＣＰを生成する手法を説明するための図である。
【００５３】
フロントカメラ４１、右サイドカメラ４２、バックカメラ４３及び左サイドカメラ４４によって、車両５の前方、右側方、後方及び左側方それぞれを示す４つの撮影画像Ｐ４１〜Ｐ４４が同時に取得される。これら４つの撮影画像Ｐ４１〜Ｐ４４には、車両５の全周囲のデータが含まれる。画像生成部２１は、これら４つの撮影画像Ｐ４１〜Ｐ４４を、画像取得部２２１を介して取得する。
【００５４】
画像生成部２１は、これら４つの撮影画像Ｐ４１〜Ｐ４４に含まれるデータ（各画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球形状（お椀形状）をしており、その中心部（お椀の底部分）が車両５の位置として定められる。
【００５５】
投影面ＴＳでは、車両５の領域の外側の領域に、撮影画像のデータが投影される。撮影画像Ｐ４１〜Ｐ４４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められる。この対応関係を示すテーブルデータは、記憶部２３に記憶される。投影面ＴＳの各画素の値は、この対応関係と、撮影画像Ｐ４１〜Ｐ４４に含まれる各画素の値とに基づいて決定できる。
【００５６】
次に、画像生成部２１は、画像制御部２２２の制御により、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部２１は、任意の視点位置、且つ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。画像生成部２１は、投影面ＴＳのうち、設定された仮想視点ＶＰから見た視野内に含まれる領域に投影されたデータを画像として切り出す。これにより、画像生成部２１は、任意の仮想視点ＶＰから見た合成画像を生成する。
【００５７】
例えば、図３に示すように、視点位置を車両５の直上、視線方向を直下とした仮想視点ＶＰａを想定した場合、車両５及び車両５の周辺領域を俯瞰する合成画像（俯瞰画像）ＣＰａを生成することができる。
【００５８】
合成画像ＣＰａ中に示す車両５の像５ｐは、予めビットマップなどのデータとして用意され、記憶部２３に記憶される。合成画像の生成の際には、当該合成画像の仮想視点ＶＰの視点位置と視線方向とに応じた形状の車両５の像５ｐのデータが読み出されて、合成画像ＣＰａ中に含められる。
【００５９】
このようにして、画像生成部２１は、仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある合成画像ＣＰａを生成することができる。
【００６０】
また、車両５に搭載された複数の車載カメラ４１〜４４それぞれで撮影された複数の撮影画像に基づき生成された、車両５の周辺領域を示す合成画像ＣＰを用いて、車両５の周辺領域を確認することができる。これにより、ユーザーの位置から死角となる領域、例えばユーザーの位置から見て車両５によって遮蔽される車両５の反対側の領域なども確認することが可能である。
【実施例１】
【００６１】
＜５．携帯端末による車両の遠隔操作の実施例＞
＜５−１．実施例１＞
携帯端末１は、通信部１８を介して、車両５の画像処理装置２で生成された、仮想視点から見た車両５の周辺領域を示す合成画像を受信することが可能である。携帯端末１は、当該合成画像を表示部１１に表示することができる。図４は、実施例１の合成画像ＣＰ１が表示された携帯端末１の模式図（第１例）である。合成画像ＣＰ１は、例えば車両５の周辺領域を示す俯瞰画像である。
【００６２】
図５は、実施例１の携帯端末１に表示された合成画像ＣＰ１の模式図である。なお、図５は、合成画像ＣＰ１の全体のうち、車両５の像５ｐの近隣のみを部分的に描画した。図５に示すように、携帯端末１は、車両５を遠隔操作するにあたって、表示部１１に車両５の操作に係る機能画像であるアイコン等を表示する。すなわち、合成画像ＣＰ１には、操作部１２の像であるアイコン等が重畳される。操作部１２は、合成画像ＣＰ１の車両５の像５ｐの位置及び向きに応じて配置される。
【００６３】
詳細に言えば、表示部１１の画面には、合成画像ＣＰ１に重ねて、例えば前進に係るアイコン１２ａ、右斜め前方に係るアイコン１２ｂ、左斜め前方に係るアイコン１２ｃ、後退に係るアイコン１２ｄ、右斜め後方に係るアイコン１２ｅ、左斜め後方に係るアイコン１２ｆが表示される。これらの車両５の走行に係るアイコンは、例えば車両５の像５ｐの周囲の、各進行方向に対応する位置及び向きに応じて配置される。なお、本実施例では、車両５の進行方向を示すアイコンを、例えば三角形形状で構成したが、矢印形状など他の形状で構成しても良い。
【００６４】
また、車両５の停止に係る「ＳＴＯＰ」と描かれたアイコン１２ｇが、車両５の像５ｐに重ねて配置される。また、合成画像ＣＰ１の外部には、車両５の遠隔操作を終了するためのアイコン１２ｈが表示される。
【００６５】
ユーザーはその手指で、これらのアイコンを任意に操作することができる。操作判別部１６２は、タッチパネル（操作部１２）の検出信号に基づきアイコンに対応する操作内容を判別する。信号生成部１６３は、アイコンに対応する操作内容に基づき車両５の操作信号を生成する。当該操作信号は、通信部１８を介して車両５に送信される。
【００６６】
例えば、ユーザーが車両５の前進に係るアイコン１２ａを１回押す（タップする）と、車両５は予め定められた所定距離（例えば１０ｃｍ）だけ前進する。また例えば、ユーザーが車両５の左斜め前方に係るアイコン１２ｃを１回押すと、車両５は左斜め前方に進むように所定角度だけステアリング角を変更する。このとき、ステアリング角を変更する度に、車両５の像５ｐの向きを変え、どの方向に曲がって行くのかを把握し易くしても良い。続いて、前進に係るアイコン１２ａを１回押すと、車両５は予め定められた所定距離だけ左斜め前方に進む。なお、タッチパネル（操作部１２）対するドラッグ、フリックなどの移動を伴う操作に基づき、車両５の移動方向、走行距離等を制御することにしても良い。
【００６７】
走行する車両５を途中で止めたい場合、車両５の停止に係る「ＳＴＯＰ」と描かれたアイコン１２ｇを押すと、車両５は停止する。なお、ユーザーが前進に係るアイコン１２ａ、または後退に係るアイコン１２ｄを押している期間だけ車両５が走行し、ユーザーがそれらのアイコンから手指を離すと車両５が停止する構成であっても良い。
【００６８】
さらに、ユーザーは、操作部１２を介して、表示部１１に表示された合成画像に係る視点位置・視線方向・ズームの変更などといった操作を行うことができる。
【００６９】
遠隔操作中、車両５の周辺の人や動物、車両、その他の物体といった障害物は、車両５のセンサ部５１によって検出される。センサ部５１が障害物を検出した場合、その検出信号が車両制御装置３に送信され、車両制御装置３は自動的に車両５を停車させる。
【００７０】
また、図４に示すように、表示部１１は、その画面に合成画像を表示するにあたって、車両５の周辺領域を広範囲にわたって含む合成画像ＣＰ１を表示する。これにより、例えば携帯端末１を所持するユーザーの像Ｕｐの周辺領域も合成画像ＣＰ１に含まれる。すなわち、表示部１１は、携帯端末１自体の周辺領域を含む合成画像ＣＰ１を表示する。
【００７１】
合成画像ＣＰ１には、ユーザーの像Ｕｐを含む複数の人の像Ｐｐが含まれる。このため、携帯端末１は、ユーザーの像Ｕｐを他の人の像Ｐｐに対して強調表示させ、認識し易くする。例えば、表示部１１は、ユーザーの像Ｕｐを他の人の像Ｐｐと異なる色で表示する。このようにして、表示部１１は、携帯端末１自体の位置を合成画像ＣＰ１に表示する。なお、携帯端末１自体の位置、すなわちユーザーの像Ｕｐの位置は、例えば矢印等のマークを付して強調表示しても良い。
【００７２】
続いて、車両５を遠隔操作して走行させた場合、合成画像ＣＰ１は図６に示す状態となる。図６は、実施例１の合成画像ＣＰ１が表示された携帯端末１の模式図（第２例）である。車両５を走行させた場合、合成画像ＣＰ１に含まれる範囲の全体像は変化せず、車両５の像５ｐが移動する。すなわち、合成画像ＣＰ１では、携帯端末１を所持するユーザーが移動しなければユーザーの像Ｕｐの位置も変化せず、道路の模様を表す道路の像も変化しない。
【００７３】
また、表示部１１は、車両５及び携帯端末１への他の物体の接近が検出された場合に、車両５及び携帯端末１に接近した物体の周辺領域を拡大した合成画像を表示する。図７は、実施例１の合成画像ＣＰ２が表示された携帯端末の模式図（第３例）である。本実施例では、例えば、車両５がバックして駐車スペースに駐車する場合に、車両５への後方からの壁部Ｓｔ１の接近を検出したこととする。
【００７４】
車両５への壁部Ｓｔ１の接近を検出した場合、画像生成部２１は、車両５に接近した壁部Ｓｔ１の周辺領域を拡大した合成画像ＣＰ２を生成する。合成画像ＣＰ２は、例えば車両５に接近した壁部Ｓｔ１の周辺領域を示す俯瞰画像である。合成画像ＣＰ２には、壁部Ｓｔ１の像に加えて、壁部Ｓｔ１の近隣の車両５の像５ｐが含まれる。携帯端末１は、当該合成画像ＣＰ２を画像処理装置２から受信し、合成画像ＣＰ２を表示部１１に表示する。
【００７５】
図８は、実施例１の車両遠隔操作に係る携帯端末１における処理フローの例を示すフローチャートである。図９は、実施例１の車両遠隔操作に係る車両５における処理フローの例を示すフローチャートである。実施例１の携帯端末１による車両５の遠隔操作に係る処理について、図８及び図９の処理フローを参照しつつ説明する。
【００７６】
携帯端末１は、例えばユーザーによって操作され、遠隔操作開始の指示を操作部１２から受け付けることで、携帯端末１による車両５の遠隔操作に係る処理を開始する（図８の「開始」）。車両５の遠隔操作は、車両５が停止した状態で開始される。
【００７７】
次に、携帯端末１は、車両５との間で、通信確立処理、遠隔操作確立処理を実施する（ステップＳ１０１）。このとき、車両５においても遠隔操作に係る処理が開始され（図９の「開始」）、携帯端末１との間で、通信確立処理、遠隔操作確立処理が実施される（ステップＳ２０１）。これらのステップでは、例えば携帯端末１と車両５とのマッチング処理、制御許可処理等が実施される。制御許可処理では、例えばＩＤ、パスワード等の認証処理が実施される。
【００７８】
次に、携帯端末１は、操作部１２に対してユーザーの操作入力があったか否かを判別する（図８のステップＳ１０２）。ユーザーの操作としては、例えば車両５の走行等に係る遠隔操作、画像に係る視点位置・視線方向・ズームの変更、表示モードの選択などの操作を含む。
【００７９】
操作部１２への操作入力があった場合（図８のステップＳ１０２のＹｅｓ）、携帯端末１は、信号生成部１６３を用いて操作部１２に対する操作に基づく操作信号を生成し、当該操作信号を車両５に送信する（ステップＳ１０３）。これにより、ユーザーは車両５の遠隔操作を行うことができる。
【００８０】
車両５では、車両５の遠隔操作に係る操作信号を受信したか否かが判別される（図９のステップＳ２０２）。車両５が操作信号を受信し（ステップＳ２０２のＹｅｓ）、例えば当該操作信号が走行制御に係る信号である場合、車両制御装置３は当該操作信号に基づき車両５の走行を制御する（ステップＳ２０３）。
【００８１】
車両５が受信した操作信号が画像生成に係る信号である場合、画像処理装置２は当該操作信号に基づき画像を生成し、携帯端末１に対して送信する（ステップＳ２０４）。画像処理装置２では、車載カメラ４１〜４４それぞれから車両５の周辺の、複数の画像が取得される。画像生成部２１では、車両５の周辺の、複数の画像に基づき、仮想視点から見た車両５の周辺領域を示す合成画像ＣＰ１が生成される。
【００８２】
次に、車両５及び携帯端末１への外部からの他の物体の接近を検出したか否かが判別される（ステップＳ１０４）。車両５及び携帯端末１の周辺の人や動物、車両、その他の物体は、例えばセンサ部５１の超音波センサ、光センサ、レーダの検出信号、または車載カメラ４１〜４４の撮影画像による画像認識に基づき検出される。これらの他の物体については、例えば物体までの距離、物体の移動速度などといった情報を得ることができる。
【００８３】
詳細に言えば、車両５及び携帯端末１への外部からの他の物体の接近は、例えば物体が車両５及び携帯端末１から所定範囲内に進入したことことに基づき判定される。車両５及び携帯端末１からの所定範囲としては、例えば半径１０ｍ以内などといった範囲を任意に設定することができる。
【００８４】
また、車両５及び携帯端末１への外部からの他の物体の接近は、例えば車両５及び携帯端末１から物体までの距離と、物体の移動速度とに基づき判定される。物体までの距離と、物体の移動速度とに基づいて、車両５及び携帯端末１への、物体の予想到達時間が算出される。例えば、「物体までの距離」／「物体の移動速度」＝「予想到達時間」が１０秒以下となった場合、物体の、車両５及び携帯端末１への接近が判定される。予想到達時間は、任意の時間に設定することができる。
【００８５】
車両５及び携帯端末１への外部からの接近が検出されない場合（ステップＳ１０４のＮｏ）、携帯端末１は、通常の縮尺の合成画像ＣＰ１を画像処理装置２から受信し、合成画像ＣＰ１を表示部１１に表示する（ステップＳ１０５）。例えば、図４及び図６に示す合成画像ＣＰ１が通常の縮尺の合成画像（俯瞰画像）である。表示部１１は、携帯端末１自体の周辺領域を含む合成画像ＣＰ１を表示する。
【００８６】
一方、例えば車両５への外部からの接近を検出した場合（ステップＳ１０４のＹｅｓ）、携帯端末１は、車両５に接近した壁部Ｓｔ１の周辺領域を拡大した合成画像ＣＰ２を画像処理装置２から受信し、合成画像ＣＰ２を表示部１１に表示する（ステップＳ１０６）。例えば、図７に示す合成画像ＣＰ２が車両５に接近した壁部Ｓｔ１の周辺領域を拡大した合成画像（俯瞰画像）である。
【００８７】
次に、携帯端末１は、合成画像ＣＰ１或いは合成画像ＣＰ２に重ねて、表示部１１に車両５の操作に係る機能画像であるアイコン等（操作部１２）を表示する（ステップＳ１０７）。これにより、ユーザーはその手指で、遠隔操作用のアイコンを任意に操作することができる。
【００８８】
次に、携帯端末１は、車両５の遠隔操作ＯＦＦの操作がユーザーによって行われたか否かを判別する（ステップＳ１０８）。ユーザーは、車両５の遠隔操作を終了するためのアイコン１２ｈを操作して、車両５の遠隔操作を終了することができる。遠隔操作ＯＦＦの操作がない場合（ステップＳ１０８のＮｏ）、ステップＳ１０２に戻って、車両５及び携帯端末１への外部からの他の物体の接近が判別され、合成画像ＣＰ１、ＣＰ２のいずれかの受信及び表示が継続される。
【００８９】
遠隔操作ＯＦＦの操作がなされた場合（ステップＳ１０８のＹｅｓ）、携帯端末１における図８に示す処理フローが終了される。
【００９０】
車両５では、車両５の遠隔操作ＯＦＦの操作信号を受信したか否かが判別される（図９のステップＳ２０５）。遠隔操作ＯＦＦの操作信号を受信していない場合（ステップＳ２０５のＮｏ）、ステップＳ２０２に戻って、車両５の遠隔操作に係る操作信号の有無の判別が継続される。
【００９１】
遠隔操作ＯＦＦの操作信号を受信した場合（ステップＳ２０５のＹｅｓ）、車両５における図９に示す処理フローが終了される。
【００９２】
上記のように、本実施例の車両遠隔操作装置である携帯端末１は、表示部１１に、仮想視点から見た車両５の周辺領域を示す合成画像ＣＰ１を表示し、さらに携帯端末１自体の周辺領域を含む合成画像ＣＰ１を表示する。通信部１８は、車両５の操作信号を車両５に送信する。この構成によれば、車両５の周辺領域を、携帯端末１に表示される合成画像ＣＰ１で広範囲にわたって確認することができる。また、車両５及び車両５を遠隔操作するユーザーに接近する物体の存在を、合成画像ＣＰ１で迅速に把握することができる。すなわち、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。
【００９３】
そして、通信部１８は、車両５において生成された合成画像ＣＰ１を車両５から受信する。この構成によれば、携帯端末１における負荷を低減させることができる。したがって、携帯端末１を用いて迅速且つ安定した遠隔操作を行うことができ、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。
【００９４】
また、車両５の操作信号は、合成画像ＣＰ１の視点位置及び視線方向の操作に係る信号を含む。この構成によれば、ユーザーは、任意の様々な視点位置及び視線方向に関して合成画像ＣＰ１を見ることができる。したがって、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。
【００９５】
そして、携帯端末１の表示部１１は、携帯端末１自体の位置を合成画像ＣＰ１に表示する。この構成によれば、ユーザーは、携帯端末１の位置、すなわちユーザー自身の位置を携帯端末１に表示される合成画像ＣＰ１上において容易に確認することができる。これにより、ユーザーに接近する物体を、より一層迅速に把握することができる。したがって、遠隔操作の安全性を向上させることが可能である。
【００９６】
さらに、表示部１１は、車両５及び携帯端末１への他の物体の接近が検出された場合に、車両５及び携帯端末１に接近した物体の周辺領域を拡大した合成画像ＣＰ２を表示する。この構成によれば、ユーザーは、例えば車両５に接近する壁部Ｓｔ１やその他の物体の外観や挙動を、合成画像ＣＰ２で確認しながら、車両５の遠隔操作を行うことができる。したがって、遠隔操作の安全性を高めることができる。すなわち、車両５の遠隔操作における利便性を向上させることが可能である。
【００９７】
そして、車両５及び携帯端末１への他の物体の接近は、物体が車両５及び携帯端末１から所定範囲内に進入したことことに基づき判定される。この構成によれば、他の物体が、車両５及び携帯端末１に対して所望の距離まで接近した場合に、物体の周辺領域を拡大した合成画像ＣＰ２が表示される。したがって、合成画像ＣＰ２が必要以上に表示されることを防止することができ、車両５の遠隔操作における利便性を向上させることが可能である。
【００９８】
また、車両５及び携帯端末１への他の物体の接近は、車両５及び携帯端末１から物体までの距離と、物体の移動速度とに基づき判定される。この構成によれば、車両５及び携帯端末１への、物体の予想到達時間を任意に定めることができる。すなわち、車両５及び携帯端末１に他の物体が接近する場合の、車両５の遠隔操作に係る対処時間を予め確保することができる。したがって、車両５の遠隔操作における利便性を向上させることが可能である。
【実施例２】
【００９９】
＜５−２．実施例２＞
図１０は、実施例２の合成画像ＣＰ１及び補助画像ＡＰ１が表示された携帯端末１の模式図である。実施例２の携帯端末１は、表示部１１の画面に、合成画像ＣＰ１に重ねて、車両５の遠隔操作に係る複数のアイコンを操作部１２として表示する。
【０１００】
さらに、携帯端末１の表示部１１は、合成画像ＣＰ１の下方に、補助画像ＡＰ１を表示する。なお、表示部１１において、合成画像ＣＰ１と、補助画像ＡＰ１との上下の配置を入れ替えても良い。表示部１１は、車両５の傾斜状態に係る情報の画像１１２を、補助画像ＡＰ１として表示する。これに先立って、通信部１８は、車両５の傾斜状態に係る情報を車両５から受信する。
【０１０１】
車両５の傾斜状態に係る情報の画像１１２は、例えば車両５の左右傾斜画像１１２ａと、車両５の前後傾斜画像１１２ｂと、を含む。左右傾斜画像１１２ａは、実際の車両５における左右方向の傾斜状態を表す画像である。前後傾斜画像１１２ｂは、実際の車両５における前後方向の傾斜状態を表す画像である。
【０１０２】
本実施例の携帯端末１の構成によれば、実際の車両５自体の傾斜状態を、携帯端末１の表示部１１で確認することができる。これにより、例えば車両５がどの方向に向かって走行速度が高くなり易くなっている、或いは車両５がどの方向に向かって移動し難くなっているのかを容易に確認することができる。したがって、遠隔操作の安全性を高めることができる。すなわち、車両５の遠隔操作における利便性及び操作性を一層向上させることが可能である。
【実施例３】
【０１０３】
＜５−３．実施例３＞
図１１は、実施例３の合成画像ＣＰ１及び補助画像ＡＰ１が表示された携帯端末１の模式図である。実施例３の携帯端末１は、表示部１１の画面に、合成画像ＣＰ１に重ねて、車両５の遠隔操作に係る複数のアイコンを操作部１２として表示する。
【０１０４】
さらに、携帯端末１の表示部１１は、合成画像ＣＰ１に重ねて、車両５自体の像５ｐと、車両５のタイヤの像５ｈとを表示する。すなわち、表示部１１は、車両５のステアリング舵角に係る情報としてのタイヤの像５ｈを表示する。これに先立って、通信部１８は、車両５のステアリング舵角に係る情報を車両５から受信する。車両５のタイヤの像５ｈは、実際の車両５のステアリング舵角に基づき、車両５の前後方向に対して左右方向に傾斜して表示される。
【０１０５】
本実施例の携帯端末１の構成によれば、実際の車両５自体のステアリング舵角を、携帯端末１の表示部１１で確認することができる。これにより、車両５のタイヤがどの方向に、どの程度曲がっているのかを容易に確認することができる。したがって、遠隔操作の安全性を高めることができる。すなわち、車両５の遠隔操作における利便性及び操作性を一層向上させることが可能である。
【実施例４】
【０１０６】
＜５−４．実施例４＞
図１２は、実施例４の車載カメラが車両に配置される位置を例示する図である。実施例４において、車両５の車載カメラ（右サイドカメラ）４２は車両５の右側Ａピラー６３に設けられる。なお、車載カメラ（右サイドカメラ）４２を右側Ｂピラー６５に設けても良い。また、実施例４において、車両５の車載カメラ（左サイドカメラ）４４は車両５の左側Ａピラー６４に設けられる。なお、車載カメラ（左サイドカメラ）４４を左側Ｂピラー６６に設けても良い。
【０１０７】
さらに、車載カメラ４２、４４は、それぞれの画角が３６０度である。これにより、車載カメラ４２、４４は、車両５の上下方向における広範囲を撮影することができる。
【０１０８】
図１３は、実施例４の合成画像ＣＰ１及び補助画像ＡＰ２が表示された携帯端末１の模式図である。実施例４の携帯端末１は、表示部１１の画面に、合成画像ＣＰ１に重ねて、車両５の遠隔操作に係る複数のアイコンを操作部１２として表示する。
【０１０９】
さらに、携帯端末１の表示部１１は、合成画像ＣＰ１の下方に、補助画像ＡＰ２を表示する。なお、表示部１１において、合成画像ＣＰ１と、補助画像ＡＰ２との上下の配置を入れ替えても良い。表示部１１は、補助画像ＡＰ２として、例えば遠隔操作による車両５の駐車スペースＰｓ１への駐車時における車両５の上方を撮影した撮影画像を表示する。例示した駐車スペースＰｓ１は、例えば車両の駐車空間の上方に構造物Ｓｔ２が存在する。補助画像ＡＰ２には、構造物Ｓｔ２の像が含まれる。
【０１１０】
上記のように、本実施例の携帯端末１の表示部１１は、車両５の上方を撮影した撮影画像である補助画像ＡＰ２を表示する。この構成によれば、携帯端末１の表示部１１で、車両５と車両５の上方の他の物体との接触に係る状況を確認することができる。具体的には、例えば車両５の駐車空間の上方に構造物Ｓｔ２が存在する場合に、車両５と構造物Ｓｔ２とが接触するか否かを、携帯端末１の表示部１１で確認することができる。したがって、車両５の遠隔操作における利便性及び操作性を一層向上させることが可能である。
【実施例５】
【０１１１】
＜５−５．実施例５＞
図１４は、実施例５の車両遠隔操作システムＲＳの構成を示すブロック図である。実施例５の携帯端末１は、例えば制御部１６に画像生成部１６４を備える。画像生成部１６４は、車両５の撮影部４で撮影された撮影画像を処理して車両５の周辺領域を示す合成画像を生成する。本実施例では、画像生成部１６４は、例えば記憶部１７に記憶されたプログラムによってソフトウェア的に各種の画像処理を実現する。
【０１１２】
携帯端末１は、通信部１８を介して、画像生成部１６４による画像処理に必要な各種データを車両５から受信する。画像処理に必要なデータとしては、例えば車載カメラ４１〜４４によって撮影された撮影画像、車載カメラ４１〜４４の取り付け状態（取り付け位置、カメラ角度）、カメラ特性（撮影画像のサイズ、縮尺）、車両５の像５ｐ及び透過像５ｔのデータなどが含まれる。車両５から受信したこれらのデータは、例えば記憶部１７に記憶される。
【０１１３】
画像生成部１６４は、車両５から受信した車載カメラ４１〜４４によって撮影された撮影画像に基づき、仮想視点から見た車両５の周辺領域を示す合成画像を生成する。さらに、画像生成部１６４は、当該合成画像に基づき、表示部１１で表示するための表示用画像を生成する。画像生成部１６４は、合成画像として、俯瞰画像と、車内視点画像とを生成することが可能である。
【０１１４】
携帯端末１による車両５の遠隔操作を行うとき、携帯端末１は、車両５との間で通信確立処理、遠隔操作確立処理を実施した後、画像生成部１６４による画像処理に必要な各種データを車両５から受信する。これらのデータは、例えば記憶部１７に記憶される。その後、画像生成部１６４は、操作部１２へのユーザーの操作入力に基づき、逐次車載カメラ４１〜４４によって撮影された撮影画像を車両５から受信し、合成画像を生成する。
【０１１５】
＜６．その他＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、上記の複数の実施形態及び実施例は可能な範囲で組み合わせて実施しても良い。
【０１１６】
また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。
【符号の説明】
【０１１７】
１      携帯端末（車両遠隔操作装置）
２      画像処理装置
３      車両制御装置
４      撮影部
５      車両
５ｐ      像
１１      表示部
１２      操作部
１６      制御部
１７      記憶部
１８      通信部
２１      画像生成部
４１、４２、４３、４４      車載カメラ
５１      センサ部
１６３      信号生成部
ＡＰ１、ＡＰ２      補助画像
ＣＰ１、ＣＰ２      合成画像
ＲＳ      車両遠隔操作システム
Ｓｔ１      壁部（物体）
Ｓｔ２      構造物（物体）
【図１】
2019161549.tif 000003
【図２】
2019161549.tif 000004
【図３】
2019161549.tif 000005
【図４】
2019161549.tif 000006
【図５】
2019161549.tif 000007
【図６】
2019161549.tif 000008
【図７】
2019161549.tif 000009
【図８】
2019161549.tif 000010
【図９】
2019161549.tif 000011
【図１０】
2019161549.tif 000012
【図１１】
2019161549.tif 000013
【図１２】
2019161549.tif 000014
【図１３】
2019161549.tif 000015
【図１４】
2019161549.tif 000016