(57)【要約】自車両Ｖに搭載されたカメラ４０が撮像した撮像画像を取得する画像取得機能と、自車両Ｖの姿勢の変化量を算出する姿勢算出機能と、自車両Ｖの姿勢の変化量に応じて、撮像画像を投影するために予め定義された基準立体座標系Ｓを変形させた変形立体座標系Ｓ´を設定する座標系設定機能と、撮像画像のデータを変形立体座標系Ｓに投影し、仮想視点から自車両Ｖ及び自車両Ｖの周囲を見た映像を表示させる表示制御機能と、を実現する制御装置１０を備える表示装置１００を提供する。
2016075809.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載されたカメラが撮像した撮像画像を取得する画像取得手段と、
前記移動体の姿勢の変化量を算出する姿勢算出手段と、
前記移動体の姿勢の変化量に応じて、前記撮像画像を投影するために予め定義された基準立体座標系を変形させた変形立体座標系を設定する座標系設定手段と、
前記撮像画像のデータを前記変形立体座標系に投影し、仮想視点から移動体及び当該移動体の周囲を見た映像を生成し、生成した映像を表示させる表示制御手段と、
前記表示制御手段により生成された前記映像を表示する表示手段と、
を有する表示装置。
【請求項２】
前記移動体の周囲の地表の位置情報を取得する情報取得手段をさらに備え、
前記姿勢算出手段は、前記移動体に対する前記地表の位置の変化量を、前記移動体の姿勢の変化量として算出する請求項１に記載の表示装置。
【請求項３】
前記移動体の周囲の地表の位置情報を取得する情報取得手段をさらに備え、
前記姿勢算出手段は、前記地表に対する前記移動体の位置の変化量を、前記移動体の姿勢の変化量として算出する請求項１に記載の表示装置。
【請求項４】
前記移動体の周囲の地表の位置情報と、前記移動体の位置情報とを取得する情報取得手段をさらに備え、
前記姿勢算出手段は、前記移動体の位置情報と前記移動体の周囲の地表の位置情報とから算出された、前記移動体と前記地表との位置関係の変化量を、前記移動体の姿勢の変化量として算出する請求項１〜３の何れか一項に記載の表示装置。
【請求項５】
前記移動体の姿勢に関する姿勢情報を前記移動体から取得する情報取得手段をさらに備え、
前記姿勢算出手段は、前記姿勢情報を用いて、前記移動体の姿勢の変化量を算出する請求項１〜４の何れか一項に記載の表示装置。
【請求項６】
前記移動体の周囲の地形情報を取得する情報取得手段をさらに備え、
前記姿勢算出手段は、前記移動体の周囲の地形情報を用いて、前記移動体の姿勢を算出する請求項１〜５の何れか一項に記載の表示装置。
【請求項７】
前記座標系設定手段は、前記基準立体座標系に対する前記移動体の姿勢の変化量に応じて、前記基準立体座標系の座標軸を傾斜させた前記変形立体座標系を設定する請求項１〜６の何れか一項に記載の表示装置。
【請求項８】
前記座標系設定手段は、前記移動体の静止状態における当該移動体の基準点を含む基準面を定義し、前記移動体の作動状態における当該移動体の前記基準面の傾きに応じて、前記基準面に対応する前記基準立体座標系のＸＹ面を傾斜させた前記変形立体座標系を設定する請求項１〜６の何れか一項に記載の表示装置。
【請求項９】
前記移動体の進行方向の加速度を取得する情報取得手段をさらに備え、
前記表示制御手段は、前記移動体に搭載されたカメラの撮像画像の所定領域のデータを、前記変形立体座標系に投影する際に、前記移動体の進行方向成分の加速度を取得した場合には、前記カメラのうち、前記移動体の側方に搭載されたカメラの撮像画像の前記所定領域を、前記移動体の進行方向とは反対側の方向に拡張させる請求項１〜８の何れか一項に記載の表示装置。
【請求項１０】
移動体に用いられる表示装置が実行する表示方法であって、
前記表示装置は、画像取得手段と、姿勢算出手段と、座標系設定手段と、表示制御手段と、表示手段と、を有し、
前記画像取得手段は、移動体に搭載されたカメラが撮像した前記移動体の周囲の撮像画像を取得するステップを実行し、
前記姿勢算出手段は、前記移動体の姿勢の変化量を算出するステップを実行し、
前記座標系設定手段は、前記算出された移動体と当該移動体の周囲の地表との位置関係の変化量に応じて、前記撮像画像を投影するために予め定義された基準立体座標系を変形させた変形立体座標系を設定するステップを実行し、
前記表示制御手段は、前記撮像画像のデータを前記変形立体座標系に投影し、仮想視点から移動体及び当該移動体の周囲を見た立体映像を生成するステップを実行し、
前記表示手段は、生成された立体映像を表示させるステップと、を実行する表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の周囲の映像を立体的に表示する表示装置及び表示方法に関する。
【背景技術】
【０００２】
この種の装置に関し、基準曲面座標系に対する仮想視点の位置に応じて、予め定義された基準曲面座標系を変形させた変形立体座標系を設定し、変形した変形立体座標系に撮像画像を投影した映像を表示する移動体用表示装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１３８６６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像画像が投影される立体座標系と移動体との位置関係が固定されていると、移動体の姿勢が変化したときに生成される映像に歪みが発生するという問題がある。【０００５】
本発明が解決しようとする課題は、移動体の姿勢が変化したときに生成される映像に歪みが発生することを抑制することである。
【課題を解決するための手段】
【０００６】
本発明は、移動体の姿勢の変化量に応じて、予め定義された基準立体座標系を変形させた変形立体座標系を設定し、変形した変形立体座標系に撮像画像を投影した映像を表示することにより、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、移動体の姿勢の変化量に応じて変形させた変形立体座標系も撮像画像を投影させることにより、移動体と立体座標系の位置関係のずれ量を低減させるため、移動体の姿勢が変化した場合であっても、映像に歪みが発生することを抑制できる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る表示装置を備える表示システムの構成図である。
【図２】図２（Ａ）（Ｂ）は本実施形態のカメラの設置位置の一例を示す図である。
【図３Ａ】基準立体座標系の一例を示す図である。
【図３Ｂ】基準立体座標系の他の例を示す図である。
【図４Ａ】移動体の姿勢の算出手法を説明するための第１の図である。
【図４Ｂ】移動体の姿勢の算出手法を説明するための第２の図である。
【図４Ｃ】移動体の姿勢の算出手法を説明するための第３の図である。
【図５Ａ】図３Ａに示す基準立体座標系に対応する変形立体座標系の一例を示す図である。
【図５Ｂ】図３Ｂに示す基準立体座標系に対応する変形立体座標系の一例を示す図である。
【図６Ａ】歪みが生じない場合の映像の一例を示す図である。
【図６Ｂ】歪みが生じた場合の映像の一例を示す図である。
【図７Ａ】自車両の姿勢の変化量に応じて補正をした映像の一例を示す図である。
【図７Ｂ】自車両の姿勢の傾きの変化量に応じて基準立体座標系の底面を傾けて生成した映像の一例を示す図である。
【図７Ｃ】地表に対する自車両の姿勢の変化量に応じて、自車両のアイコン表示を傾けて生成した映像の一例を示す図である。
【図７Ｄ】自車両の姿勢の傾きの変化量に応じて、自車両のアイコン表示及び基準立体座標系を傾けて生成した映像の一例を示す図である。
【図８Ａ】変形立体座標系に投影する撮像画像の所定領域の一例を示す図である。
【図８Ｂ】変形立体座標系に投影する撮像画像の、拡張された所定領域の一例を示す図である。
【図９】本発明の実施形態に係る表示装置の制御手順を示すフローチャート図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る表示装置を、移動体に搭載された表示システム１に適用した場合を例にして説明する。本実施形態の表示システム１は、移動体及び移動体周囲の状況を把握するための映像を移動体の操作者が見るディスプレイに表示する。
【００１０】
図１は、本実施形態に係る表示装置１００を含む表示システム１のブロック構成図である。図１に示すように、本実施形態の表示システム１は、表示装置１００と、移動体装置２００とを備える。表示装置１００と移動体装置２００の各機器は、いずれも図示しない有線又は無線の通信装置を備え、互いに情報の授受を行う。
【００１１】
本実施形態の表示システム１が適用される移動体は、車両、ヘリコプター、海底探査機、飛行機、装甲車、列車、フォークリフトその他の移動機能を備えるものを含む。本実施形態では、移動体が車両である場合を例にして説明する。なお、本実施形態の移動体は、人間が搭乗可能な有人機であってもよいし、人間が搭乗しない無人機であってもよい。
【００１２】
なお、本実施形態の表示システム１は、移動体に搭載された装置として構成してもよいし、移動体に持ち込み可能な可搬装置として構成してもよい。また、本実施形態の表示システム１の一部の構成を移動体に搭載し、他の構成を移動体とは物理的に別の装置に搭載し、構成を分散させてもよい。この場合において、移動体と別の装置とは、情報の授受が可能なように構成される。
【００１３】
図１に示すように、本実施形態の移動体装置２００は、カメラ４０と、コントローラ５０と、センサ６０と、ナビゲーション装置７０と、ディスプレイ８０と、を備える。これらの各装置はＣＡＮ（Controller Area Network）その他の移動体に搭載されたＬＡＮによって接続され、相互に情報の授受を行うことができる。
【００１４】
本実施形態のカメラ４０は、車両（移動体の一例である。以下同じ）の所定位置に設けられている。車両に設けるカメラ４０の個数は、一つでもよいし、複数でもよい。車両に搭載されたカメラ４０は、車両及び／又は車両の周囲を撮像し、その撮像画像を表示装置１００に送出する。本実施形態における撮像画像は、車両の一部と車両の周囲の映像を含む。撮像画像のデータは、車両の周囲の地表との位置関係の算出処理、車両又は車両の周囲の映像の生成処理に用いられる。
【００１５】
図２（Ａ）（Ｂ）は、自車両Ｖに搭載されたカメラ４０の設置位置の一例を示す図である。同図に示す例では、自車両Ｖには、自車両Ｖの右側前方のカメラ４０Ｒ１と、右側中央のカメラ４０Ｒ２と、右側後方のカメラ４０Ｒ３と、自車両Ｖの左側前方のカメラ４０Ｌ１と、左側中央のカメラ４０Ｌ２と、左側後方のカメラ４０Ｌ３との６つのカメラ４０が設置されている。なお、カメラ４０の配置位置は特に限定されず、その撮像方向も任意に設定できる。各カメラ４０は後述する制御装置１０からの指令又は予め設定されたタイミングで撮像画像を表示装置１００へ送出する。
【００１６】
本実施形態において、カメラ４０が撮像した撮像画像は、映像の生成に用いられるほか、対象物の検出、及び対象物までの距離の計測に用いられる。本実施形態のカメラ４０の撮像画像は、車両の周囲の対象物の映像を含む。本実施形態における対象物は、移動体周囲の地表、移動体周囲の物体を含む。
【００１７】
本実施形態において「地表」は、地球の表面、地球の地殻（土地）の表面を含む概念を示す用語である。本実施形態の用語「地表」は、陸地の表面、海の表面、河又は川の表面、湖の表面、海底の表面、道路の表面、駐車場の表面、ポートの表面、又はこれらのうち二つ以上を含む面を含む。なお、移動体が倉庫や工場などの施設（建屋）の屋内に存在する場合において、本実施形態の用語「地表」は、その施設の床面、壁面を含む意味を有する。「表面」とは、撮像時にカメラ４０側に表出される面である。また、対象物は、自車両Ｖの周囲に存在する他車両、歩行者、道路構造物、駐車場、標識、施設、その他の物体を含む。
【００１８】
本実施形態のカメラ４０は、画像処理装置４０１を備える。画像処理装置４０１は、カメラ４０の撮像画像のデータからエッジ、色、形状、大きさなどの特徴を抽出し、抽出した特徴から撮像画像に含まれる対象物の属性を特定する。画像処理装置４０１は、各対象物の特徴を予め記憶し、パターンマッチング処理により撮像画像に含まれる対象物を特定する。撮像画像のデータを用いて対象物の存在を検出する手法は、特に限定されず、本願出願時に知られた手法を適宜に用いることができる。画像処理装置４０１は、カメラ４０の撮像画像のデータから抽出した特徴点の位置又は位置の経時的な変化から自車両から対象物までの距離を算出する。距離を算出する際に、画像処理装置４０１は、カメラ４０の設置位置、光軸方向、撮像特性などの撮像パラメータを用いる。撮像画像のデータを用いて対象物までの距離を計測する手法は、特に限定されず、本願出願時に知られた手法を適宜に用いることができる。
【００１９】
本実施形態では、自車両Ｖとの位置関係を算出するためのデータを取得する手段として、測距装置４１を備えてもよい。測距装置４１は、カメラ４０とともに使用してもよいし、カメラ４０に代えて使用してもよい。測距装置４１は、自車両Ｖの周囲に存在する対象物を検出し、対象物と自車両Ｖとの距離を計測する。つまり、測距装置４１は、自車両Ｖの周囲の対象物を検出する機能を備える。測距装置４１は、自車両Ｖから陸地の表面、海の表面、河又は川の表面、道路の表面までの距離を計測する。測距装置４１は、自車両Ｖから他車両、歩行者、道路構造物、駐車場、標識、施設、その他の物体までの距離を計測する。測距装置４１は、計測した対象物までの測距データを表示装置１００に送出する。
【００２０】
測距装置４１は、レーダー測距装置であってもよいし、超音波測距装置であってもよい。本願出願時に知られた測距手法を利用できる。自車両Ｖに測距装置４１を設置する測距装置４１の個数は特に限定されない。また、自車両Ｖに測距装置４１を設置する測距装置４１の設置位置も、特に限定されない。測距装置４１は、図２に示すカメラ４０の設置位置に対応する位置又はその近傍に設けてもよいし、自車両Ｖの前方又は後方に設けてもよい。移動体が、高さ方向に移動するヘリコプター、飛行機、海底探査機などである場合には、カメラ４０及び／又は測距装置４１を機体の底面側に設けてもよい。
【００２１】
本実施形態のコントローラ５０は、自車両Ｖを含む移動体の動作を制御する。コントローラ５０は、後述するセンサ６０の検出情報を含む、移動体の動作に関する各情報を集中的に管理する。
【００２２】
本実施形態のセンサ６０は、速度センサ６１と、前後加速度センサ６２と、横加速度センサ６３と、操舵角センサ６４と、姿勢センサ６５を含む。速度センサ６１は、自車両Ｖの移動速度を検出する。前後加速度センサ６２は、自車両Ｖの前後方向の加速度を検出する。横加速度センサ６３は、自車両Ｖの横方向（左右方向）の加速度を検出する。操舵角センサ６４は、自車両Ｖの左又は左方向への移動制御が開始されるトリガを検出する。自車両Ｖの速度の変化、加速度の変化、操舵角の変化、横加速度の変化は、自車両Ｖの姿勢に影響を与える。たとえば、自車両Ｖは、アクセルを踏んで加速操作を実行すると姿勢が変化する。反対にアクセルの踏み込み量を小さくしてエンジンのトルクを減少させても姿勢は変化する。表示装置１００は、速度センサ６１、前後加速度センサ６２、横加速度センサ６３、操舵角センサ６４の検出値から自車両Ｖの姿勢の変化を算出することができる。  
【００２３】
また、姿勢センサ６５は、自車両Ｖの重量、重心、ホイールベースなどの車体構造と、ピッチング角、ヨー角、サスペンションストローク量などの車両の姿勢に関する情報に基づいて、自車両Ｖの姿勢を検出する。自車両Ｖの姿勢は、予め定義した評価値によって表現できる。自車両Ｖの姿勢の評価手法、姿勢の変化量の計測手法は、特に限定されない。自車両Ｖの姿勢の変化量を求めるために、横滑り防止装置、アンチロック・ブレーキシステム、空転防止装置その他の車両挙動制御装置が備える姿勢検出装置が検出した、車両の姿勢に関する検出結果を利用してもよい。
【００２４】
本実施形態のナビゲーション装置７０は、ＧＰＳ（Global Positioning System）７１１を備える位置検出装置７１と、地図情報７２と、道路情報７３と、地形情報７４と、を有する。本実施形態の地図情報７２は、地点と、道路、構造物、施設などが対応づけられた情報である。ナビゲーション装置７０は、地図情報７２を参照し、位置検出装置７１により検出された自車両Ｖの現在位置から目的地までの経路を求め、自車両Ｖを誘導する機能を備える。
【００２５】
本実施形態の道路情報７３は、位置情報と道路の曲率、傾斜などの情報が対応づけられた情報である。本実施形態の道路情報７３は、道路の曲率、傾斜が変化する位置と、その道路の曲率、傾斜変化量とを対応づけた情報を含んでもよい。ナビゲーション装置７０は、道路情報７３を参照し、位置検出装置７１により検出された現在位置において、自車両Ｖが走行する道路の曲率、傾斜角度の情報を得る。自車両Ｖが走行する道路の曲率、傾斜角度の情報は、自車両Ｖの姿勢を求める情報として利用できる。
【００２６】
本実施形態の地形情報７４は、位置情報ごとに、その位置の高度、その位置を含む領域の傾斜角度が対応づけられた情報である。本実施形態の地形情報７４は、位置の高度、その位置を含む領域の傾斜角度が変化する位置と、その位置の高度の変化量、その位置を含む領域の傾斜角度の変化量とを対応づけた情報を含んでもよい。本実施形態のナビゲーション装置７０は、地形情報７４を参照し、位置検出装置７１により検出された現在位置の高度、傾斜角度を得る。現在、自車両Ｖが存在する地点の高度、傾斜角度の情報は、自車両Ｖの姿勢を求める情報として利用できる。現在、自車両Ｖが存在する地点の高度、傾斜角度の情報は、自車両Ｖの姿勢を求める情報として利用できる。
【００２７】
本実施形態のディスプレイ８０は、後述する表示装置１００が生成した、任意の仮想視点から自車両Ｖ及びその自車両Ｖの周囲を見た映像を表示する。なお、本実施形態では、ディスプレイ８０を移動体に搭載させた表示システム１を例にして説明するが、移動体に持ち込み可能な可搬の表示装置１００側にディスプレイ８０を設けてもよい。
【００２８】
次に、本実施形態の表示装置１００について説明する。本実施形態の表示装置１００は、制御装置１０を備える。
【００２９】
図１に示すように、本実施形態に係る表示装置１００の制御装置１０は、移動体及びその周囲の映像を表示させるプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、表示装置１００の機能を実現させる動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備える。制御装置１０は、画像処理を実行するGraphics Processing Unit（グラフィックス プロセッシング ユニット）を備えてもよい。
【００３０】
本実施形態に係る表示装置１００の制御装置１０は、画像取得機能と、姿勢算出機能と、座標系設定機能と、表示制御機能とを実現する。本実施形態の制御装置１０は、さらに情報取得機能を備える。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。
【００３１】
以下、制御装置１０が実現する各機能についてそれぞれ説明する。
【００３２】
まず、制御装置１０の画像取得機能について説明する。本実施形態の制御装置１０は、カメラ４０が撮像した撮像画像のデータを取得する。表示装置１００は、図示しない通信装置を用いて移動体装置２００から撮像画像のデータを取得する。
【００３３】
次に、制御装置１０の情報取得機能について説明する。制御装置１０は、図示しない通信装置を用いて移動体装置２００から各種の情報を取得する。
制御装置１０は、移動体としての自車両Ｖの周囲の地表の位置情報を取得する。経時的に取得した地表の位置情報は、後述する自車両Ｖの姿勢の変化量の算出に用いられる。制御装置１０は、カメラ４０の撮像画像から自車両Ｖから地表までの距離を、自車両Ｖに対する地表の位置情報として算出する。制御装置１０は、地表の位置情報の算出処理にカメラ４０の撮像パラメータを用いてもよい。制御装置１０は、画像処理装置４０１が算出した地表の位置情報を取得してもよい。
【００３４】
制御装置１０は、移動体である自車両Ｖの姿勢に関する姿勢情報を自車両Ｖから取得する。制御装置１０は、前後加速度センサ６２が検出した前後加速度、横加速度センサ６３が検出した横加速度、操舵角センサ６４が検出した操舵量、姿勢センサ６５が検出した自車両の姿勢の評価値を、姿勢情報として取得する。経時的に取得した姿勢情報は、後述する自車両Ｖの姿勢の変化量の算出に用いられる。
【００３５】
制御装置１０は、移動体である自車両Ｖの位置情報を取得する。自車両Ｖの位置情報は、所定の立体座標系における自車両Ｖの位置（三次元位置）を示す情報である。自車両Ｖの姿勢が変化した場合には、自車両Ｖの位置情報も変化する。経時的に取得した自車両Ｖの姿勢情報は、後述する自車両Ｖの姿勢の変化量の算出に用いられる。
【００３６】
本実施形態の制御装置１０は、自車両Ｖに対する地表の位置情報のみを取得してもよいし、自車両Ｖの位置情報のみを取得してもよい。また、制御装置１０は、地表の位置情報と自車両Ｖの位置情報との両方を取得してもよい。この場合において、制御装置１０は、所定の立体座標系における地表の位置情報と、同じ所定の立体座標系における自車両Ｖの位置情報とを取得することが好ましい。共通の座標における地表の位置情報と自車両Ｖの位置情報を用いることにより、地表と自車両Ｖとの位置関係を求める処理において、座標変換の処理を省くことができる。
【００３７】
本実施形態の制御装置１０は、自車両Ｖの周囲の地形情報を、移動体装置２００側から取得する。移動体装置２００のナビゲーション装置７０が備える地形情報７４は、各地点の位置とその位置の地形を記憶する。制御装置１０は、ＧＰＳ７１１が検出した自車両Ｖの位置を含む周囲の領域の地形を、地形情報７４から抽出させ、現在位置における地形情報を取得する。地形情報は、地表の傾斜度、傾斜の向きなどの情報を含む。地形情報は、重力を基準とする座標系を用いて定義される。
【００３８】
次に、制御装置１０の姿勢算出機能について説明する。制御装置１０は、移動体である自車両Ｖの姿勢を算出する。自車両Ｖの姿勢は、自車両Ｖに設定された一又は複数の基準点の位置として算出する。本実施形態の制御装置１０は、自車両Ｖの姿勢を、予め定義された基準立体座標系に対する、自車両Ｖの基準点の位置(座標)または基準面の位置（座標）として算出する。基準立体座標系は任意に定義できる。自車両Ｖの基準点は、自車両Ｖ（移動体）の重心などを位置に設定する。自車両Ｖの基準面は、自車両Ｖの静止状態において、その自車両Ｖの基準点を含む面に設定する。
【００３９】
本実施形態では、図２（Ｂ）に示すように、本実施形態では、地表ＧＲ１の上に載置された静止状態の自車両Ｖについて、地表ＧＲ１と平行な面であって、基準点Ｑを含む面を基準面Ｇ１として定義する。自車両Ｖの重心を基準点Ｑとしてもよい。地表ＧＲ１は、重力方向に直交する水平面であってもよい。
【００４０】
本実施形態の制御装置１０は、自車両Ｖの姿勢から、その変化量を算出する。変化量は、異なるタイミングにおける自車両Ｖの姿勢の変化量、つまり経時的な変化量であってもよいし、基準の姿勢（位置）に対する、現在の自車両Ｖの姿勢の位置（位置）の変化量であってもよい。自車両Ｖの姿勢の変化量は、自車両Ｖが存在する空間の高さ方向の成分の位置の変化量を含む。自車両Ｖが地上に存在する場合には、重力方向に沿う成分の位置の変化量を含む。
【００４１】
制御装置１０は、自車両Ｖと地表との相対的な位置関係の変化を、自車両Ｖの姿勢の変化量として算出する。
本実施形態では、自車両Ｖと地表との相対的な位置関係が変化するときに、表示する映像に含まれる地表の映像に歪みが発生するという発明者の知見に基づき、特に地表と自車両Ｖとの位置関係に着目する。
【００４２】
制御装置１０は、自車両Ｖの位置に対する地表の位置の変化量を自車両Ｖの姿勢の変化量として算出する。カメラ４０は、移動体である自車両Ｖに搭載されているので、カメラ４０の撮像画像のデータから地表の位置を経時的に算出すれば、自車両Ｖの位置に対する地表の位置の変化量を求めることができる。同様に、測距装置４１は、移動体である自車両Ｖに搭載されているので、測距装置４１の測距データから地表の位置を経時的に算出すれば、自車両Ｖの位置に対する地表の位置の変化量を求めることができる。本実施形態では、自車両Ｖの位置に対する地表の位置の変化量を、自車両Ｖの姿勢の変化量として扱うことができる。
【００４３】
また、制御装置１０は、地表の位置に対する自車両Ｖの位置の変化量を、自車両Ｖの姿勢の変化量として算出する。地表が静止物であるため、地表の位置に対する自車両Ｖの位置の変化、特に高さ方向（重力方向に沿う方向）の変化量を含む自車両Ｖの位置の変化は、自車両Ｖの姿勢の変化量として扱うことができる。地表の位置に対する自車両Ｖの位置の変化量を経時的に算出すれば、地表の位置に対する自車両Ｖの位置の変化量を求めることができる。本実施形態では、地表の位置に対する自車両Ｖの位置の変化量を、自車両Ｖの姿勢の変化量として扱う。
【００４４】
制御装置１０は、自車両Ｖの位置情報と、自車両Ｖの周囲の地表の位置情報とを用いて、自車両Ｖと地表の位置の変化量を、自車両Ｖの姿勢の変化量として算出する。
【００４５】
制御装置１０は、取得した姿勢情報を用いて自車両Ｖの姿勢の変化量として算出する。本実施形態の制御装置１０は、自車両Ｖの加減速などの挙動、自車両Ｖの構造などによって生じる姿勢の変化を考慮して、自車両Ｖの姿勢の変化量を算出できる。制御装置１０は、取得した姿勢情報を用いて、先述した撮像画像（又は測距データ）から求めた自車両Ｖの姿勢の変化量を補正してもよい。
【００４６】
制御装置１０は、自車両Ｖの現在位置を含む周囲の地形情報を取得し、その地形情報を用いて、自車両Ｖの姿勢を算出する。制御装置１０は、移動体が自車両Ｖや海底探査機である場合には、自車両Ｖ（海底探査機）が移動する路面（海底面）の傾斜方向及び傾斜角度から、自車両Ｖ（海底探査機）の姿勢を算出する。
【００４７】
次に、本実施形態の制御装置１０の座標系設定機能について説明する。
制御装置１０は、撮像画像を投影するために予め定義された基準立体座標系を記憶する。後に詳述するが、基準立体座標系は、カメラ４０の撮像画像の投影する際に用いられる。
【００４８】
基準立体座標系の態様は特に限定されない。図３Ａに示すように、基準立体座標系Ｓ１（Ｓ）を円筒形状としてもよいし、図３Ｂに示すように、基準立体座標系Ｓ２（Ｓ）を球形状としてもよい。基準立体座標系Ｓは、その内側に自車両Ｖ（移動体）が存在するときの周囲の映像を投影する座標である。このため、投影処理の基準となる仮想視点Ｅを、立体座標系Ｓの内側に設定する。仮想視点Ｅは、自車両Ｖ内からその周囲を見る場面を想定して設定されるので、自車両Ｖの位置に応じて定義される。つまり、仮想視点Ｅと自車両Ｖの基準面Ｇ１（図２（Ａ）を参照）は、基準立体座標系Ｓにおいて定義される。
【００４９】
自車両Ｖの基準面Ｇ１の高さ方向の位置は、立体座標系Ｓの上端ＰＮ又は下端ＰＳに対応させずに、上端ＰＮと下端ＰＳとの間に設定される。図３Ａ及び図３Ｂに示す例では、自車両Ｖの基準面Ｇ１を、Ｇ０の位置に設定する。これにより、基準立体座標系Ｓの正負の座標値を用いて、自車両Ｖの高さ方向の変化を表現できる。
【００５０】
本実施形態の制御装置１０は、移動体である自車両Ｖの姿勢の変化量に応じて、基準立体座標系Ｓを変形させた変形立体座標系Ｓ１´，Ｓ２´を設定する。基準立体座標系Ｓの変形は、自車両Ｖが存在する空間の高さ方向の成分の変形を含む。自車両Ｖが地上に存在する場合には、重力方向に沿う成分の変形を含む。
【００５１】
まず、制御装置１０は、自車両Ｖの姿勢の変化量を算出する。自車両Ｖの姿勢が変化する場面の一例を図４Ａに示す。図４Ａに示すように、自車両Ｖが傾斜する地表(道路)ＧＲを矢印Ｆ１方向に向かって走行するとき、自車両Ｖの姿勢は地表ＧＲの傾きの変化量に応じて変化する。本例では、位置ｘ１において、地表ＧＲの傾きがゼロ度からα度に変化する。図４Ａに示す場面において、自車両Ｖが地表(道路)ＧＲを走行するときの基準面Ｇ２は、自車両Ｖが静止状態で水平面に載置されているときの基準面Ｇ１に対して角度αの傾斜角を有する。このように、自車両Ｖが傾斜した地表（道路）ＧＲを走行するとき、自車両Ｖの姿勢は変化する。姿勢の変化量は、予め設定された基準面Ｇ１が変化した角度で表現してもよいし、座標値の変化量で表現してもよい。なお、図４Ａは、後述する図４Ｂに示すＩＶＡ−ＩＶＡに沿う断面から見た図である。
【００５２】
図４Ｂは、図４Ａに示すＩＶＢ−ＩＶＢ線から見た図である。本実施形態は、図４Ｂに示すように、自車両Ｖが山沿いの道を走行する場面においても適用できる。図４Ｂに示すように、自車両Ｖの進行方向右手は山側斜面であり、自車両Ｖの進行方向左手は谷側斜面である。この場面において、自車両の進行方向の右側の地表と左側の地表の傾きは異なる。このように、自車両Ｖが走行する地面を含む領域の地表の傾きが異なる場合にも、先述したように、映像に歪みが生じる。
【００５３】
制御装置１０は、自車両Ｖが走行する地表ＧＲの傾きを算出し、自車両Ｖに対する地表ＧＲの傾きから自車両Ｖの姿勢の変化量を算出してもよい。例えば、制御装置１０は、図４Ｃに示すように、自車両Ｖに搭載された測距装置４１が計測した、地表ＧＲの地点Ｐ１，Ｐ２，Ｐ３までの各距離ｄ１，ｄ２，ｄ３を取得し、この地点Ｐ１，Ｐ２，Ｐ３を含む地表ＧＲの傾きを算出できる。地点Ｐ１，Ｐ２，Ｐ３までの各距離ｄ１，ｄ２，ｄ３は自車両Ｖの重心位置などの基準点Ｑからの距離である。また、制御装置１０は、カメラ４０の撮像画像から合成された一つの地表ＧＲの画像を用いて、地表ＧＲの地点Ｐ１，Ｐ２，Ｐ３までの各距離ｄ１，ｄ２，ｄ３を算出し、地点Ｐ１，Ｐ２，Ｐ３を含む地表ＧＲの傾きを算出してもよい。
【００５４】
図４Ｂに示す場面のように、自車両Ｖが走行する領域を含む地表ＧＲの傾きが異なる、例えば右側と左側とで地表ＧＲの傾きが異なる場合には、各領域ごとにその傾きを算出してもよい。例えば、制御装置１０は、図４Ｃに示すように、自車両Ｖに搭載された測距装置４１が計測した、自車両Ｖの基準点Ｑから自車両の左側の地表ＧＲの地点Ｐ１Ｌ，Ｐ２Ｌ，Ｐ３Ｌまでの各距離ｄ１Ｌ，ｄ２Ｌ，ｄ３Ｌを取得し、この地点Ｐ１Ｌ，Ｐ２Ｌ，Ｐ３Ｌを含む地表ＧＲの傾きを算出できる。同様に、自車両Ｖの基準点Ｑから自車両の右側の地表ＧＲの地点Ｐ１Ｒ，Ｐ２Ｒ，Ｐ３Ｒまでの各距離ｄ１Ｒ，ｄ２Ｒ，ｄ３Ｒを取得し、この地点Ｐ１Ｒ，Ｐ２Ｒ，Ｐ３Ｒを含む地表ＧＲの傾きを算出できる。
【００５５】
このように、自車両Ｖの周囲の傾斜値が複数得られた場合には、いずれかの領域の地表ＧＲの自車両Ｖに対する傾斜値から、自車両Ｖの姿勢の変化量を算出してもよい。図４Ａ,図４Ｂに示す状況においては、進行方向左側の谷側の斜面の映像が正確に表示されることが乗員にとって有益であるという観点から、進行方向左側の谷側の斜面の映像に歪みが生じないように、進行方向左側の谷側の斜面の傾きから自車両Ｖの姿勢の変化量を算出してもよい。自車両Ｖの周囲の傾斜値が複数得られた場合には、これらの領域の地表ＧＲの傾斜の値から平均値などの代表値を、自車両Ｖに対する地表ＧＲの傾きとして求め、この地表ＧＲの傾きから自車両Ｖの姿勢の変化量を算出してもよい。
本実施形態では、表示装置１００を用いて自車両の周囲の映像を表示する態様を説明するが、表示装置１００は自動車以外の移動体の周囲の映像を表示することができる。
【００５６】
ちなみに、図４Ａ、図４Ｂに示す場面においては、整備された平坦な道路を走行する場面とは異なり、自車両の周囲の地表の傾きが部分ごと(領域ごと)に異なることがある。また、図４Ａ、図４Ｂに示す場面においては、整備された道路を走行する場面よりも、自車両の姿勢の変化量は大きく、姿勢の変化による映像の歪みも大きい。
車両とは異なり地表と接することなく移動可能な移動体においては、移動体の周囲の地表の傾きが部分ごと（領域ごと）に異なることがある。また、車両とは異なり地表と接することなく移動可能な移動体においては、図４Ａ，図４Ｂの場面における車両と同様に、姿勢の変化量は大きく、姿勢の変化による映像の歪みも大きい。本実施形態では車両に適用された表示装置１００について説明するが、車両以外の移動体についても適用が可能である。
【００５７】
制御装置１０は、先述した手法を適宜に選択し、自車両Ｖの姿勢の変化量を算出する。制御装置１０は、自車両Ｖに対する地表ＧＲの変化量から自車両Ｖの姿勢の変化量を算出してもよいし、地表ＧＲに対する自車両Ｖの位置の変化量から自車両Ｖの姿勢の変化量を算出してもよい。自車両Ｖの姿勢情報や、地表ＧＲの傾きを含む地形情報７４を用いて自車両Ｖの姿勢の変化量を算出してもよい。
【００５８】
次に、本実施形態の制御装置１０は、自車両Ｖの姿勢の変化量に応じて、撮像画像を投影するために予め定義された基準立体座標系Ｓ（Ｓ１，Ｓ２）を変形させて、変形立体座標系Ｓ´（Ｓ１´，Ｓ２´）を設定する。具体的に、制御装置１０は、予め設定した基準立体座標系Ｓ（Ｓ１，Ｓ２）に対する自車両Ｖの姿勢の変化量に応じて、基準立体座標系Ｓ（Ｓ１，Ｓ２）の座標軸を傾斜させた変形立体座標系をＳ´（Ｓ１´，Ｓ２´）を設定する。
【００５９】
本実施形態の制御装置１０は、自車両Ｖの静止状態における自車両Ｖの基準点Ｑを含む基準面Ｇ１を定義し、移動体の作動状態、つまり自車両Ｖの走行中におけるその自車両Ｖの基準面Ｇ１の傾きに応じて、この基準面Ｇ１に対応する基準立体座標系Ｓ（Ｓ１，Ｓ２）のＸＹ面Ｇ０を傾斜させ、変形した変形立体座標系Ｓ´（Ｓ１´，Ｓ２´）を得る。そして、制御装置１０は、変形した変形立体座標系Ｓ´（Ｓ１´，Ｓ２´）を、撮像画像が投影される投影面として設定する。基準立体座標系Ｓ（Ｓ１，Ｓ２）の変形の手法は特に限定されず、自車両Ｖの高さ位置の基準となる基準立体座標系Ｓ（Ｓ１，Ｓ２）のＸＹ面Ｇ０だけを傾斜させて変形してもよいし、基準立体座標系Ｓ（Ｓ１，Ｓ２）全体を傾斜させて変形してもよい。
【００６０】
図５Ａ，図５Ｂには、変形立体座標系Ｓ´の一例を示す。図５Ａ，図５Ｂに示す変形立体座標系Ｓ´は、自車両Ｖの基準面Ｇ１に基づいて算出された姿勢の変化量が角度α[°]であるとした場合に、基準立体座標系Ｓを変形角度α´[°]傾斜させた立体座標系である。変形角度α´[°]は、自車両Ｖの姿勢の変化量である角度α[°]に応じて決定される。具体的に、図５Ａに示す変形立体座標系Ｓ１´は、図３Ａに示す基準立体座標系Ｓ１の座標軸を、変形角度α´[°]傾斜させた座標系である。図５Ｂに示す変形立体座標系Ｓ２´は、図３Ｂに示す基準立体座標系Ｓ２の座標軸を変形角度α´[°]傾斜させた座標系である。図５Ｂに示すように、基準立体座標系Ｓ２におけるＺ方向に延びる座標軸ＥＸは、変形角度α´[°]傾斜し、座標軸ＥＸ´となる。
【００６１】
基準立体座標系Ｓ１，Ｓ２の変形量は、自車両Ｖの姿勢の変化量に応じて決定される。上述したように、自車両Ｖの姿勢の変化量と同等の変化量で基準立体座標系Ｓ１，Ｓ２を変形してもよい。もちろん、自車両Ｖの姿勢の変化量に係数を乗除した（又は値を加減した）変化量で基準立体座標系Ｓ１，Ｓ２を変形してもよい。例えば、自車両Ｖの姿勢の変化の状態をユーザに分かりやすく表示するという観点から、自車両Ｖの姿勢の変化量に正の係数を乗じた（又は正の値を加算した）変化量で基準立体座標系Ｓ１，Ｓ２を変形してもよい。自車両Ｖの姿勢が変化したことを強調した映像／自車両Ｖの姿勢の変化量を誇張した映像をユーザに提供できる。
【００６２】
このように、自車両Ｖの姿勢の変化量に応じて、撮像画像を投影する三次元の基準立体座標系Ｓを変形させることにより、生成された立体視の映像の歪みが発生することを抑制できる。ちなみに、自車両Ｖの姿勢が高さ方向（重力方向に沿う方向）に変化すると、自車両Ｖの基準面Ｇ１と地表ＧＲとの間に傾斜が生じやすい。撮像画像を投影する立体座標系と自車両Ｖとの高さ方向の位置が固定されている場合には、自車両Ｖの姿勢の変化により生じた地面の傾斜は、映像の歪みを発生させる。これに対し、本実施形態の制御装置１０は、自車両Ｖの姿勢の変化量に応じて基準立体座標系Ｓを傾斜させるので、自車両Ｖの姿勢の変化により生じた地面の傾斜の影響をキャンセルし、映像に歪みが発生することを抑制できる。
【００６３】
続いて、制御装置１０の表示制御機能について説明する。制御装置１０は、カメラ４０の撮像画像のデータを変形立体座標系Ｓ´に投影し、仮想視点Ｅから自車両Ｖ及び自車両Ｖの周囲を見た映像を生成し、表示させる。
【００６４】
制御装置１０は、カメラ４０から取得した撮像画像のデータを、基準立体座標系Ｓ又はこれを変形させた変形立体座標系Ｓ´に投影し、設定された仮想視点Ｅから自車両Ｖ及びこの自車両Ｖの周囲を見た映像を生成する。自車両Ｖの姿勢の変化量が所定量未満である場合には、自車両Ｖの姿勢が変化していないと判断する。そして、基準立体座標系Ｓに撮像画像を投影する。他方、自車両Ｖの姿勢の変化量が所定量以上である場合には、自車両Ｖの姿勢が変化したと判断する。そして、変形立体座標系Ｓ´を設定し、これに撮像画像を投影する。「所定量」は、自車両Ｖの姿勢に変化があったか否かを判断するための変化量の閾値として設定する。「所定量」は、自車両Ｖのカメラ４０の撮像特性、基準立体座標系Ｓの態様、自車両Ｖの構造などの影響を考慮して実験的に求めることが好ましい。
【００６５】
制御装置１０は、複数のカメラ４０から取得した撮像画像のデータを、基準立体座標系Ｓ又はこれを変形させた変形立体座標系Ｓ´に投影する。投影手法は、特に限定されない。制御装置１０は、出願時に知られたプロジェクションマッピング技術を用いて、投影処理を実行してもよい。撮像画像のデータのアドレスと、基準立体座標系Ｓ又は変形立体座標系Ｓ´のアドレス(座標値)との対応情報を用いて、投影処理を実行してもよい。
【００６６】
本実施形態の表示装置１００は、変形立体座標系Ｓ´に投影された画像を用いて、仮想視点から自車両Ｖ及びその自車両Ｖの周囲を見た映像を生成する。表示装置１００は、生成された映像を、ディスプレイ８０に表示する。
【００６７】
本実施形態の表示装置１００が表示させる映像には、予め準備された自車両Ｖを示すアイコン画像Ｖ´（図３Ａ，図３Ｂを参照）を重畳させて表示してもよい。車両のアイコン画像Ｖ´は、自車両Ｖの意匠に基づいて予め作成し、記憶させてもよい。このように、自車両Ｖのアイコン画像Ｖ´を映像に重畳させることにより、自車両Ｖの位置及び向きと周囲の映像との関係を分かりやすく示すことができる。
【００６８】
本実施形態の制御装置１０は、自車両Ｖ（移動体）の姿勢の変化量に応じて、生成された映像に重畳表示させる自車両のアイコン画像Ｖ´を変形させてもよい。例えば、自車両Ｖが傾いている場合には、その傾斜角に応じて、車両のアイコン画像Ｖ´を傾斜させてもよい。
【００６９】
本実施形態の制御装置１０は、自車両Ｖの姿勢の変化量に応じて変形した変形立体座標系を設定し、この変形立体座標系に撮像画像のデータを投影することにより、自車両Ｖの姿勢の変化によって映像に歪みが生じることを防止する。
【００７０】
図６Ａは、自車両Ｖの姿勢に変化がない場合に生成された映像の表示例を示す。映像はディスプレイ８０に表示される。自車両Ｖは、水平面に静止状態で載置され／又は水平面を水平移動している状態である。仮想視点から見た自車両Ｖ及び自車両Ｖの周囲の映像に歪みは生じていない。具体的に、自車両Ｖが走行する道路に平行に描かれたレーンマークＬ１、Ｌ２は、映像においても平行であり、地平線ＧＬとの位置関係も保たれる。
【００７１】
他方、６Ｂは、自車両Ｖの姿勢に変化がある場合に生成された映像の表示例を示す。自車両Ｖは、地表に対して高さ方向の変化が発生している状態である。仮想視点から見た自車両Ｖの周囲の映像に歪みが生じている。具体的に、自車両Ｖが走行する道路のレーンマークＬ１、Ｌ２は平行に描かれたものである。しかし、映像におけるレーンマークＬ１、Ｌ２は平行に表現されていない。これは、映像に歪みが生じているためである。レーンマークＬ１，Ｌ２と地平線ＧＬとの位置関係にも歪みが生じている。
【００７２】
本実施形態の制御装置１０は、自車両Ｖの姿勢に変化がある場合に、その自車両Ｖ（移動体）の変化量に応じて変形させた変形立体座標系Ｓ´に撮像画像を投影することにより、映像を補正する。
図７Ａ〜図７Ｄは、自車両Ｖの姿勢の変化によって生じた歪みを補正した映像をディスプレイ８０に表示したときの表示例を示す図である。ディスプレイ８０はｘｙ平面の二次元の映像を表示する。
【００７３】
図７Ａは、自車両Ｖに対する地表の位置の変化量、又は地表に対する自車両Ｖの位置の変化量に応じて基準立体座標系を変形し、変形処理により得た変形立体座標系に撮像画像のデータを投影して得た映像である。自車両Ｖの姿勢の変化量に応じて投影座標系を変形させるので、自車両Ｖの姿勢の変化量によって生じる歪みをキャンセルすることができる。この結果、図６Ａに示すような、自車両Ｖが水平面に載置された状態又は自車両Ｖが水平面を定速移動している状態と同様の映像を表示できる。
【００７４】
図７Ｂは、地表に対する自車両Ｖの傾き（姿勢）に応じて、円柱形状の基準立体座標系Ｓ１の底面側のｘｙ面を傾けて変形立体座標系Ｓ１を設定するとともに、自車両のアイコン画像Ｖ´を傾ける。基準立体座標系Ｓ１の底面側のｘｙ面とは、自車両Ｖの接地面側のｘｙ面である。図７Ｂに示す本実施形態の映像によれば、坂道を登る自車両Ｖの姿勢を分かりやすく表示できるとともに、自車両Ｖが走行している道路が坂道であることを分かりやすく表示できる。
【００７５】
図７Ｃは、地表に対する自車両Ｖの姿勢の変化を自車両のアイコン画像Ｖ´を用いて示す表示例である。同図に示す例では、地表に対する自車両Ｖの姿勢の変化量に応じた、自車両のサスペンションの伸縮を、自車両のアイコン画像Ｖ´の傾きにより表現する。自車両のアイコン画像Ｖ´は、そのアイコン画像Ｖ´の傾き等により自車両Ｖのサスペンションの伸縮の有無、及びその伸縮の量を示す。図７Ａに示す自車両のアイコン画像Ｖ´は変形立体座標系Ｓ１のｘ軸に対して平行となるように表示されているが、図７Ｃに示す自車両のアイコン画像Ｖ´は、変形立体座標系Ｓ１のｘ軸に対して傾きを有するように表示される。アイコン画像Ｖ´の傾斜角は、自車両Ｖの姿勢の変化量に応じて決定される。このように、自車両のアイコン画像Ｖ´の表示位置を変化させることにより、地表に対する自車両Ｖの姿勢の変化を表現できる。
【００７６】
図７Ｄは、地表に対する自車両Ｖの傾き（姿勢）に応じて、円柱形状の基準立体座標系Ｓ１の全部を傾けるとともに、自車両のアイコン画像Ｖ´を傾ける。図７Ｄに示す自車両のアイコン画像Ｖ´は、図７Ｃに示す自車両のアイコン画像Ｖ´と同様に、変形立体座標系Ｓ１のｘ軸に対して傾きを有するように表示される。図７Ｄに示す本実施形態の映像によれば、自車両Ｖの姿勢を表現する座標系自体を自車両Ｖの姿勢の変化量に応じて変形するので、坂道を登る自車両Ｖの姿勢を分かりやすく表示できるとともに、自車両Ｖが走行している道路が坂道であることを分かりやすく表示できる。
【００７７】
図７Ａ〜図７Ｄに示すように、本実施形態の映像では、自車両Ｖの姿勢の変化量によって生じる歪みが是正されるので、自車両Ｖの周囲の映像は歪みを含まない。具体的に、自車両Ｖが走行する道路に平行に描かれたレーンマークＬ１、Ｌ２を、映像においても平行に表示できる。
【００７８】
ここで、投影処理において実行可能な処理について、併せて説明する。
本実施形態の制御装置１０は、各カメラ４０の撮像画像から所定領域を切り出して、投影処理を実行する。図８Ａに示すように、各カメラ４０の撮像画像のうち重なり合う部分を除いた所定領域ＡＲ１，ＡＲ２，ＡＲ３，ＡＬ１，ＡＬ２，ＡＬ３を切り出す。図８Ａは、処理の概要を示すため、所定領域を単純な形状で示すが、制御装置１０は、基準立体座標系Ｓ又は変形立体座標系Ｓ´の形状、カメラ４０の撮像特性に応じて、切り出す所定領域ＡＲ１，ＡＲ２，ＡＲ３，ＡＬ１，ＡＬ２，ＡＬ３を設計する。
【００７９】
本実施形態の制御装置１０は、自車両Ｖの加速度に応じて、投影処理を実行する際に撮像画像から切り出す所定領域を変更する。制御装置１０は、自車両Ｖの前後加速度センサ６４が検出した自車両Ｖ進行方向の加速度を取得する。自車両Ｖの姿勢に所定量以上の変化があった場合に、制御装置１０は、カメラ４０の撮像画像の所定領域のデータを変形立体座標系Ｓ´に投影する。このとき、自車両Ｖの進行方向成分（前方向成分：図中矢印Ｆで示す）の正の加速度を取得した場合には、カメラ４０のうち、自車両Ｖの左右側方に搭載されたカメラ４０Ｒ２，４０Ｌ２の撮像画像の所定領域ＡＲ２、ＡＬ２を、自車両Ｖの進行方向とは反対側（後方向：図中矢印Ｆ´で示すの方向）にそれぞれ拡張させる。自車両Ｖの進行方向成分の加速度は、自車両Ｖのコントローラ５０から取得した制動操作の実行情報から予測してもよい。
【００８０】
図８Ｂは、図８Ａに示す自車両Ｖの左右側方に設定された所定領域ＡＲ２，ＡＬ２が、自車両Ｖの後方向（図中矢印Ｆ´で示す方向）に拡張された所定領域ＡＲ２´，ＡＬ２´を示す図である。図８Ｂに示す所定領域ＡＲ２´の後方向（図中矢印Ｆ´で示す方向）の長さＭＲ２´は、図８Ａに示す所定領域ＡＲ２の後方向（図中矢印Ｆ´で示す方向）の長さＭＲ２よりも長い。同様に、図８Ｂに示す所定領域ＡＬ２´の後方向（図中矢印Ｆ´で示す方向）の長さＭＬ２´は、図８Ａに示す所定領域ＡＬ２の後方向（図中矢印Ｆ´で示す方向）の長さＭＬ２よりも長い。
【００８１】
自車両Ｖの進行方向に正の加速度が検出した場合には、自車両Ｖは前のめりの姿勢となる。自車両が前のめりの姿勢となった場合には、自車両Ｖの側方のカメラ４０Ｒ２，４０Ｌ２の撮像画像のうち、投影処理に利用できる画像範囲が車両後方の方向に広がる。本実施形態の表示装置１００の制御装置１０は、自車両Ｖの進行方向に正の加速度が検出した場合に、自車両Ｖの左右側方に設けられたカメラ４０Ｒ２，４０Ｌ２の撮像領域から切り出す画像の領域（所定領域）を車両後方に拡張する。このように、変形立体座標系Ｓ´に投影する撮像画像を切り出す処理において、切り出す画像の領域(所定領域)を、自車両Ｖの姿勢に応じて変更することにより、歪みの少ない立体映像を提供できる。特に、加速時において、自車両Ｖの姿勢が前のめりとなった場合に、左右側方のカメラ４０Ｒ２，４０Ｌ２の撮像画像を後方側に拡張して切り出すので、歪みの少ない映像を生成できる。さらに、後方に拡張された所定領域の撮像画像を、自車両Ｖの姿勢に応じて変形された変形立体座標系´に投影するので、歪みの少ない映像を生成できる。
【００８２】
そして、制御装置１０は、生成した映像をディスプレイ８０に表示させる。ディスプレイ８０は、自車両Ｖに搭載し、移動体装置２００として構成してもよいし、表示装置１００側に設けてもよい。ディスプレイ８０は、二次元画像用のディスプレイでもよいし、三次元画像を映し出すディスプレイであってもよい。
【００８３】
図９のフローチャートに基づいて、本実施形態の制御装置１０の動作を説明する。
ステップＳ１０１において、制御装置１０は、カメラ４０により撮像された撮像画像を取得する。ステップＳ１０２において、制御装置１０は、自車両Ｖの姿勢を算出する。制御装置１０は、自車両Ｖの姿勢が変化したか否かを決定するため、自車両Ｖの姿勢の変化量が所定量以上であるか否かを判断する。自車両Ｖの姿勢の変化量は、タイミングＴ１における自車両Ｖの姿勢(位置情報)と、その後のタイミングＴ２（Ｔ１＋ｔｓ）における自車両Ｖの姿勢(位置情報)との差から求めてもよい。自車両Ｖの姿勢の変化量は、予め定めた自車両Ｖの基準姿勢（位置情報）と、姿勢算出時（現在）の自車両Ｖの姿勢（位置情報との差から求めてもよい。
【００８４】
ステップＳ１０３において、制御装置１０は、自車両Ｖの姿勢の変化量が所定量以上であるか否かを判断する。自車両Ｖの姿勢の変化量が所定量未満である場合には、ステップＳ１０８に進み、予め定義された基準立体座標系Ｓを投影用の座標として設定する。他方、自車両Ｖの姿勢の変化量が所定量未満である場合には、ステップＳ１０４に進み、予め定義された基準立体座標系Ｓを変形する。続くステップＳ１０５において、制御装置１０は、ステップＳ１０４で得られた変形立体座標系Ｓ´を投影用の座標系として設定する。
【００８５】
ステップＳ１０６において、制御装置１０は、設定された基準立体座標系Ｓ又は変形立体座標系Ｓ´に撮像画像を投影する処理を実行し、表示用の映像を生成する。
【００８６】
最後に、ステップＳ１０７において、制御装置１０は、生成した映像をディスプレイ８０に表示する。
【００８７】
本発明は以上のように構成され、以上のように作用するので、以下の効果を奏する。
【００８８】
[１]本実施形態の表示装置１００は、自車両Ｖの姿勢の変化量に応じて変形させた変形立体座標系Ｓ´に撮像画像を投影させる。これにより、自車両Ｖと立体座標系の位置関係のずれ量を低減させるため、自車両Ｖの姿勢が変化した場合であっても、生成された映像に歪みが発生することを抑制できる。
【００８９】
[２]本実施形態の表示装置１００は、自車両Ｖに対する地表の位置の変化量を、自車両Ｖの姿勢の変化量として算出するので、上記効果を奏する。
【００９０】
[３]本実施形態の表示装置１００は、地表に対する自車両Ｖの位置の変化量を、自車両Ｖの姿勢の変化量として算出するので、上記効果を奏する。
【００９１】
[４]本実施形態の表示装置１００は、自車両Ｖの位置情報と、自車両Ｖの周囲の地表の位置情報とから求められた、自車両Ｖと地表との位置関係の変化量を、自車両Ｖの姿勢の変化量として算出するので、上記効果を奏する。
【００９２】
[５]本実施形態の表示装置１００は、自車両Ｖの姿勢情報を用いて、自車両Ｖの姿勢の変化量を算出するので、上記効果を奏する。また、本実施形態の表示装置１００は、自車両Ｖの加減速などの挙動、自車両Ｖの構造などによって生じる姿勢の変化を考慮して、自車両Ｖの姿勢の変化量を算出できる。
【００９３】
[６]本実施形態の表示装置１００は、自車両Ｖの周囲の地形情報を用いて、自車両Ｖの姿勢を算出するので、上記効果を奏する。
【００９４】
[７]本実施形態の表示装置１００は、自車両Ｖの姿勢の変化量に応じて、基準立体座標系Ｓの座標軸を傾斜させた変形立体座標系を設定するので、自車両Ｖの姿勢の変化により生じた、地表に対する自車両Ｖの傾斜に起因する映像に歪みの発生を抑制できる。
【００９５】
[８]本実施形態の表示装置１００は、自車両Ｖの基準面の傾きに応じて、基準面に対応する基準立体座標系のＸＹ面を傾斜させた変形立体座標系を設定するので、自車両Ｖの姿勢の変化により生じた、地表に対する自車両Ｖの傾斜に起因する映像に歪みの発生を抑制できる。
【００９６】
[９]本実施形態の表示装置１００は、自車両Ｖの進行方向成分の加速度を取得した場合には、複数のカメラ４０のうち、自車両Ｖの側方に搭載されたカメラ４０の撮像画像の所定領域を、自車両Ｖの後方側に拡張させる。加速時に自車両Ｖの姿勢が前のめりとなった場合において、左右側方のカメラ４０Ｒ２，４０Ｌ２の撮像画像を後方側に拡張して切り出し、切り出した撮像画像を、自車両Ｖの姿勢に応じて変形された変形立体座標系´に投影するので、歪みの少ない映像を生成できる。
【００９７】
[１０]本実施形態の表示装置１００に本実施形態の表示方法を実行させることにより、上記効果を奏する。
【００９８】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００９９】
すなわち、本明細書では、本発明に係る表示装置の一態様としての表示装置１００を含む表示システム１を例にして説明するが、本発明はこれに限定されるものではない。
【０１００】
また、本明細書では、本発明に係る表示装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える表示装置１００を説明するが、これに限定されるものではない。
【０１０１】
また、本明細書では、本願発明に係る画像取得手段と、姿勢算出手段と、座標系設定手段と、表示制御手段とを有する表示装置の一態様として、画像取得機能と、姿勢算出機能と、座標系設定機能と、表示制御機能とを実行させる制御装置１０を備える表示装置１００を例にして説明するが、本発明はこれに限定されるものではない。
【０１０２】
また、本明細書では、本願発明に係る情報取得手段をさらに備える表示装置の一態様として、情報取得機能をさらに実行させる制御装置１０を備える表示装置１００を例にして説明するが、本発明はこれに限定されるものではない。
【符号の説明】
【０１０３】
１…表示システム
１００…表示装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２００…移動体装置
４０…カメラ
４１…測距装置
５０…コントローラ
６０…センサ
６１…速度センサ
６２…前後加速度センサ
６３…横加速度センサ
６４…操舵角センサ
６５…姿勢センサ
７０…ナビゲーション装置
７１…位置検出装置
７１１…ＧＰＳ
７２…地図情報
７３…道路情報
７４…地形情報
８０…ディスプレイ
【図１】
2016075809.tif 000003
【図２】
2016075809.tif 000004
【図３Ａ】
2016075809.tif 000005
【図３Ｂ】
2016075809.tif 000006
【図４Ａ】
2016075809.tif 000007
【図４Ｂ】
2016075809.tif 000008
【図４Ｃ】
2016075809.tif 000009
【図５Ａ】
2016075809.tif 000010
【図５Ｂ】
2016075809.tif 000011
【図６Ａ】
2016075809.tif 000012
【図６Ｂ】
2016075809.tif 000013
【図７Ａ】
2016075809.tif 000014
【図７Ｂ】
2016075809.tif 000015
【図７Ｃ】
2016075809.tif 000016
【図７Ｄ】
2016075809.tif 000017
【図８Ａ】
2016075809.tif 000018
【図８Ｂ】
2016075809.tif 000019
【図９】
2016075809.tif 000020
【国際調査報告】
2016075809.tif 000021
2016075809.tif 000022
2016075809.tif 000023
2016075809.tif 000024