(57)【要約】      （修正有）【課題】移動体の乗員に違和感を与えることを抑制する表示装置の制御方法及び表示装置を提供する。【解決手段】移動体の周囲を囲む立体形状に撮像画像を投影して、立体形状の外側に位置する仮想視点から移動体及び移動体の周囲を見た映像を生成し、カメラの撮像方向と仮想視点が対向する投影面の領域を特定し、投影面の領域内に対象物が存在するか否かを検出し、対象物が存在する場合に、カメラに対する対象物の向きを特定し、対象物の向きを反対向きに表示した映像を表示する。【選択図】図９
2018160835.tif 000002
【特許請求の範囲】
【請求項１】
表示制御機能を備えるコントローラを用いて、
移動体に搭載されたカメラが撮像した撮像画像を取得し、
前記移動体の周囲を囲む立体形状に前記撮像画像を投影して、前記立体形状の外側に位置する仮想視点から前記移動体及び当該移動体の周囲を見た映像を生成し、
前記カメラの撮像方向と前記仮想視点が対向する投影面の領域を、対象領域として特定し、
前記対象領域内に対象物が存在するか否かを検出し、
前記対象物が存在する場合に、前記カメラに対する前記対象物の向きを特定し、
前記対象物の向きを反対向きに表示した前記映像をディスプレイに表示する表示装置の制御方法。
【請求項２】
請求項１に記載の表示装置の制御方法であって、
前記対象物の向きが正面の場合に、前記対象物の背面を表示し、
前記対象物の向きが背面の場合に、前記対象物の正面を表示する表示装置の制御方法。
【請求項３】
請求項１又は２に記載の表示装置の制御方法であって、
前記対象物は、歩行者であり、
前記歩行者を示す第１のアイコンを用いて、前記カメラに対する前記歩行者の顔及び体の向きを反対向きに表示する表示装置の制御方法。
【請求項４】
請求項３に記載の表示装置の制御方法であって、
前記歩行者の後頭部を検出した場合に、顔が示された前記第１のアイコンで、前記歩行者の後頭部を重畳して表示する表示装置の制御方法。
【請求項５】
請求項３に記載の表示装置の制御方法であって、
前記歩行者の上半身の背面を検出した場合に、衣服の正面が示された前記第１のアイコンで、前記歩行者の上半身の背面を重畳して表示する表示装置の制御方法。
【請求項６】
請求項１又は２に記載の表示装置の制御方法であって、
前記対象物は、歩行者であり、
前記歩行者の顔及び頭髪を検出した場合に、前記歩行者の顔を、前記歩行者の頭髪の色で塗りつぶして表示する表示装置の制御方法。
【請求項７】
請求項１又は２に記載の表示装置の制御方法であって、
前記対象物は、歩行者であり、
前記歩行者の上半身の衣服を検出した場合に、前記歩行者の上半身を、前記歩行者の衣服の色で塗りつぶして表示する表示装置の制御方法。
【請求項８】
請求項１又は２に記載の表示装置の制御方法であって、
前記対象物は、二輪車及び当該二輪車の乗員であり、
前記二輪車の乗員を示す第２のアイコンを用いて、前記カメラに対する前記二輪車の乗員の顔及び体の向きを反対向きに表示する表示装置の制御方法。
【請求項９】
請求項１又は２に記載の表示装置の制御方法であって、
前記対象物は、車両であり、
前記車両を示す第３のアイコンを用いて、前記カメラに対する前記車両の向きを反対向きに表示する表示装置の制御方法。
【請求項１０】
請求項１〜９のいずれか一項に記載の表示装置の制御方法であって、
前記対象物の属性を検出し、
前記対象物の属性に応じて、前記対象物の表示を変更する表示装置の制御方法。
【請求項１１】
ディスプレイと、
コントローラを備える表示装置であって、
前記コントローラは、
移動体に搭載されたカメラが撮像した撮像画像を取得し、
前記移動体の周囲を囲む立体形状に前記撮像画像を投影して、前記立体形状の外側に位置する仮想視点から前記移動体及び当該移動体の周囲を見た映像を生成し、
前記カメラの撮像方向と前記仮想視点が対向する投影面の領域を、対象領域として特定し、
前記対象領域内に対象物が存在するか否かを検出し、
前記対象物が存在する場合に、前記カメラに対する前記対象物の向きを特定し、
前記対象物の向きを反対向きに表示した前記映像を前記ディスプレイに表示する表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置の制御方法及び表示装置に関するものである。
【背景技術】
【０００２】
一台もしくは複数台のカメラと、カメラからの入力画像を、所定の３次元空間の所定の空間モデルにマッピングする空間再構成手段と、空間再構成手段によってマッピングされた空間データを参照して、所定の３次元空間における任意の仮想視点から見た画像を作成する視点変換手段と、視点変換手段にて変換された画像を表示する表示手段とを備えた画像生成装置が知られている（特許文献１）。この画像生成装置は、移動体に搭載され、当該移動体を斜め下方に見下ろす位置に設定された仮想視点から移動体及び当該移動体の周囲を見た画像を表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０００−０７３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、仮想視点から見た画像のうち、仮想視点の方向とカメラの光軸方向とが対向する投影面の領域には、ミラー反転されたカメラの撮像画像が表示されてしまう。そのため、移動体の乗員がミラー反転された表示画像を見ると、移動体の乗員に違和感を与えてしまうという問題がある。
【０００５】
本発明は、移動体の乗員に違和感を与えることを抑制することである。
【課題を解決するための手段】
【０００６】
本発明は、移動体の周囲を囲む立体形状に撮像画像を投影して、立体形状の外側に位置する仮想視点から移動体及び移動体の周囲を見た映像を生成し、カメラの撮像方向と仮想視点が対向する投影面の領域を特定し、特定した投影面の領域内に対象物が存在するか否かを検出し、対象物が存在する場合に、カメラに対する対象物の向きを特定し、対象物の向きを反対向きに表示することで上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、移動体の乗員に違和感を与えることを抑制できる。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１実施形態に係る表示装置を備える表示システムの構成図である。
【図２】図２は、自車両に搭載されたカメラの設置位置の一例を示す図である。
【図３】図３は、パノラマ映像及び仮想視点を説明するための図である。
【図４】図４は、対象領域及び仮想視点映像を説明するための図である。
【図５】図５は、歩行者アイコン画像の一例を示す図である。
【図６】図６は、自車両の周囲の状況を把握する必要がある場面の一例を示す図である。
【図７】図７は、比較例に係る表示装置が表示する仮想視点映像の一例を示す図である。
【図８】図８は、第１実施形態に係る表示装置が表示する仮想視点映像の一例を示す図である。
【図９】図９は、第１実施形態に係る表示装置の制御手順を示すフローチャート図である。
【図１０】図１０は、他車両アイコン画像及び二輪車アイコン画像の一例を示す図である。
【図１１】図１１は、自車両の周囲の状況を把握する必要がある場面の他の例を示す図である。
【図１２】図１２は、第２実施形態に係る表示装置が表示する仮想視点映像の一例を示す図である。
【図１３】図１３は、第３実施形態に係る表示装置が表示する仮想視点映像の一例を示す図である。
【図１４Ａ】図１４Ａは、第４実施形態に係る表示装置が表示する仮想視点映像の一例を示す図である。
【図１４Ｂ】図１４Ｂは、第４実施形態に係る表示装置が表示する仮想視点映像の他の例を示す図である。
【図１５】図１５は、歩行者の表示を加工する表示加工処理の一例を示す図である。
【発明を実施するための形態】
【０００９】
≪第１実施形態≫
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る表示装置を、移動体に搭載された表示システム１に適用した場合を例にして説明する。本実施形態の表示システム１は、移動体及び移動体周囲の状況を把握するための映像を移動体の操作者が見るディスプレイに表示する。
【００１０】
図１は、本実施形態に係る表示装置１００を含む表示システム１のブロック構成図である。図１に示すように、本実施形態の表示システム１は、表示装置１００と、移動体装置２００とを備える。表示装置１００と移動体装置２００の各機器は、いずれも図示しない有線又は無線の通信装置を備え、互いに情報の授受を行う。
【００１１】
本実施形態の表示システム１が適用される移動体は、車両、海底探査機、装甲車、列車、フォークリフトその他の移動機能を備えるものを含む。本実施形態では、移動体が車両である場合を例にして説明する。なお、本実施形態の移動体は、人間が搭乗可能な有人機であってもよいし、人間が搭乗しない無人機であってもよい。
【００１２】
なお、本実施形態の表示システム１は、移動体に搭載された装置として構成してもよいし、移動体に持ち込み可能な可搬装置として構成してもよい。また、本実施形態の表示システム１の一部の構成を移動体に搭載し、他の構成を移動体とは物理的に別の装置に搭載し、構成を分散させてもよい。この場合において、移動体と別の装置とは、情報の授受が可能なように構成される。
【００１３】
図１に示すように、本実施形態の移動体装置２００は、カメラ２０と、コントローラ３０と、乗員操作装置４０と、ディスプレイ５０と、を備える。これらの各装置はＣＡＮ（Controller Area Network）その他の移動体に搭載されたＬＡＮによって接続され、相互に情報の授受を行うことができる。
【００１４】
本実施形態のカメラ２０は、車両（移動体の一例である。以下同じ）の所定位置に設けられている。カメラ２０の個数及びカメラ２０の設置位置は、特に限定されないが、車両の周囲を撮像するのに必要な個数及び設置位置であることが好ましい。車両に搭載されたカメラ２０は、車両及び／又は車両の周囲を撮像し、その撮像画像を表示装置１００に送出する。本実施形態における撮像画像は、車両の一部と車両の周囲の映像を含む。撮像画像のデータは、車両又は車両の周囲の映像の生成処理、生成した映像から対象物の検出処理に用いられる。
【００１５】
図２は、自車両Ｖに搭載されたカメラ２０の設置位置の一例を示す図である。図２（Ａ）は自車両Ｖの正面図であり、図２（Ｂ）は自車両Ｖの左側面図であり、図２（Ｃ）は自車両Ｖの上面図である。図２（Ａ）〜（Ｃ）に示すように、自車両Ｖには、自車両Ｖの前方に前方カメラ２１が設置され、自車両Ｖの後方に後方カメラ２２が設置されており、前方カメラ２１と後方カメラ２２は対向している。また、自車両Ｖには、自車両Ｖの左側に左方カメラ２３が設置され、自車両Ｖの右側に右方カメラ２４が設置されており、左方カメラ２３と右方カメラ２４は対向している。同図に示す例では、前方カメラ２１は自車両Ｖのバンパーに設置され、後方カメラ２２は自車両Ｖのリアウィンド周辺に設置され、左方カメラ２３は右側ドアミラーに設置され、右方カメラ２４は右側ドアミラーに設置されている。なお、カメラ２０の設置位置は特に限定されず、その設置位置を任意に変更できる。
【００１６】
また、カメラ２０は、広角レンズを有しており、車両の周辺の対象物を撮像する。カメラ２０には、例えば、ＣＣＤカメラやＣＭＯＳカメラが挙げられる。同図に示す例では、前方カメラ２１は自車両Ｖの前方を撮像し、後方カメラ２２は自車両Ｖの後方を撮像し、左方カメラ２３は自車両Ｖの左側を撮像し、右方カメラ２４は自車両Ｖの右側を撮像する。なお、カメラ２０が撮像する方向（カメラ２０の撮像方向）は特に限定されず、その撮像方向を任意に設定できる。各カメラ２０は後述する制御装置１０からの指令又は予め設定されたタイミングで撮像画像を表示装置１００へ送出する。
【００１７】
カメラ２０が撮像方向は、カメラ２０の光軸方向に応じて決まる。本実施形態では、カメラ２０の光軸方向とは、カメラ２０のレンズが向いている方向である。なお、光軸とは、レンズの中心を通り、レンズ面に垂直な直線である。カメラ２０の撮像方向は、後述する投影面のうち、仮想視点と対向する投影面の領域の特定に用いられる。
【００１８】
本実施形態において、カメラ２０が撮像した撮像画像は、映像の生成に用いられるほか、対象物の検出に用いられる。本実施形態のカメラ２０の撮像画像は、車両の周囲の対象物の映像を含む。本実施形態における対象物は、移動体周囲の地表、移動体周囲の物体を含む。
【００１９】
本実施形態では、地表は、地球の表面、地球の地殻（土地）の表面を含む概念を示す用語である。また、対象物は、自車両Ｖの周囲に存在する他車両、歩行者、道路構造物、駐車場、標識、施設、その他の物体を含む。
【００２０】
本実施形態のコントローラ３０は、自車両Ｖを含む移動体の動作を制御する。コントローラ３０は、移動体のカメラ２０が撮像した撮像画像データを集中的に管理する。
【００２１】
本実施形態の乗員操作装置４０は、表示装置１００が起動する表示スイッチであり、自車両Ｖの乗員により操作される。表示スイッチがオンすると、表示装置１００は起動し、ディスプレイ５０に映像を表示する。反対に、スイッチがオフすると、表示装置１００は停止し、ディスプレイ５０に映像を表示しない。また、乗員操作装置４０は、後述する撮像画像を投影するための立体形状を選択する構成や、仮想視点を設定する構成を備えていてもよい。
【００２２】
本実施形態のディスプレイ５０は、後述する表示装置１００が生成した、任意の仮想視点から自車両Ｖ及びその自車両Ｖの周囲を見た映像を表示する。なお、本実施形態では、ディスプレイ５０を移動体に搭載させた表示システム１を例にして説明するが、移動体に持ち込み可能な可搬の表示装置１００側にディスプレイ５０を設けてもよい。
【００２３】
次に、本実施形態の表示装置１００について説明する。本実施形態の表示装置１００は、制御装置１０を備える。
【００２４】
図１に示すように、本実施形態に係る表示装置１００の制御装置１０は、移動体及びその周囲の映像を表示させるプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、表示装置１００の機能を実現させる動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備える。なお、動作回路として、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いてもよい。また、制御装置１０は、画像処理を実行するＧＰＵ（Graphics Processing Unit）を備えてもよい。
【００２５】
本実施形態に係る表示装置１００の制御装置１０は、画像取得機能と、立体形状設定機能と、パノラマ映像生成機能と、仮想視点映像作成機能と、対象領域特定機能と、対象物検出機能と、対象物表示変更機能と、表示制御機能とを実現する。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。以降では、自車両Ｖの乗員が乗員操作装置４０を操作して、表示スイッチはオンしているものとして説明する。
【００２６】
以下、制御装置１０が実現する各機能についてそれぞれ説明する。
【００２７】
まず、制御装置１０の画像取得機能について説明する。本実施形態の制御装置１０は、カメラ２０が撮像した撮像画像のデータを取得する。表示装置１００は、図示しない通信装置を用いて移動体装置２００から撮像画像のデータを取得する。
【００２８】
次に、制御装置１０の立体形状設定機能について説明する。撮像画像を投影するために予め定義された立体形状（空間モデル）は、ＲＯＭ１２に記憶されている。制御装置１０は、ＲＯＭ１２から空間モデルを読み出すことで、空間モデルを設定する。なお、空間モデルを設定する方法は、ＲＯＭ１２から読み出す方法に限定されない。例えば、自車両Ｖの乗員が乗員操作装置４０を介して入力する方法でもよく、又は自車両Ｖの乗員が乗員操作装置４０を介して予め用意された複数種の空間モデルから選択する方法でもよい。後に詳述するが、空間モデルは、３次元空間を示す立体形状の空間であり、カメラ２０の撮像画像を投影する際に用いられる。
【００２９】
空間モデルの態様は特に限定されない。空間モデルの形状としては、例えば、直方体、立方体、多角柱、円筒形状、球形状、半球形状等が挙げられる。空間モデルは、その内側に自車両Ｖ（移動体）が存在するときの周囲の映像を投影するためのものである。このため、空間モデルのうちいずれの形状であっても、自車両Ｖは空間モデルの内側に存在する。言い換えると、空間モデルは自車両Ｖを取り囲んでいる。なお、空間モデルは、座標系（アドレス）で構成される。本実施形態では、円筒形状の空間モデルを設定した場合について説明する。
【００３０】
次に、図３を参照して、制御装置１０のパノラマ映像生成機能について説明する。図３は、パノラマ映像及び仮想視点を説明するための図である。
【００３１】
制御装置１０は、カメラ２０の撮像画像を円筒形状の空間モデルＰに投影する。投影手法は、特に限定されない。制御装置１０は、出願時に知られたプロジェクションマッピング技術を用いて、投影処理を実行してもよい。撮像画像のデータのアドレスと、空間モデルＰのアドレス（座標値）との対応情報を用いて、投影処理を実行してもよい。
【００３２】
制御装置１０は、カメラ２０の撮像画像のデータを空間モデルＰにマッピングすることで、自車両Ｖの周囲を示すパノラマ映像ＰＩを生成する。生成されたパノラマ映像ＰＩの形状は、空間モデルＰの形状に対応する。空間モデルＰが円筒形状の場合、制御装置１０は、空間モデルＰの側面Ｓにカメラ２０の撮像画像のデータをマッピングすることで、円筒形状のパノラマ映像ＰＩを生成する。なお、制御装置１０は、空間モデルＰの形状に応じて、カメラ２０の撮像画像のデータのマッピングする位置を適宜変更してパノラマ映像ＰＩを生成することができる。例えば、空間モデルＰが長方形の場合、制御装置１０は、長方形の側面にカメラ２０の撮像画像のデータをマッピングする。
【００３３】
また、制御装置１０は、空間モデルＰの内側に自車両Ｖを表示する。空間モデルＰでの自車両Ｖの表示方法は特に限定されない。自車両Ｖの表示として、予め撮像した自車両Ｖの撮像画像を、空間モデルＰに重畳させて表示してもよい。また、予め用意された自車両Ｖを示す車両アイコン画像Ｖ’を、空間モデルＰに重畳させて表示してもよい。車両アイコン画像Ｖ’は、自車両Ｖの意匠に基づいて予め作成し、ＲＯＭ１２に記憶させてもよい。このように、車両アイコン画像Ｖ’を映像に重畳させることにより、自車両Ｖの位置及び向きと周囲の映像との関係を分かりやすく示すことができる。本実施形態では、空間モデルＰでの自車両Ｖの表示として、車両アイコン画像Ｖ’を用いて説明する。
【００３４】
制御装置１０は、空間モデルＰの内側に車両アイコン画像Ｖ’の位置を決定するとともに、車両アイコン画像Ｖ’の向きを決定する。本実施形態では、制御装置１０は、円筒形状の底面Ｂを自車両Ｖが走行する路面として扱い、車両アイコン画像Ｖ’をこの底面Ｂの中央に表示する。なお、車両アイコン画像Ｖ’の位置は特に限定されず、車両アイコン画像Ｖ’の位置を任意の位置に設定又は設定後に変更してもよい。
【００３５】
制御装置１０は、空間モデルＰの形状に応じた自車両Ｖの周囲映像（パノラマ映像ＰＩ）を生成する。制御装置１０は、車両アイコン画像Ｖ’から見て前方側の円筒形状の側面に、前方カメラ２１の撮像画像データをマッピングし、車両アイコン画像Ｖ’から見て後方側の円筒形状の側面に、後方カメラ２２の撮像画像データをマッピングする。また、制御装置１０は、車両アイコン画像Ｖ’から見て左方側の円筒形状の側面に、左方カメラ２３の撮像画像データをマッピングし、車両アイコン画像Ｖ’から見て右方側の円筒形状の側面に、右方カメラ２４の撮像画像データをマッピングする。これにより、円筒形状の円弧状の側面Ｓに沿って、自車両Ｖの全周囲の映像を示すパノラマ映像ＰＩが生成される。図３では、円筒形状のパノラマ映像ＰＩを斜線で示す。
【００３６】
制御装置１０は、空間モデルＰに対して上述の処理をすると、処理後の空間モデルＰのデータをパノラマ映像情報として扱う。パノラマ映像情報には、空間モデルＰの態様、カメラ２０の撮像画像のデータを含むパノラマ映像、車両アイコン画像Ｖ’の位置及び向き等の情報が含まれる。
【００３７】
次に、図３、４を参照して、制御装置１０の仮想視点映像作成機能について説明する。制御装置１０は、パノラマ映像情報の投影処理の基準視点として、仮想視点ＶＰを設定する。具体的には、制御装置１０は、仮想視点の位置及び向きを決定する。
【００３８】
本実施形態の制御装置１０は、空間モデルＰの外側に仮想視点ＶＰの位置を設定する。図３では、仮想視点ＶＰを、空間モデルＰの外側であって、車両アイコン画像Ｖ’を斜め下に見下ろす位置に示す。本実施形態において、仮想視点ＶＰから見た自車両Ｖ及び自車両Ｖの周囲を示す映像は、自車両Ｖ及び自車両Ｖの周辺の状況を把握する場面で用いられる。例えば、自車両Ｖが交差点に進入しようとする際に、自車両Ｖの乗員は、自車両Ｖの左右の状況を同時に把握する必要がある。そのため、制御装置１０は、交差点周辺の対象物（他車両、歩行者、道路構造物、標識、施設、その他の物体）の状況を把握するために、例えば、車両アイコン画像Ｖ’を斜め下に見下ろす位置に、仮想視点ＶＰの位置を決定する。
【００３９】
そして、制御装置１０は、仮想視点の位置から車両アイコン画像Ｖ’を見た方向を、仮想視点ＶＰの方向として設定する。なお、制御装置１０は、仮想視点ＶＰの方向に代えて又は仮想視点ＶＰの方向とともに、仮想視点ＶＰの視点角度を算出してもよい。
【００４０】
本実施形態では、仮想視点ＶＰは、空間モデルＰとともに、予めＲＯＭ１２に記憶されている。なお、仮想視点ＶＰは予め設定されていることに限定されず、自車両Ｖの乗員が乗員操作装置４０を介して任意に仮想視点ＶＰ（位置、方向）を設定してもよい。また、仮想視点ＶＰを任意の位置に設定又は設定後に変更してもよい。
【００４１】
制御装置１０は、パノラマ映像情報、仮想視点の位置及び方向を参照して、仮想視点からパノラマ映像を見た投影映像を、仮想視点映像として作成する。例えば、制御装置１０は、パノラマ映像情報に含まれるカメラ２０の撮像画像のデータを座標変換して、合成することで、仮想視点ＶＰからの投影映像を作成する。
【００４２】
図４は、対象領域及び仮想視点映像を説明するための図である。図４では、図３に示す仮想視点ＶＰから見た仮想視点映像ＰＶを示している。なお、説明の便宜上、図４に仮想視点ＶＰを表示している。
【００４３】
本実施形態では、仮想視点ＶＰは空間モデルＰの外側に設置されるため、作成された仮想視点映像ＰＶには、撮像画像が投影された空間モデルＰの全容が表示される。空間モデルＰが円筒形状の場合、制御装置１０が作成した仮想視点映像ＰＶには、仮想視点ＶＰから見た円筒形状の空間モデルＰが表示されるとともに、円筒形状の側面Ｓに沿ってパノラマ映像ＰＩが表示される。また、この仮想視点映像ＰＶには、円筒形状の底面Ｂの中央に車両アイコン画像Ｖ’が表示される。
【００４４】
次に、制御装置１０の対象領域特定機能について説明する。制御装置１０は、作成した仮想視点映像ＰＶのうち、自車両Ｖのカメラ２０の撮像方向と仮想視点ＶＰが対向する投影面の領域を、対象領域ＴＡとして特定する。制御装置１０は、まず、作成した仮想視点映像ＰＶのうち、自車両Ｖのカメラ２０の撮像方向と仮想視点ＶＰが対向する投影面の領域が存在するか否かを判定する。
【００４５】
制御装置１０は、カメラ２０の撮像方向を規定する。制御装置１０は、予め自車両Ｖに対するカメラ２０（前方カメラ２１、後方カメラ２２、左方カメラ２３、右方カメラ２４）の光軸方向を光軸ベクトルとしてＲＯＭ１２に記憶させる。カメラ２０は視野角を有しており、制御装置１０は、この光軸ベクトルを、カメラ２０を中心として視野角の範囲全域まで拡張させることで、放射状に拡がるカメラ２０の撮像方向を規定する。本実施形態では、カメラ２０に４台のカメラが含まれ、制御装置１０は、それぞれのカメラに対応する、４つの撮像方向を規定する。制御装置１０は、規定したカメラ２０の撮像方向に関する情報を、車両アイコン画像Ｖ’に反映させて、車両アイコン画像Ｖ’のカメラ２０の撮像方向と自車両Ｖのカメラ２０の撮像方向を対応させる。これにより、仮想視点映像ＰＶにおいて、カメラ２０の撮像方向を扱うことができる。
【００４６】
制御装置１０は、設定した仮想視点の位置（アドレス）及び方向と、車両アイコン画像Ｖ’の座標（アドレス）を参照して、仮想視点から自車両Ｖへの向きを仮想視点ベクトルとして算出する。これにより、仮想視点映像ＰＶにおいて、仮想視点の方向を扱うことができる。
【００４７】
そして、本実施形態の制御装置１０は、仮想視点映像ＰＶにおいて、カメラ２０の撮像方向と仮想視点ベクトルとが対向するか否か判定する。例えば、制御装置１０は、仮想視点映像ＰＶに含まれるパノラマ映像ＰＩ上で、各カメラのそれぞれの撮像方向と仮想視点ベクトルが重畳する位置が一つ以上存在する場合、カメラ２０の撮像方向と仮想視点が対向する投影面の領域が存在する、と判定する。
【００４８】
制御装置１０は、カメラ２０の撮像方向と仮想視点が対向する投影面の領域が存在する、と判定すると、カメラ２０の撮像方向と仮想視点が対向する投影面の範囲を規定する。例えば、制御装置１０は、各カメラのそれぞれの撮像方向と仮想視点のベクトルが重畳したパノラマ映像ＰＩ上の位置を中心にして、パノラマ映像ＰＩに沿った所定の範囲を設定する。所定の範囲は、特に限定されず、制御装置１０は、所定の範囲を任意の範囲に設定することができる。制御装置１０は、投影されているカメラ２０の撮像画像の範囲と同じ範囲に設定してもよく、その他の任意の範囲に設定してもよい。図４では、対象領域ＴＡは斜線で示す。また、図４では、自車両Ｖの後方カメラ２２の撮像方向と仮想視点ＶＰが対向する投影面の領域として、対象領域ＴＡが示されている。なお、対象領域ＴＡを特定する方法は、上記方法に限定されず、その他の方法でもよい。
【００４９】
このように、本実施形態の制御装置１０は、カメラ２０の撮像方向のベクトルと仮想視点のベクトルとが重畳した位置を中心にした、カメラ２０の撮像方向と仮想視点とが対向する投影面の領域を、対象領域ＴＡとして特定する。
【００５０】
また、制御装置１０は、仮想視点映像ＰＶに含まれるパノラマ映像ＰＩ上で、各カメラのそれぞれの撮像方向と仮想視点ベクトルが重畳する位置が一つも存在しない場合、カメラ２０の撮像方向と仮想視点ＶＰが対向する投影面の領域は存在しない、と判定する。
【００５１】
次に、制御装置１０の対象物検出機能について説明する。制御装置１０は、特定した対象領域ＴＡ内に対象物が存在するか否かを検出する。制御装置１０は、まず、対象領域ＴＡに投影されるカメラ２０の撮像画像を、対象領域ＴＡの撮像画像として特定する。次に、制御装置１０は、対象領域ＴＡの撮像画像のデータからエッジ、色、形状、大きさなどの特徴を抽出し、抽出した特徴から対象領域ＴＡの撮像画像に含まれる対象物の属性を特定する。制御装置１０は、各対象物の特徴を予め記憶し、パターンマッチング処理により対象領域ＴＡの撮像画像に含まれる対象物を特定する。例えば、制御装置１０は、対象領域ＴＡの撮像画像に含まれる、自車両Ｖの周囲に存在する他車両、歩行者、二輪車、その他の物体を検出する。対象領域ＴＡの撮像画像のデータを用いて対象物の存在を検出する手法は、特に限定されず、本願出願時に知られた手法を適宜に用いることができる。本実施形態では、歩行者を例にした説明をするが、対象物は歩行者に限定されない。
【００５２】
制御装置１０が、対象領域ＴＡの撮像画像のデータから抽出する特徴点について説明する。制御装置１０は、歩行者を特定する際に、対象領域ＴＡの撮像画像のデータから、歩行者の全身のシルエット（上半身及び下半身）、歩行者の衣服（ネクタイ、ボタン、衣服の色等）歩行者の頭部、歩行者の顔（目、鼻、口、髪の毛の色等）を抽出する。なお、制御装置１０が抽出する特徴点は、上記の項目に限られず、制御装置１０は、歩行者の他の特徴点を抽出してもよい。
【００５３】
また、制御装置１０は、対象領域ＴＡの撮像画像のデータから対象物の特徴点を抽出すると、抽出した対象物の特徴点から、カメラ２０に対する対象物の向きを特定する。制御装置１０は、例えば、対象領域ＴＡの撮像画像のデータから歩行者を検出すると、対象領域ＴＡの撮像画像のデータから抽出した歩行者の顔に関する情報から、カメラ２０に対する歩行者の向きを特定することができる。
【００５４】
制御装置１０は、対象領域ＴＡの撮像画像のデータから、カメラ２０に対する対象物の向きを特定する。対象物の向きの表し方は特に限定されない。本実施形態の制御装置１０は、対象物の向きを、正面、背面、左側面、右側面の４つのカテゴリ表現で表す。制御装置１０は、各対象物の４つのカテゴリの代表例をサンプルとして予め記憶し、パターンマッチング処理にてカメラ２０に対する対象物の向きに対応するカテゴリを特定する。例えば、制御装置１０は、正面視する歩行者の顔の一部として目や鼻等を検出すると、パターンマッチング処理を実行し、カメラ２０に対する歩行者の向きを正面として特定する。なお、歩行者の特徴点のうちの一つの特徴点から歩行者の向きを特定することに限定されず、その他の歩行者の特徴点から、歩行者の向きを特定してもよい。また、これらの複数の特徴点を組み合わせて歩行者の向きを特定してもよい。
【００５５】
なお、制御装置１０は、カメラ２０に対する対象物の向きを、角度で規定してもよい。制御装置１０は、対象物の位置（アドレス）と仮想視点ＶＰの位置（アドレス）から、角度を算出できる。これにより、カメラ２０に対する対象物の向きを精度良く検出できる。
【００５６】
ここで、仮想視点映像ＰＶにおいて、対象領域ＴＡに表示されるカメラ２０の撮像画像の向きについて説明する。制御装置１０は、パノラマ映像生成機能により、円筒形状の空間モデルＰの側面Ｓに、カメラ２０の撮像画像を張り付け（マッピングし）、自車両Ｖの全周囲の映像を示すパノラマ映像ＰＩを生成する。それに対して、制御装置１０は、仮想視点映像作成機能により、円筒形状の外側に仮想視点ＶＰを設け（図３参照）、この仮想視点ＶＰからパノラマ映像ＰＩ及び車両アイコン画像Ｖ’を見た仮想視点映像ＰＶ（図４参照）を作成する。車両アイコン画像Ｖ’は円筒形状の底面の中央に位置するため、カメラ２０の撮像方向は、空間モデルＰの内側から空間モデルＰの外側への方向となる。一方、仮想視点ＶＰは空間モデルＰの外側に位置するため、仮想視点ＶＰの方向は、空間モデルＰの外側から空間モデルＰの内側への方向となる。例えば、空間モデルＰが円筒形状の場合、カメラ２０の撮像方向は、円筒形状の中央から円筒形状の側面に対して放射状に拡がる方向となる。一方、仮想視点の方向は、円筒形状の外側から空間モデルＰを俯瞰する方向となる。
【００５７】
制御装置１０は、仮想視点の向きとカメラ２０の撮像方向が互いに反対方向であっても、仮想視点ＶＰからパノラマ映像ＰＩを見た仮想視点映像ＰＶを作成する。そのため、仮想視点映像ＰＶでは、カメラ２０の撮像方向と仮想視点ＶＰの向きが対向する投影面の領域（対象領域ＴＡ）に、ミラー反転されたカメラ２０の撮像画像が表示される。
【００５８】
このように、仮想視点映像ＰＶでは、対象領域ＴＡにミラー反転されたカメラ２０の撮像画像が表示されるため、対象領域ＴＡ内に存在する対象物は、実際の対象物の向きに対して反対向きに表示される。そのため、自車両Ｖの乗員がミラー反転されたカメラ２０の撮像画像内の対象物を見ると、自車両Ｖの乗員に違和感を与える恐れがある。本実施形態の制御装置１０は、対象領域特定機能と、対象物検出機能と、対象物表示変更機能とを実現することで、ミラー反転されたカメラ２０の撮像画像内の対象物の向きを、実際の対象物の向きと同じ方向にした仮想視点映像ＰＶを表示する。これにより、自車両Ｖの乗員に違和感を与えることを抑制する。
【００５９】
制御装置１０は、上記のように、対象領域ＴＡ内に対象物が存在するか否かを検出し、対象物の存在を検出すると、対象物の属性と、カメラ２０に対する対象物の向き、及び対象物の特徴点を、ＲＡＭ１３に一時的に格納する。
【００６０】
次に、制御装置１０の対象物表示変更機能について説明する。制御装置１０は、カメラ２０に対する対象物の向きを、自車両Ｖを基準として反対向きに表示する。制御装置１０は、ＲＡＭ１３からカメラ２０に対する対象物の向きの情報を読み出して、対象物の向きを反対向きに表示する。
【００６１】
制御装置１０は、カメラ２０に対する対象物の向きが正面の場合、対象物の向きを背面に変更して表示する。また、制御装置１０は、カメラ２０に対する対象物の向きを背面と特定した場合、対象物の向きを正面に変更して表示する。さらに、制御装置１０は、カメラ２０に対する対象物の向きを左側面として特定した場合には、対象物の向きを右側面に変更し、カメラ２０に対する対象物の向きを右側面として特定した場合には、対象物の向きを左側面にそれぞれ変更して表示する。
【００６２】
図５を参照して、対象物の表示変更の方法について説明する。図５は、歩行者アイコン画像の一例を示す図である。図５（Ａ）は、歩行者の正面を示す歩行者アイコン画像の一例であり、図５（Ｂ）は、歩行者の背面を示す歩行者アイコン画像の一例である。
【００６３】
本実施形態の制御装置１０は、対象領域ＴＡ内に対象物が存在すると、対象物の属性及び向きに対応したアイコン画像を用いて、対象物を表示する。各対象物に対応するアイコン画像は、予めＲＯＭ１２に記憶されている。例えば、ＲＯＭ１２には、歩行者の正面、背面、左側面、及び右側面のそれぞれに対応した複数の歩行者アイコン画像が記憶されている。なお、本実施形態では、アイコン画像を用いて歩行者の表示を変更する方法について説明するがこれに限定されない。
【００６４】
制御装置１０は、撮像画像内の対象物の表示を、アイコン画像で重畳表示することで、対象物の表示を変更する。制御装置１０が用いるアイコン画像は、カメラ２０に対する対象物の向きと反対向きのアイコン画像である。具体的に、対象物が歩行者の場合、制御装置１０は、カメラ２０に対する歩行者の向きを正面と特定すると、ＲＯＭ１２から、歩行者の背面を示す歩行者アイコン画像（図５（Ｂ）参照）を読み出す。そして、制御装置１０は、歩行者の正面が表示されている位置（画素）に、歩行者の背面を示す歩行者アイコン画像を重畳して表示する。また、制御装置１０は、カメラ２０に対する歩行者の向きを背面と特定すると、ＲＯＭ１２から、歩行者の正面を示す歩行者アイコン画像（図５（Ａ）参照）を読み出す。そして、制御装置１０は、歩行者の背面が表示されている位置（画素）に、歩行者の正面を示す歩行者アイコン画像を重畳して表示する。
【００６５】
なお、本実施形態では、歩行者の向きが正面又は背面と特定した場合を例示するが、歩行者の向きが左側面又は右側面と特定した場合でも、制御装置１０は、上記の処理を実行してもよい。すなわち、制御装置１０は、歩行者の向きを左側面と特定すると、ＲＯＭ１２から、歩行者の右側面を示す歩行者アイコン画像を読み出す。そして、制御装置１０は、歩行者の左側面が表示されている位置に、歩行者の右側を示す歩行者アイコン画像を重畳して表示してもよい。また、制御装置１０は、歩行者の向きを右側面と特定すると、ＲＯＭ１２から、歩行者の左側面を示す歩行者アイコン画像を読み出す。そして、制御装置１０は、歩行者の右側面が表示されている位置に、歩行者の左側面を示す歩行者アイコン画像を重畳して表示してもよい。
【００６６】
歩行者アイコン画像は、少なくとも顔、手足、上半身、及び下半身それぞれが区別されて表示される。また、歩行者アイコン画像には、顔及び体が判別でき、かつ、正面と背面が区別できるアイコン画像を用いるのが好ましい。図５（Ａ）の例のように、歩行者アイコン画像の顔には、目、鼻、口等を表示してもよいし、歩行者アイコン画像の上半身には、衣服の合わせ部分、ネクタイ、又はボタンなどを表示してもよい。また、図５（Ｂ）の例のように、歩行者アイコン画像の後頭部には、髪の毛を表示してもよいし、歩行者アイコン画像の下半身には、臀部を表示してもよい。このような歩行者の正面及び背面の特徴点があらわされた歩行者アイコン画像を用いて表示することで、自車両Ｖの乗員に、仮想視点映像ＰＶを通して歩行者の向きを的確に伝えることができる。
【００６７】
このように、制御装置１０は、ＲＯＭ１２から読み出した歩行者アイコン画像を、撮像画像に重畳させることで、カメラ２０に対する歩行者の向きを反対向きに表示する。これにより、対象領域ＴＡにおいて、仮想視点ＶＰから見た歩行者の向きとカメラ２０に対する実際の歩行者の向きを同一方向とすることができ、仮想視点映像ＰＶを見る自車両Ｖの乗員に違和感を与えることを抑制することができる。
【００６８】
なお、制御装置１０の対象物表示変更機能では、対象領域ＴＡに存在する対象物に対して、表示変更の処理を行うが、対象領域ＴＡ以外の領域に存在する対象物に対しても表示変更の処理を行ってもよい。例えば、制御装置１０は、対象領域ＴＡ以外の領域の撮像画像から、対象物を検出するとともに、カメラ２０に対する対象物の向きを特定する。そして、制御装置１０は、検出した対象物の向きに対応したアイコン画像をＲＯＭ１２から読み出して表示させてもよい。この場合、仮想視点映像ＰＶ内に存在する対象物はアイコン画像で統一して表示されるため、仮想視点映像ＰＶを見る自車両Ｖの乗員は対象物の存在を認識しやすくなる。なお、全ての対象物をアイコン画像表示することに限定されず、対象領域ＴＡ以外の対象物については撮像画像をそのまま表示してもよい。
【００６９】
続いて、制御装置１０の表示制御機能について説明する。制御装置１０は、対象領域ＴＡの有無の特定結果又は対象物の存否の検出結果に基づいて、異なる仮想視点映像ＰＶをディスプレイ５０に表示させる。制御装置１０は、対象領域ＴＡを特定しない場合に、仮想視点映像ＰＶにはミラー反転された撮像画像が存在しないと判断し、仮想視点映像作成機能により生成された仮想視点映像ＰＶをディスプレイ５０に表示させる。同様に、制御装置１０は、対象領域ＴＡに対象物を検出しない場合には、仮想視点映像作成機能により生成された仮想視点映像ＰＶをディスプレイ５０に表示させる。この場合には、制御装置１０は、ミラー反転された撮像画像に対象物が存在しないため、自車両Ｖの乗員に違和感を与えるリスクは低いと判断する。
【００７０】
反対に、制御装置１０は、仮想視点映像ＰＶに対象領域ＴＡが特定されて、かつ、対象領域ＴＡに対象物が存在することを検出すると、実際の歩行者の向きに対応する歩行者アイコン画像を撮像画像に重畳させて、仮想視点映像ＰＶを作成する。制御装置１０は、作成した仮想視点映像ＰＶを、ディスプレイ５０に表示させる。ディスプレイ５０は、自車両Ｖに搭載し、移動体装置２００として構成してもよいし、表示装置１００側に設けてもよい。ディスプレイ５０は、二次元画像用のディスプレイでもよいし、三次元画像を映し出すディスプレイであってもよい。
【００７１】
次に、図６〜８を参照して、具体的な場面を用いて、表示装置１００が表示する仮想視点映像について説明する。図６は、自車両の周囲の状況を把握する必要がある場面の一例を示す図である。図７は、比較例に係る表示装置が表示する仮想視点映像の一例を示す図である。図８は、本実施形態に係る表示装置１００が表示する仮想視点映像の一例を示す図である。なお、比較例に係る表示装置は、本実施形態に係る制御装置１０と機能が異なるものである。比較例に係る制御装置１０は、本実施形態に係る制御装置１０と比べて、対象領域特定機能と、対象物検出機能と、対象物表示変更機能とを有していない。
【００７２】
図６では、道路Ａ１〜Ａ３で構成される見通しの悪いＴ字路の交差点に対して、道路Ａ１から自車両Ｖ１が進入する場面を示している。この交差点には、自車両Ｖ１の他に歩行者Ｍ１が道路Ａ２から進入し、また、歩行者Ｍ２が道路Ａ３から進入している。歩行者Ｍ１及び歩行者Ｍ２は対向する場所に位置する。歩行者Ｍ１は、自車両Ｖ１の左方カメラ２３の撮像方向に対して正面を向け、歩行者Ｍ２は、自車両Ｖ１の右方カメラ２４の撮像方向に対して正面を向けている。左方カメラ２３の撮像範囲ＰＲ３の範囲内に歩行者Ｍ１は位置し、右方カメラ２４の撮像範囲ＰＲ４の範囲内に歩行者Ｍ２は位置する。
【００７３】
図６では、歩行者Ｍ１及び歩行者Ｍ２が自車両Ｖ１に接近してくる状況を示している。自車両Ｖ１の乗員からでは、道路Ａ２及び道路Ａ３の状況を確認しづらいため、自車両Ｖ１は交差点に到達する前に、道路Ａ２及び道路Ａ３に歩行者等が存在するか否かを確認する必要がある。表示装置１００及び比較例に係る表示装置は、自車両Ｖ１の左右にある道路（道路Ａ２及び道路Ａ３）の状況を同時に把握させるために、仮想視点ＶＰ１から交差点を見た仮想視点映像を作成して自車両Ｖ１の乗員に表示する。なお、図６では、説明の便宜上、仮想視点ＶＰ１は、自車両Ｖ１、歩行者Ｍ１、及び歩行者Ｍ２と同一平面上に示されているが、実際には、仮想視点ＶＰ１は、交差点を左斜め下に見下ろす場所に位置する。
【００７４】
図７に示すように、比較例に係る表示装置は、図６に示す仮想視点ＶＰ１から円筒形状の空間モデルＰ１を見た仮想視点映像を作成する。なお、説明の便宜上、図７では、仮想視点ＶＰ１を示している。空間モデルＰ１は、円筒形状の底面の中央に位置する車両アイコン画像Ｖ１’、円筒形状の側面Ｓ１にマッピングされた、パノラマ映像ＰＩ１（左方カメラ２３の撮像画像Ｃ１及び右方カメラ２４の撮像画像Ｃ２）から構成される。撮像画像Ｃ１には、歩行者Ｍ１の正面を示す歩行者画像Ｍ１’が含まれている。また、撮像画像Ｃ２には、歩行者Ｍ２の正面を示す歩行者画像Ｍ２’が含まれている。
【００７５】
図７に示すように、仮想視点映像ＰＶ１では、歩行者画像Ｍ１’は仮想視点ＶＰ１に正面を向けて表示される。これは、自車両Ｖ１の左方カメラ２３の撮像方向と仮想視点ＶＰ１の向きが対向する投影面の領域（対象領域）では、ミラー反転された左方カメラ２３の撮像画像が表示されるためである。自車両Ｖ１に対して正面を向く実際の歩行者Ｍ１は、仮想視点映像ＰＶ１では、車両アイコン画像Ｖ１’に対して背面を向く歩行者画像Ｍ１’として表示される。そのため、仮想視点映像ＰＶ１を見る自車両Ｖ１の乗員は、歩行者Ｍ１が自車両Ｖ１に対して近づいているのか又は遠のいているのかを正確に把握することができない。
【００７６】
また、仮想視点映像ＰＶ１では、歩行者画像Ｍ２’は仮想視点ＶＰ１に対して正面を向けて表示される。自車両Ｖ１の右方カメラ２４の撮像方向と仮想視点ＶＰ１の向きは対向しないため、右方カメラ２４の撮像画像は、ミラー反転されずにそのままの向きで表示されるためである。自車両Ｖ１に対して正面を向く実際の歩行者Ｍ２は、仮想視点映像ＰＶ１でも、車両アイコン画像Ｖ１’に対して正面を向く歩行者画像Ｍ２’として表示される。そのため、仮想視点映像ＰＶ１を見る自車両Ｖ１の乗員は、歩行者Ｍ２が自車両Ｖ１に対して近づいているのを正確に把握できる。
【００７７】
一方、図８に示すように、本実施形態の表示装置１００は、図６に示す仮想視点ＶＰ１から円筒形状の空間モデルＰ１を見た仮想視点映像ＰＶ１’を作成する。なお、説明の便宜上、図８では、仮想視点ＶＰ１を示している。撮像画像Ｃ１には、歩行者Ｍ１の背面を示す歩行者アイコン画像Ｏ１が重畳表示されている。また、撮像画像Ｃ２には、歩行者Ｍ２の正面を示す歩行者画像Ｍ２’が含まれている。空間モデルＰ１の構成については、図７と同様の構成であるため、その説明を援用する。
【００７８】
図８に示すように、仮想視点映像ＰＶ１’では、歩行者アイコン画像Ｏ１は仮想視点ＶＰ１に背面を向けて表示される。本実施形態の制御装置１０は、対象領域の撮像画像のデータから、カメラ２０に対する歩行者Ｍ１の向きを正面として特定する。制御装置１０は、ＲＯＭ１２から歩行者の背面を示す歩行者アイコン画像Ｏ１を読み出して、撮像画像Ｃ１に重畳表示する。これにより、自車両Ｖ１の左方カメラ２３に対して正面を向く実際の歩行者Ｍ１は、仮想視点映像ＰＶ１’でも、車両アイコン画像Ｖ１’に対して正面を向く歩行者アイコン画像Ｏ１として表示される。
【００７９】
なお、歩行者画像Ｍ２’は、仮想視点映像ＰＶ１と同様に、仮想視点映像ＰＶ１’でも、仮想視点ＶＰ１に対して正面を向けて表示される。つまり、自車両Ｖ１の右方カメラ２４に対して正面を向く実際の歩行者Ｍ２は、仮想視点映像ＰＶ１’でも、車両アイコン画像Ｖ１’に対して正面を向く歩行者画像Ｍ２’として表示される。
【００８０】
このように、本実施形態に係る表示装置１００が表示する仮想視点映像ＰＶ１’では、仮想視点ＶＰ１から見た歩行者アイコン画像Ｏ１及び歩行者画像Ｍ２’は、図６に示す自車両Ｖから見た実際の歩行者Ｍ１、Ｍ２と同じ向きで表示される。これにより、自車両Ｖ１の乗員は、仮想視点映像ＰＶ１’を通して、自車両Ｖ１からでは確認しづらい自車両Ｖ１の左右の状況を同時に確認できるとともに、自車両Ｖ１から見た対象物の向きを正確に把握することができる。
【００８１】
図９のフローチャートに基づいて、本実施形態の制御装置１０の動作を説明する。図９は、本実施形態に係る表示装置の制御手順を示すフローチャート図である。ステップＳ１０１において、制御装置１０は、乗員操作装置４０の表示スイッチの状態を検出する。表示スイッチのオンが検出されると、ステップＳ１０２に進み、表示スイッチのオフが検出されると、ステップＳ１０１で待機する。
【００８２】
ステップＳ１０２において、制御装置１０は、自車両Ｖの周囲画像を取得するために、カメラ２０により撮像された撮像画像を取得する。制御装置１０は、自車両Ｖにカメラ２０が複数台搭載されている場合には、それぞれのカメラで撮像された撮像画像を取得する。取得した撮像画像は、映像の生成に用いられるほか、対象物の検出に用いられる。
【００８３】
ステップＳ１０３において、制御装置１０は、ステップＳ１０２で取得した撮像画像のマッピング用の立体形状（空間モデル）を設定するために、ＲＯＭ１２から空間モデルを読み出す。なお、表示装置１００の動作中に、空間モデルの形状を変更してもよい。例えば、複数種の空間モデルがＲＯＭ１２に記憶されている場合、自車両Ｖの走行中に、自車両Ｖの乗員が乗員操作装置４０を介してこの複数種の空間モデルから選択する構成でもよい。
【００８４】
そして、制御装置１０は、読み出した空間モデルに、自車両Ｖ１を示す車両アイコン画像Ｖ１’を表示するとともに、ステップＳ１０２で取得した撮像画像をマッピングして、自車両Ｖの全周囲の映像を示すパノラマ映像を生成する。例えば、空間モデルが円筒形状の場合、制御装置１０は、円筒形状の底面に自車両Ｖを示す車両アイコン画像Ｖ１’を表示する。制御装置１０は、円筒形状の側面にカメラ２０の撮像画像データをマッピングすることで、円筒形状のパノラマ映像を生成する。
【００８５】
ステップＳ１０４において、制御装置１０は、ステップＳ１０３で設定した空間モデルの外側に仮想視点を設定する。制御装置１０は、仮想視点の位置及び仮想視点の方向を設定する。仮想視点は、任意の位置及び向きからステップＳ１０３で生成されたパノラマ映像を見るために設定される。例えば、制御装置１０は、予めＲＯＭ１２に記憶された仮想視点を読み出す。
【００８６】
そして、制御装置１０は、仮想視点からパノラマ映像を見た仮想視点映像を作成する。例えば、空間モデルが円筒形状の場合、仮想視点映像には、仮想視点ＶＰから見た円筒形状の空間モデルが表示されるとともに、円筒形状の側面に沿ってパノラマ映像が表示される。
【００８７】
ステップＳ１０５において、制御装置１０は、ステップＳ１０４で作成した仮想視点映像に、自車両Ｖのカメラ２０の撮像方向と、ステップＳ１０４で設定した仮想視点が対向する投影面の領域（対象領域）が存在するか否か判定する。対象領域が存在すると判定されると、ステップＳ１０６へ進み、対象領域が存在しないと判定されると、ステップＳ１１０へ進む。
【００８８】
ステップＳ１０６において、制御装置１０は、対象領域内に対象物が存在するか否かを検出する。制御装置１０は、例えば、カメラ２０の撮像画像のデータからエッジなどの特徴を抽出し、抽出した特徴から対象物の属性を特定する。対象物として歩行者、他車両、二輪車、その他の物体が検出されると、ステップＳ１０７へ進み、対象物が検出されないと、ステップＳ１１０へ進む。
【００８９】
ステップＳ１０７において、制御装置１０は、ステップＳ１０６で検出された対象物の向きがカメラ２０に対して正面又は背面のいずれかの向きかを特定する。制御装置１０は、例えば、ステップＳ１０６で撮像画像のデータから抽出した特徴から、カメラ２０に対する対象物の向きを特定する。カメラ２０に対する対象物の向きが正面と特定されると、ステップＳ１０８へ進み、カメラ２０に対する対象物の向きが背面と特定されると、ステップＳ１０９へ進む。
【００９０】
ステップＳ１０８において、制御装置１０は、対象物の正面が表示されている位置（画素）に、対象物の背面を示すアイコン画像を重畳して表示する。対象物が歩行者の場合、制御装置１０は、歩行者の背面を示す歩行者アイコン画像をＲＯＭ１２から読み出して、歩行者の正面が表示されている位置に、読み出した歩行者アイコン画像を重畳して表示する。
【００９１】
ステップＳ１０９において、制御装置１０は、対象物の背面が表示されている位置（画素）に、対象物の正面を示すアイコン画像を重畳して表示する。対象物が歩行者の場合、制御装置１０は、歩行者の正面を示す歩行者アイコン画像をＲＯＭ１２から読み出して、歩行者の背面が表示されている位置に、読み出した歩行者アイコン画像を重畳して表示する。
【００９２】
ステップＳ１１０において、ステップＳ１０４で作成した仮想視点映像、ステップＳ１０８又はステップＳ１０９で対象物のアイコン画像を重畳した仮想視点映像を、ディスプレイ５０に表示する。
【００９３】
最後に、ステップＳ１１１において、制御装置１０は、乗員操作装置４０の表示スイッチの状態を検出する。表示スイッチのオンが検出されると、ステップＳ１０２へ戻り、表示スイッチのオフが検出されると、制御装置１０の動作を終了する。
【００９４】
以上のように、本実施形態の制御装置１０は、カメラ２０の撮像方向と仮想視点が対向する投影面の領域を、対象領域として特定し、対象領域内に歩行者が存在するか否かを検出する。そして、制御装置１０は、歩行者が存在する場合に、カメラ２０に対する歩行者の向きを特定し、歩行者の向きを反対向きに表示した仮想視点映像をディスプレイ５０に表示する。これにより、自車両Ｖの乗員にミラー反転された歩行者の表示を見せることを防ぐことができ、自車両Ｖの乗員に違和感を与えることを抑制できる。
【００９５】
さらに、本実施形態の制御装置１０は、カメラ２０に対する歩行者の向きが正面の場合に、歩行者の背面を表示し、カメラ２０に対する歩行者の向きが背面の場合、歩行者の正面を表示する。これにより、自車両Ｖの乗員に、仮想視点映像を通して歩行者が自車両Ｖに接近するか否かを正確に伝えることができる。
【００９６】
加えて、本実施形態の制御装置１０は、歩行者を示す歩行者アイコン画像を用いて、カメラ２０に対する歩行者の顔及び体の向きを反対向きに表示する。歩行者の正面及び背面を示すそれぞれの歩行者アイコン画像には、実際の歩行者の正面及び背面の特徴点が示されているため、自車両Ｖの乗員に、仮想視点映像を通して歩行者の向きを的確に伝えることができる。
【００９７】
≪第２実施形態≫
第２実施形態では、本発明に係る表示装置を用いて、自車両Ｖの周囲を走行する他車両又は二輪車を検出する場合を例にして説明する。本実施形態の表示システムは、移動体及び移動体周囲の状況を把握するための映像を移動体の操作者が見るディスプレイに表示する。なお、本実施形態の二輪車とは、車輪が二つある車両のことであり、駆動方法は限定されない。例えば、二輪車には、自転車、オートバイ等が挙げられる。
【００９８】
本実施形態に係る表示装置は、制御装置１１０（図示なし）が備える機能が異なる点以外は、上述の実施形態に係る表示装置と同様の構成であるため、上述の実施形態で図１を用いた説明を援用する。本実施形態に係る制御装置１１０は、上述した実施形態に係る制御装置１０と比べて、対象物検出機能と、対象物表示変更機能とが異なる。
【００９９】
次に、制御装置１１０の対象物検出機能について説明する。本実施形態の制御装置１１０は、対象領域内に他車両又は二輪車が存在するか否かを検出する。なお、他車両又は二輪車の存在の検出方法は、上述した実施形態の制御装置１０と同様の方法により、対象領域の撮像画像に含まれる対象物の属性を特定する。本実施形態の制御装置１１０は、対象領域の撮像画像のデータからエッジ、色、形状、大きさなどの特徴を抽出し、抽出した特徴から対象領域の撮像画像に含まれる他車両又は二輪車を特定する。
【０１００】
制御装置１１０が、対象領域の撮像画像のデータから抽出する特徴点について説明する。制御装置１１０は、他車両を特定する際に、対象領域の撮像画像のデータから、他車両のシルエット、他車両のブレーキランプ又は方向指示器の色、他車両のフロントウィンド、他車両のヘッドライト、他車両のナンバープレート、他車両の排気口、他車両のリアウィンドを抽出する。また、制御装置１１０は、二輪車を特定する際に、対象領域の撮像画像のデータから、二輪車のシルエット、二輪車のブレーキランプ又は方向指示器の色、二輪車のヘッドライト、二輪車のナンバープレート、二輪車の排気口、二輪車の乗員のシルエット（上半身）、二輪車の乗員の衣服（衣服の色等）、二輪車の乗員の頭部、二輪車の乗員の顔（目、鼻、口、髪の毛の色）を抽出する。なお、制御装置１１０が抽出する特徴点は、上記の項目に限られず、制御装置１１０は、他車両又は二輪車の他の特徴点を抽出してもよい。
【０１０１】
また、制御装置１１０は、対象領域の撮像画像のデータから対象物の特徴点を抽出すると、抽出した対象物の特徴点から、カメラ２０に対する対象物の向きを特定する。制御装置１１０は、例えば、対象領域の撮像画像のデータから他車両を検出すると、対象領域の撮像画像のデータから抽出した他車両のシルエットに関する情報から、カメラ２０に対する他車両の向きを特定することができる。また、制御装置１１０は、例えば、対象領域の撮像画像のデータから二輪車を検出すると、対象領域の撮像画像のデータから抽出した二輪車の乗員に関する情報から、カメラ２０に対する二輪車の向きを特定することができる。
【０１０２】
制御装置１１０は、上述した実施形態の制御装置１０と同様に、検出した他車両又は二輪車の向きを、正面、背面、左側面、右側面の４つのカテゴリ表現で規定する。制御装置１１０は、他車両及び二輪車の４つのカテゴリの代表例をサンプルとして予め記憶し、パターンマッチング処理にて、カメラ２０に対する他車両又は二輪車の向きに対応するカテゴリを特定する。例えば、制御装置１１０は、他車両のフロントウィンドを検出すると、カメラ２０に対する他車両の向きを正面として特定する。また、例えば、制御装置１１０は、正面視する二輪車の乗員（例えば、目や鼻）を検出すると、パターンマッチング処理を実行し、カメラ２０に対する二輪車の向きを正面として特定する。なお、他車両又は二輪車の特徴点のうち一つの特徴点から他車両又は二輪車の向きを特定することに限定されず、その他の他車両又は二輪車の特徴点から、他車両又は二輪車の向きを特定してもよい。また、これらの複数の特徴点を組み合わせて他車両又は二輪車の向きを特定してもよい。
【０１０３】
制御装置１１０は、上記のように、対象領域内に他車両又は二輪車が存在するか否かを検出し、他車両又は二輪車の存在を検出すると、他車両又は二輪車の属性と、カメラ２０に対する他車両又は二輪車の向き、及び他車両又は二輪車の特徴点を、ＲＡＭ１３に一時的に格納する。
【０１０４】
次に、制御装置１１０の対象物表示変更機能について説明する。制御装置１１０は、カメラ２０に対する他車両又は二輪車の向きを反対向きに表示する。具体的に、制御装置１１０は、ＲＡＭ１３からカメラ２０に対する対象物の向きの情報を読み出して、他車両又は二輪車の向きを反対向きに表示する。
【０１０５】
制御装置１１０は、カメラ２０に対する他車両又は二輪車の向きが正面の場合、他車両又は二輪車の向きを背面に変更して表示する。また、制御装置１１０は、カメラ２０に対する他車両又は二輪車の向きが背面の場合、他車両又は二輪車の向きを正面に変更して表示する。さらに、制御装置１０は、カメラ２０に対する他車両又は二輪車の向きが左側面の場合、他車両又は二輪車の向きを右側面に変更して表示し、カメラ２０に対する他車両又は二輪車の向きが右側面の場合、他車両又は二輪車の向きを左側面に変更して表示する。
【０１０６】
図１０を参照して、他車両及び二輪車の表示変更の方法について説明する。図１０は、他車両アイコン画像及び二輪車アイコン画像の一例を示す図である。図１０（Ａ）は、他車両の正面を示す他車両アイコン画像の一例であり、図１０（Ｂ）は、他車両の背面を示す他車両アイコン画像の一例である。また、図１０（Ｃ）は、二輪車の正面を示す二輪車アイコン画像の一例であり、図１０（Ｄ）は、二輪車の背面を示す二輪車アイコン画像の一例である。
【０１０７】
本実施形態の制御装置１１０は、上述した実施形態の制御装置１０と同様に、対象領域ＴＡ内に他車両又は二輪車が存在すると、アイコン画像で他車両又は二輪車を表示する。例えば、ＲＯＭ１２には、他車両及び二輪車の正面、背面、左側面、及び右側面のそれぞれに対応した、複数の他車両アイコン画像及び複数の二輪車アイコン画像が記憶されている。なお、本実施形態では、アイコン画像を用いて他車両又は二輪車の表示を変更する方法について説明するがこれに限定されない。
【０１０８】
制御装置１１０は、撮像画像内の他車両又は二輪車の表示を、アイコン画像で重畳表示することで、他車両又は二輪車の表示を変更する。制御装置１１０が用いるアイコン画像は、カメラ２０に対する他車両又は二輪車の向きと反対向きのアイコン画像である。
【０１０９】
具体的に、対象物が他車両の場合で、制御装置１１０は、カメラ２０に対する他車両の向きを正面と特定すると、ＲＯＭ１２から、他車両の背面を示す他車両アイコン画像を読み出す。そして、制御装置１１０は、他車両の正面が表示されている位置（画素）に、他車両の背面を示す他車両アイコン画像を重畳して表示する。また、制御装置１１０は、カメラ２０に対する他車両の向きを背面と特定すると、ＲＯＭ１２から、他車両の正面を示す他車両アイコン画像を読み出す。そして、制御装置１１０は、他車両の背面が表示されている位置（画素）に、他車両の正面を示す他車両アイコン画像を重畳して表示する。
【０１１０】
なお、本実施形態では、他車両の向きが正面又は背面と特定した場合を例示するが、他車両の向きが左側面又は右側面と特定した場合でも、制御装置１０は、上記の処理を実行してもよい。すなわち、制御装置１１０は、他車両の向きを左側面と特定すると、ＲＯＭ１２から、他車両の右側面を示す他車両アイコン画像を読み出す。そして、制御装置１１０は、他車両の左側面が表示されている位置に、他車両の右側を示す他車両アイコン画像を重畳して表示してもよい。また、制御装置１１０は、他車両の向きを右側面と特定すると、ＲＯＭ１２から、他車両の左側面を示す他車両アイコン画像を読み出す。そして、制御装置１１０は、他車両の右側面が表示されている位置に、他車両の左側面を示す他車両アイコン画像を重畳して表示してもよい。
【０１１１】
他車両アイコン画像は、少なくとも他車両のブレーキランプ又は方向指示器、他車両のフロントウィンド、他車両のヘッドライト、他車両のナンバープレート、他車両の排気口、他車両のリアウィンドそれぞれが区別されて表示される。
【０１１２】
また、他車両アイコン画像には、正面と背面が区別できるアイコン画像を用いるのが好ましい。図１０（Ａ）の例のように、他車両の正面を示す他車両アイコン画像には、ヘッドライト、面積がリアウィンドよりも大きいフロントウィンドを表示してもよい。また、図１０（Ｂ）の例のように、他車両の背面を示す他車両アイコン画像には、ブレーキランプ、方向指示器、ナンバープレート、排気口、面積がフロントウィンドよりも小さいリアウィンドを表示してもよい。このような他車両の正面及び背面の特徴点があらわされた他車両アイコン画像を用いて表示することで、自車両Ｖの乗員に、仮想視点映像ＰＶを通して他車両の向きを的確に伝えることができる。
【０１１３】
次に、二輪車アイコン画像について説明する。本実施形態では、二輪車の正面を示す二輪車アイコン画像には、二輪車そのものの正面ではなく、二輪車の乗員の正面が表示される。同様に、二輪車の背面を示す二輪車アイコン画像には、二輪車そのものの背面ではなく、二輪車の乗員の背面が表示される。なお、二輪車の乗員により正面及び背面を区別することに限定されず、二輪車の正面及び背面をそれぞれ区別して表示してもよい。
【０１１４】
対象物が二輪車の場合、制御装置１１０は、カメラ２０に対する二輪車の向きを正面と特定すると、ＲＯＭ１２から、二輪車の乗員の背面を示す二輪車アイコン画像を読み出す。そして、制御装置１１０は、二輪車の乗員の正面が表示されている位置（画素）に、二輪車の乗員の背面を示す他車両アイコン画像を重畳して表示する。また、制御装置１１０は、カメラ２０に対する二輪車の向きを背面と特定すると、ＲＯＭ１２から、二輪車の正面を示す二輪車アイコン画像を読み出す。そして、制御装置１１０は、二輪車の乗員の背面が表示されている位置（画素）に、二輪車の乗員の正面を示す二輪車アイコン画像を重畳して表示する。
【０１１５】
図１０（Ｃ）の例のように、二輪車の正面を示す二輪車アイコン画像には、乗員の正面を示すために、衣服のボタンなどを表示してもよい。また、図１０（Ｄ）の例のように、二輪車の背面を示す二輪車アイコン画像には、乗員の背面を示すために、髪の毛や臀部を表示してもよい。このような二輪車の正面及び背面の特徴点があらわされた二輪車アイコン画像を用いて表示することで、自車両Ｖの乗員に、仮想視点映像ＰＶを通して二輪車の向きを的確に伝えることができる。
【０１１６】
このように、制御装置１１０は、ＲＯＭ１２から読み出した他車両アイコン画像又は二輪車アイコン画像を、撮像画像に重畳させることで、カメラ２０に対する他車両又は二輪車の向きを反対向きに表示する。これにより、対象領域において、仮想視点ＶＰから見た他車両又は二輪車の向きと実際の他車両又は二輪車の向きを同一方向とすることができ、仮想視点映像を見る自車両Ｖの乗員に違和感を与えることを抑制することができる。
【０１１７】
次に、図１１、１２を参照して、具体的な場面を用いて、表示装置１００が表示する仮想視点映像について説明する。図１１は、自車両の周囲の状況を把握する必要がある場面の他の例を示す図である。図１２は、本実施形態に係る表示装置１００が表示する仮想視点映像の一例を示す図である。
【０１１８】
図１１では、道路Ａ４と道路Ａ５の合流地点に対して、道路Ａ４を走行する自車両Ｖ２が車線変更して道路Ａ５へ合流する場面を示している。この合流地点の前方には、他車両Ｖ３が道路Ａ５を走行し、また、合流地点の後方には、他車両Ｖ４が道路Ａ５を走行している。自車両Ｖ２は、この合流地点から道路Ａ５へ車線変更して、他車両Ｖ３と他車両Ｖ４の間に進入しようとしている。他車両Ｖ３は、自車両Ｖ２の前方カメラ２１の撮像方向に対して背面を向け、他車両Ｖ４は、自車両Ｖ２の後方カメラ２２の撮像方向に対して正面を向けている。前方カメラ２１の撮像範囲ＰＲ１の範囲内に他車両Ｖ３は位置し、後方カメラ２２の撮像範囲ＰＲ２の範囲内に他車両Ｖ４は位置する。
【０１１９】
図１１では、他車両Ｖ３は自車両Ｖ２から遠ざかり、他車両Ｖ４が自車両Ｖ２に接近してくる状況を示している。自車両Ｖ２の乗員からでは、道路Ａ５の状況を確認しづらいため、自車両Ｖ２が車線変更する前に、道路Ａ５に他車両又は二輪車等が存在するか否かを確認する必要がある。表示装置１００は、道路Ａ５の前後の状況を同時に把握させるために、仮想視点ＶＰ２から合流地点を見た仮想視点映像を作成して自車両Ｖ２の乗員に表示する。なお、図１１では、説明の便宜上、仮想視点ＶＰ２は、自車両Ｖ２、他車両Ｖ３、Ｖ４と同一平面上に示されているが、実際には、仮想視点ＶＰ２は、合流地点を左斜め下に見下ろす場所に位置する。
【０１２０】
図１２に示すように、本実施形態の表示装置１００は、図１１に示す仮想視点ＶＰ２から円筒形状の空間モデルＰ２を見た仮想視点映像ＰＶ２’を作成する。空間モデルＰ２は、円筒形状の底面の中央に位置する車両アイコン画像Ｖ２’、円筒形状の側面Ｓ２にマッピングされた、前方カメラ２１の撮像画像Ｃ３及び後方カメラ２２の撮像画像Ｃ４から構成される。撮像画像Ｃ３には、他車両Ｖ３の背面を示す他車両画像Ｖ３’が含まれている。また、撮像画像Ｃ４には、他車両Ｖ４の背面を示す他車両アイコン画像Ｏ４が重畳されている。
【０１２１】
図１２に示すように、仮想視点映像ＰＶ２’では、他車両アイコン画像Ｏ４は仮想視点ＶＰ２に背面を向けて表示される。本実施形態の制御装置１１０は、対象領域の撮像画像のデータから、カメラ２０に対する他車両Ｖ４の向きを正面として特定する。制御装置１１０は、ＲＯＭ１２から他車両の背面を示す他車両アイコン画像Ｏ４を読み出して、撮像画像Ｃ４に重畳表示する。これにより、自車両Ｖ２の後方カメラ２２に対して正面を向く実際の他車両Ｖ４は、仮想視点映像ＰＶ２’でも、車両アイコン画像Ｖ２’に対して正面を向く他車両アイコン画像Ｏ４として表示される。
【０１２２】
なお、他車両画像Ｖ３’は、仮想視点映像ＰＶ２’でも、仮想視点ＶＰ２に対して背面を向けて表示される。つまり、自車両Ｖ２の前方カメラ２１に対して背面を向く実際の他車両Ｖ３は、仮想視点映像ＰＶ２’でも、車両アイコン画像Ｖ２’に対して背面を向く他車両画像Ｖ３’として表示される。
【０１２３】
このように、本実施形態に係る表示装置１００が表示する仮想視点映像ＰＶ２’では、仮想視点から見た他車両画像Ｖ３’及び他車両アイコン画像Ｏ４は、図１１に示す自車両Ｖから見た実際の他車両Ｖ３、Ｖ４と同じ向きで表示される。これにより、自車両Ｖ２の乗員は、仮想視点映像ＰＶ２’を通して、自車両Ｖ２からでは確認しづらい自車両Ｖ２の前後の状況を同時に確認できるとともに、自車両Ｖ２から見た対象物の向きを正確に把握することができる。
【０１２４】
以上のように、本実施形態の制御装置１１０は、他車両を示す他車両アイコン画像を用いて、カメラ２０に対する他車両の向きを反対向きに表示する。他車両の正面及び背面を示すそれぞれの他車両アイコン画像には、実際の他車両の正面及び背面の特徴点が示されているため、自車両Ｖの乗員に、仮想視点映像を通して他車両の向きを的確に伝えることができる。
【０１２５】
また、本実施形態の制御装置１１０は、二輪車を示す二輪車アイコン画像を用いて、カメラ２０に対する二輪車の乗員の顔及び体の向きを反対向きに表示する。二輪車の正面及び背面を示すそれぞれの二輪車アイコン画像には、実際の二輪車の乗員の正面及び背面の特徴点が示されているため、自車両Ｖの乗員に、仮想視点映像を通して二輪車の向きを的確に伝えることができる。
【０１２６】
さらに、本実施形態の制御装置１１０は、対象物の向きに応じて、対象物の表示を変更する。制御装置１１０は、対象物が他車両の場合には、他車両そのものの向きを反対向きに表示し、対象物が二輪車の場合には、二輪車そのものでなく、二輪車の乗員の顔と体の向きを反対向きに表示する。これにより、対象物の属性に応じて、対象物の特徴点を適切に表示することができ、自車両Ｖの乗員に、仮想視点映像を通じて、対象物の属性に応じた対象物の向きを的確に伝えることができる。
【０１２７】
≪第３実施形態≫
上述した２つの実施形態では、移動体が自車両である場合を例に説明したが、第３実施形態では、移動体が海底探査機である場合を例にして説明する。なお、本実施形態の移動体は、人間が搭乗可能な有人機であってもよいし、人間が搭乗しない無人機であってもよい。
【０１２８】
本実施形態の表示システムは、移動体に搭載された装置として構成してもよいし、移動体に持ち込み可能な可搬装置として構成してもよい。また、本実施形態の表示システムの一部の構成を移動体に搭載し、他の構成を移動体とは物理的に別の装置に搭載し、構成を分散させてもよい。この場合において、移動体と別の装置とは、情報の授受が可能なように構成される。
【０１２９】
本実施形態の表示装置は、上述した２つの実施形態と同様の構成であるため、説明を援用する。
【０１３０】
図１３は、本実施形態に係る表示装置が表示する仮想視点映像の一例を示す図である。図１３に示す仮想視点映像ＰＶ３’は、本実施形態の表示装置が海底探査機に搭載された場合の仮想視点映像の一例である。説明の便宜上、図１３では、仮想視点ＶＰ３を示す。なお、本実施形態における対象物には、魚などの生物、漂流物などの障害物が含まれる。また、本実施形態では、ＲＯＭ１２に、魚などの生物を示すアイコン画像を予め記憶させていてもよい。
【０１３１】
海底探査機Ｖ６（図示なし）には、海底探査機の周囲を撮像するのに必要な個数のカメラが所定の位置に設置されている。図１３に示すように、本実施形態の制御装置は、所定の仮想視点から円筒形状の空間モデルＰ３を見た仮想視点映像を作成する。空間モデルＰ３は、円筒形状の底面の中央に位置する海底探査機アイコン画像Ｖ６’、円筒形状の側面にマッピングされたカメラの撮像画像（図示なし）から構成される。
【０１３２】
本実施形態の制御装置は、海底探査機Ｖ６のカメラの撮像方向と仮想視点の向きが対向する投影面の領域Ｃ５（対象領域ＴＡ）を特定する。制御装置は、対象領域ＴＡに対象物（例えば、魚などの生物）が存在するか否かを検出し、対象物が存在する場合に、例えばアイコン画像により、カメラに対する対象物の向きを反対向きに表示した仮想視点映像ＰＶ３’をディスプレイ５０に表示させる。これにより、表示装置を海底探査機に搭載した場合であっても、海底探査機の乗員に、仮想視点映像ＰＶ３’を通して対象物の向きを的確に伝えることができる。
【０１３３】
≪第４実施形態≫
第４実施形態では、移動体が回転翼機である場合を例にして説明する。なお、本実施形態の移動体は、人間が搭乗可能な有人機であってもよいし、人間が搭乗しない無人機であってもよい。
【０１３４】
本実施形態の表示システムは、移動体に搭載された装置として構成してもよいし、移動体に持ち込み可能な可搬装置として構成してもよい。また、本実施形態の表示システムの一部の構成を移動体に搭載し、他の構成を移動体とは物理的に別の装置に搭載し、構成を分散させてもよい。この場合において、移動体と別の装置とは、情報の授受が可能なように構成される。
【０１３５】
本実施形態の表示装置は、上述した３つの実施形態と同様の構成であるため、説明を援用する。
【０１３６】
図１４Ａは、本実施形態に係る表示装置が表示する仮想視点映像の一例を示す図である。図１４Ａに示す仮想視点映像ＰＶ４’は、本実施形態の表示装置が、回転翼機Ｒ１であって、人間が搭乗可能な有人機に搭載された場合の仮想視点映像の一例である。回転翼機Ｒ１としては、例えば、ヘリコプター等が挙げられる。また、図１４Ｂは、本実施形態に係る表示装置が表示する仮想視点映像の他の例を示す図である。図１４Ｂに示す仮想視点映像ＰＶ５’は、本実施形態の表示装置が、回転翼機Ｒ２であって、人間が搭乗しない無人機に搭載された場合の仮想視点映像の一例である。回転翼機Ｒ２としては、例えば、ドローン等が挙げられる。
【０１３７】
なお、本実施形態における対象物には、他の回転翼機、他の航空機、鳥などの生物等含まれる。また、本実施形態では、ＲＯＭ１２に、回転翼機、航空機、鳥などの生物を示すアイコン画像を予め記憶させていてもよい。回転翼機には、回転翼機の周囲を撮像するのに必要な個数のカメラが所定の位置に設置されている。
【０１３８】
図１４Ａに示すように、制御装置は、回転翼機Ｒ１（回転翼機アイコン画像Ｒ１’）のカメラの撮像方向と仮想視点ＶＰ４の向きが対向する投影面の領域Ｃ６（対象領域ＴＡ）を特定する。制御装置は、対象領域ＴＡに対象物（例えば、他の航空機）が存在するか否かを検出し、対象物が存在する場合に、例えばアイコン画像により、カメラに対する対象物の向きを反対向きに表示した仮想視点映像ＰＶ４’をディスプレイに表示させる。
【０１３９】
また、図１４Ｂに示すように、制御装置は、回転翼機Ｒ２（回転翼機アイコン画像Ｒ２’）のカメラの撮像方向と仮想視点ＶＰ５の向きが対向する投影面の領域Ｃ７（対象領域ＴＡ）を特定する。制御装置は、対象領域ＴＡに対象物（例えば、他の航空機）が存在するか否かを検出し、対象物が存在する場合に、例えばアイコン画像により、カメラに対する対象物の向きを反対向きに表示した仮想視点映像ＰＶ５’をディスプレイに表示させる。
【０１４０】
このように、本発明の表示装置を回転翼機に搭載した場合であっても、回転翼機の操縦者又は回転翼機の乗員に、仮想視点映像ＰＶ４’、ＰＶ５’を通して対象物の向きを的確に伝えることができる。
【０１４１】
なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【０１４２】
例えば、上述した実施形態では、カメラ２０に対する対象物の向きを特定し、特定した対象物の向きと反対向きのアイコン画像を重畳表示することで、対象物の表示を変更する構成を例示したが、これに限定されない。特定した対象物の向きと同じ向きのアイコン画像を加工処理して、特定した対象物の向きと反対向きのアイコン画像を作成してもよい。
【０１４３】
例えば、カメラ２０に対する歩行者の向きを正面と特定した場合に、ＲＯＭ１２から歩行者アイコン画像の正面を読み出してもよい。そして、読み出した歩行者アイコン画像の顔及び体を所定の色で塗りつぶすとともに、歩行者アイコン画像に頭髪や臀部を重畳した加工処理を実行してもよい。これにより、歩行者の背面を示す歩行者アイコン画像を表示させることができる。また、例えば、カメラ２０に対する歩行者の向きを背面として特定した場合に、ＲＯＭ１２から歩行者アイコン画像の背面を読み出してもよい。そして、読み出した歩行者アイコン画像の後頭部に目、口を重畳した加工処理を実行してもよい。これにより、歩行者の正面を示す歩行者アイコン画像を表示させることができる。
【０１４４】
また、上述した実施形態では、アイコン画像を用いて、カメラ２０に対する対象物の向きを反対向きに表示する構成を例示したが、これに限定されない。撮像画像上の対象物のデータから画像処理を実行して、カメラ２０に対する対象物の向きを反対向きに表示してもよい。
【０１４５】
例えば、図１５（Ａ）に示すように、撮像画像のデータから、歩行者の顔を検出し、カメラ２０に対する歩行者の向きを正面として特定するとともに、歩行者の頭髪の色も検出してもよい。そして、図１５（Ｂ）に示すように、撮像画像上の歩行者の顔を、検出した歩行者の頭髪の色で塗りつぶして、歩行者の後頭部を示す画像として表示してもよい。歩行者の正面を示す顔が表示されなくなるため、自車両Ｖの乗員に、歩行者が自車両Ｖに顔を向けて自車両Ｖに近づいていることを認識させることができる。
【０１４６】
また、図１５（Ａ）に示すように、撮像画像のデータから、歩行者の上半身を検し、カメラ２０に対する歩行者の向きを正面として特定するとともに、歩行者の衣服の色も検出してもよい。そして、図１５（Ｂ）に示すように、撮像画像上の歩行者の上半身を、検出した歩行者の衣服の色で塗りつぶして、歩行者の背面を示す画像として表示してもよい。歩行者の正面を示す衣服のボタン等が表示されなくなるため、自車両Ｖの乗員に、歩行者が自車両Ｖに正面を向けて自車両Ｖに近づいていることを認識させることができる。
【０１４７】
なお、図１５は、歩行者の表示を加工する表示加工処理の一例を示す図である。図１５（Ａ）は、歩行者の表示を加工する前の画像の一例を示し、図１５（Ｂ）は、歩行者の表示を加工した後の画像の一例を示す。
【０１４８】
さらに、上述した実施形態では、カメラ２０に対する対象物の向きを背面と特定した場合、対象物の向きを正面に変更して表示する構成を例示したが、これに限定されない。カメラ２０に対する向きが背面と特定された対象物は、実際には自車両Ｖから遠ざかる方向を向いている。そのため、この対象物が自車両Ｖの乗員に与えるリスクは低いと判断してもよく、カメラ２０に対する対象物の向きを背面と特定した場合には、カメラ２０に対する対象物の向きを正面と特定した場合に比べて、アイコン画像による重畳表示の優先度を下げてもよい。これにより、自車両Ｖの乗員に、仮想視点映像を通して、自車両Ｖに近づくおそれのある対象物を認識させることができるとともに、画像処理の負荷を軽減させることができる。
【０１４９】
また、本明細書では、本発明に係る表示装置の一態様としての表示装置１００を含む表示システム１を例にして説明するが、本発明はこれに限定されるものではない。
【０１５０】
また、本明細書では、本発明に係るコントローラの一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０、制御装置１１０を説明するが、これに限定されるものではない。
【０１５１】
また、本明細書では、本発明の第１のアイコンの一態様として、歩行者アイコン、本発明の第２のアイコンの一態様として、二輪車アイコン、本発明の第３のアイコンの一態様として、他車両アイコンを説明するが、これに限定されるものではない。
【符号の説明】
【０１５２】
１…表示システム
１００…表示装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２００…移動体装置
２０…カメラ
３０…コントローラ
４０…乗員操作装置
５０…ディスプレイ
【図１】
2018160835.tif 000003
【図２】
2018160835.tif 000004
【図３】
2018160835.tif 000005
【図４】
2018160835.tif 000006
【図５】
2018160835.tif 000007
【図６】
2018160835.tif 000008
【図７】
2018160835.tif 000009
【図８】
2018160835.tif 000010
【図９】
2018160835.tif 000011
【図１０】
2018160835.tif 000012
【図１１】
2018160835.tif 000013
【図１２】
2018160835.tif 000014
【図１３】
2018160835.tif 000015
【図１４Ａ】
2018160835.tif 000016
【図１４Ｂ】
2018160835.tif 000017
【図１５】
2018160835.tif 000018