(57)【特許請求の範囲】
【請求項１】
移動体の進行方向に対する該移動体の乗員の頭部の向きに関する頭部方向情報と、該進行方向に対応した挙動をする像を有する映像とを用い、該乗員の視点から見えると推定される背景映像を作成する背景映像作成部と、
前記背景映像作成部が作成した前記背景映像と他の画像とを合成して合成映像を生成する映像合成部と、
前記映像合成部が生成した合成映像を表示する表示部と、
前記進行方向に対する前記表示部の向きと、該表示部に対する前記乗員の頭部の向きとを検出するとともに、検出した該表示部の向きと該頭部の向きとに基づいて、前記頭部方向情報を得る頭部方向検出部と、
を備えることを特徴とする映像表示装置。
【請求項２】
前記移動体の挙動が加速直線運動であることを検出した場合に、前記進行方向に対する前記表示部の向きを、該表示部に加わる該加速直線運動の加速度の向きに基づいて検出する表示部方向検出部を更に備えており、
前記頭部方向検出部は、前記表示部方向検出部が検出した前記移動体の進行方向に対する前記表示部の向きに基づいて、該移動体の進行方向に対する前記頭部の向きを検出する、
ことを特徴とする請求項１に記載の映像表示装置。
【請求項３】
前記表示部方向検出部は、該移動体の挙動を表している挙動情報に基づいて、前記挙動が加速直線運動であることを検出することを特徴とする請求項２に記載の映像表示装置。
【請求項４】
前記表示部が備えられている筐体に固定されているカメラが撮影した前記乗員の顔の画像に基づいて、該表示部に対する該乗員の頭部の向きを検出する頭部方向副検出部を更に備えており、
前記頭部方向検出部は、前記頭部方向副検出部が検出した前記表示部に対する頭部の向きを用いて、前記移動体の進行方向に対する頭部の向きを検出する、
ことを特徴とする請求項１乃至請求項３のいずれか一項に記載の映像表示装置。
【請求項５】
移動体の進行方向に対する該移動体の乗員の頭部の向きに関する頭部方向情報を取得し、
前記頭部方向情報と前記進行方向に対応した挙動をする像を有する映像とを用い、前記乗員の視点から見えると推定される背景映像を作成し、
前記作成された背景映像と他の画像とを合成して合成映像を生成し、
前記生成された合成映像を表示装置に表示し、
前記頭部方向情報の取得では、前記進行方向に対する前記表示装置の向きと、該表示装置に対する前記乗員の頭部の向きとを検出するとともに、検出した該表示装置の向きと該頭部の向きとに基づいて、前記頭部方向情報を得る、
ことを特徴とする映像表示方法。
【請求項６】
移動体の進行方向に対する該移動体の乗員の頭部の向きに関する頭部方向情報を取得し、
前記頭部方向情報と前記進行方向に対応した挙動をする像を有する映像とを用い、前記乗員の視点から見えると推定される背景映像を作成し、
前記作成された背景映像と他の画像とを合成して合成映像を生成し、
前記生成された合成映像を表示装置に表示する、
処理をコンピュータに実行させ、
前記頭部方向情報を取得する処理では、前記進行方向に対する前記表示装置の向きと、該表示装置に対する前記乗員の頭部の向きとを検出するとともに、検出した該表示装置の向きと該頭部の向きとに基づいて、前記頭部方向情報を得る、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で議論される実施態様は、映像を合成して表示する技術に関する。
【背景技術】
【０００２】
自動車・船舶・列車等の物体（「移動体」と称することとする）に乗り込んでいる乗員が、当該移動体に設置されている物を、当該移動体の移動中にその近くから長い時間注視すると、動揺病（いわゆる乗り物酔い）を発症し易くなる。このような動揺病の発症を低減する手法のひとつに、移動体に設置されているディスプレイに表示されたビデオ映像を乗員が視聴する時に、当該ビデオ映像と共に、乗員自身が移動しているように見える人工映像を表示するという手法が知られている。この手法は、視覚情報と平衡感覚情報（耳の奥にある前庭器官が受ける情報であり、特に加速度情報）とを一致させることで動揺病の発症を低減させるというものである。この手法を踏まえることで、移動体で移動中のテレビ放送映像やビデオ映像等の視聴による動揺病の発症を低減させる技術が知られている。この技術は、移動体の加速度を含む挙動を検出し、移動体の挙動に従って乗員自身が移動しているように見える人工映像を、この検出結果に基づき背景映像として生成し、この背景映像に、本来表示する表示内容を前景映像として合成して表示するというものである。
【０００３】
また、この他の背景技術として、移動体に搭載した１台以上のカメラで撮影した移動体周囲の映像を変換して、任意の視点から見た映像（視点変換画像）を作成する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４２２５１号公報
【特許文献２】国際公開第２００７／０８６４３１号
【特許文献３】特開２００９−２５１６８７号公報
【特許文献４】特開２００８−２３０５７５号公報
【特許文献５】特開２００９−１７１５３７号公報
【特許文献６】特開２０１０−１２８９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述した技術は、例えば自動車に設置されるカーナビゲーションシステムのモニタ画面やリアシートモニタのように、移動体に固定された表示装置での表示を前提としている。従って、この表示装置に表示される映像を見る人の頭の方向は、一方向（例えば、移動体の進行方向と同一の方向）に常に固定されている。従って、前述した背景映像としては、単に、その固定された一方向に頭を向けた状態で移動しているように見える映像を作成して表示装置に表示することで、動揺病発症の低減効果を得ることができる。
【０００６】
ところが、例えば携帯電話のディスプレイ画面のような、移動体に固定されていない表示装置を用いる場合には、表示装置に表示される映像を見る乗員の頭の方向は、一方向に特定されず、例えば移動体の進行方向に対しての横方向や逆方向を向いている場合もある。例えば、乗員の頭が移動体の進行方向に対する横方向を向いている場合には、頭内の前庭器官が受ける加速度情報は、その頭が移動体の進行方向と同一の方向を向いている場合から９０度もずれた情報になってしまっている。このような場合に、移動体の進行方向と同一の方向に頭が向いている前提の下で前述した技術により生成した背景映像を表示しても、視覚情報と平衡感覚情報とを一致させることができないため、動揺病発症の低減効果は期待できない。
【０００７】
上述した問題に鑑み、本明細書で後述する映像表示装置は、移動体に固定されていなくても、動揺病の発症を低減させることを可能にする。
【課題を解決するための手段】
【０００８】
本明細書で後述する映像表示装置のひとつに、背景映像作成部と、映像合成部と、表示部と、頭部方向検出部とを備えているものがある。ここで、背景映像作成部は、移動体の進行方向に対する該移動体の乗員の頭部の向きに関する頭部方向情報と、該進行方向に対応した挙動をする像を有する映像とを用い、該乗員の視点から見えると推定される背景映像を作成する。また、映像合成部は、背景映像作成部が作成した背景映像と他の画像とを合成して合成映像を生成する。そして、表示部は、映像合成部が生成した合成映像を表示する。そして、頭部方向検出部は、該進行方向に対する表示部の向きと、該表示部に対する該乗員の頭部の向きとを検出するとともに、検出した該表示部の向きと該頭部の向きとに基づいて、該頭部方向情報を得る。
【０００９】
また、本明細書で後述する映像表示方法のひとつは、まず、移動体の進行方向に対する該移動体の乗員の頭部の向きに関する頭部方向情報を取得する。次に、この頭部方向情報と移動体の進行方向に対応した挙動をする像を有する映像とを用い、当該乗員の視点から見えると推定される背景映像を作成する。次に、作成された背景映像と他の画像とを合成して合成映像を生成する。そして、生成された合成映像を表示装置に表示する。ここで、頭部方向情報の取得では、該進行方向に対する表示装置の向きと、該表示装置に対する該乗員の頭部の向きとを検出するとともに、検出した該表示装置の向きと該頭部の向きとに基づいて、頭部方向情報を得る。
【００１０】
また、本明細書で後述するプログラムのひとつは、以下の処理をコンピュータに行わせる。この処理は、まず、移動体の進行方向に対する該移動体の乗員の頭部の向きに関する頭部方向情報を取得する。次に、この頭部方向情報と移動体の進行方向に対応した挙動をする像を有する映像とを用い、当該乗員の視点から見えると推定される背景映像を作成する。次に、作成された背景映像と他の画像とを合成して合成映像を生成する。そして、生成された合成映像を表示装置に表示する。ここで、頭部方向情報を取得する処理では、該進行方向に対する表示装置の向きと、該表示装置に対する該乗員の頭部の向きとを検出するとともに、検出した該表示装置の向きと該頭部の向きとに基づいて、頭部方向情報を得る。
【発明の効果】
【００１１】
本明細書で後述する映像表示装置は、移動体に固定されていなくても、動揺病の発症を低減させるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】映像表示装置の実施例の機能ブロック図である。
【図２】映像表示装置の別の実施例の機能ブロック図である。
【図３】映像表示装置の更なる別の実施例の機能ブロック図である。
【図４】頭部方向検出部の詳細機能ブロック図である。
【図５】コンピュータのハードウェア構成例である。
【図６】映像表示制御処理の処理内容を図解したフローチャートである。
【図７Ａ】頭部方向検出処理の処理内容を図解したフローチャートである。
【図７Ｂ】車両の進行方向と、表示部の向きと、ユーザの頭部の顔の向きとの関係を模式的に図解した図である。
【図８Ａ】表示部方向検出処理の処理内容を図解したフローチャートである。
【図８Ｂ】車両の進行方向と表示部の向きとの関係を模式的に図解した図である。
【図８Ｃ】携帯端末回転角度の取得原理を説明する図である。
【図９Ａ】顔位置検出部の詳細機能ブロック図である。
【図９Ｂ】顔位置特定部の動作を説明する図である。
【図９Ｃ】顔位置検出処理の処理内容を図解したフローチャートである。
【図１０Ａ】映像合成の手法の第一の例を説明する図である。
【図１０Ｂ】映像合成の手法の第一の例を説明する図である。
【図１０Ｃ】映像合成の手法の第一の例を説明する図である。
【発明を実施するための形態】
【００１３】
まず図１について説明する。図１は、映像表示装置の実施例の機能ブロック図である。
図１の映像表示装置１０は、移動体に乗っている乗員への映像の提供に好適な装置である。この映像表示装置１０は、背景映像作成部１１、映像合成部１２、及び表示部１３を備えている。
【００１４】
背景映像作成部１１は、移動体の進行方向に対する該移動体の乗員の頭部の向きに関する頭部方向情報と、該進行方向に対応した挙動をする像を有する映像とを用い、該乗員の視点から見えると推定される背景映像を作成する。なお、移動体の乗員は、この映像表示装置１０での映像の提示対象者である。
【００１５】
映像合成部１２は、背景映像作成部１１が作成した背景映像と他の画像とを合成して合成映像を生成する。
表示部１３は、映像合成部１２が生成した合成映像を表示する。
【００１６】
以上の構成を備えている映像表示装置１０では、背景映像の作成に頭部方向情報を用いることで、映像表示装置１０が移動体に固定されていなくても、乗員の視点から見えると推定される背景映像を作成することができる。このような背景映像についての他の映像との合成映像が表示されて乗員に提示されるので、乗員がこの背景映像を見て視覚情報と平衡感覚情報とを一致させることを可能にする結果、動揺病の発症が低減する。
【００１７】
なお、背景映像作成部１１による背景映像の作成は、例えば、移動体の進行方向に対応した挙動をする像を有する映像を作成し、この映像を、頭部方向情報を用いて、乗員の視点から見えると推定される映像に視点変換して作成する。なお、背景映像作成部１１は、この移動体の進行方向に対応した挙動をする像を有する映像を、例えば、移動体の挙動を表している挙動情報を用いて作成する。この挙動情報としては、例えば、移動体の移動速度を表している速度情報とその移動体の操舵情報とを用いることができる。
【００１８】
また、背景映像作成部１１による背景映像の作成は、例えば、移動体に設置されているカメラで撮影することによって得られる移動体の周囲の映像を、頭部方向情報を用いて、乗員の視点から見えると推定される映像に視点変換して行うようにしてもよい。
【００１９】
なお、映像合成部１２による合成画像の生成では、例えば、前述の他の映像のサイズを背景映像よりも縮小した上でと当該他の映像に重ねた映像を、合成画像として生成する。あるいは、この代わりに、例えば、前述の他の映像の一部の領域を透過処理して背景映像に重ねた映像を、合成画像として生成してもよい。
【００２０】
なお、前述の他の画像が黒色の文字列のみの映像である場合には、映像合成部１２は、合成映像として、輝度を高める処理を行った背景画像に、この黒色の文字列を重ねた映像を生成するようにしてもよい。
なお、図１に図解されているように、映像表示装置１０に更に頭部方向検出部１４を備えるようにしてもよい。
【００２１】
頭部方向検出部１４は、移動体の進行方向に対する表示部１３の向きと、表示部１３に対する乗員の頭部の向きとを検出するとともに、検出した表示部１３の向きと頭部の向きとに基づいて、頭部方向情報を得る。背景映像作成部１１は、この場合には、頭部方向検出部１４が得た頭部方向情報を用いて背景映像を作成する。
なお、図１に図解されているように、映像表示装置１０に更に表示部方向検出部１５を備えるようにしてもよい。
【００２２】
表示部方向検出部１５は、移動体の挙動が加速直線運動であることを検出した場合に、移動体の進行方向に対する表示部１３の向きを、表示部１３に加わる加速直線運動の加速度の向きに基づいて検出する。頭部方向検出部１４は、この場合には、表示部方向検出部１５が検出した移動体の進行方向に対する表示部１３の向きに基づいて、移動体の進行方向に対する乗員の頭部の向きを検出する。
【００２３】
なお、表示部方向検出部１５は、移動体の挙動が加速直線運動であることの検出を、例えば、移動体の挙動を表している挙動情報に基づいて行う。なお、このときの移動体の挙動が加速直線運動であることの検出には、例えば、挙動情報として、移動体の移動速度を表している速度情報と移動体の操舵情報とを用いて行う。
なお、図１に図解されているように、映像表示装置１０に更に傾斜検出部１６を備えるようにしてもよい。
【００２４】
傾斜検出部１６は、水平面に対する表示部１３の傾斜の程度を検出する。表示部方向検出部１５は、この場合には、移動体の挙動が加速直線運動であるときに表示部１３に加わる加速度の向きを、前述の傾斜の程度に基づき水平面へ射影することによって、移動体の進行方向に対する表示部１３の向きを検出する。
また、図１に図解されているように、映像表示装置１０に更に頭部方向副検出部１７を備えるようにしてもよい。
【００２５】
頭部方向副検出部１７は、表示部１３が備えられている筐体に固定されているカメラが撮影した乗員の顔の画像に基づいて、表示部１３に対する乗員の頭部の向きを検出する。頭部方向検出部１４は、この場合には、頭部方向副検出部１７が検出した表示部１３に対する乗員の頭部の向きを用いて、移動体の進行方向に対する乗員の頭部の向きを検出する。なお、このときの乗員の頭部の向きの検出は、例えば、乗員の顔の映像における当該顔の像の相対位置に基づいて行う。
【００２６】
なお、図１では、上述した表示部方向検出部１５、傾斜検出部１６、及び頭部方向副検出部１７と頭部方向検出部１４とが別々に備えられているが、表示部方向検出部１５、傾斜検出部１６、及び頭部方向副検出部１７を頭部方向検出部１４に備えるようにしもよい。
【００２７】
次に図２について説明する。図２は、映像表示装置の別の実施例の機能ブロック図である。
図２においては、携帯端末２０が映像表示装置の一例である。この携帯端末２０は、例えば携帯電話であり、また、携帯可能なパーソナルコンピュータやＰＤＡ（Personal Data Assistance：携帯情報端末）であってもよい。
【００２８】
車両３０は、移動体の一例であり、例えば自動車である。
携帯端末２０は、車両３０の挙動を表している挙動情報を車両３０から取得する。この挙動情報には、車両３０の移動速度を表している速度情報と、車両３０の操舵の状態を表している操舵情報（例えば、車両３０の操舵のために回転操作されるハンドルの回転角度情報）とが含まれている。なお、本実施例においては、携帯端末２０と車両３０との間での各種情報の授受は、ブルートゥース（登録商標）のような近距離無線通信を用いるが、他の無線通信方式を用いて行ってもよく、また、有線通信方式を用いて行ってもよい。
【００２９】
この携帯端末２０は、車両移動映像作成部２１、頭部方向検出部２２、視点変換映像作成部２３、主映像取得部２４、表示合成部２５、及び表示部２６を備えている。
車両移動映像作成部２１は、車両３０から受け取った前述の挙動情報を用いて、車両３０の進行方向に対応した挙動をする像が映っている車両移動映像を作成する。なお、車両３０の挙動に対応した挙動をする像は、車両３０の周囲に実在する物体の像でなくてもよく、例えば漫画において躍動感の表現のために描かれる効果線や集中線のような像でもよい。
【００３０】
頭部方向検出部２２は、携帯端末２０の使用者である、車両３０に乗っている乗員の頭部の向きを検出して、その向きを表している頭部方向情報を生成する。頭部方向検出部２２による頭部方向情報の生成には、車両３０から受け取った前述の挙動情報が利用されるが、この頭部方向検出部２２の動作の詳細は後述する。
【００３１】
視点変換映像作成部２３は、頭部方向検出部２２が生成した乗員の頭部方向情報を用いて、車両移動映像作成部２１が作成した車両移動映像を、当該乗員の視点から見えると推定される映像に視点変換する映像変換処理を行う。
【００３２】
この視点変換映像作成部２３により生成される視点変換映像は、前述した背景映像の一例である。つまり、図２の携帯端末２０では、車両移動映像作成部２１、頭部方向検出部２２、及び視点変換映像作成部２３によって、背景映像作成部１１に相当する機能が提供される。
【００３３】
主映像取得部２４は、視点変換映像作成部２３により生成された視点変換映像と合成される画像である、携帯端末２０が備えている不図示の他の機能部により生成された映像（以下、「主映像」と称することとする。）を取得する。
【００３４】
表示合成部２５は、視点変換映像作成部２３により生成された視点変換映像を、主映像取得部２４が取得した主映像に合成して合成映像を生成する。この表示合成部２５により、図１における映像合成部１２に相当する機能が提供される。
【００３５】
表示部２６は、携帯端末２０に備えられている例えば液晶ディスプレイであり、表示合成部２５が生成した合成映像を表示する。この表示部２６は、図１における表示部１３に相当するものである。
【００３６】
次に図３について説明する。図３は、映像表示装置の更なる別の実施例の機能ブロック図である。
図３において、図２と同一の名称の構成要素には同一の符号を付している。
【００３７】
図３においても、携帯端末２０が映像表示装置の一例である。この携帯端末２０は、例えば携帯電話であり、また、携帯可能なパーソナルコンピュータやＰＤＡ（Personal Data Assistance：携帯情報端末）であってもよい。
【００３８】
車両３０は、移動体の一例であり、例えば自動車である。
携帯端末２０は、車両３０の挙動を表している挙動情報を車両３０から取得する。この挙動情報には、車両３０の移動速度を表している速度情報と、車両３０の操舵の状態を表している操舵情報（例えば、車両３０の操舵のために回転操作されるハンドルの回転角度情報）とが含まれている。更に、図３の携帯端末２０は、車両３０で作成される車両周辺映像も、車両３０から取得する。一方、車両３０は、携帯端末２０の頭部方向検出部２２により生成される頭部方向情報を携帯端末２０から取得する。なお、本実施例においては、携帯端末２０と車両３０との間での各種情報の授受は、ブルートゥース（登録商標）のような近距離無線通信を用いるが、他の無線通信方式を用いて行ってもよく、また、有線通信方式を用いて行ってもよい。
【００３９】
図３の車両３０は、複数台のカメラ３１と画像処理部３２とを備えている。
複数台のカメラ３１は車両３０に設置されており、車両３０の周囲の映像を互いに異なる視点で撮影する。
【００４０】
画像処理部３２は、車両３０自身の前述した挙動情報と携帯端末２０から受け取る頭部方向情報とを用いて、各カメラ３１により得られた、視点が互いに異なる車両３０の周囲の映像を、乗員の視点から見えると推定される映像に視点変換する画像処理を行う。なお、このような視点変換処理は、例えば前掲した特許文献５や特許文献６にも記載されている周知の技術であり、画像処理部３２は、このような周知の技術を用いて上述の視点変換処理を行う。
【００４１】
画像処理部３２により生成される視点変換映像は、車両３０から携帯端末２０へと送られる。
図３の携帯端末２０は、頭部方向検出部２２、主映像取得部２４、表示合成部２５、及び表示部２６を備えている。
【００４２】
頭部方向検出部２２は、携帯端末２０の使用者である、車両３０に乗っている乗員の頭部の向きを検出して、その向きを表している頭部方向情報を生成する。この頭部方向検出部２２の詳細は後述する。
【００４３】
主映像取得部２４は、視点変換映像作成部２３により生成された視点変換映像と合成される主映像を取得する。
表示合成部２５は、車両３０の画像処理部３２により生成された視点変換映像を、主映像取得部２４が取得した主映像に合成して合成映像を生成する。この表示合成部２５により、図１における映像合成部１２に相当する機能が提供される。
【００４４】
表示部２６は、携帯端末２０に備えられている例えば液晶ディスプレイであり、表示合成部２５が生成した合成映像を表示する。この表示部２６は、図１における表示部１３に相当するものである。
【００４５】
図３の構成において、車両３０の画像処理部３２により生成される視点変換映像は、前述した背景映像の一例である。つまり、図３の構成では、車両３０の複数台のカメラ３１及び画像処理部３２と、携帯端末２０の頭部方向検出部２２とによって、背景映像作成部１１に相当する機能が提供される。
【００４６】
なお、図３の構成では、画像処理部３２を車両３０に備えるようにしている。この代わりに、画像処理部３２を携帯端末２０に備えると共に、車両３０の複数台のカメラ３１により異なる視点で撮影された車両３０の周囲の映像を車両３０から携帯端末２０に送るようにして、視点変換の画像処理を携帯端末２０で行うようにしてもよい。
【００４７】
次に図４について説明する。図４は、図２及び図３に構成をそれぞれ図解した携帯端末２０における、頭部方向検出部２２の詳細機能ブロック図である。
頭部方向検出部２２は、車両３０の進行方向に対する乗員の頭部の向きを、車両３０の進行方向に対する表示部２６の向きと、表示部２６に対する乗員の頭部の向きとを用いて検出して、前述した頭部方向情報を得る。
【００４８】
図４において、頭部方向検出部２２は、車両挙動情報取得部４１、端末加速度値検出部４２、顔位置検出部４３、及び端末方向検出部４４を備えている。
車両挙動情報取得部４１は、車両３０から送られてくる前述した挙動情報を取得する。
【００４９】
端末加速度値検出部４２は、例えば三軸加速度センサであり、携帯端末２０（より具体的には表示部２６）に加わる加速度の向き及び大きさを検出する。
顔位置検出部４３は、携帯端末２０の表示部２６と、その表示部２６での表示を見ている乗員との位置関係を検出する。この顔位置検出部４３の詳細については後述する。
【００５０】
端末方向検出部４４は、まず、車両３０の進行方向に対する表示部２６の向きと、表示部２６に対する乗員の頭部の向きとの検出を行う。
ここで、車両３０の進行方向に対する表示部２６の向きの検出は、車両挙動情報取得部４１が取得した挙動情報と、端末加速度値検出部４２が検出した加速度の向き及び大きさとを用いて行う。この検出を行う端末方向検出部４４により、図１の表示部方向検出部１５及び傾斜検出部１６の機能が提供される。
【００５１】
また、表示部２６に対する乗員の頭部の向きの検出は、顔位置検出部４３が検出した表示部２６と乗員との位置関係を用いて行う。この検出を行う端末方向検出部４４により、図１の頭部方向副検出部１７の機能が提供される。
【００５２】
次に、端末方向検出部４４は、このようにして得られた、車両３０の進行方向に対する表示部２６の向きと表示部２６に対する乗員の頭部の向きとを用いて、車両３０の進行方向に対する乗員の頭部の向きを検出して、前述した頭部方向情報を得る。端末方向検出部４４がこの動作を行うことによって、図１の頭部方向検出部１４の機能が提供される。
【００５３】
なお、図１の映像表示装置１０や、図２及び図３における携帯端末２０を、標準的な構成のコンピュータを用いて構成することができる。
ここで図５について説明する。図５には、コンピュータの構成の一例が図解されている。
【００５４】
このコンピュータ５０は、ＭＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、ハードディスク装置５４、入力装置５５、表示装置５６、インタフェース装置５７、及び記録媒体駆動装置５８を備えている。なお、これらの構成要素はバスライン５９を介して接続されており、ＭＰＵ５１の管理の下で各種のデータを相互に授受することができる。
【００５５】
ＭＰＵ（Micro Processing Unit）５１は、このコンピュータ５０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）５２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ５１は、この基本制御プログラムをコンピュータ５０の起動時に読み出して実行することにより、このコンピュータ５０の各構成要素の動作制御が可能になる。
【００５６】
ＲＡＭ（Random Access Memory）５３は、ＭＰＵ５１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【００５７】
ハードディスク装置５４は、ＭＰＵ５１によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。ＭＰＵ５１は、ハードディスク装置５４に記憶されている所定の制御プログラムを読み出して実行することにより、各種の制御処理を行えるようになる。
【００５８】
入力装置５５は、例えばスイッチ群であり、図１の映像表示装置１０や図２及び図３における携帯端末２０の使用者である乗員により操作されると、その操作内容に対応付けられている各種情報の入力を取得し、取得した入力情報をＭＰＵ５１に送付する。
【００５９】
表示装置５６は例えば液晶ディスプレイであり、ＭＰＵ５１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置５７は、このコンピュータ５０に接続される各種機器との間での各種情報の授受の管理を行う。
【００６０】
記録媒体駆動装置５８は、可搬型記録媒体６０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ５１は、可搬型記録媒体６０に記録されている所定の制御プログラムを、記録媒体駆動装置５８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体６０としては、例えばＵＳＢ（Universal Serial Bus）規格のコネクタが備えられているフラッシュメモリ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などがある。
【００６１】
このようなコンピュータ５０を用いて図１の映像表示装置１０や図２及び図３における携帯端末２０を構成するには、例えば、次に説明する映像表示制御処理をＭＰＵ５１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置５４若しくは可搬型記録媒体６０に予め格納しておく。そして、ＭＰＵ５１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、図１や図２及び図３に図解されている、映像表示装置１０や携帯端末２０が備えている構成要素が各々備えている機能がＭＰＵ５１により提供されて、コンピュータ５０が映像表示装置１０や携帯端末２０として機能するようになる。
【００６２】
次に図６について説明する。図６は、映像表示制御処理の処理内容を図解したフローチャートである。この処理は、図１の映像表示装置１０や図２及び図３における携帯端末２０の使用者である乗員が、所定の指示を与えることによって開始される。
なお、ここでは、図２における携帯端末２０の各構成要素が図６の映像表示制御処理を行う場合について説明する。
【００６３】
図６において、まず、Ｓ１０１において、頭部方向検出部２２が頭部方向検出処理を行う。この処理は、移動体の進行方向に対する乗員の頭部の向きを、移動体の進行方向に対する表示部２６の向きと、表示部２６に対する乗員の頭部の向きとを用いて検出して、前述した頭部方向情報を得る処理であり、その処理の詳細は後述する。この処理により得られた頭部方向情報は、視点変換映像作成部２３に送られる。
【００６４】
まず、Ｓ１０２では、直近のＳ１０１の処理により得られた頭部方向情報が、その前回に行われたＳ１０１の処理により得られたものから変化したか否かを判定する処理を視点変換映像作成部２３が行う。ここで、頭部方向情報が変化したと判定されたとき（判定結果がＹｅｓのとき）にはＳ１０３に処理が進む。Ｓ１０３では、視点変換映像の生成の基準となる、乗員の視点の位置を、Ｓ１０１の処理により得られた頭部方向情報に基づいて更新する処理を視点変換映像作成部２３が行う。一方、Ｓ１０２の判定処理において、頭部方向情報が変化していないと判定されたとき（判定結果がＮｏのとき）には、視点変換映像の生成の基準となる、乗員の視点の位置の更新をしないまま、Ｓ１０４に処理が進む。
【００６５】
Ｓ１０４では、Ｓ１０１の処理で得られた頭部方向情報に基づいて位置設定される乗員の視点から見えると推定される背景映像を作成する背景映像作成処理を車両移動映像作成部２１及び視点変換映像作成部２３が行う。
【００６６】
より具体的には、まず、車両移動映像作成部２１が、車両３０から受け取った前述の挙動情報を用いて、車両３０の挙動に対応した挙動をする像が映っている車両移動映像を作成する。そして、次に、視点変換映像作成部２３が、この車両移動映像を、Ｓ１０１の処理で得られた頭部方向情報に基づいて位置設定される、乗員の視点から見えると推定される映像に視点変換する映像変換処理を行う。
【００６７】
次に、Ｓ１０５では、Ｓ１０４の処理により作成された背景映像を他の映像に合成して合成映像を生成する映像合成処理を表示合成部２５が行う。より具体的には、表示合成部２５は、視点変換映像作成部２３により生成された視点変換映像を、主映像取得部２４が取得した主映像に合成して合成映像を生成する。
【００６８】
Ｓ１０６では、Ｓ１０５の処理により生成された合成映像を表示する処理を表示部２６が行う。
Ｓ１０７では、この映像表示制御処理の終了を示す所定の指示を、携帯端末２０の使用者である乗員から受け取ったか否かを判定する処理が行われる。この処理は、携帯端末２０が備えている不図示の制御部が行う。このＳ１０７の判定処理において、映像表示制御処理の終了を示す指示を受け取ったと判定したとき（判定結果がＹｅｓのとき）にはこの映像表示制御処理を終了する。一方、このＳ１０７の判定処理において、映像表示制御処理の終了を示す指示を受け取っていないと判定したとき（判定結果がＮｏのとき）にはＳ１０１に処理が戻って前述した処理が繰り返される。
【００６９】
以上までの処理が映像表示制御処理である。
なお、図１の映像表示装置１０の各構成要素が図６の映像表示制御処理を行う場合には、以下のように行われる。
まず、Ｓ１０１の頭部方向検出処理は頭部方向検出部１４が行い、得られた頭部方向情報は背景映像作成部１１に送られる。
【００７０】
また、Ｓ１０２、Ｓ１０３、及びＳ１０４の処理は、背景映像作成部１１が行う。すなわち、Ｓ１０２において、直近のＳ１０１の処理により得られた頭部方向情報が、その前回に行われたＳ１０１の処理により得られたものから変化したか否かを判定する処理を背景映像作成部１１が行う。ここで、頭部方向情報が変化したと判定されたとき（判定結果がＹｅｓのとき）にはＳ１０３に処理が進む。Ｓ１０３では、背景映像の生成の基準となる、乗員の視点の位置を、Ｓ１０１の処理により得られた頭部方向情報に基づいて更新する処理が行われる。一方、Ｓ１０２の判定処理において、頭部方向情報が変化していないと判定されたとき（判定結果がＮｏのとき）には、背景映像の生成の基準となる、乗員の視点の位置の更新をしないまま、Ｓ１０４に処理が進む。そして、Ｓ１０４において、Ｓ１０１の処理で得られた頭部方向情報に基づいて位置設定される乗員の視点から見えると推定される背景映像を作成する処理を、背景映像作成部１１が行う。
【００７１】
また、Ｓ１０５の映像合成処理は映像合成部１２が行い、Ｓ１０６の合成映像表示処理は、表示部１３が行う。そして、Ｓ１０７の判定処理は、映像表示装置１０が備えている不図示の制御部が行う。
【００７２】
図１の映像表示装置１０の各構成要素が図６の映像表示制御処理を行う場合には、以上のように行われる。一方、図３における携帯端末２０の各構成要素が図６の映像表示制御処理を行う場合には、以下のように行われる。
【００７３】
まず、Ｓ１０１の頭部方向検出処理は頭部方向検出部２２が行い、得られた頭部方向情報は車両３０の画像処理部３２に送られる。
Ｓ１０２及びＳ１０３の処理は、車両３０の画像処理部３２により行われる。
【００７４】
Ｓ１０４の背景映像作成処理は、車両３０の複数台のカメラ３１と画像処理部３２とにより行われる。この場合には、まず、複数台のカメラ３１が、車両３０の周囲の映像を撮影して、視点が互いに異なる車両３０の周囲の映像を取得する。そして、次に、画像処理部３２が、この車両３０の周囲の映像を、車両３０自身の前述した挙動情報とＳ１０１の処理で得られた頭部方向情報に基づいて位置設定される、乗員の視点から見えると推定される映像に視点変換する映像変換処理を行う。
【００７５】
Ｓ１０５の映像合成処理は携帯端末２０の表示合成部２５が行う。この場合、表示合成部２５は、車両３０の画像処理部３２により生成された視点変換映像を、主映像取得部２４が取得した主映像に合成して合成映像を生成する。
Ｓ１０６の合成映像表示処理は表示部２６が行う。そして、Ｓ１０７の判定処理は、携帯端末２０が備えている不図示の制御部が行う。
【００７６】
図３における携帯端末２０の各構成要素が図６の映像表示制御処理を行う場合には、以上のように行われる。
なお、図６の処理では、Ｓ１０１からＳ１０６の処理の繰り返しにおいて、Ｓ１０１の頭部方向検出処理とＳ１０４の背景映像作成処理との処理回数は同数である。この代わりに、例えば、Ｓ１０１からＳ１０３までの処理は１秒に１回実行するようにし、Ｓ１０４からＳ１０６の処理は１秒に３０〜６０回実行するようにして、両者の処理の実行を別のタイミングで行うようにしてもよい。このようにすることで、頭部方向検出処理に長い時間を要しても、合成画像の表示の滑らかさを維持することができる。
【００７７】
次に、図６のＳ１０１の処理である頭部方向検出処理の処理内容について、更に詳細に説明する。
なお、以降の説明では、図１の映像表示装置１０と図２及び図３における携帯端末２０とを総称して『携帯端末２０』と記し、図１の映像表示装置１０の表示部１３と図２及び図３における携帯端末２０の表示部２６とを総称して『表示部２６』と記すこととする。
【００７８】
まず図７Ａについて説明する。図７Ａは、図６のＳ１０１の処理である頭部方向検出処理の処理内容をより詳細に図解したフローチャートである。この図７Ａの頭部方向検出処理について、図７Ｂを適宜参照しながら説明する。なお、図７Ｂは、移動体である車両３０の進行方向と、携帯端末２０の表示部２６の向きと、ユーザ７０（すなわち、車両３０に乗っている乗員）の頭部の顔の向きとの関係を、鉛直方向に見て模式的に図解したものである。
【００７９】
なお、ここでは、図４の構成を備えている、図２及び図３における携帯端末２０の頭部方向検出部２２が図７Ａの頭部方向検出処理を行う場合について説明する。
図７Ａにおいて、まず、Ｓ２０１では、車両３０の進行方向に対する携帯端末２０の表示部２６の向き（図７Ｂにおける携帯端末回転角度θ）を取得する表示部方向検出処理を端末方向検出部４４が行う。なお、このＳ２０１の処理の詳細は後述する。
【００８０】
次に、Ｓ２０２では、携帯端末２０の表示部２６に対する、ユーザ７０の頭部の顔の向き（図７Ｂにおける顔角度α）を取得する頭部方向副検出処理を端末方向検出部４４が行う。このＳ２０２の処理の詳細についても後述する。
【００８１】
次に、Ｓ２０３では、以上の処理により得られる携帯端末回転角度θと顔角度αとを加算し、その算出結果を、移動体である車両３０の進行方向に対するユーザ７０の頭部の向きを表している頭部方向情報として出力する処理を端末方向検出部４４が行う。その後はこの頭部方向検出処理が終了する。
【００８２】
以上までの処理が頭部方向検出処理である。
なお、図１の映像表示装置１０の各構成要素が図７Ａの頭部方向検出処理を行う場合には、Ｓ２０１の表示部方向検出処理を表示部方向検出部１５が行い、Ｓ２０２の頭部方向副検出処理を頭部方向副検出部１７が行う。そして、Ｓ２０３の処理は頭部方向検出部１４が行う。
【００８３】
なお、図７Ａにおいては、Ｓ２０１の処理が行われて携帯端末回転角度θが先に取得され、続いてＳ２０２の処理が行われて顔角度αが取得されているが、この処理の順序を逆にしてもよい。
【００８４】
次に図８Ａについて説明する。図８Ａは、図７ＡのＳ２０１の表示部方向検出処理の処理内容を図解したフローチャートである。この図８Ａの表示部方向検出処理について、図８Ｂ、図８Ｃを参照しながら説明する。
【００８５】
図８Ｂは、図８Ａの表示部方向検出処理により取得される携帯端末回転角度θを図解したものであり、移動体である車両３０の進行方向と携帯端末２０の表示部２６の向きとの関係を、鉛直方向に見て模式的に図解したものである。この図８Ｂは、座席の背面に固定されていた携帯端末２０をユーザ７０が他の位置に移動した場合を表現している。図８Ａの表示部方向検出処理は、このように、携帯端末２０がある位置から移動されたときには、携帯端末回転角度θを更新するために必ず実行する必要がある。
【００８６】
図８Ａの説明の前に、まず、携帯端末回転角度θの取得の原理について説明する。
通常携帯端末を手に持った場合、端末は水平面に対して傾斜している。よって、携帯端末回転角度θを求めるためには、端末の水平面からの傾斜角を求める必要がある。ここで、加速度センサに対して加速度がかかっていない状態において、端末が有する加速度センサの出力値から傾斜角を求める。具体的には、車両挙動情報を取得し、車両挙動情報から車両が停止中か、あるいは、車両が加速度の無い定速走行中かどうかを判断する。そして、車両が停止中か定速走行中であると判断されたなら、加速度センサの出力値から端末の傾斜角を計算する。なお、加速度センサの出力値から傾斜角を計算する手法は、従来技術を用いることができる。
【００８７】
図８Ｃは、傾斜角を用いて端末２０を水平面に射影した状態を示している。
携帯端末２０の表示部２６の向きと加速度センサのＸ軸及びＹ軸とが作る平面に対して、加速度センサが検出した加速度値を水平面に射影した加速度ベクトルは、（ａｘ’，ａｙ’）となる。携帯端末回転角度θは、下記の［数１］式とａｘ’及びａｙ’とを用いて求められる。
【数１】
0005672942.tif 000002
【００８８】
但し、［数１］式における符号は、象限による。
なお、停車中や定速走行中のように重力加速度以外の加速度のない状態では、ａｘ’及びａｙ’は共に０となる。つまり、重力加速度以外の加速度がない場合はθを計算することができないため、携帯端末は、車両挙動状態が加速あるいは減速運転中である場合に、θを計算する。
【００８９】
まず、端末方向検出部４４は、車両挙動情報取得部４１が車両３０から取得する挙動情報を参照して、車両３０の停止状態、若しくは等速直線走行状態を検出する。そして、このどちらかの状態が検出されているときに端末加速度値検出部４２で検出されている、携帯端末２０（すなわち表示部２６）に加わる加速度を取得する。
【００９０】
上述の２つの状態のどちらかが検出されているときに端末加速度値検出部４２で検出されている加速度は重力加速度であるはずである。従って、このときの端末加速度値検出部４２で検出されている加速度の向きは鉛直線方向であるから、鉛直線に対して垂直な水平面に対する表示部２６の傾斜角が判明する。
【００９１】
次に、端末方向検出部４４は、車両挙動情報取得部４１が車両３０から取得する挙動情報を参照して、車両３０の加速直線走行状態を検出する。そして、この加速直線走行状態が検出されているときに端末加速度値検出部４２で検出されている、携帯端末２０（すなわち表示部２６）に加わる加速度の向き及び大きさを取得する。
【００９２】
続いて、端末方向検出部４４は、取得した加速度の向き及び大きさを、既に判明している鉛直線に対して垂直な水平面に射影する。この射影が、図８Ｃにおけるベクトルａｘ’及びａｙ’となる。その後、端末方向検出部４４は、前掲した［数１］に従い、携帯端末回転角度θを算出する。
【００９３】
端末方向検出部４４は、以上のようにして携帯端末回転角度θを検出する。なお、図１の映像表示装置１０では、鉛直線に対して垂直な水平面と、この水平面に対する表示部２６の表示部１３の傾斜角との検出を傾斜検出部１６が行い、この検出結果に基づく携帯端末回転角度θの算出を表示部方向検出部１５が行う。
【００９４】
上述した携帯端末回転角度θの取得の原理を踏まえて、図８Ａのフローチャートを説明する。なお、ここでは、図４の構成を備えた頭部方向検出部２２が図８Ａの表示部方向検出処理を行う場合について説明する。
【００９５】
まず、Ｓ３０１において、車両挙動情報取得部４１が、車両３０から送られてくる前述した挙動情報を取得する挙動情報取得処理を行う。
次に、Ｓ３０２において、車両３０の走行状態が、停止状態若しくは等速直線走行状態であるか否かを、Ｓ３０１の処理により取得した挙動情報に基づいて判定する処理を端末方向検出部４４が行う。
【００９６】
この判定は、より具体的には、挙動情報に含まれている前述した速度情報と操舵情報とに基づいて行われる。ここで、速度情報が速度ゼロを表している場合、若しくは、操舵情報が車両３０の直線走行を表しており且つ速度情報の変化がない場合には、車両３０の走行状態が、停止状態若しくは等速直線走行状態であると判定される。一方、この他の場合には、車両３０の走行状態が、停止状態若しくは等速直線走行状態ではないと判定される。
【００９７】
このＳ３０２の判定処理において、車両３０の走行状態が、停止状態若しくは等速直線走行状態であると判定されたとき（判定結果がＹｅｓのとき）にはＳ３０３に処理が進む。一方、ここで、車両３０の走行状態が、停止状態及び等速直線走行状態のどちらの状態でもないと判定されたとき（判定結果がＮｏのとき）にはＳ３０１に処理が戻り、挙動情報取得処理が改めて行われる。
【００９８】
次に、Ｓ３０３において、端末加速度値検出部４２で検出されている、携帯端末２０（すなわち表示部２６）に加わる加速度の値を取得する処理を端末方向検出部４４が行う。
次に、Ｓ３０４において、端末傾斜角取得処理を端末方向検出部４４が行う。この処理は、端末加速度値検出部４２で検出されている、携帯端末２０（すなわち表示部２６）に加わる加速度の向きを取得し、この向きから、鉛直線に対して垂直な水平面に対する表示部２６の傾斜角を取得する処理である。
【００９９】
次に、Ｓ３０５において、車両挙動情報取得部４１が、車両３０から送られてくる前述した挙動情報を取得する挙動情報取得処理を改めて行う。
次に、Ｓ３０６において、車両３０の走行状態が、加速直線走行状態であるか否かを判定する処理を端末方向検出部４４が行う。
【０１００】
この判定は、より具体的には、挙動情報に含まれている前述した速度情報と操舵情報とに基づいて行われる。なお、Ｓ３０３の処理により取得した加速度値を、挙動情報に含まれている速度情報の代わりに用いてこの判定を行うようにしてもよい。ここで、操舵情報が車両３０の直線走行を表しており且つ速度情報が時間の経過に伴い増加している場合には、車両３０の走行状態が、加速直線走行状態であると判定される。一方、この他の場合には、車両３０の走行状態が、加速直線走行状態ではないと判定される。
【０１０１】
ここで、車両３０の走行状態が、加速直線走行状態であると判定されたとき（判定結果がＹｅｓのとき）にはＳ３０７に処理が進む。一方、ここで、車両３０の走行状態が、加速直線走行状態でないと判定されたとき（判定結果がＮｏのとき）にはＳ３０５に処理が戻り、挙動情報取得処理が改めて行われる。
【０１０２】
次に、Ｓ３０７において、携帯端末２０の表示部２６に加わる加速度の向き及び大きさを取得する処理を端末加速度値検出部４２が行う。
次に、Ｓ３０８において、Ｓ３０４の処理で得た傾斜角に基づき、Ｓ３０７の処理で得た加速度の向き及び大きさを、鉛直線に対して垂直な水平面に射影して、加速度成分（すなわち、図８Ｃのベクトル（ａｘ’，ａｙ’）の成分）を算出する処理を端末方向検出部４４が行う。
【０１０３】
次に、Ｓ３０９において、Ｓ３０８の処理で取得した加速度成分に基づき、前掲した［数１］式の計算を行って携帯端末回転角度θを算出する処理を端末方向検出部４４が行う。この後は、この表示部方向検出処理が終了する。
【０１０４】
以上までの処理が表示部方向検出処理である。なお、図１の映像表示装置１０の各構成要素が図７Ａの頭部方向検出処理を行う場合には、例えば、Ｓ３０１からＳ３０４の処理を傾斜検出部１７が行い、Ｓ３０５からＳ３０８の処理を表示部方向検出部１５が行う。
【０１０５】
次に、図４の頭部方向検出部２２における顔位置検出部４３の詳細について説明する。図９Ａは、顔位置検出部４３の詳細機能ブロック図である。
図９Ａにおいて、顔位置検出部４３にはカメラ８０が接続されている。この顔位置検出部４３は、カメラ画像取得部８１、顔認識部８２、及び顔位置特定部８３を備えている。
【０１０６】
カメラ８０は、表示部２６が備えられている携帯端末２０の筐体に固定されており、携帯端末２０のユーザ７０（すなわち、車両３０に乗っている乗員）の顔の映像を撮影する。
【０１０７】
カメラ画像取得部８１は、カメラ８０により撮影された画像を取得する。
顔認識部８２は、カメラ画像取得部８１が取得した画像に映っているユーザ７０の顔の像を認識する。
【０１０８】
顔位置特定部８３は、カメラ画像取得部８１が取得した画像中における、顔認識部８２が認識した顔の像の位置を求め、この位置に基づいて、表示部２６に対するユーザ７０の頭部の向きを特定する。この顔位置特定部８３の動作について、図９Ｂを用いて説明する。
【０１０９】
図９Ｂは、カメラ８０により撮影されたユーザ７０の顔の画像の一例を表している。なお、この画像例は、カメラ８０の画角が６０°（±３０°）の場合の例である。
まず、顔位置特定部８３は、カメラ８０により撮影された画像の中心位置と、顔認識部８２で認識されたユーザ７０の顔の像の中心位置との水平方向の距離Ｄ（図９Ｂにおける２つの十字印の間の距離）を求める。そして、顔位置特定部８３自身に予め備えられている顔角度テーブルを参照し、この距離Ｄに対応付けられている顔角度αを求める。なお、このようなテーブル参照により顔角度αを求める代わりに、距離Ｄと顔角度αとの関係式を求めておき、この式に距離Ｄの値を代入したときの式の値を算出して顔角度αを求めるようにしてもよい。
【０１１０】
なお、上述の説明では、カメラ８０により撮影された画像の中心位置と、顔認識部８２で認識されたユーザ７０の顔の像の中心位置との距離を求めている。この代わりに、例えばユーザ７０の鼻の像の認識を行い、カメラ８０により撮影された画像の中心位置と、ユーザ７０の鼻の像との距離を求め、この距離から顔角度αを求めるようにしてもよい。
【０１１１】
顔位置検出部４３は、このようにして、表示部２６に対するユーザ７０の頭部の向きを、表示部２６が備えられている筐体に固定されているカメラ８０で撮影することによって得られるユーザ７０の顔の画像に基づいて検出する。なお、図１の映像表示装置１０では、頭部方向副検出部１７が、顔位置検出部４３と同様にして、表示部１３に対する乗員の頭部の向きを、表示部１３が備えられている筐体に固定されているカメラで撮影することによって得られる乗員の顔の画像に基づき検出する。
【０１１２】
ここで図９Ｃについて説明する。図９Ｃは、図７ＡのＳ２０２の顔位置検出処理の処理内容を図解したフローチャートである。なお、ここでは、図９Ａの構成を備えた顔位置検出部４３が図９Ｃの顔位置検出処理を行う場合について説明する。
【０１１３】
まず、Ｓ４０１において、カメラ画像の取得処理をカメラ画像取得部８１が行う。この処理は、携帯端末２０のユーザ７０の顔の映像の撮影をカメラ８０に行わせて、当該撮影により得られた画像を取得する処理である。
【０１１４】
次に、Ｓ４０２において、顔認識処理を顔認識部８２が行う。この処理は、Ｓ４０１の処理により取得された画像に映っているユーザ７０の顔の像を認識する処理である。
次に、Ｓ４０３において、Ｓ４０１の処理により取得された画像から、ユーザ７０の顔の像がＳ４０２の顔認識処理によって認識できたか否かを判定する処理を顔認識部８２が行う。ここで、ユーザ７０の顔の像が認識できたと判定したとき（判定結果がＹｅｓのとき）にはＳ４０４に処理が進む。一方、ユーザ７０の顔の像が認識できなかったと判定したとき（判定結果がＮｏのとき）にはＳ４０１に処理が戻り、カメラ画像の取得処理が改めて行われる。
【０１１５】
Ｓ４０４では、Ｓ４０１の処理で取得した画像中における、Ｓ４０２の処理で認識された顔の像の位置を求め、この位置に基づいて、表示部２６に対するユーザ７０の頭部の向きを特定して顔角度αを求める処理を顔位置特定部８３が行う。この処理の詳細は、図９Ｂを用いて前述した通りである。この処理を終えると、顔位置検出処理が終了する。
なお、図１の映像表示装置１０では、頭部方向副検出部１７が図９Ｃの顔位置検出処理を行う。
【０１１６】
図７Ａの頭部方向検出処理におけるＳ２０３の処理では、図８Ａの表示部方向検出処理により得られる携帯端末回転角度θと、図９Ｃの顔位置検出処理により得られる顔角度αとを加算して頭部方向情報を求める処理が行われる。従って、例えば、携帯端末回転角度θが８０°であって顔角度αが２０°であるとすると、車両３０の進行方向に対するユーザ７０の頭部の向きを示す角度は６０°となる。
【０１１７】
以上のように、図１の映像表示装置１０、並びに図２及び図３における携帯端末２０のいずれにおいても、移動体の進行方向に対する、当該移動体に乗車中の乗員の頭の向きを検出してその頭の向きにあった映像を生成してその表示を行う。従って移動体の進行方向に対して乗員の頭の方向がどの方向であっても、視覚情報と平衡感覚情報を一致させることができるので、動揺病の発症が低減する。
【０１１８】
なお、図１の映像表示装置１０における映像合成部１２による映像合成の手法、及び図２及び図３における携帯端末２０の表示合成部２５による映像合成の手法には幾つかの手法がある。この映像合成の手法の例について、図１０Ａ、図１０Ｂ、及び図１０Ｃを参照しながら説明する。
【０１１９】
図１０Ａの手法の例は、合成映像として、主映像９２のサイズを背景映像９１よりも縮小した上で、縮小された主映像９２を背景映像９１に重ねた映像を生成する例である。
図１０Ｂの手法の例は、合成映像として、主映像９２の一部の領域を透過処理して背景映像９１に重ねた映像（透過合成映像９３）を生成する例である。
【０１２０】
図１０Ｃの手法の例は、主映像９２が黒色の文字列のみの映像であることに好適な例であり、背景画像９１の輝度を高める処理を行って高輝度背景映像９４とし、この高輝度背景映像９４に、黒色の文字列である主映像９２を重ねた映像を生成する例である。このようにすることで、黒色の文字列である主映像９２の視認性も向上する。
【０１２１】
図１の映像表示装置１０における映像合成部１２による映像合成の手法、及び図２及び図３における携帯端末２０の表示合成部２５による映像合成の手法は、上述した例のいずれでもよく、また、その他の手法を採用してもよい。
【０１２２】
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
移動体の進行方向に対する該移動体の乗員の頭部の向きに関する頭部方向情報と、該進行方向に対応した挙動をする像を有する映像とを用い、該乗員の視点から見えると推定される背景映像を作成する背景映像作成部と、
前記背景映像作成部が作成した前記背景映像と他の画像とを合成して合成映像を生成する映像合成部と、
前記映像合成部が生成した合成映像を表示する表示部と、
を備えることを特徴とする映像表示装置。
（付記２）
前記背景映像作成部は、前記移動体の進行方向に対応した挙動をする像を有する映像を作成し、前記頭部方向情報を用いて該映像を前記乗員の視点から見えると推定される映像に視点変換して前記背景映像を作成することを特徴とする付記１に記載の映像表示装置。
（付記３）
前記背景映像作成部は、前記移動体の進行方向に対応した挙動をする像を有する映像を、前記移動体の挙動を表している挙動情報を用いて作成することを特徴とする付記２に記載の映像表示装置。
（付記４）
前記背景映像作成部は、前記挙動情報として、前記移動体の移動速度を表している速度情報と該移動体の操舵情報とを用いて、前記移動体の進行方向に対応した挙動をする像を有する映像を作成することを特徴とする付記３に記載の映像表示装置。
（付記５）
前記背景映像作成部は、前記移動体に設置されているカメラで撮影することによって得られる前記移動体の周囲の映像を、前記頭部方向情報を用いて前記乗員の視点から見えると推定される映像に視点変換して前記背景映像を作成することを特徴とする付記１に記載の映像表示装置。
（付記６）
前記進行方向に対する前記表示部の向きと、該表示部に対する前記乗員の頭部の向きとを検出するとともに、検出した該表示部の向きと該頭部の向きとに基づいて、前記頭部方向情報を得る頭部方向検出部を更に備えることを特徴とする付記１に記載の映像表示装置。
（付記７）
前記移動体の挙動が加速直線運動であることを検出した場合に、前記進行方向に対する前記表示部の向きを、該表示部に加わる該加速直線運動の加速度の向きに基づいて検出する表示部方向検出部を更に備えており、
前記頭部方向検出部は、前記表示部方向検出部が検出した前記移動体の進行方向に対する前記表示部の向きに基づいて、該移動体の進行方向に対する前記頭部の向きを検出する、
ことを特徴とする付記６に記載の映像表示装置。
（付記８）
前記表示部方向検出部は、該移動体の挙動を表している挙動情報に基づいて、前記挙動が加速直線運動であることを検出することを特徴とする付記７に記載の映像表示装置。
（付記９）
前記表示部方向検出部は、前記挙動情報として、前記移動体の移動速度を表している速度情報と該移動体の操舵情報とを用いて、前記挙動が加速直線運動であることの検出を行うことを特徴とする付記８に記載の映像表示装置。
（付記１０）
水平面に対する前記表示部の傾斜の程度を検出する傾斜検出部を更に備えており、
前記表示部方向検出部は、前記移動体の挙動が加速直線運動であるときに前記表示部に加わる加速度の向きを前記傾斜の程度に基づき前記水平面へ射影することによって、該移動体の進行方向に対する該表示部の向きを検出する、
ことを特徴とする付記７に記載の映像表示装置。
（付記１１）
前記表示部が備えられている筐体に固定されているカメラが撮影した前記乗員の顔の画像に基づいて、該表示部に対する該乗員の頭部の向きを検出する頭部方向副検出部を更に備えており、
前記頭部方向検出部は、前記頭部方向副検出部が検出した前記表示部に対する頭部の向きを用いて、前記移動体の進行方向に対する頭部の向きを検出する、
ことを特徴とする付記６乃至１０のいずれか一項に記載の映像表示装置。
（付記１２）
前記頭部方向副検出部は、前記乗員の顔の映像における該顔の像の相対位置に基づいて、前記表示部に対する前記乗員の頭部の向きを検出することを特徴とする付記１１に記載の映像表示装置。
（付記１３）
前記映像合成部は、前記合成映像として、前記他の映像のサイズを前記背景映像よりも縮小した上で該他の映像を該背景映像に重ねた映像を生成することを特徴とする付記１に記載の映像表示装置。
（付記１４）
前記映像合成部は、前記合成映像として、前記他の映像の一部の領域を透過処理して前記背景映像に重ねた映像を生成することを特徴とする付記１に記載の映像表示装置。
（付記１５）
前記他の映像は黒色の文字列のみの映像であり、
前記映像合成部は、前記合成映像として、輝度を高める処理を行った前記背景画像に、前記黒色の文字列を重ねた映像を生成することを特徴とする付記１に記載の映像表示装置。
（付記１６）
移動体の進行方向に対する該移動体の乗員の頭部の向きに関する頭部方向情報を取得し、
前記頭部方向情報と前記進行方向に対応した挙動をする像を有する映像とを用い、前記乗員の視点から見えると推定される背景映像を作成し、
前記作成された背景映像と他の画像とを合成して合成映像を生成し、
前記生成された合成映像を表示する、
ことを特徴とする映像表示方法。
（付記１７）
移動体の進行方向に対する該移動体の乗員の頭部の向きに関する頭部方向情報を取得し、
前記頭部方向情報と前記進行方向に対応した挙動をする像を有する映像とを用い、前記乗員の視点から見えると推定される背景映像を作成し、
前記作成された背景映像と他の画像とを合成して合成映像を生成し、
前記生成された合成映像を表示する、
処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１２３】
１０  映像表示装置
１１  背景映像作成部
１２  映像合成部
１３、２６  表示部
１４、２２  頭部方向検出部
１５  表示部方向検出部
１６  傾斜検出部
１７  頭部方向副検出部
２０  携帯端末
２１  車両移動映像作成部
２３  視点変換映像作成部
２４  主映像取得部
２５  表示合成部
３０  車両
３１、８０  カメラ
３２  画像処理部
４１  車両挙動情報取得部
４２  端末加速度値検出部
４３  顔位置検出部
４４  端末方向検出部
５０  コンピュータ
５１  ＭＰＵ
５２  ＲＯＭ
５３  ＲＡＭ
５４  ハードディスク装置
５５  入力装置
５６  表示装置
５７  インタフェース装置
５８  記録媒体駆動装置
５９  バスライン
６０  可搬型記録媒体
７０  ユーザ
８１  カメラ画像取得部
８２  顔認識部
８３  顔位置特定部
９１  背景映像
９２  主映像
９３  透過合成映像
９４  高輝度背景映像
【図１】
0005672942.tif 000003
【図２】
0005672942.tif 000004
【図３】
0005672942.tif 000005
【図４】
0005672942.tif 000006
【図５】
0005672942.tif 000007
【図６】
0005672942.tif 000008
【図７Ａ】
0005672942.tif 000009
【図８Ａ】
0005672942.tif 000010
【図９Ａ】
0005672942.tif 000011
【図７Ｂ】
0005672942.tif 000012
【図８Ｂ】
0005672942.tif 000013
【図８Ｃ】
0005672942.tif 000014
【図９Ｂ】
0005672942.tif 000015
【図９Ｃ】
0005672942.tif 000016
【図１０Ａ】
0005672942.tif 000017
【図１０Ｂ】
0005672942.tif 000018
【図１０Ｃ】
0005672942.tif 000019