(57)【要約】【課題】表示装置に対する違和感を適切に解消することができる違和感軽減表示装置およびその表示制御方法を提供する。【解決手段】本実施形態に係る表示装置１００は、表示部１６０と、車体に生じる回転成分を当該車体の傾きとして取得する自車回転成分取得部１２０と、取得した車体の傾きに基づいて映像を３次元的に回転補正し、表示部１６０において空間的に固定される面になるように、当該回転補正した映像を表示するための位置と傾きを決定する仮想表示位置決定部１４０と、位置と傾きが決定された映像を表示部１６０に投影表示する投影表示部１５０と、を備える。【選択図】  図１
2013237320.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
車体に生じる回転成分を当該車体の傾きとして取得する自車回転成分取得部と、
前記取得した車体の傾きに基づいて映像を３次元的に回転補正し、前記表示部において空間的に固定される面になるように、当該回転補正した映像を表示するための位置と傾きを決定する仮想表示位置決定部と、
前記位置と傾きが決定された映像を前記表示部に投影表示する投影表示部と、
を備える違和感軽減表示装置。
【請求項２】
前記空間的に固定される面は、
前記車体の進行方向と平行となる法線の面によって形成される仮想表示面である
請求項１に記載の違和感軽減表示装置。
【請求項３】
視聴者の目の位置情報を取得するカメラと、
当該カメラにより取得した前記視聴者の目の位置情報を取得する視聴位置取得部と、をさらに備え、
前記仮想表示位置決定部は、
前記取得した車体の傾きと前記取得した視聴者の目の位置情報に基づいて、当該視聴者から見た前記回転補正された映像までの位置が一定に見えるように、前記仮想表示面を補正して、当該補正された仮想表示面を前記表示部に投影表示させる位置と傾きを決定する
請求項２に記載の違和感軽減表示装置。
【請求項４】
前記仮想表示決定部は、
前記車体に生じる加速度または角速度の少なくともいずれか一方を取得して、取得した当該加速度または角速度に基づいて前記仮想表示面の位置と傾きを決定する
請求項２または３のいずれかに記載の違和感軽減表示装置。
【請求項５】
前記仮想表示決定部は、
道路事情または交通事情に基づき、前記車体に生じる加速度または角速度の少なくともいずれか一方を予測して、当該予測に基づいて前記仮想表示面の位置と傾きを決定する
請求項２から４のいずれか１項に記載の違和感軽減表示装置。
【請求項６】
前記表示部の回転成分を当該表示部の傾きとして取得する表示機器回転成分取得部を、さらに備え、
前記仮想表示位置決定部は、
前記表示部の傾きをさらに取得して、前記回転補正した仮想表示面について前記車体に対する表示部の相対的な傾きを補正して、当該補正した仮想表示面を前記表示部に表示させる位置と傾きを決定する
請求項２から５のいずれか１項に記載の違和感軽減表示装置。
【請求項７】
前記表示部に前記仮想表示面の標準の配置を設定する標準仮想表示面配置設定部を、
さらに備える
請求項２から６のいずれか１項に記載の違和感軽減表示装置。
【請求項８】
前記仮想表示位置決定部は、
３次元空間における３次元構造物として前記表示部に投影表示される映像の配置を補正し、
前記投影表示部は、
当該補正された３次元構造物の映像の配置を前記表示部に投影表示する
請求項２から７のいずれか１項に記載の違和感軽減表示装置。
【請求項９】
前記仮想表示位置決定部は、
前記視聴者の左右の目それぞれの位置情報を取得して、当該左右の目それぞれの位置において前記仮想表示面を補正し、当該補正された仮想表示面を前記表示部に投影表示させる位置と傾きを決定し、
前記投影表示部は、
当該位置と傾きが決定された仮想表示面を前記表示部に投影表示する
請求項３に記載の違和感軽減表示装置。
【請求項１０】
車体に生じる回転成分を当該車体の傾きとして取得する自車回転成分取得ステップと、
前記取得した車体の傾きに基づいて映像を３次元的に回転補正し、表示部において空間的に固定される面になるように、当該回転補正した映像を表示するための位置と傾きを決定する仮想表示位置決定ステップと、
前記位置と傾きが決定された映像を前記表示部に投影表示する投影表示ステップと、
を含む違和感軽減表示装置の表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、違和感軽減表示装置およびその表示制御方法に関する。
【背景技術】
【０００２】
近年、テレビや映画などを視聴することができる表示装置が、自動車、バス、電車、飛行機または船などに設置されている。このような表示装置は、通常、乗り物に直接取り付けられている。
【０００３】
そのため、乗り物自体に振動や揺れが生じた場合には、その表示装置にも振動が直接伝播するので、表示装置を見ていた視聴者は、振動による表示装置のずれにより違和感を生じたり、表示装置の見づらさを感じていた。
【０００４】
そこで、従来から、表示装置に伝播する振動に起因して、違和感を解消する表示装置や見づらさを解消する補正方法が、様々、検討されてきた（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１５３７０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、一般的な表示装置では、乗り物自体に振動が生じた場合、表示装置に表示される表示画像を２次元的平面上で上下に移動させて、視聴者が抱く違和感を軽減するようになっていた。この場合、例えば、道路がカーブしている場所では、表示装置に対して、回転方向にずれが生じるが、この回転方向のずれを並進方向で補正しているため、違和感が解消されていなかった。
【０００７】
すなわち、表示装置に回転方向のずれが生じた場合において、２次元的に並進方向のみしか補正することができなかったので、このような補正では表示装置に生じた回転方向のずれや奥行き方向に生じる振動が解消されず、表示装置に対する違和感を適切に解消することができていない、という問題があった。
【課題を解決するための手段】
【０００８】
本実施形態によれば、本実施形態に係る違和感軽減表示装置は、表示部と、車体に生じる回転成分を当該車体の傾きとして取得する自車回転成分取得部と、前記取得した車体の傾きに基づいて映像を３次元的に回転補正し、前記表示部において空間的に固定される面になるように、当該回転補正した映像を表示するための位置と傾きを決定する仮想表示位置決定部と、前記位置と傾きが決定された映像を前記表示部に投影表示する投影表示部と、を備える。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る表示装置の概略の構成を示した概略構成図。
【図２】第１の実施形態に係る表示装置の表示機器部が、車体に設けられた場合の配置の概略を示した概略配置図。
【図３】第１の実施形態に係る表示装置が使用する座標系と、回転系と、作成される平面画像との関係を示した説明図。
【図４】第１の実施形態に係る仮想表示位置決定部が、表示機器部の中心を０点としたときの仮想表示面の配置を定義するための説明図。
【図５】第１の実施形態に係る表示装置のハードウエアの構成を示したハードウエアブロック図。
【図６】第１の実施形態に係る表示装置が、ＤＶＤを再生しながら映像を表示部に仮想表示する場合の処理手順を示したフローチャート。
【図７】第１の実施形態に係る仮想表示面を視聴者が視聴している状態を真上から示した説明図。
【図８】第２の実施形態に係る仮想表示面として、車体が右に曲がる場合に仮想表示面も右に曲がる状態を真上から示した説明図。
【図９】第２の実施形態に係る仮想表示面として、車体が加速した場合に仮想表示面も加速感が増すように表示される状態を真上から示した説明図。
【図１０】第３の実施形態に係る表示装置の概略の構成を示した概略構成図。
【発明を実施するための形態】
【００１０】
本実施形態に係る表示装置（違和感軽減表示装置）１００は、自動車や電車などの座席に設けられる表示機器であって、例えば、自動車の後部座席に位置する同乗者が、運転席や助手席の背面に設けられたＤＶＤ（Digital Versatile Disk）などを視聴する際に使用される表示装置である。また、ヘッドアップディスプレイ（ＨＵＤ：Head Up Display）のように、車外の風景（景色）と一体化させて表示する際に使用される表示装置である。
【００１１】
本実施形態に係る表示装置１００は、自動車や電車などの車体の傾きと視聴者の位置とを考慮して、表示装置が有する表示画面の安定した位置に、ＤＶＤなどの映像による表示画面を表示させることにより、映像に対する違和感を軽減する表示装置である。
【００１２】
また、本実施形態に係る表示装置１００では、表示画面に映像を仮想表示させ、走行中に車体が揺れた場合でも、その車体の揺れを解消した映像を表示画面に仮想表示させることにより、振動によって生じた映像の違和感を軽減するようになっている。
【００１３】
特に、本実施形態では、車体が揺れた場合であっても、車外の風景（景色）と一体化した仮想表示の映像を表示画面（表示部）に表示させることができるので、振動によって生じた違和感を軽減することができる。
【００１４】
以下、本実施形態に係る表示装置１００について、添付図面を参照して説明する。
【００１５】
（第１の実施形態）
図１は、本実施形態に係る表示装置１００の概略の構成を示した概略構成図である。
【００１６】
図１に示すように、表示装置１００は、演算処理部１０５と、表示機器部１６５とを備えて構成されている。
【００１７】
演算処理部１０５は、標準仮想表示面配置設定部１１０、自車回転成分取得部１２０、視聴位置取得部１３０、仮想表示位置決定部１４０、投影表示部１５０などを備えて構成されている。この演算処理部１０５では、後述するＣＰＵ（Central Processing Unit）がＲＯＭ（Read Only Memory）に格納されている各種プログラムを実行することにより、実現されるようになっている。なお、演算処理部１０５の詳細については、後述することにする。
【００１８】
一方、表示機器部１６５は、表示部１６０、カメラ１７０、加速度センサ１８０などを備えて構成されている。これらは、ハードウエアによって構成されるようになっている。
【００１９】
具体的には、表示部１６０は、仮想表示面を表示する表示部であり、上述したＤＶＤに記録されている映像を表示する表示画面を構成している。この表示部１６０は、液晶ディスプレイやモニタなどにより構成されている。また、仮想表示面とは、表示部１６０に仮想表示される表示面であり、この仮想表示面の詳細については後述する。
【００２０】
カメラ１７０は、視聴者の目の位置（位置情報）を取得するためのカメラであり、表示機器部１６５に設けられている。カメラ１７０は、取得した視聴者の目の位置に関する情報を視聴位置取得部１３０に送出するようになっている。
【００２１】
加速度センサ１８０は、表示装置１００の加速度を取得するようになっている。加速度センサ１８０は、取得した加速度を、標準仮想表示面配置設定部１１０に送出するようになっている。
【００２２】
次に、表示機器部１６５やカメラ１７０が車体に設けられる配置について、説明する。
【００２３】
図２は、本実施形態に係る表示装置１００の表示機器部１６５が、車体に設けられた場合の配置の概略を示した概略配置図である。
【００２４】
図２に示すように、表示機器部１６５に設けられたカメラ１７０は、視聴者の目の位置（位置情報）を取得するように配置されている。また、表示機器部１６５の表示部１６０には、仮想表示面Ｈ上の映像が投影表示されるようになっている。なお、車体カメラ１７１は、車両外部の映像により車体の動きを取得するようになっており、車体の任意の場所に設けられている。また、加速度センサ１８０（図示せず）は、表示機器部１６５内に設けられている。
【００２５】
これに対し、演算処理部１０５を構成する標準仮想表示面配置設定部１１０（図１）は、表示部１６０に投影表示される仮想表示面Ｈの標準の配置を設定するようになっている。すなわち、車体が傾いていない状態で表示機器部１６５を車体に取り付けて、視聴者の違和感の少ない表示位置に仮想表示面Ｈを配置（設定）する。そして、本実施形態では、この標準の配置において車体の振動による影響を取り除き（このことをキャンセルするともいう。）、視聴者に違和感を軽減した映像を視聴させるようになっている。
【００２６】
また、標準仮想表示面配置設定部１１０は、車体に多少の振動が生じても、仮想表示面Ｈが表示部１６０に収まるように表示されており、表示部１６０の表示画面よりも少し小さいサイズ（大きさ）の表示面を設定するようになっている。
【００２７】
また、仮想表示面Ｈの奥行きについては、表示部１６０において多少奥行きを持たせて表示されるようになっている。なお、この奥行きについては、これに限定されるものではなく、表示部１６０の手前側に表示されるように設定してもよい。また、仮想表示面Ｈを大きく見たい場合には、表示部１６０上でその仮想表示面Ｈを拡大して表示するようにしてもよい。
【００２８】
また、視聴者が表示部１６０に表示された仮想表示面を一番見やすいと感じる状態は、視聴者の目の位置から車両の進行方向に延ばした直線と仮想表示面Ｈとの交点が、仮想表示面Ｈの中心となる状態であり、また、仮想表示面Ｈの法線が、地面に傾斜が無く舵角も振動も無い状態での進行方向と平行となるような傾きである。また、車体の進行方向の軸周りの回転をロールとしたとき、ロール角（ロールの傾きともいう。）は、仮想表示面Ｈの下側が重力方向とした方が望ましい。
【００２９】
ここで、表示機器部１６５の配置の制約により、表示機器部１６５の面の法線が、地面に傾斜が無く舵角も振動も無い状態での進行方向と平行となるような傾きに表示機器部１６５を配置できない場合でも、表示部１６０上の仮想表示面Ｈを傾けて、仮想表示面Ｈの法線が、地面に傾斜が無く舵角も振動も無い状態での進行方向と平行となるような傾きに仮想表示面Ｈを設定することにより、映像の違和感を軽減させることができる。
【００３０】
また、表示機器部１６５の配置の制約により、仮想表示面Ｈの法線が地面に傾斜が無く舵角も振動も無い状態での進行方向と平行となる傾きに設定すると、表示部１６０が進行方向上に無い場合や仮想表示面Ｈの表示領域が狭すぎる場合に、仮想表示面Ｈが見づらくなることがある。それを回避するために仮想表示面Ｈの法線の方向を視聴者寄りに調整してもよく、また仮想表示面の表示位置をずらすようにしてもよい。なお、その位置や傾きの調整量は、視聴者が任意に設定するようにしてもよい。
【００３１】
なお、標準仮想表示面配置設定部１１０が、加速度センサ１８０から取得した加速度により、仮想表示面の表示位置を設定する方法については、別途、後述する。
【００３２】
次に、自車回転成分取得部１２０（図１）は、車体の傾きを取得するようになっている。ここで、車体の傾きとは、重力と車の進行方向に対する傾きのことである。本実施形態では、自車回転成分取得部１２０は、車体に生じる回転成分を車体の傾きとして取得するようになっている。
【００３３】
具体的には、まず、車体に取り付けられた車体カメラ１７１が、車体の正面方向（前方を映すカメラ）または車体の後ろ方向（後ろ方向を映すカメラ）を撮影する。そして、自車回転成分取得部１２０は、車体カメラ１７１によって撮影された撮影画像データを取得して平面画像Ａを作成する。
【００３４】
図３は、本実施形態に係る表示装置１００が使用するカメラ座標系と、回転系と、作成される平面画像Ａとの関係を示した説明図である。
【００３５】
図３に示すように、平面画像Ａは、車体カメラ１７１が設けられた位置において撮影された撮影画像データから作成される。図３では、車体の水平方向をｘ軸（ピッチ軸）、車体の重力方向をｙ軸（ヨー軸）、車体の進行方向をｚ軸（ロール軸）として、平面画像をカメラ座標系で表示している。
【００３６】
自車回転成分取得部１２０は、作成した平面画像Ａから動きベクトルを検出するようになっている。ここで、動きベクトルの検出方法は、例えば、公知技術である勾配法やブロックマッチング法などの画像処理により検出する。また、自車回転成分取得部１２０は、ＣＡＮ（Controller Area Network）や車内ＬＡＮ（Local Area Network）など（車内通信）から車の速度（車速）と、ミリ波レーダ（近距離状況の探知システム）や３Ｄ（three dimensions）カメラなどによって得られた立体物までの距離により、検出した動きベクトルから車体に生じる直進方向の並進成分（動きベクトルを検出した際の、画像を比較した時間での移動分）をキャンセルする。
【００３７】
また、図３に示すように、撮影画像データから生成された平面画像Ａの立体物の座標を（ｘ、ｙ、ｆ）、得られた動きベクトルの横方向をｐｕ、縦方向をｐｖ、自車の速度をＣｚ、立体物までのｚ方向の距離をｐｚとすると、並進成分をキャンセルした動きベクトルの横方向ベクトルｗｕと、縦方向ベクトルｗｖは、以下のように示される。
【００３８】
wu = pu − x・Cz / pz                                      ・・・（１）
wv = pv − y・Cz / pz                                      ・・・（２）
【００３９】
ここでは、進行方向に並進成分のみをキャンセルしたが、画像処理や加速度センサなどを使用して重力方向の並進成分（Ｃｙ）や進行方向と重力方向に垂直な方向の並進成分（Ｃｘ）を取得して、３軸方向ともキャンセルした動きベクトルの横方向ベクトルｗｕと、縦方向ベクトルｗｖは、以下のように示される。
【００４０】
wu = pu ＋ (f・Cx − x・Cz) / pz                             ・・・（３）
wv = pv ＋ (f・Cy − y・Cz) / pz                             ・・・（４）
【００４１】
また、自車回転成分取得部１２０は、誤差の原因となる成分として、例えば、近すぎる立体物や移動体の動きベクトルを除去する。そして、自車回転成分取得部１２０は、平面画像におけるｘ軸回転成分、ｙ軸回転成分、ｚ軸回転成分を、それぞれＲｘ、Ｒｙ、Ｒｚとして、下記の式（５）、式（６）を特異値分解などにより計算する。
【００４２】
wu = −(x・y / f)・Rx ＋ ((f・f ＋ x・x) / f)・Ry − y・Rz      ・・・（５）
wv = −((f・f ＋ y・y) / f)・Rx ＋ (x・y / f )・Ry ＋ x・Rz      ・・・（６）
【００４３】
自車回転成分取得部１２０は、式（５）および（６）から、Ｒｘ、Ｒｙ、Ｒｚを求め、１フレーム間での車体の回転成分を算出する。すなわち、Ｒｘ＝sin(Δθｘ)、Ｒｙ＝sin(Δθｙ)、Ｒｚ＝sin(Δθｚ)を算出し、それぞれの回転角度を算出する。
【００４４】
次に、視聴位置取得部１３０（図１）は、表示機器部１６５に対する相対的な位置として、視聴者の目の位置（位置情報）を取得する。本実施形態では、視聴位置取得部１３０は、表示機器部１６５に取り付けられたカメラ１７０により、視聴者の目の位置（位置情報）を取得するようになっている。
【００４５】
なお、視聴者の目の位置は、左右の目のうちいずれか一方でもよく、また、左右の目の中心の位置としてもよい。勿論、視聴者の左右の目それぞれの位置情報を取得してもよい。なお、以下に説明する仮想表示位置決定部１４０は、視聴者の両方の目の中心位置において、仮想表示面Ｈの位置と傾きを決定する場合について説明するが、視聴者の左右の目それぞれの位置情報を取得した場合は、取得した左右の目それぞれの位置において仮想表示面Ｈを補正し、補正された仮想表示面Ｈを表示部１６０に投影表示させる、位置と傾きを決定することもできる。
【００４６】
次に、仮想表示位置決定部１４０（図１）は、表示機器部１６５における表示部１６０上の仮想表示面Ｈの位置と傾きを決定する。
【００４７】
図４は、本実施形態に係る仮想表示位置決定部１４０が、表示機器部１６５の中心を０としたときの仮想表示面Ｈの配置を定義するための説明図である。
【００４８】
図４に示すように、表示機器部１６５の中心０から見た表示機器部１６５自体の面を基準にして、仮想表示面Ｈの傾きと位置をローカル座標で定義するものとする。
【００４９】
具体的には、視聴者から見て表示機器部１６５の面の左右方向をｘｘ軸とし、視聴者から見て表示機器部１６５の面の上下方向をｙｙ軸とし、視聴者から見て表示機器部１６５の表面から裏面に向く方向をｚｚ軸とする。図４では、表示機器部１６５の配置を基準に真横から見た図であるため２次元的に見えているが、実際には３次元での配置を示している。
【００５０】
また、図４では、仮想表示面Ｈの標準の中心位置を、ＴＶ０（ＴＶ０ｘ、ＴＶ０ｙ、ＴＶ０ｚ）とし、表示機器部１６５に対する仮想表示面Ｈの角度を、ＲＶ０（ＲＶ０ｘ、ＲＶ０ｙ、ＲＶ０ｚ）とし、視聴者の両方の目の中心の標準位置を、ＴＥ０（ＴＥ０ｘ、ＴＥ０ｙ、ＴＥ０ｚ）としている。
【００５１】
次に、実際に、視聴者が表示装置１００を視聴しているときの位置や角度を定義する。
【００５２】
具体的には、車体の１フレームでの回転角度を車体の前進方向に極性を合わせた場合の回転角度を、ΔＲＣ(ΔＲＣｘ、ΔＲＣｙ、ΔＲＣｚ)とする。また、表示機器部１６５の１フレームでの回転角度（車体に対する相対的な回転角度）を車体の前進方向に極性を合わせた場合の回転角度を、ΔＲＤ (ΔＲＤｘ、ΔＲＤｙ、ΔＲＤｚ)とする。また、現在の視聴者の両方の目の中心位置を、ＴＥ（ＴＥｘ、ＴＥｙ、ＴＥｚ）とする。
【００５３】
仮想表示位置決定部１４０は、車両の振動によって表示部１６０の仮想表示面Ｈにおける見える位置が変わらないようにするための回転角度ずらし量を算出する。この回転角度ずらし量は、車体の回転角度と表示機器部１６５の回転角度の合計の積算値(Σ(ΔＲＣｘ ＋ ΔＲＤｘ)、 Σ(ΔＲＣｙ ＋ ΔＲＤｙ)、 Σ(ΔＲＸｚ ＋ ΔＲＤｚ))に、ハイパスフィルタ(高周波数成分を取得)を通した値ＲＨ（ＲＨｘ、ＲＨｙ、ＲＨｚ）（以下、これを単にＲＨともいう。）となる。
【００５４】
ここで、ハイパスフィルタを通す理由は、車体の回転角度と表示機器部１６５の回転角度の積算値の誤差を減らすためである。また、ハイパスフィルタを通すことにより、表示部１６０において仮想表示位置がずれないようにすることもできる。
【００５５】
換言すれば、ハイパスフィルタにより、車体角度の振動成分（周波数成分が高い）のみを抽出し、坂道での上昇／下降時、あるいはカーブ時における車体の角度変化（周波数成分が低い）を除去している。
【００５６】
また、仮想表示位置決定部１４０は、視聴者の目の位置から、表示部１６０の仮想表示面Ｈまでの見える位置が同じ位置となるように、仮想表示面Ｈの中心位置をずらす量を算出する。すなわち、仮想表示位置決定部１４０は、両方の目の中心(ＴＥ)から、ＴＶ０−ＴＥ０の位置に仮想表示面Ｈが位置するようにずらす。
【００５７】
次に、仮想表示位置決定部１４０は、視聴者の目の位置から、表示部１６０の仮想表示面Ｈまでの見える位置が同じ位置の状態で、仮想表示面Ｈの中心位置をＲＨで回転させる。すなわち、ＴＶ０−ＴＥ０をＲＨで回転させる。
【００５８】
そして、その回転させた結果を表示機器部１６５の中心からの座標にするため、視聴者の両目の中心の位置ＴＥを加算する。これらによって得られた位置が、仮想表示面Ｈの中心位置ＴＶ(ＴＶｘ、ＴＶｙ、ＴＶｚ)となる。
【００５９】
また、仮想表示面Ｈの傾きもＲＨで回転させるので、仮想表示面Ｈの回転角度ＲＶ（ＲＶｘ、ＲＶｙ、ＲＶｚ）は、ＲＶ０＋ＲＨとなる。
【００６０】
これらの演算処理により、仮想表示位置決定部１４０は、表示機器部１６５の中心０から見た仮想表示面Ｈの表示位置を決定するようになっている。すなわち、仮想表示位置決定部１４０は、表示部１６０に表示されている仮想表示面Ｈに対し、車両の振動に応じて回転補正と移動の補正を行うようになっている。
【００６１】
なお、第１の実施形態では、車体に振動が生じても、表示機器部１６５が車体に対してずれないように固定されている状態を想定している。つまり、表示機器部１６５が車体に対してずれを生じないと仮定しており、この場合、上述した表示機器部１６５の１フレームでの回転角度ΔＲＤは、ゼロとなる。
【００６２】
したがって、第１の実施形態では、車体カメラ１７１から得られる回転角度ΔＲＣのみで、前述のＲＨを求めることができる。
【００６３】
これに対し、表示機器部１６５の１フレームでの回転角度ΔＲＤがゼロで無い場合、すなわち、表示機器部１６５が車体に対して独立に回転あるいは振動する場合については、別途、回転角度ΔＲＤの情報が必要となる。これについては、後述する第３の実施形態で説明することとする。
【００６４】
また、視聴位置取得部１３０は、任意の構成要素であるため、表示装置１００の構成に必須の構成として含める必要は無い。例えば、視聴者の位置が固定される場合や、ヘッドマウントディスプレイのように表示機器が頭部に固定される場合には含める必要が無い。すなわち、視聴位置取得部１３０を表示装置１００の構成に含めない場合は、視聴者の位置に依存せず、自車回転成分取得部１２０によって取得した車体の傾きのみに基づいて、回転補正を行うことができる。また、視聴位置取得部１３０を表示装置１００の構成に含めた場合には、表示機器部１６５と視聴者位置との相対的な位置関係も加味して、回転補正と移動の補正を行うことができる。
【００６５】
具体的には、ヘッドマウントディスプレイの場合には、左右の目に別々に映像を描写するので、左右の目それぞれに対して仮想表示面Ｈの標準の配置を設定する必要がある。また、ヘッドマウントディスプレイの内部にカメラを設置して、視聴者によって異なる目の位置のずれや装着時のずれによる目の位置のずれを取得し、回転補正と移動の補正を行うようにしてもよい。この場合、表示機器部１６５が動くことになるので、後述する第３の実施形態における処理が必要となる。
【００６６】
次に、投影表示部１５０（図１）は、仮想表示面Ｈの４つ角と両目の中心を直線で結んだ表示機器部１６５の面の４交点に射影変換式を作成し、表示機器部１６５の表示部１６０に仮想表示面Ｈを投影表示する。そして、表示部１６０は、３次元空間で表示される３Ｄ（three dimensions）表示（すなわち３次元表示）により、仮想表示面Ｈを表示するようになっている。
【００６７】
このように、本実施形態に係る表示装置１００は、車両に生じる振動の影響をキャンセルした状態でＤＶＤなどの映像を表示機器部１６５の表示部１６０に仮想表示させることができるので、視聴者に対し、映像の違和感を軽減させることができる。
【００６８】
次に、図１で示した本実施形態に係る表示装置１００の機能ブロック図に対応するハードウエアの構成について説明する。なお、同一のハードウエアに関しては同一の符号を付し、説明を省略する。
【００６９】
図５は、本実施形態に係る表示装置１００のハードウエアの構成を示すハードウエアブロック図である。
【００７０】
図５に示すように、表示装置１００は、図１で示した演算処理部１０５を、ＣＰＵ２００、ＲＯＭ（Read Only Memory）２１０、ＲＡＭ（Random Access Memory）２２０で構成されるとともに、記憶部２３０、内部バス２４０などを備えて構成されている。
【００７１】
ＣＰＵ２００は、ＲＯＭ２１０に格納されている各種プログラムをＲＡＭ２２０にロードして、そのプログラムを展開することにより、各種プログラムの機能を実現することできる。ＲＡＭ２２０は、ワークエリア（作業用メモリ）として利用されるようになっている。ＲＯＭ２１０は、各種プログラムを格納するようになっている。ＲＯＭ２１０に格納されている各種プログラムには、図１で示した演算処理部１０５を実現するためのプログラムが含まれる。
【００７２】
記憶部２３０は、記憶メモリを構成する記憶部であり、ＲＡＭやハードディスクなどにより構成されている。本実施形態では、記憶部２３０は、例えば、ＤＶＤが該当する。
【００７３】
内部バス２４０は、ＣＰＵ２００が表示装置１００全体を統括制御するように、各構成要素に接続されている。
【００７４】
次に、本実施形態に係る表示装置１００が、ＤＶＤを再生しながら映像を表示部１６０に仮想表示する処理手順について説明する。
【００７５】
（仮想表示処理手順）
図６は、本実施形態に係る表示装置１００が、ＤＶＤを再生しながら映像を表示部１６０に仮想表示する場合の処理手順を示したフローチャートである。
【００７６】
まず、標準仮想表示面配置設定部１１０は、表示部１６０に表示する仮想表示面Ｈの標準の配置を設定する。標準仮想表示面配置設定部１１０は、車体が傾いていない状態で表示機器部１６５を車体に取り付けて、表示部１６０上の視聴者の違和感の少ない位置に仮想表示面Ｈを設定する（ステップＳ００１）。
【００７７】
次に、自車回転成分取得部１２０は、車体に取り付けられた車体カメラ１７１から、走行中の車外の撮影画像データを取得して平面画像Ａを作成する。そして、自車回転成分取得部１２０は、作成した平面画像Ａから車体の回転成分を算出し、車体の傾きを算出する（ステップＳ００３）。
【００７８】
次に、視聴位置取得部１３０は、表示機器部１６５に対する相対的な位置として視聴者の目の位置を取得する。本実施形態では、視聴位置取得部１３０は、表示機器部１６５に取り付けられたカメラ１７０により、視聴者の目の位置を取得する（ステップＳ００５）。
【００７９】
次に、仮想表示位置決定部１４０は、表示機器部１６５における表示部１６０上の仮想表示面Ｈの位置と傾きを決定する（ステップＳ００７）。具体的には、仮想表示位置決定部１４０は、車体の振動によって表示部１６０における仮想表示面Ｈの見える位置が変わらないようにするための回転角度ずらし量を算出する。また、仮想表示位置決定部１４０は、視聴者の目の位置から、仮想表示面Ｈまでの見える位置が同じ位置となるように仮想表示面Ｈの中心位置をずらす。そして、仮想表示位置決定部１４０は、視聴者の目の位置から、表示部１６０における仮想表示面Ｈまでの見える位置が同じ位置の状態で、仮想表示面の中心位置をＲＨで回転させ、表示機器部１６５の中心から見た仮想表示面Ｈの表示位置を決定する。
【００８０】
次に、投影表示部１５０は、仮想表示面の４つ角と目を直線で結んだ表示機器部１６５の面の４交点に射影変換式を作成し、表示部１６０に仮想表示面Ｈを３次元表示にて投影表示する（ステップＳ００９）。
【００８１】
以上説明したように、本実施形態に係る表示装置１００は、車体の回転成分を算出して車体の傾きを算出する。そして、表示装置１００は、表示部１６０の仮想表示面の位置と傾きを決定し、車体の振動によって表示部１６０の仮想表示面Ｈに見える位置が変わらないようにするための回転角度ずらし量を算出する。
【００８２】
また、表示装置１００は、仮想表示面Ｈの４つ角と目を直線で結んだ表示機器部１６５の面の４交点に射影変換式を作成し、表示機器部１６５の表示部１６０に仮想表示面Ｈを投影表示する。このとき、左右の目それぞれに対して投影表示し、３次元表示としてもよい。また、平面映像ではなく３次元構造物を表示する場合には、その３次元位置を考慮して表示するようにしてもよい。また、フォログラムのように３次元のまま表示するようにしてもよい。
【００８３】
これにより、本実施形態に係る表示装置１００は、車体に生じた振動の影響をキャンセルした状態でＤＶＤの映像を表示機器部１６５の表示部１６０に表示させることができるので、視聴者に対し、映像の違和感を軽減させることができる。
【００８４】
また、本実施形態に係る表示装置１００では、視聴位置取得部１３０が表示機器部１６５に対する相対的な位置として視聴者の目の位置を取得して、仮想表示位置決定部１４０が視聴者の目の位置から表示部１６０における仮想表示面Ｈまでの見える位置が同じ位置となるように仮想表示面Ｈの中心位置をずらし、表示機器部１６５の中心から見た仮想表示面Ｈの表示位置を決定することもできる。
【００８５】
なお、本実施形態に係る標準仮想表示面配置設定部１１０は、上述した第１の実施形態に限定されるものではない。例えば、仮想表示面Ｈの位置や傾きは、視聴者によって決められるようにしてもよい。また、視聴者は、表示機器部１６５自体も視聴者の視界に入ることを考慮して、仮想表示面Ｈの中心と表示機器部１６５の中心を重ねて、仮想表示面Ｈの奥行きと表示機器部１６５の奥行きを合わせることにより、違和感を軽減させるようにしてもよい。また、仮想表示位置決定部１４０は、車外の奥行きが仮想表示面Ｈの奥行きになるように、仮想表示面Ｈを遠くや無限遠に設定して違和感を軽減するようにしてもよい。また、表示機器部１６５の表示部１６０をタッチ操作する場合には、仮想表示面Ｈを視聴者の近く（視聴者寄り）に設定し、視聴者が触りやすくなるようにしてもよい。
【００８６】
また、標準仮想表示面配置設定部１１０は、仮想表示面Ｈを、以下のような設定方法により自動的に設定されるようにしてもよい。具体的には、まず、標準仮想表示面配置設定部１１０は、車体が動いていない状態で加速度センサにより車体の真下を特定する。そして、標準仮想表示面配置設定部１１０は、走行中に、表示機器部１６５に取り付けられた加速度センサ１８０から車速を取得するとともに、車体に設置された車内通信機器から舵角を取得する。
【００８７】
次に、舵角がない状態から加速時や減速時の加速度を算出して、停車時の加速度をキャンセルした方向を車体の進行方向とする。また、停車時の加速度の垂直成分方向のみを車体の進行方向として、振動などの影響を軽減するようにしてもよい。そして、仮想表示面Ｈの傾きを、仮想表示面Ｈの法線が地面に傾斜が無く舵角も振動も無い状態での進行方向と平行となるような傾きに設定する。また、進行方向の軸周りの回転をロールとするとき、ロール角（ロールの傾きともいう。）も仮想表示面Ｈの下側が重力方向となるように設定する。
【００８８】
この状態で、投影表示部１５０は、表示部１６０に仮想表示面Ｈを表示して、視聴者から見て上下左右にある程度の余裕がある表示サイズで表示部１６０に仮想表示面Ｈを投影表示するようにしてもよい。
【００８９】
（第２の実施形態）
上述した第１の実施形態では、表示装置１００は、振動による車体の回転角度ΔＲＣの変化情報や視聴者の目の位置の変化情報に基づいて、仮想表示面Ｈの配置（位置や傾き）を、あらかじめ設定された標準配置に常に空間的に固定、もしくは視聴者に対して相対的に空間的に固定している。そして、空間的に固定された仮想表示面Ｈ上の画像を表示部１６０に投影表示するようになっていた。
【００９０】
第２の実施形態では、第１の実施形態に加え、表示装置１００は、車体から得られる低周波の加速度（発進時、ブレーキ時、坂道またはバンクなど）や角速度（カーブ時）を取得して、仮想表示面Ｈの位置や傾きを表示部１６０内で意図的にずらし、違和感をさらに軽減させるようにしている。この場合の仮想表示面Ｈについて、図面を用いて以下に説明する。なお、第２の実施の形態に係る仮想表示面Ｈの位置や傾きのずらし方について、第１の実施形態に係る仮想表示面Ｈの表示される配置（位置と傾き）と対比して、説明することにする。
【００９１】
図７は、第１の実施形態に係る仮想表示面Ｈを視聴者が視聴している状態を真上から示した説明図である。
【００９２】
図７に示すように、仮想表示面Ｈは、表示機器部１６５の表示部１６０内に、奥行きを持った状態で３次元にて表示されている。第２の実施形態では、図７で示した表示方法だけでなく、さらに仮想表示面Ｈを３次元的に回転補正と移動の補正を行うようになっている。
【００９３】
図８は、第２の実施形態に係る仮想表示面Ｈとして、車体が右に曲がる場合に仮想表示面Ｈも右に曲がる状態を真上から示した説明図である。
【００９４】
図８に示すように、第２の実施形態に係る仮想表示面Ｈでは、視聴者が乗った車体が右に曲がった場合に、表示機器部１６５の表示部１６０に表示される仮想表示面Ｈも右に曲がるように回転して表示されている。
【００９５】
図９は、第２の実施形態に係る仮想表示面Ｈとして、車体が加速した場合に仮想表示面Ｈも加速感が増すように表示される状態を真上から示した説明図である。
【００９６】
図９に示すように、第２の実施形態に係る仮想表示面Ｈでは、視聴者が乗った車体が加速した場合に、表示機器部１６５の表示部１６０に表示される仮想表示面Ｈが、視聴者の方に近づくように移動して表示されている。なお、加速感を増すための仮想表示は、本実施形態に限定されるものではなく、例えば、仮想表示面Ｈを遠ざけるように表示部１６０に投影表示させてもよい。
【００９７】
このように、図８および９に示した仮想表示面Ｈによる仮想表示は、視聴者の身体で感じる変化を考慮して表示部１６０に表示させているので、視聴者に与える違和感を、より一層軽減することができる。
【００９８】
なお、第２の実施形態として示した仮想表示Ｈを実現する一例としては、車体や表示機器部１６５に加速度センサとジャイロセンサを取り付ける。そして、加速度センサとジャイロセンサで得られた加速度と角速度に対してローパスフィルタを通し、低周波成分のみを抽出する。また、停車時の真下方向である重力はキャンセルしておく。
【００９９】
これにより、得られた３軸の加速度と角速度に基づいて、ＲＨで仮想表示面Ｈを視聴者の目の位置に対して回転移動させ、例えば、加速度の方向または逆の方向に仮想表示面Ｈをずらすとともに、角速度側に仮想表示面Ｈの傾きをずらすことにより実現することができる。なお、仮想表示面Ｈをずらす量は、任意の値を設定することができ、例えば、加速度および角速度のそれぞれに対して定数倍した値とすることができる。
【０１００】
したがって、図８および図９に示したように、例えば、右カーブ時では、仮想表示面Ｈが右側に回転した状態になり、また、加速時には、仮想表示面Ｈが視聴者側に移動した状態になる。第２の実施形態では、仮想表示面Ｈをこのように表示させることにより、仮想表示面Ｈが、より進行方向に近くなり、視聴者に対し、違和感がさらに少ない映像を表示することができる。
【０１０１】
また、仮想表示面Ｈの位置を移動させたときに視聴者から見える面の向きが変わることがあるが、面の向きが変わらないように仮想表示面Ｈの傾きを補正してもよい。また、得られた加速度を重力の大きさでの割合分での値（比率）にして、その値（比率）に応じて進行方向に対して仮想表示面Ｈを傾けることにより、坂やバンクのように地面が重力に対して傾いていても、重力方向を真下とした仮想表示面Ｈを表示させることにより、視聴者に対し、違和感がさらに少ない映像を表示することができる。
【０１０２】
なお、仮想表示面Ｈをずらす量は、加速度ｇと角速度ωの関係と、視聴者の目から仮想表示面Ｈまでの距離ｒとを使用して、ｇ＝ｒωに比例してずらすようにしてもよい。なお、第２の実施形態はこれらに限定されるものではなく、仮想表示面Ｈをずらす量を車両の速度に比例させたり、反比例させた値であってもよい。
【０１０３】
また、さらに上述した第１および第２の実施形態にカーナビゲーションシステムを連動させて道路事情や交通事情を反映することにより、坂やＴ字路での減速などの加速度や舵角を予測して、その予測に基づいて、補正した仮想表示面Ｈを表示部１６０に表示させるようにしてもよい。
【０１０４】
（第３の実施形態）
第３の実施形態では、第１または第２の実施形態に加え、さらに表示機器回転成分取得部１９０を備えるようになっている。
【０１０５】
図１０は、第３の実施形態に係る表示装置１０１の概略の構成を示した概略構成図である。
【０１０６】
図１０に示した第３の実施形態に係る表示装置１０１が、図１に示した第１の実施形態に係る１００と異なる点は、表示機器回転成分取得部１９０を備えるようになっている点である。そのため、同一の構成要素については同一の符号を付し、その説明を省略する。
【０１０７】
表示機器回転成分取得部１９０は、表示機器部１６５の傾きを取得するようになっている。第３の実施形態では、表示機器回転成分取得部１９０は、表示機器部１６５に生じる回転成分を表示機器部１６５の傾きとして取得するようになっている。
【０１０８】
表示機器回転成分取得部１９０は、表示機器部１６５に設置されたカメラ１７０から、表示機器部１６５の水平方向で重力方向と垂直の軸の傾きと、表示機器部１６５の重力方向の軸の傾きと、表示機器部１６５の進行方向の軸の傾きの３軸の傾き（図３参照）を取得する。
【０１０９】
例えば、表示機器回転成分取得部１９０は、表示機器部１６５を車内の固定された位置に取り付けた場合は、その表示機器部１６５を取り付けたときに表示機器部１６５の傾きを取得する。また、座席の背もたれの裏側に取り付けた場合には、座席の背もたれを傾けたときに表示機器部１６５の傾きを取得する。また、収納されている状態から表示機器部１６５を取り出した場合には、表示機器部１６５を取り出したときに表示機器部１６５の傾きを取得する。また、表示機器部１６５を手で持ち、表示機器部１６５を固定しない状態で使用する場合には、持ちやすい位置に表示機器部１６５を配置したときに表示機器部１６５の傾きを取得する。そして、表示機器回転成分取得部１９０は、取得した表示機器部１６５の傾きを標準位置とする。
【０１１０】
第３の実施形態では、表示機器回転成分取得部１９０が表示機器部１６５の傾きを取得することにより、仮想表示位置決定部１４０は、自車回転成分取得部１２０の車体に対する傾きと、表示機器回転成分取得部１９０の表示機器部１６５の傾きとに基づいて、仮想表示面Ｈの回転補正を行うことができるようになっている。
【０１１１】
この一例として、例えば、表示機器部１６５のカメラ１７０は、視聴者を撮影するだけでなく、車内の風景を撮影することができるようになっており、表示機器回転成分取得部１９０は、自車回転成分取得部１２０と同様に、カメラ１７０が撮影した車内の風景の撮影画像デ−タを取得する。そして、表示機器回転成分取得部１９０は、表示機器部１６５の回転成分を算出するようになっている。
【０１１２】
まず、表示機器回転成分取得部１９０は、カメラ１７０から取得した撮影画像データにより車内正面方向または車内真後ろ方向の平面画像Ｂを作成する。そして、表示機器回転成分取得部１９０は、作成した平面画像Ｂから動きベクトルを検出する。ここで、動きベクトルの検出方法は、例えば、公知である勾配法やブロックマッチング法などの画像処理により検出することができる。
【０１１３】
また、表示機器回転成分取得部１９０は、カメラ１７０によって得られた車内の立体物までの距離と平面画像Ｂから得られた動きベクトルとから、平面画像Ｂの動き量(動きベクトルにマイナスをかけた表示機器の動き量)を計算する。
【０１１４】
ここで、作成された平面画像Ｂの立体物の座標を(ｘ’、ｙ’、ｆ’)、得られた動きベクトルの横方向をｐｕ、縦方向をｐｖ、立体物までのｚ方向距離をｐｚとし、平面画像のｘ方向並進成分、ｙ方向並進成分、ｚ方向並進成分をそれぞれＴｘ、Ｔｙ、Ｔｚとし、ｘ軸回転成分、ｙ軸回転成分、ｚ軸回転成分を、それぞれＲｘ、Ｒｙ、Ｒｚとして、下記の式（７）、式（８）、式（９）、式（１０）を特異値分解などにより計算する。
【０１１５】
wu = −(x’・y’ / f’)・Rx ＋ ((f’・f’ ＋ x’・x’) / f’)・Ry − y・Rz    ・・・（７）
wv = −((f’・f’ ＋ y’・y’) / f’)・Rx ＋ (x’・y’/ f’)・Ry ＋ x・Rz     ・・・（８）
pu − wu = (f’・Tx − x’・Tz) / pz                              ・・・（９）
pv − wv = (f’・Ty − y’・Tz) / pz                              ・・・（１０）
【０１１６】
表示機器回転成分取得部１９０は、式（７）〜式（１０）から、Ｒｘ、Ｒｙ、Ｒｚを求め、１フレーム間での表示機器部１６５の回転成分を算出する。すなわち、Ｒｘ＝sin(Δθｘ)、Ｒｙ＝sin(Δθｙ)、Ｒｚ＝sin(Δθｚ)を算出し、それぞれの回転角度を算出する。
【０１１７】
これにより、仮想表示位置決定部１４０は、表示機器回転成分取得部１９０で算出した表示機器部１６５の回転成分も加味して、表示部１６０に表示する仮想表示面Ｈを３次元的に回転補正を行うことができる。
【０１１８】
このように、仮想表示位置決定部１４０は、表示機器回転成分取得部１９０で算出した表示機器部１６５の回転成分も加味して、表示機器部１６５の回転角度ずらし量を算出することができるので、より高精度に仮想表示面Ｈの補正を行うことができる。
【０１１９】
すなわち、第３の実施形態では、自車回転成分取得部１２０における車体の回転成分と、視聴位置取得部１３０における視聴者の目の位置と、表示機器回転成分取得部１９０における表示機器部１６５の回転成分とに基づいて、仮想表示位置決定部１４０が表示部１６０に投影表示する仮想表示面Ｈを３次元的に回転補正と移動の補正を行うことができる。
【０１２０】
なお、上述した第３の実施形態では、カメラ１７０が車内の風景を撮影することにより、表示機器部１６５の回転成分をさらに算出するようになっていたが、本実施形態ではこれに限定されるものではない。
【０１２１】
例えば、車体に取り付けられた車体カメラ１７１を使用して、視聴者の位置と表示機器部１６５の位置を相対的に取得することができる場合には、車体カメラ１７１を用いて、視聴者の位置と表示機器部１６５の位置や傾きを取得して、車体に生じる振動と、表示機器部１６５に生じる振動と、視聴者の位置とに基づいて、回転補正と移動の補正を行うようにしてもよい。逆に、表示機器部１６５に設けられたカメラ１７０によって車両外部の映像を取得して、車体の動きを取得するようにしてもよい。
【０１２２】
以上説明したように、第１から第３の実施形態に係る表示装置１００、１０１では、車体の傾き、振動または加速度を加味して、表示機器部１６５の表示部１６０に補正した仮想表示面Ｈを表示させることができるので、車外の風景と一体化した映像を視聴者に表示させることができる。
【０１２３】
これにより、例えば、表示機器部１６５に操作部（図示せず）が設けられた場合、視聴者は、表示機器部１６５の表示部１６０において車外の風景と一体化した仮想表示面Ｈを視聴することができるので、車体の傾きや振動など影響をキャンセルした映像を見ながら、その操作部を容易に操作することができるという効果も有している。
【０１２４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【０１２５】
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【０１２６】
１００    ：表示装置
１０１    ：表示装置
１０５    ：演算処理部
１１０    ：標準仮想表示面配置設定部
１２０    ：自車回転成分取得部
１３０    ：視聴位置取得部
１４０    ：仮想表示位置決定部
１５０    ：投影表示部
１６０    ：表示部
１６５    ：表示機器部
１７０    ：カメラ
１７１    ：車体カメラ
１８０    ：加速度センサ
１９０    ：表示機器回転成分取得部
２３０    ：記憶部
２４０    ：内部バス
Ａ        ：平面画像
Ｂ        ：平面画像
Ｈ        ：仮想表示面
【図１】
2013237320.tif 000003
【図２】
2013237320.tif 000004
【図３】
2013237320.tif 000005
【図４】
2013237320.tif 000006
【図５】
2013237320.tif 000007
【図６】
2013237320.tif 000008
【図７】
2013237320.tif 000009
【図８】
2013237320.tif 000010
【図９】
2013237320.tif 000011
【図１０】
2013237320.tif 000012