(57)【要約】【課題】観察する視点が複数であってもそれぞれの視点で空間像が奥行き方向に移動していることを観察者に知覚させる。【解決手段】空間像移動方向決定装置１は、立体空間を所定側の視点位置からみた２次元画像を用いて、立体空間に表示される空間像の奥行き移動方向が立体空間の奥行き辺の方向と異なる場合、空間像が立体空間の奥行き方向へ移動していると知覚できる所定の移動方向許容範囲を算出する奥行知覚許容量算出部１４と、異なる複数の視点位置にそれぞれ対応する複数の移動方向許容範囲に共通する共通範囲を用いて、空間像を立体空間の奥行き方向へ移動させる２次元画像上の移動方向を決定する最適移動方向ベクトル算出部１５と、を備える。【選択図】図３
2019087864.tif 000002
【特許請求の範囲】
【請求項１】
立体空間を所定側の視点位置からみた２次元画像を用いて、前記立体空間に表示される空間像の奥行き移動方向が前記立体空間の奥行き辺の方向と異なる場合、前記空間像が前記立体空間の奥行き方向へ移動していると知覚できる所定の移動方向許容範囲を算出する算出部と、
異なる複数の視点位置にそれぞれ対応する複数の移動方向許容範囲に共通する共通範囲を用いて、前記空間像を前記立体空間の奥行き方向へ移動させる２次元画像上の移動方向を決定する決定部と、
を備えることを特徴とする空間像移動方向決定装置。
【請求項２】
前記立体空間は、直方体空間であって、
前記算出部は、
前記移動方向許容範囲として、前記直方体空間を所定側の視点位置からみた２次元画像の水平軸に対する、前記直方体空間の奥行き辺の角度と、前記空間像から前記奥行き辺を成す直方体空間の奥側の頂点までの線分の角度と、の間の角度範囲を算出することを特徴とする請求項１に記載の空間像移動方向決定装置。
【請求項３】
前記決定部は、
前記水平軸に対する前記空間像の奥行き移動方向への角度が前記角度範囲に係る前記共通範囲に含まれる場合、当該奥行き移動方向を前記２次元画像上の移動方向として決定することを特徴とする請求項２に記載の空間像移動方向決定装置。
【請求項４】
前記決定部は、
前記水平軸に対する前記空間像の奥行き移動方向への角度が前記角度範囲に係る前記共通範囲に含まれない場合、当該共通範囲の上限角度又は下限角度への移動方向を前記２次元画像上の移動方向として決定することを特徴とする請求項２又は３に記載の空間像移動方向決定装置。
【請求項５】
前記直方体空間を成す４つの奥行き辺のうち、前記空間像の奥行き移動方向の傾きに対する相対角度が最小の奥行き辺を探索する探索部を更に備え、
前記算出部は、
前記最小の奥行き辺を用いて前記移動方向許容範囲を算出することを特徴とする請求項２乃至４のいずれかに記載の空間像移動方向決定装置。
【請求項６】
時間的に連続するフレームごとに、立体空間に表示される少なくとも１つ以上の空間像の奥行き方向への移動方向を、前記請求項１乃至５のいずれかに記載の空間像移動方向決定装置で決定された移動方向に変更する変更部と、
前記フレームについて、連続して、変更後の奥行き移動方向上の位置に前記空間像を表示する表示部と、
を備えることを特徴とする空間像表示装置。
【請求項７】
空間像移動方向決定装置が、
立体空間を所定側の視点位置からみた２次元画像を用いて、前記立体空間に表示される空間像の奥行き移動方向が前記立体空間の奥行き辺の方向と異なる場合、前記空間像が前記立体空間の奥行き方向へ移動していると知覚できる所定の移動方向許容範囲を算出するステップと、
異なる複数の視点位置にそれぞれ対応する複数の移動方向許容範囲に共通する共通範囲を用いて、前記空間像を前記立体空間の奥行き方向へ移動させる２次元画像上の移動方向を決定するステップと、
を行うことを特徴とする空間像移動方向決定方法。
【請求項８】
請求項１乃至５のいずれかに記載の空間像移動方向決定装置としてコンピュータを機能させることを特徴とする空間像移動方向決定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者に空間像の奥行き方向への移動を知覚させる技術に関する。
【背景技術】
【０００２】
舞台等の背景となる立体的な実空間の前面に透過性のスクリーンを配置し、そのスクリーンに平面像を投影することで、その平面像を立体的かつ空中に浮遊した状態の空間像であるかのように見せる映像表示システムがある。
【０００３】
このような映像表示システムは、観察者に画像枠の存在を感じさせない等、画像が平面であることを観察者に知覚させる手がかりが少ないという特徴を備えることから、この特徴を利用すれば、実空間の所定位置に空間像が存在するという心理的な奥行き感を、複雑な構造から成る裸眼立体表示装置よりも簡便に表現することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−４９３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の映像表示システムは、上述した投影の仕組みを持つため、透過性のスクリーン上に投影された平面像に奥行き感を与えることができる。しかしながら、その平面像に対して奥行き方向への移動を与えること、つまり、観察者に空間像の奥行き方向への移動を知覚させることは困難であった。
【０００６】
この課題について、特許文献１では、透過率可変板の透過率を制御することで、空間像の奥行き方向の位置を調整する方法を採用している。しかし、この方法の場合、空間像の奥行き方向への移動を離散的にしか表現することができない。
【０００７】
本発明は、上記事情を鑑みてなされたものであり、観察する視点が複数であってもそれぞれの視点で空間像が奥行き方向に移動していることを観察者に知覚させることを第１の目的とし、その空間像が連続的に奥行き方向に移動していることを知覚させることを第２の目的とする。
【課題を解決するための手段】
【０００８】
以上の課題を解決するため、請求項１に係る空間像移動方向決定装置は、立体空間を所定側の視点位置からみた２次元画像を用いて、前記立体空間に表示される空間像の奥行き移動方向が前記立体空間の奥行き辺の方向と異なる場合、前記空間像が前記立体空間の奥行き方向へ移動していると知覚できる所定の移動方向許容範囲を算出する算出部と、異なる複数の視点位置にそれぞれ対応する複数の移動方向許容範囲に共通する共通範囲を用いて、前記空間像を前記立体空間の奥行き方向へ移動させる２次元画像上の移動方向を決定する決定部と、を備えることを特徴とする。
【０００９】
請求項２に係る空間像移動方向決定装置は、請求項１に記載の空間像移動方向決定装置において、前記立体空間は、直方体空間であって、前記算出部は、前記移動方向許容範囲として、前記直方体空間を所定側の視点位置からみた２次元画像の水平軸に対する、前記直方体空間の奥行き辺の角度と、前記空間像から前記奥行き辺を成す直方体空間の奥側の頂点までの線分の角度と、の間の角度範囲を算出することを特徴とする。
【００１０】
請求項３に係る空間像移動方向決定装置は、請求項２に記載の空間像移動方向決定装置において、前記決定部は、前記水平軸に対する前記空間像の奥行き移動方向への角度が前記角度範囲に係る前記共通範囲に含まれる場合、当該奥行き移動方向を前記２次元画像上の移動方向として決定することを特徴とする。
【００１１】
請求項４に係る空間像移動方向決定装置は、請求項２又は３に記載の空間像移動方向決定装置において、前記決定部は、前記水平軸に対する前記空間像の奥行き移動方向への角度が前記角度範囲に係る前記共通範囲に含まれない場合、当該共通範囲の上限角度又は下限角度への移動方向を前記２次元画像上の移動方向として決定することを特徴とする。
【００１２】
請求項５に係る空間像移動方向決定装置は、請求項２乃至４のいずれかに記載の空間像移動方向決定装置において、前記直方体空間を成す４つの奥行き辺のうち、前記空間像の奥行き移動方向の傾きに対する相対角度が最小の奥行き辺を探索する探索部を更に備え、前記算出部は、前記最小の奥行き辺を用いて前記移動方向許容範囲を算出することを特徴とする。
【００１３】
請求項６に係る空間像表示装置は、時間的に連続するフレームごとに、立体空間に表示される少なくとも１つ以上の空間像の奥行き方向への移動方向を、前記請求項１乃至５のいずれかに記載の空間像移動方向決定装置で決定された移動方向に変更する変更部と、前記フレームについて、連続して、変更後の奥行き移動方向上の位置に前記空間像を表示する表示部と、を備えることを特徴とする。
【００１４】
請求項７に係る空間像移動方向決定方法は、空間像移動方向決定装置が、立体空間を所定側の視点位置からみた２次元画像を用いて、前記立体空間に表示される空間像の奥行き移動方向が前記立体空間の奥行き辺の方向と異なる場合、前記空間像が前記立体空間の奥行き方向へ移動していると知覚できる所定の移動方向許容範囲を算出するステップと、異なる複数の視点位置にそれぞれ対応する複数の移動方向許容範囲に共通する共通範囲を用いて、前記空間像を前記立体空間の奥行き方向へ移動させる２次元画像上の移動方向を決定するステップと、を行うことを特徴とする。
【００１５】
請求項８に係る空間像移動方向決定プログラムは、請求項１乃至５のいずれかに記載の空間像移動方向決定装置としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、観察する視点が複数であってもそれぞれの視点で空間像が奥行き方向に移動していることを観察者に知覚させることができる。また、その空間像が連続的に奥行き方向に移動していることを知覚させることができる。
【図面の簡単な説明】
【００１７】
【図１】映像表示システムの全体構成を示す図である。
【図２】空間像の例を示す図である。
【図３】空間像移動方向決定装置１の機能ブロック構成を示す図である。
【図４】空間像出力装置２の機能ブロック構成を示す図である。
【図５】空間像の奥行き移動方向の決定処理フローを示す図である。
【図６】バウンディングボックスの例を示す図である。
【図７】実空間領域及び観察視点範囲の例を示す図である。
【図８】視点グループ及び頂点視点の例を示す図である。
【図９】頂点視点から撮影した２次元画像の例を示す図である。
【図１０】頂点視点から撮影した２次元画像の例を示す図である。
【図１１】空間像の表示処理フローを示す図である。
【発明を実施するための形態】
【００１８】
＜発明の概要＞
スクリーン上に投影された平面像（立体空間内の空間像）の移動方向の中には、背景となる立体空間との関係から心理的に奥行き方向への移動と感じられる移動方向がある。
【００１９】
そこで、本発明では、観察者の視点からみて、空間像の奥行き移動方向が心理的に奥行き方向への移動と感じられる方向（本来あるべき移動方向）と異なる場合には、観察者のあらゆる視点で奥行き方向への移動であると解釈するために許容される共通の移動方向許容範囲を求め、その許容範囲内の方向への移動を空間像の奥行き方向への移動としてスクリーンに投影する。
【００２０】
これにより、観察する視点が複数であってもそれぞれの視点で空間像が奥行き方向に移動していることを観察者に知覚させることを実現する。
【００２１】
以下、本発明を実施する一実施の形態について図面を用いて説明する。
【００２２】
＜映像表示システムの構成例＞
図１は、本実施の形態に係る映像表示システムの全体構成を示す図である。この映像表示システムは、図１に示すように、立体空間に表示される空間像の奥行き移動方向を決定する空間像移動方向決定装置１と、立体空間に空間像を出力する空間像出力装置２と、立体空間に背景映像を表示する背景映像表示装置３と、空間像出力装置２から出力された空間像を表示する透過性の空間像表示デバイス４と、を備えて構成される。
【００２３】
この映像表示システムでは、図１に示すように、観察者１００からみて、空間像表示デバイス４を約４５度の角度で奥側に傾斜させて配置し、さらに、空間像表示デバイス４の奥側に背景映像表示装置３を配置し、かつ、空間像表示デバイス４の上側に空間像出力装置２を配置することで、空間像出力装置２から空間像表示デバイス４に投影された平面像（２Ｄ画像）を立体的かつ空中に浮遊した状態の空間像として表現する。例えば、図２に示すように、観察者１００に対して、何もない舞台上にボールを立体的に見せることができる。また、平面像及び背景映像を適宜変更することで、様々なコンテンツを提供することができる。
【００２４】
なお、図１に示した映像表示システムの構成は一例である。例えば、空間像移動方向決定装置１を、空間像の奥行き移動方向を事前に決定するための事前処理部とし、空間像出力装置２を、その事前処理部で決定された移動方向上の位置に空間像を出力する逐次処理部として、一つの装置で実現してもよい。その他、空間像出力装置２及び空間像表示デバイス４を、一つの空間像表示装置としてもよい。
【００２５】
＜空間像移動方向決定装置１の機能＞
次に、空間像移動方向決定装置１の機能について説明する。図３は、空間像移動方向決定装置１の機能ブロック構成を示す図である。空間像移動方向決定装置１は、図３に示すように、背景情報記憶部１１と、観察視点範囲記憶部１２と、支配的線遠近キュー探索部１３と、奥行知覚許容量算出部１４と、最適移動方向ベクトル算出部１５と、最適移動方向ベクトル記憶部１６と、を備えて構成される。
【００２６】
背景情報記憶部１１は、空間像の背景となる実空間領域を直方体とみなし、その直方体の幅・高さ・奥行きの値を記録しておく機能部である。背景の実空間領域としては任意の形状が考えられるが、直方体以外の形状（例えば、一部に凹凸を持つ形状等）の場合は、簡易的なユーザ入力等からその形状の領域を床面・天井面・左右の壁面・背景面に分割して直方体を構築した後に、その直方体の幅・高さ・奥行きの値を記録する。また、直方体の水平方向・鉛直方向・奥行き方向の稜線（辺）をそれぞれｘ軸・ｙ軸・ｚ軸とする左手系座標を設定し、背景面と向かい合う面を空間像が表示される像面とする。
【００２７】
なお、直方体以外の形状から直方体を構築する方法については、例えば、「Satoshi Iizuka、“An Efficient Modeling System for 3D Scenes from a Single Image”、IEEE Computer Graphics and Applications、vol.32、no.6、2012年、p.18-p.25」に記載されている。
【００２８】
観察視点範囲記憶部１２は、空間像を観察する観察者の視点位置が存在する範囲を観察視点範囲として記録しておく機能部である。具体的には、観察視点範囲記憶部１２は、実空間の適当な点を原点と定めたときの直交座標系における観察者の視点位置の座標値（ｘ，ｙ，ｚ）の集合を求め、その集合を囲むバウンディングボックス内の領域を観察視点範囲とし、このバウンディングボックスの８頂点の座標値の組を記録する。
【００２９】
なお、観察者は、空間像の像面に対して常に前側から一方向に観察し、奥側からは観察しないものとする。また、背景の立体空間（直方体）については、観察者の視点位置から見て、ｚ軸に平行な右上・右下・左上・左下の稜線をそれぞれ右上線・右下線・左上線・左下線と呼び、それぞれの重心位置を各稜線の位置とする。さらに、直方体の天井面における頂点を左手前から時計回りに左上前点・左上奥点・右上奥点・右上前点と呼ぶ。直方体の床面についても同様に、床面の頂点を左手前から時計回りに左下前点・左下奥点・右下奥点・右下前点と呼ぶ。
【００３０】
支配的線遠近キュー探索部１３は、観察視点範囲記憶部１２に記録されている各視点位置から背景の立体空間（直方体）をみたときの支配的線遠近キューを探索する機能部である。支配的線遠近キューとは、空間像が立体空間内を奥行き方向へ移動していると知覚し得る、心理的に奥行き方向への移動と感じられる立体空間の構成要素である。
【００３１】
このような支配的線遠近キューは、立体空間が直方体の場合、視点位置と空間像との相対位置によって４つのパターンがあり、それぞれ１つの稜線に一意に定まる。具体的には、視点位置が空間像より高く左にある場合は右下線、空間像より高く右にある場合は左下線、空間像より低く左にある場合は右上線、空間像より低く右にある場合は左上線が支配的線遠近キューとなる。
【００３２】
奥行知覚許容量算出部１４（算出部）は、立体空間を所定の視点位置からみたバーチャルカメラによる２次元画像を用いて、立体空間に表示される空間像の奥行き移動方向が立体空間の奥行き稜線（支配的線遠近キュー）の方向（本来あるべき移動方向）と異なる場合、空間像が立体空間の奥行き方向へ移動していると知覚できる所定の移動方向許容範囲を算出する機能部である。
【００３３】
具体的には、奥行知覚許容量算出部１４（算出部）は、立体空間が直方体の場合、その直方体を所定の視点位置からみた２次元画像の水平軸に対する、当該所定の視点位置における支配的線遠近キューの角度と、空間像の重心位置から支配的線遠近キューを成す直方体空間の奥側の頂点までの線分の角度と、の間の角度範囲を算出する。そして、この角度範囲を、当該所定の視点位置における、奥行き移動を知覚するために許容される奥行知覚許容範囲（＝移動方向許容範囲）とする。
【００３４】
最適移動方向ベクトル算出部１５（決定部）は、異なる複数の視点位置にそれぞれ対応する複数の奥行知覚許容範囲に共通する共通範囲を用いて、空間像を立体空間の奥行き方向へ移動させる２次元画像上の移動方向を決定する機能部である。
【００３５】
具体的には、最適移動方向ベクトル算出部１５（決定部）は、観察する全ての視点位置における奥行知覚許容範囲の共通範囲を求め、全ての視点位置又は各視点位置からみた空間像の奥行き移動方向の角度が当該共通範囲に含まれる場合、各視点位置からみた空間像の奥行き移動方向を当該空間像の奥行き移動方向で線形補間し、線形補間した奥行き移動方向ベクトルを最適移動方向ベクトル記憶部１６に保存する。
【００３６】
一方、空間像の奥行き移動方向の角度が上記共通範囲に含まれない場合、最適移動方向ベクトル算出部１５（決定部）は、当該空間像の奥行き移動方向の角度が共通範囲の上限値を超えている場合には上限値に、下限値を下回っている場合には下限値に奥行き移動方向を更新して、更新後の奥行き移動方向ベクトルを最適移動方向ベクトル記憶部１６に保存する。
【００３７】
また、所定の視点位置における上限値が他の視点位置における下限値を下回っている等、複数の視点位置における各奥行知覚許容範囲に共通範囲がない場合、各視点位置における空間像の奥行き移動方向の真値（後述する）を平均したベクトル値を最適移動方向ベクトル記憶部１６に保存する。
【００３８】
最適移動方向ベクトル記憶部１６は、最適移動方向ベクトル算出部１５により算出された奥行き方向への移動方向ベクトルを最適移動方向ベクトルとして記憶する機能部である。
【００３９】
＜空間像出力装置２の機能＞
次に、空間像出力装置２の機能について説明する。図４は、空間像出力装置２の機能ブロック構成を示す図である。この空間像出力装置２は、図４に示すように、最適移動方向ベクトル記憶部２１と、オブジェクト情報記憶部２２と、オブジェクト奥行移動成分更新部２３と、オブジェクト出力部２４と、を備えて構成される。
【００４０】
最適移動方向ベクトル記憶部２１は、空間像移動方向決定装置１が備える最適移動方向ベクトル記憶部１６と同期し、空間像を空間像移動方向決定装置１で求めた奥行き方向へ移動させるための最適移動方向ベクトルを記憶しておく機能部である。なお、空間像出力装置２は、最適移動方向ベクトル記憶部２１を備えることなく、空間像移動方向決定装置１の最適移動方向ベクトル記憶部１６から取得した最適移動方向ベクトルをそのまま用いてもよい。
【００４１】
オブジェクト情報記憶部２２は、時間的に連続する複数のフレームデータを記憶しておく機能部である。具体的には、オブジェクト情報記憶部２２は、空間像として表示する各フレーム内のオブジェクトのテクスチャ情報、そのオブジェクトが出力される空間像表示デバイス４上での位置情報（ｘ，ｙ，ｚ）を記憶しておく。
【００４２】
オブジェクト奥行移動成分更新部２３（変更部）は、空間像表示デバイス４に出力されるオブジェクトの移動方向のうち奥行き方向への移動方向成分（ｚ成分）の位置情報のみを抽出し、その奥行き方向への移動方向成分を最適移動方向ベクトルで更新する機能部である。
【００４３】
オブジェクト出力部２４は、最適移動方向ベクトルで更新された奥行き移動方向上の位置にオブジェクトを空間像表示デバイス４へ出力する機能部である。
【００４４】
＜背景映像表示装置３及び空間像表示デバイス４＞
次に、背景映像表示装置３及び空間像表示デバイス４について説明する。
【００４５】
背景映像表示装置３は、背景となる実空間領域を表示する装置である。図１に示したように、観察者１００からみて空間像表示デバイス４の奥側に配置され、その空間像表示デバイス４を介して実空間領域の映像を表示する。例えば、録画再生機能を持つ表示デバイスを用いて実現する。
【００４６】
空間像表示デバイス４は、背景となる背景映像表示装置３からの実空間領域の映像を透過するとともに、空間像出力装置２からの平面像の画像（２Ｄ画像）を反射する装置である。これにより、背景映像の実空間中に空間像があるように観察者に知覚させることができる。例えば、透過率と反射率がほぼ等しいハーフミラーを用いて実現する。
【００４７】
＜映像表示システムの動作例＞
次に、映像表示システムの動作について説明する。本発明の特徴を容易に理解するため、まず全体の動作概要について説明し、その後に空間像の奥行き移動方向を決定する動作と空間像を出力する動作をそれぞれ説明する。
【００４８】
（動作概要）
最初に、映像表示システムの全体の動作概要について説明する。
【００４９】
まず、空間像移動方向決定装置１は、観察視点範囲に含まれる各視点位置での２次元画像を用いて、その２次元画像の水平軸に対する、空間像オブジェクト（以下、オブジェクト）の奥行き移動方向の傾きθ０と、各視点位置における支配的線遠近キューの傾きθ１と、オブジェクトから支配的線遠近キューを成す背景面の頂点に向かう線分の傾きθ２と、をそれぞれ求めて記録する（ステップＳ１）。
【００５０】
次に、空間像移動方向決定装置１は、ステップＳ１で求めた２つの傾きθ１，θ２を用いて、視点ごとの奥行き移動を知覚するために許容される奥行知覚許容範囲（θ１〜θ２）を算出する（ステップＳ２）。
【００５１】
次に、空間像移動方向決定装置１は、観察位置範囲に含まれる全ての視点位置で奥行知覚許容範囲（θ１〜θ２）の共通範囲（θ１’〜θ２’）をとり、その共通範囲内に各視点位置での奥行き移動方向の傾きθ０が収まっているか否かを判定し、その判定結果に基づいて新しい奥行き移動方向ベクトルを求めて記録する（ステップＳ３）。
【００５２】
最後に、空間像出力装置２は、ステップ３で求めた新たな奥行き移動方向ベクトルを用いて、空間像表示デバイス４に投影するオブジェクトの奥行き方向を変更し、変更後の奥行き方向上の位置にオブジェクトを出力する（ステップＳ４）。
【００５３】
（空間像の奥行き移動方向を決定する動作）
次に、空間像の奥行き移動方向を決定する動作について説明する。図５は、空間像の奥行き移動方向を決定する方法の動作フローを示す図である。
【００５４】
ステップＳ１０１；
まず、空間像移動方向決定装置１は、空間像の背景となる実空間領域を直方体とみなし、その直方体の幅・高さ・奥行きの値を背景情報記憶部１１に記録する。このとき、直方体の水平方向・鉛直方向・奥行き方向の稜線をそれぞれｘ軸・ｙ軸・ｚ軸とする左手系座標を設定し、背景面と向かい合う面を空間像の像面とする。
【００５５】
ステップＳ１０２；
次に、空間像移動方向決定装置１は、空間像を観察する観察者の視点位置が存在する範囲を、実空間の適当な点を原点と定めたときの直交座標系における座標値（ｘ，ｙ，ｚ）の集合として求め、その集合を囲むバウンディングボックス内の領域を観察視点範囲として、この観察視点範囲の８頂点の座標値の組を観察視点範囲記憶部１２に記録する。なお、バウンディングボックスとは、図６に示すように、空間中に存在する複数の視点（＋）のうち、最も外側にある視点にのみ接する辺から成る矩形体である。
【００５６】
ここで、ステップＳ１０１とステップＳ１０２に基づき形成される実空間領域と観察視点範囲の例を図７に示す。図７では、分かりやすいように、実空間領域である直方体の座標系と観察視点空間の座標系とを同一としている。観察者は、空間像の像面に対して常に図７の手前側から観察するものとする。観察者からみて、実空間領域の直方体は、ｚ軸に平行な右上線・右下線・左上線・左下線を持ち、天井面に左上前点・左上奥点・右上奥点・右上前点を持ち、床面に左下前点・左下奥点・右下奥点・右下前点を持つ。
【００５７】
ステップＳ１０３；
次に、空間像移動方向決定装置１は、背景情報記憶部１１に記録されている直方体と同じスケールの直方体をバーチャル空間に作成し、そのバーチャル空間内に空間像として表示する物体（オブジェクト）を置く。以後、背景の直方体内の全ての空間位置にオブジェクトを置いたと想定し、各位置について以降の処理を行う。このとき、処理能力の低い計算機で処理を行う場合は、直方体内の全ての位置から所定数の位置を適当にサンプリングし、そのサンプリングしたサンプル位置のみをオブジェクトの位置としてもよい。
【００５８】
また、オブジェクトを背景の直方体内の空間の全ての位置に配置するとともに、空間像移動方向決定装置１は、バーチャル空間における観察視点範囲の任意の位置に、背景の直方体及びオブジェクトを２次元画像に透視変換するバーチャルカメラを設置する。バーチャルカメラの向きは、直方体及びオブジェクトを前側から撮影可能な向きであるとする。
【００５９】
バーチャルカメラの鉛直方向と水平方向の位置については、バーチャルカメラが直方体内のオブジェクトより高い場合と低い場合、オブジェクトより右にある場合と左にある場合の２通りが考えられ、鉛直方向と水平方向の位置を組み合わせると、バーチャルカメラの位置は４通りのグループに分けられる。バーチャルカメラが同じ位置のグループに属する視点位置の集合を「視点グループ」と定める。
【００６０】
以降、空間像移動方向決定装置１は、視点グループごとに図５に示したループＢを実施し、ループＢでは、オブジェクトの位置ごとに後述するステップＳ１０４〜ステップＳ１０６を実施する。なお、各視点グループの処理動作は共通するので、以降では、バーチャルカメラがオブジェクトより高く左にある視点グループに含まれる場合について説明する。
【００６１】
ステップＳ１０４〜ステップＳ１０６の目的；
図８に示すように、バーチャルカメラＶＲがオブジェクトＯＢＪより高く左にある視点グループＧ１に位置する場合、そのバーチャルカメラＶＲが撮影する背景の直方体及びオブジェクトＯＢＪの２次元画像は、図９に示すような画像となる。
【００６２】
このとき、オブジェクトＯＢＪが背景である直方体の奥行き方向すなわちｚ軸方向に移動する場合、像面上におけるオブジェクトＯＢＪの重心位置を考えると、図９に示した視点では、オブジェクトＯＢＪは、その視点の２次元画像の座標系において、常にｘ軸の負方向かつｙ軸の正方向に移動している。参考として、バーチャルカメラの位置がオブジェクトより高く右にある場合は、オブジェクトは常にｘ軸の正方向かつｙ軸の正方向に移動している。同様に、バーチャルカメラの位置がオブジェクトより低く左にある場合は、オブジェクトは常にｘ軸の負方向かつｙ軸の負方向に移動しており、バーチャルカメラの位置がオブジェクトより低く右にある場合は、オブジェクトは常にｘ軸の正方向かつｙ軸の負方向に移動している。
【００６３】
このオブジェクトの移動軌跡が背景の線遠近手がかりと比較されることにより、観察者はオブジェクトが背景の実空間内を奥行き方向に移動していると知覚する。オブジェクトは背景空間が成す消失点の方向に進むが、例えば図９に示した状況では、この進行方向は背景の直方体を構成する４つの稜線のうち、右下線の稜線に対して傾きの差が最も小さくなる。この状況における右下線のように、オブジェクトの奥行き移動方向との間で傾き（相対角度）の差が最小になる稜線を、この視点における支配的線遠近キューと呼ぶ。
【００６４】
支配的線遠近キューの傾きは視点の位置に応じて変化し、上述したように、視点位置がオブジェクトより高く左にある場合は右下線、オブジェクトより高く右にある場合は左下線、オブジェクトより低く左にある場合は右上線、オブジェクトより低く右にある場合は左上線が支配的線遠近キューとなる。
【００６５】
ここで、単一の２Ｄ画像（２次元画像）として空間像を表示する場合、ある一つの移動方向しか表現することができない。そこで、与えられた視点位置範囲における任意の視点から観察しても、オブジェクトが奥行き方向に移動していると観察者が解釈可能になるよう、２次元画像上の奥行き移動方向を最適化することを考える。なお、以下では、傾きの大きさは、例えば各視点位置における支配的線遠近キューと、その視点位置でのバーチャルカメラのスクリーン座標系（ｘ、ｙ）におけるｘ軸方向の水平軸とがなす角度のうち、鋭角の大きさをいう。
【００６６】
ステップＳ１０４；
観察視点範囲内に観察視点は無数に存在するが、支配的線遠近キューの傾きが最大又は最小になる視点を考えると、その観察視点範囲における頂点の視点のみを考えればよい。そこで、支配的線遠近キュー探索部１３は、観察視点範囲の頂点上に存在する視点位置を取得して頂点視点とし、さらに、その頂点視点に対応する支配的線遠近キューを探索する。具体的には、図８に示した視点グループＧ１において左上の頂点Ｔを頂点視点とし、図９に示した直方体の右下線を支配的線遠近キューとして決定する。
【００６７】
ステップＳ１０５；
次に、支配的線遠近キュー探索部１３は、背景の直方体を上記頂点視点からみた２次元画像（図１０）を用いて、その２次元画像のｘ軸に対する、オブジェクトＯＢＪの奥行き移動方向（Ｏ−Ｏ’）の傾きθ０と、支配的線遠近キュー（Ｏ−Ａ）の傾きθ１と、オブジェクトＯＢＪの重心位置と右下奥点を結ぶ線分（Ｏ−Ｂ）の傾きθ２と、をそれぞれ求め、該当バーチャルカメラのスクリーン座標系における２次元ベクトル（ｘ，ｙ）の組として記録する。
【００６８】
ステップＳ１０６；
次に、奥行知覚許容量算出部１４は、オブジェクトの奥行き移動方向の傾きθ０が支配的線遠近キューの傾きθ１と合致するか異なるかを判定し、互いの傾きが異なる場合には、オブジェクトが奥行き方向に移動していると観察者が解釈可能になるよう、２次元画像上の奥行き移動方向を最適化する。具体的には、奥行知覚許容量算出部１４は、支配的線遠近キューの傾きθ１とオブジェクトの重心位置と右下奥点を結ぶ線分の傾きθ２との間の角度範囲（θ１〜θ２）を算出し、その角度範囲を、該当視点頂点におけるオブジェクトの奥行き移動方向に対する奥行知覚許容範囲とする。
【００６９】
その後、上述したステップＳ１０４〜ステップＳ１０６を、オブジェクトの位置を直方体内で変更し、さらに、視点グループを変更して、繰り返し実施する。勿論、一つの視点グループにおいて、頂点視点以外の他の視点位置で実施してもよい。
【００７０】
ステップＳ１０７；
最後に、最適移動方向ベクトル算出部１５は、全ての頂点視点における奥行知覚許容範囲（θ１〜θ２）の共通範囲（θ１’〜θ２’）を求め、その共通範囲を全ての頂点視点の奥行知覚許容範囲とする。
【００７１】
そして、最適移動方向ベクトル算出部１５は、共通範囲があり、かつ、全ての頂点視点又は各頂点視点におけるオブジェクトの奥行き移動方向の傾きθ０が当該共通範囲（θ１’〜θ２’）に収まっている場合には、各頂点視点から見たオブジェクトの奥行き移動方向を当該オブジェクトの奥行き移動方向で線形補間し、線形補間した奥行き移動方向ベクトルを最適移動方向ベクトル記憶部１６に保存する。
【００７２】
一方、共通範囲がある場合であっても、オブジェクトの奥行き移動方向の傾きθ０が共通範囲（θ１’〜θ２’）の上限値θ２’を超えている場合には上限値の角度方向に、下限値θ１’を下回っている場合には下限値の角度方向に移動させる奥行き移動方向ベクトルを算出して、最適移動方向ベクトル記憶部１６に保存する。
【００７３】
その他、共通範囲が存在しない場合には、全ての頂点視点におけるオブジェクトの奥行き移動方向の真値の平均値を最適移動方向ベクトルとして最適移動方向ベクトル記憶部１６に保存する。オブジェクトの奥行き移動方向の真値とは、オブジェクトが３次元空間で実際に存在した場合に観察されるその奥行き移動方向である。
【００７４】
なお、以上の説明は、バーチャルカメラの相対位置がオブジェクトより高く左にある場合を例に説明したが、その他の３パターンに関しても同様の方法でオブジェクトの最適移動方向を求めることができる。
【００７５】
（空間像を表示する動作）
次に、空間像を表示する動作について説明する。図１１は、空間像を表示する方法の動作フローを示す図である。ここでは、空間像移動方向決定装置１で記録された最適移動方向ベクトルを入力し、観察者に奥行き移動を知覚させる空中像を表示する。なお、観察者の観察視点範囲は、空間像移動方向決定装置１で用いた観察視点範囲と同一であるとする。
【００７６】
ステップＳ２０１；
まず、オブジェクト奥行移動成分更新部２３は、空間像として表示する観察対象オブジェクトのテクスチャ情報と、そのオブジェクトの位置情報（ｘ，ｙ，ｚ）とをオブジェクト情報記憶部２２から取得する。
【００７７】
ステップＳ２０２；
次に、オブジェクト奥行移動成分更新部２３は、取得したオブジェクトの位置情報から奥行き方向への移動方向成分（ｚ座標）のみを抽出し、最適移動方向ベクトル記憶部２１に保存されている最適移動方向ベクトルで更新する。すなわち、観察対象オブジェクトの３次元移動方向のうち、ｘ方向とｙ方向への移動については本来の移動方向へ移動させ、奥行き方向であるｚ方向への移動についてのみ、本来の移動方向を最適移動方向ベクトル上の位置に変更する。
【００７８】
ステップＳ２０３；
最後に、オブジェクト出力部２４は、空間像表示デバイス４に対して、ステップＳ２０２で更新した位置に観察対象オブジェクトを出力する。
【００７９】
上述したステップＳ２０１〜ステップＳ２０３を１フレームずつ繰り返し実施する。１フレームに複数のオブジェクトが含まれる場合には、各オブジェクトの各位置ずつステップＳ２０１〜ステップＳ２０３を繰り返し実施する。このように繰り返し実施することで、単一の平面像（２Ｄ画像）でありながら、立体空間に表示される空間像を、連続的に、かつ、同時表示させる空間像の数に制約なく、空間像の奥行き方向への移動を観察者に知覚させることができる。
【００８０】
＜効果＞
本実施の形態によれば、空間像移動方向決定装置１が、背景の直方体空間を前側の頂点視点位置からみた２次元画像を用いて、直方体空間に表示される空間像の奥行き移動方向が直方体空間の支配的線遠近キューの方向と異なる場合、空間像が直方体空間の奥行き方向へ移動していると知覚できる所定の許容範囲を算出し、異なる複数の視点位置にそれぞれ対応する複数の許容範囲に共通する共通範囲を用いて、空間像を直方体空間の奥行き方向へ移動させる２次元画像上の移動方向を決定するので、観察する視点が複数であってもそれぞれの視点で空間像が奥行き方向に移動していることを観察者に知覚させることができる（第１の目的）。
【００８１】
また、本実施の形態によれば、空間像出力装置２が、時間的に連続するフレームごとに、直方体空間に表示される少なくとも１つ以上の空間像の奥行き方向への移動方向を、空間像移動方向決定装置１で決定された移動方向に変更し、連続するフレームについて、連続して、変更後の奥行き移動方向上の位置に空間像を表示するので、空間像の連続的な奥行移動と、複数の空間像の異なった奥行方向への同時移動と、複数の視点位置に対する奥行き移動とを同時に実現することができる（第２の目的）。
【００８２】
最後に、本実施の形態で説明した映像表示システムは、コンピュータで実現することができる。また、映像表示システムとしてコンピュータを機能させるための映像表示プログラム（例えば、空間像移動方向決定プログラム、空間像出力プログラム、空間像表示プログラム）、その映像表示プログラムの記憶媒体を作成することも可能である。
【符号の説明】
【００８３】
１…空間像移動方向決定装置
１１…背景情報記憶部
１２…観察視点範囲記憶部
１３…支配的線遠近キュー探索部
１４…奥行知覚許容量算出部
１５…最適移動方向ベクトル算出部
１６…最適移動方向ベクトル記憶部
２…空間像出力装置
２１…最適移動方向ベクトル記憶部
２２…オブジェクト情報記憶部
２３…オブジェクト奥行移動成分更新部
２４…オブジェクト出力部
３…背景映像表示装置
４…空間像表示デバイス
１００…観察者
【図１】
2019087864.tif 000003
【図２】
2019087864.tif 000004
【図３】
2019087864.tif 000005
【図４】
2019087864.tif 000006
【図５】
2019087864.tif 000007
【図６】
2019087864.tif 000008
【図７】
2019087864.tif 000009
【図８】
2019087864.tif 000010
【図９】
2019087864.tif 000011
【図１０】
2019087864.tif 000012
【図１１】
2019087864.tif 000013