(57)【要約】【課題】虚像の奥行き方向の動きを表現し、見る人にその方向の位置と動きを知覚させることができる虚像表示システムを提供する。【解決手段】投影環境７９に背景を投影し、投影環境７９における背景と観察者の間の所定の位置に虚像を投影する虚像表示システム１において、観察者が感じる虚像の位置である目標位置を取得し、目標位置と観察者の距離が短いほど虚像を明るく投影する虚像投影部１０と、目標位置を取得し、目標位置と観察者の距離が短いほど背景を暗く投影する背景投影部２０とを備える。【選択図】図１
2018040882.tif 000002
【特許請求の範囲】
【請求項１】
投影環境に背景を投影し、前記投影環境における前記背景と観察者の間の所定の位置に虚像を投影する虚像表示システムにおいて、
前記観察者が感じる前記虚像の位置である目標位置を取得し、前記目標位置と前記観察者の距離が短いほど前記虚像を明るく投影する虚像投影部と、
前記目標位置を取得し、前記目標位置と前記観察者の距離が短いほど前記背景を暗く投影する背景投影部と
を備えることを特徴とする虚像表示システム。
【請求項２】
前記投影環境の照度を測定する照度測定部を備え、
前記虚像投影部は、前記照度が高いほど前記虚像を明るくし、
前記背景投影部は、前記照度が高いほど前記背景を明るくする
ことを特徴とする請求項１に記載の虚像表示システム。
【請求項３】
前記投影環境の光度分布を測定する光度分布測定部を備え、
前記虚像投影部は、前記虚像内の明るさの分布を前記光度分布に応じたものとし、
前記背景投影部は、前記背景内の明るさの分布を前記光度分布に応じたものとする
ことを特徴とする請求項１に記載の虚像表示システム。
【請求項４】
前記虚像投影部は、前記距離が最も長くなる位置に物体を配置した場合の明るさと前記距離が最も短くなる位置に物体を配置した場合の明るさを取得し、
前記最も短くなる位置と前記最も長くなる位置の距離を求め、前記目標位置の距離と前記最も長くなる位置の距離を求め、前者の距離に対する後者の距離の比を求め、
前記最も短くなる位置での明るさと前記最も長くなる位置での明るさの差を求め、前記明るさの差に対する、前記虚像の明るさと前記最も長くなる位置での明るさの差の比を、前記距離の比に等しくする
ことを特徴とする請求項１乃至３の何れかに記載の虚像表示システム。
【請求項５】
前記虚像投影部は、投影する前記虚像の光度を、前記距離の比を傾き、前記最も長くなる位置での明るさを切片とする一次関数で決定する
ことを特徴とする請求項４に記載の虚像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影環境に虚像を投影する虚像表示システムに関する。
【背景技術】
【０００２】
近年、映像の高精細化や映像投影技術の発達により、別の場所で撮影された映像を、発表の現場や舞台上の投影環境に、虚像として投影してプレゼンテーションを行う場合がある。例えば人物や物体を、任意の空間上に虚像として投影する技術が例えば非特許文献１に開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Hanyuool Kima, et al. MARIO:Mid-air Augmented Reality Interaction with Objects, Entertaiment Computing, 2014
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、２次元平面上に虚像を投影するシステムにおいては、虚像が一つの結像位置に固定されて表示されるため、虚像の奥行き方向の動きを表現するのが難しいという課題がある。
【０００５】
本発明は、この課題に鑑みてなされたものであり、虚像の奥行き方向の位置を表現し、見る人にその方向の位置と動きを知覚させることができる虚像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本実施形態の一態様に係る虚像表示システムは、投影環境に背景を投影し、前記投影環境における前記背景と観察者の間の所定の位置に虚像を投影する虚像表示システムにおいて、前記観察者が感じる前記虚像の位置である目標位置を取得し、前記目標位置と前記観察者の距離が短いほど前記虚像を明るく投影する虚像投影部と、前記目標位置を取得し、前記目標位置と前記観察者の距離が短いほど前記背景を暗く投影する背景投影部とを備えることを要旨とする。
【発明の効果】
【０００７】
本発明によれば、虚像の奥行き方向の位置を表現し、見る人にその方向の位置と動きを知覚させることができる虚像表示システムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る虚像表示システムの構成例を示す模式的側面図である。
【図２】本実施形態の虚像表示システムを配置した舞台を正面から見た模式的正面図である。
【図３】奥行き方向の位置と虚像の明るさとの関係を概念的に示す模式的特性図である。
【図４】奥行き方向の位置と背景の明るさとの関係を概念的に示す模式的特性図である。
【図５】虚像と背景の表示例を示す図である。
【図６】第２実施形態に係る虚像表示システムの構成例を示す模式的側面図である。
【図７】第２実施形態に係る虚像表示システムの動作フローを示す図である。
【図８】第３実施形態に係る虚像表示システムの構成例を示す模式的側面図である。
【図９】背景映像表示面の光度分布を測定する際の表示面の分割例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を用いて説明する。複数の図面中同一のものに
は同じ参照符号を付し、説明は繰り返さない。
【００１０】
〔第１実施形態〕
図１に、第１実施形態に係る虚像表示システム１の構成例を示す。図１は、虚像表示システム１を、例えば講演会場に配置し、その講演会場を横方向から見た模式的側面図である。
【００１１】
図２に、講演会場を正面から見た模式的正面図を示す。図１と図２を参照して虚像表示システム１の構成を説明する。
【００１２】
虚像表示システム１は、虚像投影部１０と背景投影部２０を備える。なお、作図の都合により、図１において参照符号１０と２０の表記は省略している。
【００１３】
虚像投影部１０は、例えば、虚像画像表示部１０ａ、投影部１０ｂ、及び虚像投影面１０ｃで構成される。背景投影部２０は、例えば、背景画像表示部２０ａと背景投影面２０ｂとで構成される。
【００１４】
虚像表示システム１は、投影環境７９に背景を投影し、背景と観察者の間の所定の位置に虚像を投影する。ここで投影環境７９とは、虚像と背景を投影する例えば舞台７３上の物を対象にした環境であり、投影空間と称しても良い。
【００１５】
虚像投影部１０は、観察者が感じる虚像の位置についての目標位置を取得し、目標位置と観察者の距離が近いほど虚像を明るく投影する。背景投影部２０は、目標位置を取得し、目標位置と観察者の距離が短いほど背景を暗く投影する。ここで目標位置とは、所定の位置に投影される虚像の奥行き方向の位置のことである。つまり、所定の明るさで表示される虚像から、観察者が感じる奥行き方向の位置である。詳しくは後述する。
【００１６】
虚像表示システム１は、観客席７６と舞台７３との間にビームスプリッタ７４を配置して舞台７３の上の投影環境７９に虚像を投影する。また、この例では、舞台７３の最も奥に背景を投影する背景投影面２０ｂが配置される。
【００１７】
なお、背景投影面２０ｂはスクリーンで有っても良いし、表示パネルで有っても良い。スクリーンの場合は、背景画像表示部２０ａが出力する背景画像を、図示しない投影器で投影する。
【００１８】
虚像投影面１０ｃは、観察者（観客）が座る観客席７６が配置された床７２と平行する面に配置され、虚像画像が投影される。投影部１０ｂは、ビームスプリッタ７４を挟んで虚像投影面１０ｃと対向する面に配置され、虚像投影面１０ｃに虚像画像を投影する。虚像画像表示部１０ａは、投影部１０ｂに虚像となる虚像画像を出力する。
【００１９】
虚像とは、観客が観客席７６から舞台７３を見た場合に、実在はしないが舞台７３の上に存在しているかのように見える画像のことである。
【００２０】
ビームスプリッタ７４は、光束を例えば２つに分割する光学装置である。ビームスプリッタ７４は、透過率と反射率とが等しいハーフミラー又はフィルムで有っても良い。
【００２１】
ビームスプリッタ７４は、観客席７６と舞台７３との間に配置される。この例では、舞台７３の観客席７６の縁部付近から、約４５度の傾きで天井７１まで張られた反射率５０％のフィルムである。
【００２２】
投影部１０ｂは、舞台７３と観客席７６とを結ぶ直線と直交する方向のビームスプリッタ７４を挟む一方の面（天井７１）に配置され、虚像画像を虚像投影面１０ｃに投影する。虚像画像は、演出の脚本（シナリオ）に合わせて予め作成しておく。演出の脚本とは、投影環境７９において虚像を投影する順番を表したものである。
【００２３】
虚像投影面１０ｃは、ビームスプリッタ７４を挟んで投影部１０ｂと対向する例えば、舞台７３の最前部の縁に沿う床７２の表面に配置される。なお、投影部１０ｂは無くても良い。虚像投影面１０ｃを、例えば表示パネルで構成し、床７２の表面に配置された表示パネルに虚像画像を直接表示するようにしても良い。
【００２４】
次に、虚像表示システム１の動作を説明する。
【００２５】
虚像投影面１０ｃに投影された虚像画像は、ビームスプリッタ７４の作用によって、背景投影面２０ｂとビームスプリッタ７４との間の結像位置７５に、虚像として表示される。結像位置７５は、破線で示すように、スクリーンのような実体を伴わないものである。
【００２６】
結像位置７５は、ビームスプリッタ７４と虚像投影面１０ｃとの配置によって自ずと所定の位置に決まる。虚像投影面１０ｃに映された虚像画像は、ビームスプリッタ７４の作用によって、観客席７６から見ると、結像位置７５に虚像として存在しているかのように見える。この虚像を投影する方法は周知である（例えば、特願平９−５１２３５０号公報）。よって、虚像を投影する原理についての詳しい説明は省略する。
【００２７】
虚像画像表示部１０ａは、観察者が感じる虚像の位置についての目標位置を取得し、目標位置と観察者の距離が近いほど虚像を明るく投影する。
【００２８】
（目標位置）
目標位置とは、投影環境において観察者が感じる奥行き方向の虚像の位置のことである。所定の位置に表示される虚像から、観察者に奥行き方向の位置を感じてもらうために、本実施形態では虚像と背景の光度を変化させる。
【００２９】
そこで、例えば投影環境７９と等しい撮影環境に、投影環境７９において虚像として投影したい実体物を配置してその明るさの変化を取得する。実体物の明るさは、観察者と実体物の距離が最も短くなる位置ｄ２に配置した実体物の明るさＬ２と、観察者と実体物の距離が最も長くなる位置ｄ１に配置した実体物の明るさＬ１の２つを取得する。
【００３０】
そして、ｄ２とｄ１の間の距離（ｄ２−ｄ１）と目標位置ｘとｄ１との差の比を求める。次に、Ｌ２とＬ１の差と、目標位置ｘでの虚像の明るさｙとＬ１との差の比が、距離の比と等しくなるように虚像の明るさｙを決定する。
【００３１】
つまり、次式を満たすように虚像の明るさｙを決定する。
【００３２】
【数１】
2018040882.tif 000003
【００３３】
虚像を明るく投影するには、虚像画像の光度を高くして表示する。ここで光度とは、光源から出る光の強さであり、その単位はcd（カンデラ）である。この例の場合は、虚像投影面１０ｃに投影された虚像画像を光源とする光がビームスプリッタ７４で観客席７６側に反射した光の量である。
【００３４】
図３に、奥行き方向の位置と虚像の明るさとの関係を概念的に示す。図３の横軸は奥行き方向の位置、縦軸は虚像の明るさである。横軸のｄ１は、虚像と観察者の距離が最も長くなる位置（奥行き方向の最奥の位置）、ｄ２は、虚像と観察者の距離が最も短くなる位置（奥行き方向の最前の位置）を表す。目標位置ｘは、ｄ１とｄ２の間で取り得る任意の位置である。
【００３５】
目標位置ｘがｄ１の場合（ｘ＝ｄ１）の虚像の明るさはＬ０１、目標位置ｘがｄ２の場合（ｘ＝ｄ２）の虚像の明るさはＬ０２であり、Ｌ０２＞Ｌ０１である。よって、虚像が前（奥行き方向の手前）に位置する場合は、その光度が大きくなる。また、虚像が後ろ（奥行き方向の奥）に位置する場合は、その光度が小さくなる。なお、パラメータのＬｃ０及びＬｃｎは、投影環境７９の環境光の明るさである。環境光との関係については後述する。
【００３６】
以上説明した目標位置ｘと虚像の明るさｙとの関係は、予め撮影環境において演出の脚本（シナリオ）に合わせて予め決定し、虚像投影部１０に記憶しても良い。撮影環境とは、投影環境７９を模した環境である。
【００３７】
または、虚像投影部１０は、入力される目標位置ｘに対して光度を変えた虚像画像を出力するようにしても良い。この場合の虚像投影部１０は、撮影環境において、距離が最も短くなる位置ｄ２に物体を配置した場合の明るさＬ０２と距離が最も長くなる位置ｄ１に物体を配置した場合の明るさＬ０１を取得し、最も長くなる位置ｄ１と最も短くなる位置ｄ２の距離を求める。そして、目標位置ｘと最も長くなる位置ｄ１の距離を求め、前者の距離に対する後者の距離の比を求め、最も短くなる位置ｄ２での明るさＬ０２と最も長くなる位置ｄ１での明るさＬ０２の差を求め、明るさの差に対する、最も長くなる位置での明るさＬ０１と虚像の明るさｙの差の比を、距離の比に等しくする。
【００３８】
式（１）を変形すると次式で表せる。
【００３９】
【数２】
2018040882.tif 000004
【００４０】
つまり、虚像投影部１０は、投影する虚像の光度ｙを、距離の比を傾き、最も長くなる位置での明るさＬ０１を切片とする一次関数で決定しても良い。
【００４１】
背景投影部２０は、目標位置ｘを取得し、目標位置ｘと観察者の距離が短いほど背景を暗く投影する。
【００４２】
図４に、奥行き方向の位置と虚像の背景の明るさとの関係を概念的に示す。図４の横軸は奥行き方向の位置、縦軸は虚像の背景の明るさである。
【００４３】
目標位置ｘがｄ１の場合（ｘ＝ｄ１）の虚像の背景画像の明るさはＢＬ０１、目標位置ｘがｄ２の場合（ｘ＝ｄ２）の背景の明るさはＢＬ０２であり、ＢＬ０１＜ＢＬ０２である。よって、虚像の位置が前の場合は、背景画像の光度が小さくなる。また、虚像が後ろの場合は、背景画像の光度が大きくなる。
【００４４】
目標位置ｘにおける虚像の背景画像の明るさをｚとすると、背景画像の明るさｚは次式で表せる。
【００４５】
【数３】
2018040882.tif 000005
【００４６】
式（３）と式（２）を対比することで明らかなように、背景投影部２０は、虚像投影部１０と同じ方法で虚像の背景画像の明るさを決定する。ただし、目標位置ｘの変化に対する背景画像の明るさの変化の方向が、虚像の明るさの変化の方向と反対である。
【００４７】
以上説明したように、本実施形態の虚像表示システム１によれば、目標位置ｘが奥行き方向の後ろから前に移動すると、虚像画像の光度は大きくなり、背景画像の光度は小さくなる。このように虚像画像と背景画像の光度を制御することで、観察者に、虚像の前方向の動きを知覚させることができる。
【００４８】
また、虚像画像の光度を小さくし、背景画像の光度を大きくすることで、観察者に、虚像の後ろ方向の動きを知覚させることができる。図５に、虚像と背景の表示例を示す。図５は、観察者側から投影環境７９を正面から見た様子を模式的に示す図である。結像位置７５に結像する虚像７５ａの光度は、目標位置ｘと観察者の距離が短いほど明るくなる。一方、背景は、目標位置ｘと観察者の距離が短いほど暗くなる。
【００４９】
なお、目標位置ｘを取得して虚像と背景の光度を変える例を説明したが、目標位置ｘを取得する事無く、予めプログラムした虚像と背景を自動的に投影するようにしても良い。その場合は、撮影環境において、脚本に合わせた実像（投影環境の虚像）の奥行き方向の明るさの変化を測定し（奥行き方向の原点は予め決めておく。）、その明るさで変化する虚像画像を虚像画像表示部１０ａに記憶しておく。同様に、明るさの変化する背景画像も背景画像表示部２０ａに記憶しておく。そして、その虚像画像と背景画像を時系列で読み出して投影することで、虚像の奥行き方向の動きを表現することができる。
【００５０】
〔第２実施形態〕
図６に、第２実施形態に係る虚像表示システム２の構成例を示す。虚像表示システム２は、虚像表示システム１（図１）に対して照度測定部４０を備える点で異なる。図７に、虚像表示システム２の動作フローを示す。
【００５１】
照度測定部４０は、投影環境の照度を測定する（ステップＳ１）。ここで照度とは、光源によって照らされている面の明るさであり、その単位はlx（ルクス）である。この例の場合、照度測定部４０は、測定した照度を、虚像画像表示部１０ａと背景画像表示部２０ａに出力する。なお、投影環境の照度とは、環境光の明るさと称しても良い。
【００５２】
本実施形態の虚像投影部１０は、照度が高いほど虚像を明るくする。また、本実施形態の背景投影部２０は、照度が高いほど虚像の背景を明るくする。理想的な投影環境７９の環境光の照度をＩｃとし、測定した照度をＩｓとすると、虚像投影部１０は次式で示すように虚像の光度を決定する（ステップＳ２）。
【００５３】
【数４】
2018040882.tif 000006
【００５４】
また、背景投影部２０は次式で示すように虚像の背景の光度を決定する（ステップＳ３）。
【００５５】
【数５】
2018040882.tif 000007
【００５６】
このように投影環境の照度によって、虚像と虚像の背景の光度を変えることで、虚像を見やすくすることができる。図３と図４に環境光の明るさの影響を模式的に示す。図中のパラメータは、環境光の明るさである。例えばＬｃ０は、Ｌｃ０＝Ｉｃであり、Ｌｃｎは環境光が明るい場合（Ｌｃｎ＝Ｉｓ）である。環境光が明るいと虚像と背景の明るさの傾きは大きくなる。
【００５７】
なお、照度測定部４０は、投影環境７９に複数個配置しても良い。複数の照度からヒートマップを作成しても良い。また、ヒートマップから平均値（Ｉｓ）を求めても良い。
【００５８】
〔第３実施形態〕
図８に、第３実施形態に係る虚像表示システム３の構成例を示す。虚像表示システム３は、光度分布測定部５０を備える点で、虚像表示システム１（図１）、及び虚像表示システム２（図６）と異なる。
【００５９】
光度分布測定部５０は、例えば背景内の光度分布を測定する。図９に、背景投影面２０ｂの表面を、例えば横方向を５分割５０１１〜５０５１、縦方向を３分割５０１１〜５０１３した分割例を示す。
【００６０】
光度分布測定部５０は、分割した各部分の光度（ヒートマップ）を測定し、虚像画像表示部１０ａと背景画像表示部２０ａに出力する。例えば、分割領域５０３２に、投影環境７９を配置した部屋の外部から太陽光が照射されている場合を想定する。
【００６１】
その場合、虚像画像表示部１０ａは、分割領域５０３２に投影する虚像の光度を大きくする。また、背景画像表示部２０ａは、分割領域５０３２に投影する虚像の光度を大きくする。
【００６２】
つまり、虚像投影部１０は、虚像内の明るさの分布を光度分布に応じたものとする。また、背景投影部２０は、背景内の明るさの分布を光度分布に応じたものとする。
このように、背景内の光度分布に対応させて虚像と背景の光度を変えることで、例えば太陽光のような外乱要因の影響を低減することができる。
【００６３】
なお、分割はこの例には限定されない。原理的に分割数は、光度分布測定部５０が備える光度測定器の分解能と同じ数にすることが可能である。
【００６４】
以上説明したように本実施形態の虚像表示システムによれば、虚像の奥行き方向の位置を表現し、見る人にその方向の位置と動きを知覚させることが可能になる。よって、より複雑な実像と虚像によるコミュニケーションを演出できる。
【００６５】
なお、本実施形態は、例示した講演会場に舞台７３を備える例で説明を行ったが、舞台７３は無くても良い。本実施形態の虚像表示システムは、例えばショーウィンドウの中に配置しても良い。また、ビームスプリッタ７４は、舞台７３の全面をほぼ覆う大きさの例を示したが、舞台７３の一部に配置する小型なもので有っても良い。
【００６６】
また、虚像投影面１０ｃに、投影部１０ｂから虚像情報を投影する例で説明を行ったが、投影部１０ｂは無くても良い。虚像投影面１０ｃを、例えば表示パネルで構成し、虚像投影面１０ｃが自ら虚像画像を表示するようにしても良い。つまり、投影部１０ｂは無くても良い。
【００６７】
このように本発明は、上記の実施の形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【符号の説明】
【００６８】
１、２、３：虚像表示システム
１０：虚像投影部
１０ａ：虚像画像表示部
１０ｂ：投影部
１０ｃ：虚像投影面
２０：背景投影部
２０ａ：背景画像表示部
２０ｂ：背景投影面
４０：照度測定部
５０：光度分布測定部
７１：天井
７２：床
７３：舞台
７４：ビームスプリッタ
７５：結像位置
７５ａ：虚像
７６：観客席
７９：投影環境
【図１】
2018040882.tif 000008
【図２】
2018040882.tif 000009
【図３】
2018040882.tif 000010
【図４】
2018040882.tif 000011
【図５】
2018040882.tif 000012
【図６】
2018040882.tif 000013
【図７】
2018040882.tif 000014
【図８】
2018040882.tif 000015
【図９】
2018040882.tif 000016