(57)【要約】  映像を表示する映像表示部１０と、入射光を透過光と反射光とに分離するビームスプリッタ１１と、入射光を入射方向に反射する再帰反射シート１２と、空中結像光学系を通った拡散光を観察する観察者の視点位置情報を取得する視点位置情報取得部１４と、視点位置情報を入力し映像表示部を出力することにより表示映像情報を制御する表示制御部１５とを備え、表示制御部１５は、空中結像光学系の位置関係及び視点位置情報から、観察者が空間上に映像表示面を知覚する空中結像領域を推定する空中結像範囲推定部１６と、視点位置情報及び空中結像光学系の位置関係から、空中結像領域における映像解像度を推定する空中映像画質推定部１７と、空中結像領域の情報及び画質解像度から、映像表示部１０へ表示映像情報を出力する空中映像表示処理部１８とを有する。
2020194699.tif 000002
【特許請求の範囲】
【請求項１】
映像を表示する映像表示部と、
前記映像表示部から発する拡散光を反射する光学部材によって空間上に再結像させる空中結像光学系と、
前記空中結像光学系を通った前記拡散光を観察する観察者の視点位置情報を取得する視点位置情報取得部と
前記視点位置情報を入力し、前記映像表示部に出力する表示映像情報を制御する表示制御部とを備え、
前記表示制御部は、
前記空中結像光学系の位置関係及び前記視点位置情報から、前記観察者が空間上に映像表示面を知覚する空中結像領域を推定する空中結像範囲推定部と、
前記視点位置情報及び前記空中結像光学系の位置関係から、前記空中結像領域における映像解像度を推定する空中映像画質推定部と、
前記空中結像領域の情報及び前記画質解像度から、前記映像表示部へ表示映像情報を出力する空中映像表示処理部と、
を備えることを特徴とする空中映像表示装置。
【請求項２】
前記表示制御部は、前記映像表示部に出力する映像情報の表示サイズと表示位置とのうち少なくとも一方を制御する
ことを特徴とする請求項１に記載の空中映像表示装置。
【請求項３】
前記表示制御部は、前記映像表示部に出力する映像情報の階調の高周波成分を入力した映像情報より低減させる処理、又はエッジ部分の強調処理を行う
ことを特徴とする請求項１に記載の空中映像表示装置。
【請求項４】
前記表示制御部は、前記映像表示部に出力する映像情報の輝度又は色度を出力画素ごとに制御する
ことを特徴とする請求項１に記載の空中映像表示装置。
【請求項５】
前記表示制御部は、前記観察者の視点の床面からの高さに応じて前記映像表示部に表示する表示内容を変化させる
ことを特徴とする請求項１に記載の空中映像表示装置。
【請求項６】
前記表示制御部は、前記映像表示部の配置位置を変化させる
ことを特徴とする請求項１に記載の空中映像表示装置。
【請求項７】
前記光学部材は、入射光を透過光と反射光とに分離するビームスプリッタと、入射光を入射方向に反射する再帰反射シートとにより構成される
ことを特徴とする請求項１に記載の空中映像表示装置。
【請求項８】
前記光学部材は、２面コーナーリフレクタアレイである
ことを特徴とする請求項１に記載の空中映像表示装置。
【請求項９】
前記視点位置情報取得部は、撮像素子を備えており、前記観察者を対象に撮像した情報から視点位置情報を算出する
ことを特徴とする請求項１に記載の空中映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示素子のない空中に映像を映し出す空中映像表示装置に関する。
【背景技術】
【０００２】
空中に映像を映し出す、空中映像結像技術を使用した装置において表示される映像について観察者に応じて調整する空中表示装置が存在する。従来の空中表示装置では空中映像に対して観察者の視点位置に応じて表示位置を調整する機能を備えることで、観察者に適した位置で空中映像を知覚することを可能としている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／１２５９８４号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
空中映像結像技術において、観察者が視認する空中映像の画質の変化は、視認できる表示範囲だけではなく、解像度や色度も対象となり得る。【０００５】
従来の空中表示装置では表示位置を視点位置に合わせて調整することで、広い空中結像範囲において、視認出来る範囲にのみトリミングをした空中表示を実現している。単純な表示位置変化のみでは、空中表示する映像の画質変化に伴う視認性の変化に対応できないという問題があった。【０００６】
本発明は上述のような課題を解決するためになされたもので、観察者の視点位置によらずに観察者に視認させるべき映像情報を認識できる画質を持つものである。
【課題を解決するための手段】
【０００７】
本発明は上記課題を解決するために、映像を表示する映像表示部と、映像表示部から発する拡散光を反射する光学部材によって空間上に再結像させる空中結像光学系と、空中結像光学系を通った拡散光を観察する観察者の視点位置情報を取得する視点位置情報取得部と、視点位置情報を入力し映像表示部を出力することにより表示映像情報を制御する表示制御部とを備え、表示制御部は、空中結像光学系の位置関係及び視点位置情報から、観察者が空間上に映像表示面を知覚する空中結像領域を推定する空中結像範囲推定部と、視点位置情報及び空中結像光学系の位置関係から、空中結像領域における映像解像度を推定する空中映像画質推定部と、空中結像領域の情報及び画質解像度から、映像表示部へ表示映像情報を出力する空中映像表示処理部と、を備えるものである。
【発明の効果】
【０００８】
本発明により、空中結像を為す表示装置において、観察者の視点位置によらずに観察者に視認させるべき映像情報を認識できる解像度を持った映像表示装置として利用できる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１の空中映像表示装置１００の構成を示す説明図である。
【図２】実施の形態１の表示制御部１５の構成を示すブロック図である。
【図３】実施の形態１における表示位置変化例を示す説明図である。
【図４】実施の形態１における表示サイズ変化例を示す説明図である。
【図５】実施の形態１の別の例である空中映像表示装置１００ａの構成を示す説明図である。
【図６】実施の形態２における空中映像表示装置１００の構成を示す説明図である。
【図７】実施の形態２における表示制御例を示す説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を図面に従って説明する。
実施の形態１
図１は、本発明の実施の形態１の空中映像表示装置１００の構成を示す説明図である。図１において、空中映像表示装置１００は、映像表示部１０、ビームスプリッタ１１、再帰反射シート１２、視点位置検出装置１４、及び表示制御部１５を備える。映像表示部１０は、表示した映像を光としてビームスプリッタ１１に送る。ビームスプリッタ１１は、映像表示部１０からの光を反射して、再帰反射シート１２に送る。再帰反射シート１２は、ビームスプリッタ１１からの光を反射して、ビームスプリッタ１１に送る。ビームスプリッタ１１は、再帰反射シート１２からの光を透過する。再帰反射シート１２を透過した光は観察者１９に空中映像１３として知覚される。視点位置検出装置１４は、観察者１９の視点位置を検出した情報を表示制御部１５に送る。表示制御部１５は、視点位置検出装置１４の情報から映像表示部１０に表示する映像を制御する信号を映像表示部１０に送る。言いかえると、空中映像表示装置１００は、映像を表示する映像表示部１０と、映像表示部から発する拡散光を複数回の反射および透過の性質を持つ光学部材によって異なる空間上に再結像させる空中結像光学系と、空中結像光学系を通った拡散光を観察する観察者の視点位置情報を取得する視点位置情報取得部と、視点位置情報を入力し映像表示部を制御する表示映像情報を出力する表示制御部１５とを備え、表示制御部１５は、視点位置情報及び空中結像光学系の位置関係から、観察者が空間上に映像表示面を知覚する空中結像領域を推定する空中結像範囲推定部１６と、視点位置情報及び空中結像光学系の位置関係から、空中結像領域における映像解像度を推定する空中映像画質推定部１７と、空中結像領域及び画質から、映像表示部へ表示映像情報を出力する空中映像表示処理部１８と、を有する。空中結像光学系は、ビームスプリッタ１１と、再帰反射シート１２を備える。視点位置情報取得部は、視点位置検出装置１４である。
【００１１】
映像表示部１０は、表示する映像を光として出力する装置である。これは、例えば液晶ディスプレイのような液晶素子とバックライトとを備えた表示装置、有機ＥＬ素子やＬＥＤ素子を用いた自発光デバイスの表示装置、又は、プロジェクタとスクリーンとを用いた投影装置が挙げられる。また上述のような２次元平面光源だけではなく、曲面を用いたディスプレイ、立体的に配置したディスプレイ、ＬＥＤ等の立体表示ディスプレイ、又はレンズ光学系やバリア制御を利用した観察者の両眼視差や運動視差による立体知覚を行うディスプレイを用いてもよい。
【００１２】
ビームスプリッタ１１は、入射する光を透過光と反射光とに分離する光学素子である。ビームスプリッタ１１は例えば樹脂製の透明板やガラス板である。樹脂製の透明板の場合には一般的に反射光に比べ透過光の強度が高いことから、金属を付加して反射強度を向上させたハーフミラーとした光学素子でもよい。また、液晶素子や薄膜素子による入射光の偏光状態により、反射の振舞いと透過の振舞いとが変化する反射型偏光板を利用してもよい。また液晶素子や薄膜素子により入射光の偏光状態で透過率と反射率との割合が変化する反射型偏光板を利用してもよい。
【００１３】
再帰反射シート１２は、入射した光を入射した方向にそのまま反射する再帰反射性能を持つシート状の光学素子である。再帰反射を実現する光学素子には、鏡面状に小さなガラスビーズを敷き詰めたビーズタイプの光学素子、各面が鏡面で構成される凸形状の微小の三角錐または中心部を中空にした三角錐を敷き詰めたマイクロプリズムタイプの光学素子などがある。
【００１４】
本実施の形態では、映像表示部１０、ビームスプリッタ１１、及び再帰反射シート１２を備えた光学系により空中映像１３を結像する。映像表示部１０からビームスプリッタ１１へと入射した光は、反射光と透過光とに分離される。このうち反射光は、再帰反射シート１２へと入射して再帰反射を行い、ビームスプリッタ１１に再度入射し、再度反射光と透過光に分離される。ビームスプリッタ１１に再度入射した光のうちの透過光が、この透過光の先にいる観察者１９の目へと到達する。映像表示部１０から出力された光は、周囲に拡散された光である拡散光であり、上記光路を辿ることにより、ビームスプリッタ１１に対して面対称となる位置に拡散光が収束を行う。収束した光は、再収束した地点から再度拡散して観察者１９の目へと到達する。このため、観察者１９は、空中映像１３の位置に映像が投影されていると知覚する。
【００１５】
また、観察者１９が空中映像１３の位置に映像が投影されていると知覚する構成であれば、上記で説明した構造に限るものではない。例えば、ビームスプリッタ１１、再帰反射シート１２を、直交した２面の鏡面を重ね合わせて平面上にアレイ状の配置として、それぞれの要素が２面コーナーリフレクタアレイとなる構造としてもよい。この構造の片方の鏡面方向に対して入射した光はもう片方の鏡面に反射しつつ、この素子構造に対して対象の位置へと光が到達する。同様に拡散する光源において同様の反射を行う光は図１と同様に再収束することで、空中映像を知覚することができる。
【００１６】
視点位置検出装置１４は、観察者１９の視点位置を検出する。視点位置検出装置１４は、例えばカメラなどの撮像デバイスである。視点位置検出装置１４は、例えば複眼カメラにより観察者１９の三次元的な位置情報を取得することにより視点位置を検出する。また、視点位置検出装置１４は、例えば単眼カメラである場合でもオプティカルフローによる三次元位置推定や顔特徴点からの眼の位置推定によって視点位置を検出する。また、視点位置検出装置１４は、カメラ撮像素子を用いる場合のほか、赤外光を用いた三次元距離センサなどを利用して、観察者１９が立っている位置と空中映像表示装置１００との相対位置を検出し、眼の位置を類推するなどの方法がある。また、視点位置検出装置１４は、観察者１９の身体情報を観察者１９から事前に入力しておくことにより、空中映像表示装置１００を観察する位置を類推することにより視点位置を検出してもよい。身体情報は、例えば身長であり、また例えば、車椅子使用の有無であり、また例えば、座高情報である。身長から目の位置を類推することや、車椅子使用が「有」であり、座高情報が入力されている場合は、一般的な車椅子の腰掛ける高さと座高を足した高さから視点の床面からの高さを算出して目の位置を類推する。
【００１７】
図２は、表示制御部１５の構成を示すブロック図である。表示制御部１５は、空中結像範囲推定部１６、空中映像画質推定部１７、及び空中映像表示処理部１８を備える。表示制御部１５は、視点位置情報２０が入力され、出力映像情報２５を出力する。空中結像範囲推定部１６は、視点位置情報２０と光学系仕様情報２１ａと光学系配置情報２１ｂとが入力され、空中結像範囲情報２２を空中映像画質推定部１７に出力する。光学系仕様情報２１ａとは、例えばビームスプリッタ１１および再帰反射シート１２のそれぞれの部材構造スペックである。光学系配置情報２１ｂとは、空中結像光学系の位置関係の情報である。空中結像光学系の位置関係とは、例えば、ビームスプリッタ１１と再帰反射シート１２との位置関係である。空中映像画質推定部１７は、視点位置情報２０と光学系仕様情報２１ａと光学系配置情報２１ｂと空中結像範囲情報２２とが入力され、空中映像画質推定情報２３を空中映像表示処理部１８に出力する。空中映像表示処理部１８は、空中映像画質推定情報２３と表示映像情報２４とが入力され、表示制御部１５の出力として、出力映像情報２５を出力する。各ブロックにおける処理内容について以下に説明する。
【００１８】
空中結像範囲推定部１６は、視点位置検出装置１４から得られた視点位置情報２０と光学系仕様情報２１ａと光学系配置情報２１ｂとから観察者１９が知覚できる空中映像の結像する範囲を推定する。空中映像の結像する範囲は、映像表示部１０の表示面のうち、観察者が知覚できる映像表示の範囲を二次元平面の位置情報で示したものである。光学系仕様情報２１ａは上述の通り、各部材の部材構造スペックである。なお、各部材の部材構造スペックとは、例えば、映像表示部１０における輝度、解像度、視野角情報、ビームスプリッタ１１における板厚、透過率、反射率、又は再帰反射シート１２における再帰反射精度である。光学系配置情報２１ｂは、３Ｄ−ＣＡＤデータのような各構成部材の配置する三次元位置情報を保持する。例えば、再帰反射を利用した空中結像構造では、観察者１９から空中映像１３の方向を見た際に、視線上にビームスプリッタ１１が存在し、更にビームスプリッタ１１から透過した線上又は反射した線上に再帰反射シート１２が存在している場合に空中映像１３を知覚することができる。つまり、視点位置情報２０と光学系仕様情報２１ａと光学系配置情報２１ｂとから三次元光路追跡を行うことで、空中結像範囲推定部１６は、映像表示部１０の表示面のうち、空中映像として知覚できる範囲を推定することができる。
【００１９】
空中結像範囲においては、前述した２面コーナーリフレクタアレイ構造においても推定することが可能となる。２面コーナーリフレクタアレイ構造の場合には、入射する光路がそれぞれの鏡面に１回ずつ反射することで光路が結像される。そのため、構造と光源との入射角度との関係性により、１回以下や３回以上の反射を行う場合には観察者１９に空中映像として知覚されないことが推定できる。
【００２０】
空中映像画質推定部１７は、空中結像範囲情報２２より得られた空中映像として知覚できる範囲の中で、視点位置情報２０と光学系仕様情報２１ａと光学系配置情報２１ｂとから各投影位置における画質を推定する。再帰反射を利用した空中映像結像構造は、構成される光学部材および観察者位置によって画質が変動する。主に影響がある画質要素としては明るさ、鮮鋭さ、色度が挙げられる。本実施の形態においては、空中結像範囲推定結果から得られる空中映像表示範囲内の各画素に上記画質要素のパラメータをマッピングする。各画質要素について詳細を下記する。
【００２１】
画質要素としての明るさについては、例えば、映像表示部１０が持つ輝度値に対する空中映像１３の輝度の比率を画質の変化の度合いとして定義することができる。観察者の位置から見ての空中映像の推定された輝度値［ｃｄ／ｍ２］をマッピングデータとする。「マッピングデータ」とは、空中映像を表示する位置での明るさの推定値とその位置で表現方法を制御するパラメータとの対応関係を示したデータである。輝度が変化する要因としては、例えば、ビームスプリッタ１１の構造が挙げられる。ビームスプリッタ１１はその結像光路から反射と透過とを１回ずつ行うため、その部材構造における透過率と反射率の積によって減衰率が低下する。また、空中結像を為す光路についてはビームスプリッタ１１と再帰反射シート１２との距離によって大きく光路長が左右されることから、空中映像表示装置１００が大型である場合には観察者が見る空中映像１３の画素ごとに映像表示部１０からの光路距離に差が発生し、明るさの減衰が発生することもある。そこで以下のように表示制御部１５は、映像表示部に出力する映像情報の輝度又は色度を出力画素ごとに制御する。例えば、映像表示部１０の表示画素位置ｘにおける輝度Ｌ（ｘ）［ｃｄ／ｍ２］、ビームスプリッタ１１の透過率Ｔ、ビームスプリッタ１１の反射率Ｒ，空間上の光の減衰率αにより空中映像１３の明るさＡ（ｘ）［ｃｄ／ｍ２］は、式（１）のように求めることができる。なお、ビームスプリッタ１１の透過率Ｔは、０から１までの値を用いて表される値である。同様に、ビームスプリッタ１１の反射率Ｒは、０から１までの小数を用いて表される値である。また、空間上の光の減衰率αは、０から１までの小数を用いて表される値である。なお、空間上の光の減衰率αは、表示画素位置ｘから空中映像を結像する位置までの距離が大きいほど小さくなり、表示画素位置ｘから空中映像を結像する位置までの距離が小さいほど大きくなる。また再帰反射シート１２の再帰反射精度に応じて、入射光に対して光が広がり、ピーク輝度が低下することがある。その場合には入射角度に応じて変化する再帰反射精度によるピーク輝度の減衰率を表示画素の輝度に積算することで算出することができる。
【００２２】
Ａ（ｘ）＝  Ｌ（ｘ）×  Ｔ  ×  Ｒ  ×  α      ・・・・・・・・・・・・・（１）
【００２３】
画質要素の鮮鋭さが低下した場合は、表示映像の解像感に影響を及ぼし、観察者にぼやけた映像として認識される。鮮鋭さが低下することは、テストチャートやエッジ画像を表示した際の周波数解析結果に影響を及ぼすことから、マッピングデータはコントラスト伝達関数などのコントラスト感度の周波数解析をした結果の内ある信号強度までを閾値とした最大周波数を格納することが望ましい。鮮鋭さが低下する要因にはビームスプリッタ１１の構造による場合が考えられる。ビームスプリッタ１１が厚みのある板形状の場合、表面と裏面とのそれぞれに空中映像を結像する結像光路ができることから、各光路による空中映像の明るさと板の厚さと配置角度とに応じた各面に結像する空中映像同士が干渉する、その度合いに応じて鮮鋭さは低下する。また、再帰反射シート１２は、素子構造によって再帰反射精度が低下する。例えば、ビーズタイプの光学素子の場合、光学素子に入射した光は、屈折、反射、そして屈折の順で再帰反射を行うため、光の入射位置と入射した角度からの屈折角とによって正確な再帰反射角からずれることや、再帰反射しないことがある。また、例えば、マイクロプリズムタイプの光学素子の場合、プリズムに入射した光が３面中の２面に１回ずつ反射することによる反射の集積結果として、光の入射位置と入射した角度とによって反射回数が少ない箇所や多い箇所があり、このことから再帰反射の精度にズレや減衰が発生する。また素子構造が小さい場合には、回折による光の減衰があり、再帰反射方向がずれる。これらビームスプリッタ１１および再帰反射シート１２による影響は、各部材構造スペックおよび配置構造情報と観察者位置との光路情報によって推定することができる。なお、部材構造スペックとは、例えば、アクリル板、ガラス板、ハーフミラー又は反射型偏光板などのビームスプリッタの素材についての情報である。また、部材構造スペックとは、例えば、ビーズタイプの光学素子、マイクロプリズムタイプの光学素子、素子のサイズなど再帰反射シートの素子構造についての情報である。また、部材構造スペックとは、例えば、液晶ディスプレイ、有機ＥＬ素子やＬＥＤ素子を用いた自発光デバイスなどの表示装置の表示素子である。
【００２４】
また、観察者に届く光路のうち、空中映像１３を結像する光路以外の光路が空中映像の鮮鋭さを阻害する場合がある。例えば、映像表示部１０から出力された光が再帰反射シート上を鏡面反射することで、再帰反射シートの奥に鏡像として知覚される場合がある。この像が空中映像１３と干渉することにより解像感を阻害する要因となる。この光路は部材の配置構造によって結像光路を算出可能であり空中映像の画質への影響度を推定できる。
【００２５】
画質要素の色度については、空中映像１３の結像光路中の波長ごとに光路が変化することで色収差のような変化が生じる可能性が考えられる。例えば構成部材中に液晶ディスプレイのように偏光素材によってビームスプリッタなどの反射と透過の効率を向上させる光学部材を映像表示部１０として用いた場合には、偏光に変化を与える位相差素材によっては入射光の角度に応じた色偏差が発生する。こうした光学部材に対しては観察者位置からの光路を辿り、入射角度を推定することにより、色度変化量もしくは収差半径を推定しマッピングデータとして格納することが可能となる。
【００２６】
空中映像表示処理部１８は、空中映像１３の表示位置ごとの空中映像画質推定情報２３から表示すべき表示映像情報２４に対して制御を行い映像表示部に出力する。制御内容は画質に応じて、表示位置、表示サイズ、表示コンテンツ、鮮鋭度処理が挙げられる。
【００２７】
図３は、実施の形態１における表示位置変化例を示す説明図である。図３（Ａ）は、空中映像表示装置１００に対して観察者１９が相対的に右側に位置するとき、つまり空中映像表示装置１００から見たときに観察者１９がビームスプリッタ１１の中央より左側に立っている場合に、観察者１９が観察する空中映像の表示位置１３Ａを示す。図３（Ｂ）は、空中映像表示装置１００に対して観察者１９が相対的に中央に位置するときに、観察者１９が観察する空中映像の表示位置１３Ｂを示す。図３（Ｃ）は、空中映像表示装置１００に対して観察者１９が相対的に左側に位置するとき、つまり空中映像表示装置１００から見たときに観察者１９がビームスプリッタ１１の中央より右側に立っている場合に、観察者１９が観察する空中映像の表示位置１３Ｃを示す。以下で、表示位置を変化させた際の制御例について説明する。図３（Ａ）における空中映像表示可能範囲３０Ａ、空中映像画質推定結果３１Ａ、及び空中映像表示位置制御結果３２Ａは、観察者１９が空中映像表示装置１００に対面する方向から観察した映像の範囲を表している。空中映像表示可能範囲３０Ａ、空中映像表示可能範囲３０Ｂ、及び空中映像表示可能範囲３０Ｃにおける黒塗りしている部分が空中映像表示範囲として推定した結果の範囲である。その範囲において空中映像画質推定部１７によって推定された画質要素のうち、鮮鋭さの結果を空中映像画質推定結果３１Ａ、空中映像画質推定結果３１Ｂ、及び空中映像画質推定結果３１Ｃに示す。空中映像画質推定結果３１Ａ、空中映像画質推定結果３１Ｂ、及び空中映像画質推定結果３１Ｃは、曲線で表されるレベルが低い（図３（Ａ）における矢印の逆方向）ほど、ぼやけなど映像品位における悪影響の度合いが強いことを示す。なお、空中映像画質推定結果３１Ａ、空中映像画質推定結果３１Ｂ、及び空中映像画質推定結果３１Ｃの曲線で表される鮮鋭さの特性は、ビームスプリッタ１１と再帰反射シート１２との配置構造及びビームスプリッタ１１の素子構造によって決まる。空中映像表示処理部１８における表示位置制御では、この中で画質の影響度に対してある閾値以上の範囲までを表示領域に設定し、空中映像表示位置制御結果３２Ａ、空中映像表示位置制御結果３２Ｂ、及び空中映像表示位置制御結果３２Ｃにおける黒塗りしている範囲にのみ空中映像を表示することで、観察者にとって画質差といった視覚的な違和感のない表示を実現する。
【００２８】
図４は、実施の形態１における表示サイズ変化例を示す説明図である。表示サイズおよび表示コンテンツにおける制御例について説明する。観察者１９の位置、例えば、大人と子供といった身長差のある観察者において、観察者１９の視点の位置の変化に対する表示制御について説明する。図４（Ａ）は、空中映像表示装置１００に対して観察者１９が低い位置にあるときの、観察者１９が観察する空中映像の画質を推定した空中映像画質推定結果３１Ａ、コンテンツ制御結果３３Ａを示す。図４（Ｂ）は、空中映像表示装置１００に対して観察者１９が高い位置にあるときの、観察者１９が観察する空中映像の画質を推定した空中映像画質推定結果３１Ｂ、コンテンツ制御結果３３Ｂを示す。空中映像画質推定結果３１Ａ、及び空中映像画質推定結果３１Ｂは、曲線で表されるレベルが左側に近い（図４（Ａ）、図４（Ｂ）における矢印の逆方向）ほど、画質が低いことを示す。図４（Ａ）のように子供など低身長な観察者１９が空中映像１３を観察した場合には、空中映像画質推定結果３１Ａは下側に高品質な映像画質となる。このことから、例えば、コンテンツ制御結果３３Ａの下部３３Ａ−２に例えば文字など解像度を必要とするコンテンツを表示し、かつ子供の注意を向けるために、文字サイズを大きくし、コンテンツ制御結果３３Ａの上部３３Ａ−１に画像エフェクトなどの単純な知覚表示コンテンツの割合も比較的大きな表示比率となるように配置する。対して図４（Ｂ）のように大人など高い観察者位置視点の場合には、コンテンツ制御結果３３Ｂの上部３３Ｂ−１に例えば文字コンテンツを小さくし、コンテンツ制御結果３３Ｂの下部３３Ｂ−２に多くの視覚的情報が入るようなレイアウト構造に制御することで、観察者に適した表示制御を実現する。上記のように表示制御部１５は、観察者の身長の高さに応じて映像表示部に表示する表示内容を変化させる。
【００２９】
次に鮮鋭度処理における制御例について説明する。鮮鋭度処理における制御内容については、観察者に見せる空中映像範囲において一番映像品位の悪い画質に着目し、全画素に同じ映像品位になるよう画像処理を行うことで、均一の映像品位を実現する。画像処理は明るさの調整では液晶素子のバックライト光源やＬＥＤ光源の駆動回路制御による減光や、表示映像自体を輝度色相変換した際の輝度成分を減少させて再変換する方法が挙げられる。また、鮮鋭度については周辺画素とのフィルタ処理により各輝度の高周波成分を低減させることでぼやけのような低解像度処理を行うことで対応出来る。
【００３０】
また、画像処理による制御例としてはコンテンツに応じたエッジ強調処理も挙げられる。幾何形状や文字などの表示コンテンツは抽出したエッジ領域の強調に対して強い視覚効果が発生することから、表示コンテンツ制御結果に応じてエッジ強調するか均一化するかの鮮鋭度処理を切り分けることで最適な表示制御を実現できる。
【００３１】
前記表示制御例では、空中映像画質推定結果３１の鮮鋭さ結果のみパラメータとした制御例となっているが、前記空中映像画質推定部では明るさ、および色度に関しても推定することが出来、複数の画質要素を制御内容に応じて重みづけパラメータとして制御処理を用いることとなる。例えば観察者の知覚しやすさを構成する要素は明るさと鮮鋭さとが大きな要素であるが、表示コンテンツに応じて両者の重要さの度合いが変化する。文字コンテンツであれば鮮鋭さの方が可読性として重要であり重みづけが高くなる一方、イラストやアイコン等の単調コンテンツや色彩が多様かつ知覚すべきコンテンツの場合には、画像そのものの視覚的な刺激が大きい方が好まれるため明るさの重みづけが大きくなるとされる。また色彩が多様なコンテンツとなった場合には色度の影響が大きいこととなるので、色度の重みづけが大きくなる。
【００３２】
図５は、実施の形態１の別の例である空中映像表示装置１００ａの構成を示す説明図である。空中映像表示装置１００ａは、空中映像表示装置１００を、映像表示部１０から見てビームスプリッタ１１より奥に再帰反射シート１２ａを配置する構成としたものである。その場合には、映像表示部１０からビームスプリッタ１１へ入射した光が、透過し再帰反射シート１２ａへと入射を行い、その後再帰反射した光がビームスプリッタ１１へと再度入射し、反射を行うことで観察者１９へと届くこととなる。上記再帰反射シート１２の配置方法は図１の配置構成と重複して配置することが可能であり、その場合にはビームスプリッタに最初に入射する光について、透過と反射の分離成分のどちらも空中映像へと結像する光路に利用することができることから、空中映像における光の利用効率を向上させることが可能となる。
【００３３】
また図１又は図５の部材構成以外であっても空中映像を結像する構造もある。例えば直交した２面の鏡面を重ね合わせ平面上にアレイ状に配置した２面コーナーリフレクタアレイ構造が挙げられる。この構造の片方の鏡面方向に対して入射した光はもう片方の鏡面に反射しつつ、この素子構造に対して対象の位置へと光が到達する。同様に拡散する光源において同様の反射を行う光は図１又は図５と同様に再収束することで、空中映像を知覚することができる。
【００３４】
このように実施の形態１の空中映像表示装置１００では、視点位置情報２０と光学系仕様情報２１ａと光学系配置情報２１ｂとから観察者が知覚できる空中映像の結像する範囲を推定したうえで各投影位置における画質を推定することで、観察者の視点位置によらずに観察者に視認させるべき映像情報を認識できる解像度を持つことができる。
【００３５】
実施の形態２
図６は、実施の形態２における空中映像表示装置１００ｂの構成を示す説明図である。空中映像表示装置１００ｂは、実施の形態１における空中映像表示装置１００の構成要素に加えて、映像表示部１０に位置調整部２６を付加した構造となっている。位置調整部２６は、例えば、ステッピングモーターなどの機械機構により、映像表示部１０の位置を変化させる装置である。また、位置調整部２６は、位置調整のための駆動が可能なレンズ機構や電子バリアなど映像表示部１０から発せられた光を制御して、映像表示光の光路を制御する機構により観察者から見た表示位置を変化させるものでも良い。なお表示制御部１５の動作については実施の形態１と同様である。
【００３６】
図７は、実施の形態２における表示制御例を示す説明図である。また、図７は、図６に示した空中映像表示装置１００ｂにおける映像表示部１０、ビームスプリッタ１１、再帰反射シート１２、及び空中映像１３を抜粋した説明図である。図７（Ａ）は、位置調整部２６により映像表示部１０とビームスプリッタ１１とを近づけた例を示しており、図７（Ｂ）は、位置調整部２６により映像表示部１０とビームスプリッタ１１とを遠ざけた例を示している。図７は観察者１９の位置に応じて映像表示部１０の配置位置を調整することで、観察者１９が視覚的に最適な空中映像表示を実現する。図７における表示制御を行う場合には空中結像範囲推定部１６において、位置調整部２６の調整範囲に応じて変化する空中映像１３の各結像位置について空中結像範囲情報２２を推定する。また同様に、空中映像画質推定部１７についても各々の空中結像範囲情報２２に対して空中映像画質推定情報を推定する。例えば、観察者１９が遠ざかった位置に移動して空中映像１３を観察する場合、位置調整部２６は映像表示部１０とビームスプリッタ１１とを遠ざける。また、観察者１９が近づいた位置に移動して空中映像１３を観察する場合、位置調整部２６は映像表示部１０とビームスプリッタ１１とを近づける。
【００３７】
位置調整部２６を利用した表示制御については、観察者の視点位置の三次元位置情報から最適な視距離となるように映像表示部１０の配置の調整を行う。また、観察者の視点位置の三次元位置情報から空中映像結像範囲と視野範囲とに合わせた視距離となるように映像表示部１０の配置の調整を行う。例えばＬＥＤディスプレイなどの画素のピッチが大きいディスプレイの場合には観察者１９の視点位置と空中映像１３との距離が近いと映像コンテンツそのものの形状や解像感を知覚しにくいため、観察者１９の視点位置と空中映像１３との距離を離すよう制御する。よって、映像表示部１０として画素のピッチが大きいディスプレイとする場合、位置調整部２６は映像表示部１０とビームスプリッタ１１とを遠ざける。また、映像表示部１０として画素のピッチが小さいディスプレイとする場合、位置調整部２６は映像表示部１０とビームスプリッタ１１とを近づける。また、アイコン等の表示において観察者１９にアラートなどの視覚的な注意を要する表示コンテンツの場合には、視点位置から近い位置に投影することにより、視覚的注意を大きく演出することが可能となる。
【００３８】
また表示制御例として、観察者１９の位置の時間変化に応じた制御方法も挙げられる。観察者１９が空中映像表示装置１００ｂに対する距離が変化した際に、空中映像が結像する範囲を表示位置制御および表示装置位置調整の機能を利用して距離変化と同様の位置変化となるよう制御することで、観察者１９にとって追従して空中映像を見ることができ、視覚的な認識度を向上させることが可能となる。
【００３９】
このように実施の形態２の空中映像表示装置１００ｂでは、視点位置情報２０と光学系仕様情報２１ａと光学系配置情報２１ｂとから観察者が知覚できる空中映像の結像する範囲を推定したうえで各投影位置における画質を推定し、観察者の視点位置の三次元位置情報から空中映像結像範囲と視野範囲とに合わせた視距離となるように映像表示部１０の配置の調整することで、観察者１９が空中映像を認識しやすくすることができる。
【００４０】
以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。
【符号の説明】
【００４１】
１０    映像表示部
１１    ビームスプリッタ
１２    再帰反射シート
１３    空中映像
１４    視点位置検出装置
１５    表示制御部
１６    空中結像範囲推定部
１７    空中映像画質推定部
１８    空中映像表示処理部
１９    観察者
２０    視点位置情報
２１ａ  光学系仕様情報
２１ｂ  光学系配置情報
２２    空中結像範囲情報
２３    空中映像画質推定情報
２４    表示映像情報
２５    出力映像情報
２６    位置調整部
３０    空中映像表示範囲推定結果
３１    空中映像画質推定結果
３２    空中映像表示位置制御結果
３３    コンテンツ制御結果
１００  空中映像表示装置
【図１】
2020194699.tif 000003
【図２】
2020194699.tif 000004
【図３】
2020194699.tif 000005
【図４】
2020194699.tif 000006
【図５】
2020194699.tif 000007
【図６】
2020194699.tif 000008
【図７】
2020194699.tif 000009
【手続補正書】
【提出日】令和3年4月28日(2021.4.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像を表示する映像表示部と、
前記映像表示部から発する拡散光を反射する光学部材によって空間上に再結像させる空中結像光学系と、
前記空中結像光学系を通った前記拡散光を観察する観察者の視点位置情報を取得する視点位置情報取得部と
前記視点位置情報を入力し、前記映像表示部に出力する表示映像情報を制御する表示制御部とを備え、
前記表示制御部は、
前記空中結像光学系の位置関係及び前記視点位置情報から、前記観察者が空間上に映像表示面を知覚する空中結像領域を推定する空中結像範囲推定部と、
前記視点位置情報及び前記空中結像光学系の位置関係から、前記空中結像領域における映像解像度を推定する空中映像画質推定部と、
前記空中結像領域の情報及び前記映像解像度から、前記映像表示部へ表示映像情報を出力する空中映像表示処理部と、
を備えることを特徴とする空中映像表示装置。
【請求項２】
前記表示制御部は、前記映像表示部に出力する映像情報の表示サイズと表示位置とのうち少なくとも一方を制御する
ことを特徴とする請求項１に記載の空中映像表示装置。
【請求項３】
前記表示制御部は、前記映像表示部に出力する映像情報の階調の高周波成分を入力した映像情報より低減させる処理、又はエッジ部分の強調処理を行う
ことを特徴とする請求項１に記載の空中映像表示装置。
【請求項４】
前記表示制御部は、前記映像表示部に出力する映像情報の輝度又は色度を出力画素ごとに制御する
ことを特徴とする請求項１に記載の空中映像表示装置。
【請求項５】
前記表示制御部は、前記観察者の視点の床面からの高さに応じて前記映像表示部に表示する表示内容を変化させる
ことを特徴とする請求項１に記載の空中映像表示装置。
【請求項６】
前記表示制御部は、前記映像表示部の配置位置を変化させる
ことを特徴とする請求項１に記載の空中映像表示装置。
【請求項７】
前記光学部材は、入射光を透過光と反射光とに分離するビームスプリッタと、入射光を入射方向に反射する再帰反射シートとにより構成される
ことを特徴とする請求項１に記載の空中映像表示装置。
【請求項８】
前記光学部材は、２面コーナーリフレクタアレイである
ことを特徴とする請求項１に記載の空中映像表示装置。
【請求項９】
前記視点位置情報取得部は、撮像素子を備えており、前記観察者を対象に撮像した情報から視点位置情報を算出する
ことを特徴とする請求項１に記載の空中映像表示装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明は上記課題を解決するために、映像を表示する映像表示部と、映像表示部から発する拡散光を反射する光学部材によって空間上に再結像させる空中結像光学系と、空中結像光学系を通った前記拡散光を観察する観察者の視点位置情報を取得する視点位置情報取得部と視点位置情報を入力し映像表示部に出力する表示映像情報を制御する表示制御部とを備え、表示制御部は、空中映像光学系の位置関係及び視点位置情報から、観察者が空間上に映像表示面を知覚する空中結像領域を推定する空中結像範囲推定部と、視点位置情報及び空中結像光学系の位置関係から、空中結像領域における映像解像度を推定する空中映像画質推定部と、空中結像領域の情報及び映像解像度から、映像表示部へ表示映像情報を出力する空中映像表示処理部と、を備えるものである。
【国際調査報告】
2020194699.tif 000010
2020194699.tif 000011
2020194699.tif 000012