(57)【要約】      （修正有）【課題】眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法及び装置を提供する。【解決手段】ユーザに対して顔検出を行い、両眼と表示スクリーンとの間の距離を含む人間の両眼位置を取得するステップＳ１０１と、距離に基づいてホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整し、表示スクリーンに表示するステップＳ１０２と、表示スクリーンの光線の射出方向を両眼のうちの左眼、右眼方向に向かうように調整して、左眼、右眼の異なる個人別ホログラフィック三次元画像をそれぞれ左眼、右眼に結像させるステップＳ１０３と、両眼位置の変化を追跡し、各ステップを繰り返して視点と表示内容を動的に調整するステップＳ１０４と、を含む。【選択図】図２
2016110123.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに対して顔検出を行い、両眼と表示スクリーンとの間の距離を含む人間の両眼位置を取得するステップと、
前記距離に基づいてホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整し、前記物体のホログラフィックシーンのｚ軸方向での大きさに基づいて前記両眼のうちの左眼、右眼に投射しようとする異なる個人別ホログラフィック三次元画像の視点を調整し、前記表示スクリーンに表示するステップと、
前記表示スクリーンの光線の射出方向を前記両眼のうち、左眼、右眼方向に向かうように調整して、前記左眼、右眼の異なる個人別ホログラフィック三次元画像をそれぞれ前記左眼、右眼に結像させるステップと、
前記両眼位置の変化を追跡し、前記各ステップを繰り返してして相応な前記左眼、右眼の異なる個人別ホログラフィック三次元画像を動的に取得して、前記両眼が移動した時に前記左眼、右眼が常時に前記ホログラフィック三次元表示の視点、物体のホログラフィックシーンのｚ軸方向での大きさが正確である個人別ホログラフィック三次元画像を取得できるようにするステップと、を含むことを特徴とする眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法。
【請求項２】
前記前記距離に基づいて前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整するステップは、人間の両眼視線が前記物体をカバーできる範囲内の前記物体の外観内容であり、前記ホログラフィック三次元表示における物体のホログラフィックシーンでの内容を調整することを更に含み、前記の前記距離に基づいて前記個人別ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整するステップは、
前記距離が大きくなったか小さくなったかを判断するステップと、
前記距離が大きくなった場合に、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくすると共に、人間の両眼視線が前記物体をカバーできる範囲を大きくして、調整後の前記ホログラフィック三次元表示における物体のホログラフィックシーンでの内容を得るが、逆に、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくすると共に、人間の両眼視線が前記物体をカバーできる範囲を小さくして、調整後の前記ホログラフィック三次元表示における物体のホログラフィックシーンでの内容を得るステップと、を含むことを特徴とする請求項１に記載の眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法。
【請求項３】
前記の前記距離が大きくなったか小さくなったかを判断するステップは、前記距離が第１閾値より小さいかを判断し、前記距離が第１閾値より小さい場合に、前記距離が小さくなっており、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくしないと共に、前記ホログラフィック三次元表示における物体のホログラフィックシーンでの内容も調整しないが、前記距離が第２閾値より大きいかを判断し、前記距離が第２閾値より大きい場合に、前記距離が大きくなっており、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくしないと共に、前記ホログラフィック三次元表示における物体のホログラフィックシーンでの内容も調整しないステップを更に含むことを特徴とする請求項２に記載の眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法。
【請求項４】
前記両眼が移動した時に、
前記顔検出データに基づいて、前記両眼の両眼球の対応座標値（ｘＬ１，ｙＬ１）と（ｘＲ１，ｙＲ１）、（ｘＬ２，ｙＬ２）と（ｘＲ２，ｙＲ２）、・・・、（ｘＬｎ，ｙＬｎ）と（ｘＲｎ，ｙＲｎ）を取得し、ただし、Ｌが左眼を表し、Ｒが右眼を表し、ｎが前記両眼位置１から位置ｎを表し、三次元基準座標系が採用されており、
赤外線距離計によって測定された前記両眼移動時の前記赤外線距離計と前記両眼との間の距離、前記赤外線距離計の前記座標系での座標値、前記両眼の両眼球の対応座標値に基づいて前記両眼と表示スクリーンとの間の距離Ｚを取得し、又は前記赤外線距離計と前記両眼との間の距離、前記赤外線距離計光軸の前記表示スクリーン平面に対する夾角に基づいて前記両眼と表示スクリーンとの間の距離Ｚを取得し、又は直接前記赤外線距離計と前記両眼との間の距離を前記両眼と表示スクリーンとの間の距離Ｚとする方法で各前記距離を取得することを特徴とする請求項１〜３のいずれか一項に記載の眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法。
【請求項５】
前記ホログラフィック三次元表示の視点と物体のホログラフィックシーンのｚ軸方向での大きさに基づいて両耳のうちの左耳、右耳に投射しようとする異なる個人別ホログラフィック音声を取得し、前記左耳、右耳に対応する異なる個人別ホログラフィック音声をそれぞれ出力するステップを更に含むことを特徴とする請求項１〜３のいずれか一項に記載の眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法。
【請求項６】
ユーザに対して顔検出を行い、両眼と表示スクリーンとの間の距離を含む人間の両眼位置を取得するための位置取得モジュールと、
前記距離に基づいて前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整し、前記物体のホログラフィックシーンのｚ軸方向での大きさに基づいて前記両眼のうちの左眼、右眼に投射しようとする異なる個人別ホログラフィック三次元画像の視点を調整し、前記表示スクリーンに表示するための表示モジュールと、
前記表示スクリーンの光線の射出方向を前記両眼のうちの左眼、右眼方向に向かうように調整して、前記左眼、右眼の異なる個人別ホログラフィック三次元画像をそれぞれ前記左眼、右眼に結像させるための調整モジュールと、を含む眼球追跡に基づく異なる距離に自己適応するホログラフィック表示装置において、
前記位置取得モジュールは、前記両眼位置を追跡するためのものでもあり、前記表示モジュールは、相応な前記左眼、右眼の異なる個人別ホログラフィック三次元画像を動的に調整して、前記両眼が移動した時に前記調整モジュールの作用下で前記左眼、右眼が常時に前記ホログラフィック三次元表示の視点、物体のホログラフィックシーンのｚ軸方向での大きさが正確である個人別ホログラフィック三次元画像を取得できるようにするものである眼球追跡に基づく異なる距離に自己適応するホログラフィック表示装置。
【請求項７】
前記表示モジュールは、
前記調整ユニットに調整された後の前記ホログラフィック三次元画像を表示するための表示ユニットと、
前記距離に基づいて、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさと、人間の両眼視線が前記物体をカバーできる範囲内の前記物体の外観内容であり、前記ホログラフィック三次元表示における物体のホログラフィックシーンでの内容とを調整するための調整ユニットと、
前記距離が大きくなったか小さくなったかを判断し、前記距離が大きくなった判断結果である場合に、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくすると共に、人間の両眼視線が前記物体をカバーできる範囲を大きくして、調整後の前記ホログラフィック三次元表示における物体のホログラフィックシーンでの内容を得るように前記調整ユニットを制御するが、逆に、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくすると共に、人間の両眼視線が前記物体をカバーできる範囲を小さくして、調整後の前記ホログラフィック三次元表示における物体のホログラフィックシーンでの内容を得るように前記調整ユニットを制御するための第１判断ユニットとを含むことを特徴とする請求項６に記載の眼球追跡に基づく異なる距離に自己適応するホログラフィック表示装置。
【請求項８】
前記表示モジュールは、前記距離が第１閾値より小さいかを判断し、前記距離が第１閾値より小さい場合に、前記距離が小さくなっており、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくしないと共に、前記ホログラフィック三次元表示における物体のホログラフィックシーンでの内容も調整しないように前記調整ユニットを制御するが、前記距離が第２閾値より大きいかを判断し、前記距離が第２閾値より大きい場合に、前記距離が大きくなっており、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくしないと共に、前記ホログラフィック三次元表示における物体のホログラフィックシーンでの内容も調整しないように前記調整ユニットを制御するための第２判断ユニットを更に含むことを特徴とする請求項７に記載の眼球追跡に基づく異なる距離に自己適応するホログラフィック表示装置。
【請求項９】
前記位置取得モジュールは、距離測定ユニットと、撮影ユニットと、計算ユニットとを含み、前記計算ユニットは、
前記撮影ユニットによるユーザの顔検出データに基づいて、前記両眼の両眼球の対応座標値（ｘＬ１，ｙＬ１）と（ｘＲ１，ｙＲ１）、（ｘＬ２，ｙＬ２）と（ｘＲ２，ｙＲ２）、・・・、（ｘＬｎ，ｙＬｎ）と（ｘＲｎ，ｙＲｎ）を取得し、ただし、Ｌが左眼を表し、Ｒが右眼を表し、ｎが前記両眼位置１から位置ｎを表し、ｘｙ座標平面が前記表示スクリーンの表面に平行であり、三次元基準座標系が採用されており、
前記距離測定ユニットによって測定された前記両眼移動時の前記距離測定ユニットと前記両眼との間の距離、前記距離測定ユニットの前記座標系での座標値、前記両眼の両眼球の対応座標値に基づいて前記両眼と表示スクリーンとの間の距離Ｚを取得し、又は前記距離測定ユニットと前記両眼との間の距離、前記距離測定ユニット光軸の前記表示スクリーン平面に対する夾角に基づいて前記両眼と表示スクリーンとの間の距離Ｚを取得し、又は直接前記距離測定ユニットと前記両眼との間の距離を前記両眼と表示スクリーンとの間の距離Ｚとすることに具体的に用いられることを特徴とする請求項６〜８のいずれか一項に記載の眼球追跡に基づく異なる距離に自己適応するホログラフィック表示装置。
【請求項１０】
前記ホログラフィック三次元表示の視点と物体のホログラフィックシーンのｚ軸方向での大きさに基づいて両耳のうちの左耳、右耳に投射しようとする異なる個人別ホログラフィック音声を調節し、前記左耳、右耳に対応する異なる個人別ホログラフィック音声をそれぞれ出力することに具体的に用いられる音声調節モジュールを更に含むことを特徴とする請求項６〜８のいずれか一項に記載の眼球追跡に基づく異なる距離に自己適応するホログラフィック表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は個人別ホログラフィック表示に関し、特に眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法及び装置に関する。
【背景技術】
【０００２】
電子技術の発展と進歩及びユーザの要求の向上に伴って、現在電子製品の優劣を判断する条件はハードウェア基準及び技術基準にとどまることから遠く離れており、ユーザーエクスペリエンスと感じを重視することのみはメーカーが市場を勝ち取る肝心なところとなっている。
【０００３】
現在の多くの電子製品、例えば携帯電話、タブレット型パソコン、遊技機等は、いずれもユーザの動作に応じて相応な操作を行うことができ、例えば、ユーザが移動した時に表示スクリーンの表示角度が自動的に変更され、本体を振った時に画面、音楽、動画が切り替えられ、本体を傾斜させた時に表示スクリーンにおける画像がそれに伴って移動し、レースゲームではユーザが本体を左右に揺れ動くことに応じて表示スクリーンにおけるレーシング方向が制御される等の場合が挙げられる。
【０００４】
従来の技術で上記機能を実現する方法では重力感知原理を基礎とする場合が多く、即ち内部重力感知チップによってユーザの動作を判断するようになっている。重力感知の欠点は製品が重力範囲内に使用されており、重力方位からずれればこれらの機能が失ってしまうことである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、距離に自己適応するユーザ観覧ホログラフィック効果を実現できる、眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法及び装置を提供することを主として解決しようとする技術的課題としている。
【課題を解決するための手段】
【０００６】
上記技術的課題を解決するために、本発明は、
ユーザに対して顔検出を行い、両眼と表示スクリーンとの間の距離を含む人間の両眼位置を取得するステップと、
距離に基づいてホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整し、物体のホログラフィックシーンのｚ軸方向での大きさに基づいて両眼のうちの左眼、右眼に投射しようとする異なる個人別ホログラフィック三次元画像の視点を調整し、表示スクリーンに表示するステップと、
表示スクリーンの光線の射出方向を両眼のうちの左眼、右眼方向に向かうように調整して、左眼、右眼の異なる個人別ホログラフィック三次元画像をそれぞれ左眼、右眼に結像させるステップと、
両眼位置の変化を追跡し、上記各ステップを繰り返して相応な左眼、右眼の異なる個人別ホログラフィック三次元画像を動的に取得して、両眼が移動した時に左眼、右眼が常時にホログラフィック三次元表示の視点、物体のホログラフィックシーンのｚ軸方向での大きさが正確である個人別ホログラフィック三次元画像を取得できるようにするステップと、を含む眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法を提供するという一技術的解決手段を採用する。
【０００７】
距離に基づいてホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整するステップは、人間の両眼視線が物体をカバーできる範囲内の物体外観内容である、ホログラフィック三次元表示における物体のホログラフィックシーンでの内容を調整することを更に含み、距離に基づいて個人別ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整するステップは、
距離が大きくなったか小さくなったかを判断するステップと、
距離が大きくなった場合に、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくすると共に、人間の両眼視線が物体をカバーできる範囲を大きくして、調整後のホログラフィック三次元表示における物体のホログラフィックシーンでの内容を得るが、逆に、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくすると共に、人間の両眼視線が物体をカバーできる範囲を小さくして、調整後のホログラフィック三次元表示における物体のホログラフィックシーンでの内容を得るステップと、を含む。
【０００８】
距離が大きくなったか小さくなったかを判断するステップは、距離が第１閾値より小さいかを判断し、距離が第１閾値より小さい場合に、距離が小さくなっており、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくしないと共に、ホログラフィック三次元表示における物体のホログラフィックシーンでの内容も調整しないが、距離が第２閾値より大きいかを判断し、距離が第２閾値より大きい場合に、距離が大きくなっており、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくしないと共に、ホログラフィック三次元表示における物体のホログラフィックシーンでの内容も調整しないステップを更に含む。
【０００９】
両眼が移動した時に、
顔検出データに基づいて、両眼の両眼球の対応座標値（ｘＬ１，ｙＬ１）と（ｘＲ１，ｙＲ１）、（ｘＬ２，ｙＬ２）と（ｘＲ２，ｙＲ２）、．．．、（ｘＬｎ，ｙＬｎ）と（ｘＲｎ，ｙＲｎ）を取得し、ただし、Ｌが左眼を表し、Ｒが右眼を表し、ｎが両眼位置１から位置ｎを表し、ｘｙ座標平面が表示スクリーンの表面に平行であり、三次元基準座標系が採用されており、
赤外線距離計によって測定された両眼移動時の赤外線距離計と両眼との間の距離、赤外線距離計の座標系での座標値、両眼の両眼球の対応座標値に基づいて両眼と表示スクリーンとの間の距離Ｚを取得し、又は赤外線距離計と両眼との間の距離、赤外線距離計光軸の表示スクリーン平面に対する夾角に基づいて両眼と表示スクリーンとの間の距離Ｚを取得し、又は直接赤外線距離計と両眼との間の距離を両眼と表示スクリーンとの間の距離Ｚとする方法で各距離を取得する。
【００１０】
ホログラフィック三次元表示の視点と物体のホログラフィックシーンのｚ軸方向での大きさに基づいて両耳のうちの左耳、右耳に投射しようとする異なる個人別ホログラフィック音声を取得し、左耳、右耳に対応する異なる個人別ホログラフィック音声をそれぞれ出力するステップを更に含む。
【００１１】
上記技術的課題を解決するために、本発明は、
ユーザに対して顔検出を行い、両眼と表示スクリーンとの間の距離を含む人間の両眼位置を取得するための位置取得モジュールと、距離に基づいてホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整し、物体のホログラフィックシーンのｚ軸方向での大きさに基づいて両眼のうちの左眼、右眼に投射しようとする異なる個人別ホログラフィック三次元画像の視点を調整し、表示スクリーンに表示するための表示モジュールと、表示スクリーンの光線の射出方向を両眼のうちの左眼、右眼方向に向かうように調整して、左眼、右眼の異なる個人別ホログラフィック三次元画像をそれぞれ左眼、右眼に結像させるための調整モジュールと、を含む眼球追跡に基づく異なる距離に自己適応するホログラフィック表示装置において、
位置取得モジュールは、両眼位置を追跡するためのものでもあり、表示モジュールは、相応な左眼、右眼の異なる個人別ホログラフィック三次元画像を動的に調整して、両眼が移動した時に調整モジュールの作用下で左眼、右眼が常時にホログラフィック三次元表示の視点、物体のホログラフィックシーンのｚ軸方向での大きさが正確である個人別ホログラフィック三次元画像を取得できるようにするものである、眼球追跡に基づく異なる距離に自己適応するホログラフィック表示装置を提供するという別の技術的解決手段を採用する。
【００１２】
表示モジュールは、
調整ユニットによって調整された後のホログラフィック三次元画像を表示するための表示ユニットと、
距離に基づいてホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさと、人間の両眼視線が物体をカバーできる範囲内の物体外観内容である、ホログラフィック三次元表示における物体のホログラフィックシーンでの内容を調整するための調整ユニットと、
距離が大きくなったか小さくなったかを判断し、距離が大きくなった判断結果である場合に、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくすると共に、人間の両眼視線が物体をカバーできる範囲を大きくして、調整後のホログラフィック三次元表示における物体のホログラフィックシーンでの内容を得るように調整ユニットを制御するが、逆に、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくすると共に、人間の両眼視線が物体をカバーできる範囲を小さくして、調整後のホログラフィック三次元表示における物体のホログラフィックシーンでの内容を得るように調整ユニットを制御するための第１判断ユニットとを含む。
【００１３】
表示モジュールは、距離が第１閾値より小さいかを判断し、距離が第１閾値より小さい場合に、距離が小さくなっており、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくしないと共に、ホログラフィック三次元表示における物体のホログラフィックシーンでの内容も調整しないように調整ユニットを制御するが、距離が第２閾値より大きいかを判断し、距離が第２閾値より大きい場合に、距離が大きくなっており、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくしないように調整ユニットを制御するための第２判断ユニットを更に含む。
【００１４】
位置取得モジュールは、距離測定ユニットと、撮影ユニットと、計算ユニットとを含み、計算ユニットは、
撮影ユニットによるユーザの顔検出データに基づいて、両眼の両眼球の対応する座標値（ｘＬ１，ｙＬ１）と（ｘＲ１，ｙＲ１）、（ｘＬ２，ｙＬ２）と（ｘＲ２，ｙＲ２）、・・・、（ｘＬｎ，ｙＬｎ）と（ｘＲｎ，ｙＲｎ）を取得し、ただし、Ｌが左眼を表し、Ｒが右眼を表し、ｎが両眼位置１から位置ｎを表し、ｘｙ座標平面が表示スクリーンの表面に平行であり、三次元基準座標系が採用されており、
距離測定ユニットによって測定された両眼移動時の距離測定ユニットと両眼との間の距離、距離測定ユニットの座標系での座標値、両眼の両眼球の対応座標値に基づいて両眼と表示スクリーンとの間の距離Ｚを取得し、又は距離測定ユニットと両眼との間の距離、距離測定ユニット光軸の表示スクリーン平面に対する夾角に基づいて両眼と表示スクリーンとの間の距離Ｚを取得し、又は直接距離測定ユニットと両眼との間の距離を両眼と表示スクリーンとの間の距離Ｚとすることに具体的に用いられる。
【００１５】
装置は、ホログラフィック三次元表示の視点と物体のホログラフィックシーンのｚ軸方向での大きさに基づいて両耳のうちの左耳、右耳に投射しようとする異なる個人別ホログラフィック音声を調節し、左耳、右耳に対応する異なる個人別ホログラフィック音声をそれぞれ出力することに具体的に用いられる音声調節モジュールを更に含む。
【００１６】
本発明は、人間の両眼と表示スクリーンとの間の距離を取得することによって、人間の両眼と表示スクリーンとの間の距離によっては人間の両眼が見える物体結像の大きさが異なり、視線が物体をカバーする範囲が異なる原理に基づいて、例えばあるユーザが物体の正面前方に位置して、物体に近い位置で物体の眼球での結像が比較的大きく且つ物体の正面の一部のみが見えることが可能となり、物体から比較的に離れている位置で物体の眼球での結像が比較的小さく且つ物体全体の正面が見える場合に、表示視点と表示スクリーンにおけるホログラフィックシーンのｚ軸方向での大きさを対応して調節して、重力感知と手動操作を必要とせずに異なる人々の異なる距離に自動適応して最も真実な個人別ホログラフィック三次元画像表示に近くするのが可能となることを有益な効果としている。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の第１実施形態において人間の両眼の表示スクリーンからの距離が異なって物体をカバーする視角、大きさが異なる原理の模式図である。
【図２】本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の第１実施形態のフローの模式図である。
【図３】本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の第１実施形態の人間の両眼の追跡、距離測定の模式図である。
【図４】本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の第２実施形態のフローの模式図である。
【図５】本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の第２実施形態の人間の両眼の追跡、距離測定の模式図である。
【図６】本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の第３実施形態のフローの模式図である。
【図７】本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の第４実施形態のフローの模式図である。
【図８】本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示装置の一実施形態の構造の模式図である。
【図９】本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示装置の別の実施形態の構造の模式図である。
【図１０】本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の眼位置座標の変化の模式図である。
【発明を実施するための形態】
【００１８】
以下、添付図面及び実施形態を参照しながら本発明を詳細に説明する。
【００１９】
本発明を正常に実施できることを保証するために、本発明の装置はホログラフィック三次元表示の視点を調節できるものである。一般には、同一型番の装置が異なる年齢の異なる人々、異なる年齢の同種の人々、同じ年齢の同じ人々に使用されることが可能であるが、異なる年齢の異なる人々、異なる年齢の同種の人々、同じ年齢の同じ人々は両眼距離が一般に異なって、観覧位置が異なっているので、物体の人間の両眼での結像の大きさが異なって、視線が物体をカバーする領域が異なっている。例えば、本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の第１実施形態において人間の両眼の表示スクリーンからの距離が異なって物体をカバーする視角、大きさが異なる原理の模式図である図１を参照する。位置ａの場合に、両眼のピッチがＬであるユーザが物体を観察する時、人間の視線が物体をカバーする範囲は左眼中心を通って物体左方の接点１２１に至って右眼を通って物体右方の接点１２０に至る間のユーザ側に向かう領域であり、位置ａと同様な距離で表示スクリーンから離れているが角度が異なっている位置ｂの場合に、両眼のピッチがＬであるユーザが同一の物体を観察する時、人間の視線が物体をカバーする範囲は左眼中心を通って物体左方の接点１１１に至って右眼を通って物体右方の接点１１０に至る間のユーザ側に向かう領域であり、ａより表示スクリーンから遠く離れている位置ｃの場合に、両眼のピッチがＬであるユーザが同一の物体を観察する時、人間の視線が物体をカバーする範囲は左眼中心を通って物体左方の接点１３１に至って右眼を通って物体右方の接点１３０に至る間のユーザ側に向かう領域であり、この位置ｃの人間の両眼視線が前記物体をカバーできる範囲は、位置ａの人間の両眼視線が前記物体をカバーできる範囲より大きい。
【００２０】
本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の第１実施形態のフローの模式図である図２と本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の第１実施形態の人間の両眼の追跡、距離測定の模式図である図３を同時に参照する。該方法は以下のステップを含む。
【００２１】
Ｓ１０１：ユーザに対して顔検出を行い、両眼と表示スクリーンとの間の距離を含む人間の両眼位置を取得する。
【００２２】
表示スクリーンの中点が原点となり、ｘｙ座標平面が表示スクリーンに平行であり、水平に右へ向かうのがｘ軸の正方向であり、ｘ軸に垂直で下へ向かうのがｙ軸の正方向であり、眼方向へ向かうのがｚ軸の正方向であるように三次元基準座標系を確立する。具体的な実施では表示スクリーンの左下角、左上角等の他の位置を原点とし、他の方向を正方向として空間座標系を確立することも可能である。例えば、図３ａにおいて表示器２３０やホスト、テーブルの表面等の表示スクリーンに近い位置に顔追跡のカメラ２１０と距離計２２０が取り付けられている。本実施形態において距離計２２０として座標系のｙ軸に位置する赤外線距離計を採用するように仮定すれば、本実施では、カメラ２１０が人間の観覧位置の変化に伴って相応に移動し又は移動しないと同時に、距離計２２０を動かして回転させて、距離計２２０に速やかに人間の両眼位置を見つけさせることを便利にするために、距離計２２０とカメラ２１０を相対的に固定して隣接する位置に設置する。もちろん、距離計２２０は回転しなくてもよい。具体的な実施では距離計２２０とカメラ２１０を別々に設置してもよく、本実施形態で使用する赤外線距離計について他の類似している機能を有する装置を用いてもよい。顔認識技術によってまずユーザに対して顔検出を行い、眼位置を取得し、次に確立された座標系に基づいて対応座標に変換し、距離計２２０を起動して人間の眼と距離計２２０との距離を測定し、赤外線距離計光軸の表示スクリーン平面に対する夾角を取得するようになってよい。例えば、図３ｂに示すように、点Ｑが赤外線の距離計２２０であり、点Ａが人間の眼であり、カメラ２１の撮影写真のデータと座標系に基づいて点Ａの座標系でのｘｙ平面座標が取得され、点Ｂが眼Ａのｙｚ平面への投影であり、点Ｃが眼Ａのｘｙ平面への投影である。赤外線距離計によって人間の眼と赤外線距離計との距離ＱＡ、赤外線距離計光軸ＱＡの表示スクリーン平面（ｘｙ平面）に対する夾角∠ＡＱＣを測定し、点Ｂ、Ｃがそれぞれ人間の眼Ａのｙｚ、ｘｙ平面への投影であるので、赤外線距離計の点Ｑの座標、点Ｃの座標が知られていて、かつ三角形ＡＱＣが直角三角形となり、直角三角形の性質によれば、眼球Ａと表示スクリーンとの間の距離Ｚ＝ＡＣ＝ＱＡ＊ｓｉｎ∠ＡＱＣが分かった。人間の両眼が異なる位置にある場合に対して、両眼が移動した時の位置１〜位置ｎでの両眼の座標をそれぞれ（ｘＬ１，ｙＬ１）と（ｘＲ１，ｙＲ１）、（ｘＬ２，ｙＬ２）と（ｘＲ２，ｙＲ２）、・・・、（ｘＬｎ，ｙＬｎ）と（ｘＲｎ，ｙＲｎ）にし、ただし、Ｌが左眼を表し、Ｒが右眼を表し、赤外線距離計によって前記両眼が移動した時の異なる距離Ｚ１、Ｚ２、・・・Ｚｎを測定する方式によって両眼と表示スクリーンとの間の距離を取得する。両眼球の対応座標値に基づいて両眼球距離Ｌ１、Ｌ２、・・・Ｌｎを得、前記両眼球の対応座標値及び距離に基づいて、両眼が移動した時の各前記夾角θ１、θ２、・・・、θｎを算出し、図１０に示すように、一般に、観覧時に人間の両眼の中点とスクリーンにおける視点との連結線が人間の両眼の連結線に垂直であり、直角三角形の性質によれば、計算式は以下のようになり、
2016110123.tif 000003
ただし、Ｌは両眼の間の距離であり、Ｚは両眼と表示スクリーン２３０との間の距離である。
【００２３】
具体的な実施では、更に、例えば直接赤外線距離計と両眼との間の距離を両眼と表示スクリーン２３０との間の距離Ｚとし、又は確立された座標系における距離計、両眼の座標に基づいて直角三角形関係によって両眼と表示スクリーン２３０との間の距離Ｚを計算するような他の方式で、人間の眼と表示スクリーン２３０との間の距離を取得するというこのステップの目的を実現するようになってもよい。
【００２４】
Ｓ１０２：前記距離に基づいて前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整し、前記物体のホログラフィックシーンのｚ軸方向での大きさに基づいて前記両眼のうちの左眼、右眼に投射しようとする異なる個人別ホログラフィック三次元画像の視点を調整し、前記表示スクリーンに表示する。
【００２５】
一般には、人間と物体の距離が遠い時、物体の人間の両眼での結像が比較的小さいが、人間と物体の距離が近い時、物体の人間の両眼での結像が比較的大きく、物体と人間の両眼の距離が近いほど、物体の人間の両眼での結像が大きい。例えば、高い建物に立って下方を観察すれば、観察された地面の人間が通常に地面に立って観察した蟻の大きさに近い程度で非常に小さい。本発明の個人別ホログラフィック三次元表示方法の第１実施形態において人間の両眼の表示スクリーンからの距離が異なって物体をカバーする視角、大きさが異なる原理の模式図である図１を同時に参照する。ａより表示スクリーンから遠く離れている位置ｃの場合に、両眼のピッチがＬであるユーザが同一の物体を観察する時、人間の視線が物体をカバーする範囲は左眼中心を通って物体左方の接点１３１に至って右眼を通って物体右方の接点１３０に至る間のユーザ側に向かう領域であり、この位置ｃの人間の両眼視線が前記物体をカバーできる範囲は、位置ａの人間の両眼視線が前記物体をカバーできる範囲より大きい。
【００２６】
ステップＳ１０１で取得された人間の両眼と表示スクリーンとの間の距離に基づいてホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整し、人間の両眼視線が物体をカバーできる範囲を調節し、例えば、図１０に示すように、ユーザは表示スクリーンからの距離がＺ１である位置１から表示スクリーンからの距離がより遠い位置２に移動し、位置２になった時に、ユーザと表示スクリーンの距離がＺ２になっており、ホログラフィック三次元表示における物体がホログラフィックシーンのｚ軸方向において小さくなるように調整し、人間の両眼視線がホログラフィック三次元表示における物体をカバーできるホログラフィックシーンの範囲が大きくなるように調節する。ユーザは表示スクリーンからの距離がＺ３である位置３から表示スクリーンからの距離がより近い位置２に移動し、位置２になった時に、ユーザと表示スクリーンの距離がＺ２になっており、ホログラフィック三次元表示における物体がホログラフィックシーンのｚ軸方向において大きくなるように調整し、人間の両眼視線がホログラフィック三次元表示における物体をカバーできるホログラフィックシーンの範囲が小さくなるように調節する。物体のホログラフィックシーンのｚ軸方向での大きさと人間の両眼視線が物体をカバーできる範囲に基づいて前記両眼のうちの左眼、右眼に投射しようとする異なる個人別ホログラフィック三次元画像の視点を調整し、前記表示スクリーンに表示する。
【００２７】
Ｓ１０３：前記表示スクリーンの光線の射出方向を前記両眼のうちの左眼、右眼方向に向かうように調整して、前記左眼、右眼の異なる個人別ホログラフィック三次元画像をそれぞれ前記左眼、右眼に結像させる。
【００２８】
ステップＳ１０２で取得された両眼のうちの左眼、右眼の異なる個人別ホログラフィック三次元画像の視点に基づいて表示器におけるダイナミックグレーティングを制御して、グレーティングの明暗縞位置を適応的に変化させ、即ち、表示スクリーンの光線の射出方向を両眼のうちの左眼、右眼方向に向かうように調整して、左眼、右眼の異なる個人別ホログラフィック三次元画像をダイナミックグレーティングを経由してそれぞれ左眼、右眼に結像させる。
【００２９】
Ｓ１０４：前記両眼位置の変化を追跡し、上記各ステップを繰り返して相応な前記左眼、右眼の異なる個人別ホログラフィック三次元画像を動的に取得して、前記両眼が移動した時に前記左眼、右眼が常時にホログラフィック三次元表示の視点、物体のホログラフィックシーンのｚ軸方向での大きさが正確である個人別ホログラフィック三次元画像を取得できるようにする。
【００３０】
ステップＳ１０１で取得された両眼と表示スクリーンの中心の連結線と表示スクリーン法線の間の夾角及び両眼が移動した時の両眼と表示スクリーンとの間の距離Ｚに基づいて、両眼位置の変化を追跡し、同時に本発明の個人別ホログラフィック三次元表示方法の眼位置座標の変化の模式図である図１０を参照する。ユーザが位置１に位置して表示スクリーンからの距離がＺ１である場合に、ステップＳ１０１〜Ｓ１０３によって左眼、右眼の異なる個人別ホログラフィック三次元画像と物体のホログラフィックシーンでの内容を取得し、物体のホログラフィックシーンのｚ軸方向での大きさを調節するように個人別ホログラフィック三次元画像を調節する。位置２に位置し表示スクリーンからの距離がＺ２である場合に、両眼のピッチがＬ１であるユーザが位置１のユーザと同一のユーザであり、両眼のピッチがＬ２であるユーザが位置１のユーザと異なる人々又は異なる年齢であり、ステップＳ１０１〜Ｓ１０３を繰り返して相応な前記左眼、右眼の異なる個人別ホログラフィック三次元画像を動的に取得して、前記両眼が移動した時に前記左眼、右眼が常時にホログラフィック三次元表示の視点、物体のホログラフィックシーンのｚ軸方向での大きさが正確である個人別ホログラフィック三次元画像を取得できるようにする。例えば、表示スクリーンから距離Ｚ２で離れている位置に位置して両眼のピッチがＬ１、Ｌ２であるユーザに対して、上記ステップで、相応な調節後の視点、調節後の物体のホログラフィックシーンのｚ軸方向での大きさと物体のホログラフィックシーンでの内容を取得すれば、両眼のピッチが様々である異なる年齢、異なる人々の観覧にそれぞれ適応させることが可能となる。
【００３１】
本実施形態では、カメラが人間の両眼位置の変化を追跡する時に距離計を動かして共に移動させるようになっており、距離計に動的に測定された位置変化、距離計と表示スクリーン画面の夾角を取得して両眼と表示スクリーンとの距離を計算すると共に、人間の観覧距離が大きい時に観覧物体が小さいが、観覧距離が小さい時に観覧物体が大きいという視覚観覧原理に基づいて、データの変化によってリアルタイムでホログラフィック三次元表示の視点を取得し物体のホログラフィックシーンのｚ軸方向での大きさを調節し、異なる人々の異なる距離の観覧に適応させ、ユーザーエクスペリエンスを向上させる。
【００３２】
本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の第２実施形態のフローの模式図である図４を参照する。該方法は以下のステップを含む。
【００３３】
Ｓ３０１：ユーザに対して顔検出を行い、両眼と表示スクリーンとの間の距離を含む人間の両眼位置を取得する。
【００３４】
表示スクリーンの中点を原点とし、ｘｙ座標平面が表示スクリーンに平行であり、水平に右へ向かうのがｘ軸の正方向であり、ｘ軸に垂直で下へ向かうのがｙ軸の正方向であり、眼方向へ向かうのがｚ軸の正方向であるように三次元基準座標系を確立する。具体的な実施では表示スクリーンの左下角等の他の位置を原点として空間座標系を確立することも可能である。本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の第２実施形態の人間の両眼の追跡、距離測定の模式図である図５を同時に参照する。例えば、図５ａでは表示器４３０又は本体に顔追跡カメラ４１０と距離計４２０が別々に取り付けられている。顔追跡カメラ４１０と距離計４２０はｙ軸を対称軸として対称的に設置されており、顔追跡カメラ４１０は人間の顔を追跡撮影した時に、距離計も対称していることによって速やかに人間の眼の位置を確定することが可能になった。具体的な実施では対称的に設置しなくてもよく、顔追跡カメラ４１０による顔検出データ及び空間座標系に基づいて、両眼の座標系での位置（ｘＬ１，ｙＬ１）と（ｘＲ１，ｙＲ１）、（ｘＬ２，ｙＬ２）と（ｘＲ２，ｙＲ２）、・・・、（ｘＬｎ，ｙＬｎ）と（ｘＲｎ，ｙＲｎ）を取得し、ただし、Ｌが左眼を表し、Ｒが右眼を表し、ｎが前記両眼位置１から位置ｎを表し、距離計４２０の座標を調整し、人間の眼と距離計４２０との距離を測定する。直角三角関係に基づいて計算すれば、人間の両眼と表示スクリーンとの間の距離
2016110123.tif 000004
である。具体的な実施では、一般に、ユーザが観覧している時、ユーザの顔中心と表示スクリーン中心との連結線が座標のｚ軸に平行であり、人間が異なる位置を移動する時、直接赤外線距離計と両眼との間の距離を両眼と表示スクリーンとの間の距離Ｚとしてよい。
【００３５】
Ｓ３０２：前記距離が第１閾値より小さいかを判断し、前記距離が第１閾値より小さい場合に、前記距離が小さくなっており、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくしないが、前記距離が第２閾値より大きいかを判断し、前記距離が第２閾値より大きい場合に、前記距離が大きくなっており、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくしない。
【００３６】
ユーザ観覧距離が近過ぎて視力と観覧効果が損なわれ、観覧距離が遠過ぎてはっきり観覧できないことを回避するために、最適観覧範囲が設定されてユーザの観覧効果が保証されるようになっている。前記距離に基づいて前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整するステップは、人間の両眼視線が前記物体をカバーできる範囲内の前記物体の外観内容である、前記ホログラフィック三次元表示における物体のホログラフィックシーンでの内容を調整することを更に含み、物体のホログラフィックシーンのｚ軸方向での大きさを調節するステップの前に、両眼と表示スクリーンとの距離が第１閾値より小さいかを判断し、距離が第１閾値より小さい場合に、距離が小さくなっており、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくしないが、距離が第２閾値より大きいかを判断し、距離が第２閾値より大きい場合に、距離が大きくなっており、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくしない。その中で第１閾値とは最適観覧範囲の最小距離を指し、第２閾値とは最適観覧範囲の最大距離を指す。
【００３７】
Ｓ３０３：前記距離が大きくなったか小さくなったかを判断し、前記距離が大きくなった場合に、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくすると共に、人間の両眼視線が前記物体をカバーできる範囲を大きくして、調整後の前記ホログラフィック三次元表示における物体のホログラフィックシーンでの第２内容を得るが、逆に、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくすると共に、人間の両眼視線が前記物体をカバーできる範囲を小さくして、調整後の前記ホログラフィック三次元表示における物体のホログラフィックシーンでの内容を得る。
【００３８】
ユーザ観覧距離が予め設定された最適観覧距離範囲にある時、ユーザ観覧距離が大きくなったか小さくなったかを判断し、距離が大きくなった場合に、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくし、逆に、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくする。ユーザ観覧距離に基づいてホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整するステップは、人間の両眼視線が前記物体をカバーできる範囲内の前記物体の外観内容である、前記ホログラフィック三次元表示における物体のホログラフィックシーンでの内容を調整することを更に含む。人間が物体を近く観覧する時に物体が大きいが、物体を遠く観覧する時に物体が小さく、同時に人間と観覧物体の距離が異なる時に両眼視線が前記物体をカバーできる範囲が異なるという観覧原理に合っており、例えば、図１に示すように、位置ａの場合に、両眼のピッチがＬであるユーザが物体を観察する時、人間の視線が物体をカバーする範囲は左眼中心を通って物体左方の接点１２１に至って右眼を通って物体右方の接点１２０に至る間のユーザ側に向かう領域であり、ａより表示スクリーンから遠く離れている位置ｃの場合に、両眼のピッチがＬであるユーザが同一の物体を観察する時、人間の視線が物体をカバーする範囲は左眼中心を通って物体左方の接点１３１に至って右眼を通って物体右方の接点１３０に至る間のユーザ側に向かう領域であり、この位置ｃの人間の両眼視線が前記物体をカバーできる範囲は、位置ａの人間の両眼視線が前記物体をカバーできる範囲より大きく、位置ｃに位置する場合の物体の両眼での結像は、位置ａに位置する場合の物体の両眼での結像より小さい。
【００３９】
Ｓ３０４：前記物体のホログラフィックシーンのｚ軸方向での大きさと物体のホログラフィックシーンでの内容に基づいて前記両眼のうちの左眼、右眼に投射しようとする異なる個人別ホログラフィック三次元画像の視点を調整し、前記表示スクリーンに表示する。
【００４０】
Ｓ３０５：前記表示スクリーンの光線の射出方向を前記両眼のうちの左眼、右眼方向に向かうように調整して、前記左眼、右眼の異なる個人別ホログラフィック三次元画像をそれぞれ前記左眼、右眼に結像させる。
【００４１】
ステップＳ３０４とＳ３０５は上記第１実施形態におけるステップＳ１０２とＳ１０３と類似しているので、ここで繰り返して説明しない。ステップＳ３０１〜ステップ３０３で取得されたデータによって、物体のホログラフィックシーンのｚ軸方向での大きさと物体のホログラフィックシーンでの内容に基づいて前記両眼のうちの左眼、右眼に投射しようとする異なる個人別ホログラフィック三次元画像の視点を調整し、前記表示スクリーンに表示する。その中で、物体のホログラフィックシーンでの内容とは、人間の両眼視線が前記物体をカバーする内容を指し、図１及びその説明を参照してよく、ここで繰り返して説明しない。両眼と表示スクリーンとの距離が比較的近い時、物体がホログラフィックシーンのｚ軸方向において大きくなるように調節し、人間の両眼視線がホログラフィック三次元表示における物体をカバーできるホログラフィックシーンの範囲が小さくなるように適応的に調節し、例えば、ホログラフィックシーンにおいて前方に位置する物体を大きくし、視線後の内容を前方の大きくした物体によって遮り、また、人間の両眼視線がホログラフィック三次元表示における物体をカバーできるホログラフィックシーンの範囲を小さくする。両眼と表示スクリーンとの距離が比較的遠い時、物体がホログラフィックシーンのｚ軸方向において小さくなるように調節し、人間の両眼視線がホログラフィック三次元表示における物体をカバーできるホログラフィックシーンの範囲が大きくなるように適応的に調節し、例えば、ホログラフィックシーンの前方に位置する物体の縮小速度をホログラフィックシーンの後方に位置する物体の縮小速度より大きくし、元に遮られた内容を再び表示し、また、人間の両眼視線がホログラフィック三次元表示における物体をカバーできるホログラフィックシーンの範囲を大きくする。
【００４２】
Ｓ３０６：前記の両眼位置の変化を追跡し、上記各ステップを繰り返して相応な前記左眼、右眼の異なる個人別ホログラフィック三次元画像を動的に取得して、前記両眼が移動した時に前記左眼、右眼が常時にホログラフィック三次元表示の視点、物体のホログラフィックシーンのｚ軸方向での大きさが正確である個人別ホログラフィック三次元画像を取得できるようにする。
【００４３】
カメラはリアルタイムで前記の両眼位置の変化を追跡し、上記各ステップを繰り返して動的に相応な前記左眼、右眼の異なる個人別ホログラフィック三次元画像を取得して、前記両眼が移動した時に前記左眼、右眼が常時にホログラフィック三次元表示の視点、物体のホログラフィックシーンのｚ軸方向での大きさが正確である個人別ホログラフィック三次元画像を取得できるようにする。
【００４４】
本実施形態では、取得された距離計、両眼の座標に基づいて人間の眼と表示スクリーンとの間の距離を計算し、又は直接距離測定ユニットと両眼との距離を両眼と表示スクリーンとの間の距離Ｚとするようになっており、最適観覧距離を設定することによって、ユーザが最適観覧距離範囲内に位置する時、距離が大きくなれば、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくし、逆に、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくする。それと同時に人間の両眼の物体からの位置、両眼視線が物体をカバーする範囲によっては、物体のホログラフィックシーンでの内容を調節し、正確なホログラフィック三次元表示の視点を取得して、異なる人々の最適な観覧に適応させる。
【００４５】
本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の第３実施形態のフローの模式図である図６を参照する。本発明は以下のステップを含む個人別ホログラフィック三次元表示方法を提供する。
【００４６】
Ｓ５０１：ユーザに対して顔検出を行い、両眼と表示スクリーンとの間の距離を含む人間の両眼位置を取得する。
【００４７】
Ｓ５０２：前記距離が第１閾値より小さいかを判断し、前記距離が第１閾値より小さい場合に、前記距離が小さくなっており、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくしないが、前記距離が第２閾値より大きいかを判断し、前記距離が第２閾値より大きい場合に、前記距離が大きくなっており、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくしない。
【００４８】
Ｓ５０３：前記距離が大きくなったか小さくなったかを判断し、前記距離が大きくなった場合に、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくすると共に、人間の両眼視線が前記物体をカバーできる範囲を大きくして、調整後の前記ホログラフィック三次元表示における物体のホログラフィックシーンでの第２内容を得るが、逆に、前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくすると共に、人間の両眼視線が前記物体をカバーできる範囲を小さくして、調整後の前記ホログラフィック三次元表示における物体のホログラフィックシーンでの内容を得る。
【００４９】
Ｓ５０４：前記物体のホログラフィックシーンのｚ軸方向での大きさに基づいて前記両眼のうちの左眼、右眼に投射しようとする異なる個人別ホログラフィック三次元画像の視点を調整し、前記表示スクリーンに表示する。
【００５０】
Ｓ５０５：前記表示スクリーンの光線の射出方向を前記両眼のうちの左眼、右眼方向に向かうように調整して、前記左眼、右眼の異なる個人別ホログラフィック三次元画像をそれぞれ前記左眼、右眼に結像させる。
【００５１】
Ｓ５０６：前記の両眼位置の変化を追跡し、上記各ステップを繰り返して相応な前記左眼、右眼の異なる個人別ホログラフィック三次元画像を動的に取得して、前記両眼が移動した時に前記左眼、右眼が常時にホログラフィック三次元表示の視点、物体のホログラフィックシーンのｚ軸方向での大きさが正確である個人別ホログラフィック三次元画像を取得できるようにする。
【００５２】
ステップＳ５０１〜Ｓ５０６は上記第１実施形態におけるステップＳ３０１〜Ｓ３０６と類似しており、具体的な実施ではステップＳ５０１は第１実施形態におけるステップＳ１０１と類似してもよく、ここで繰り返して説明しない。
【００５３】
Ｓ５０７：前記ホログラフィック三次元表示の視点と物体のホログラフィックシーンのｚ軸方向での大きさに基づいて両耳のうちの左耳、右耳に投射しようとする異なる個人別ホログラフィック音声を取得し、前記左耳、右耳に対応する異なる個人別ホログラフィック音声をそれぞれ出力する。
【００５４】
観覧効果を向上させるために、物体のホログラフィックシーンのｚ軸方向での大きさに基づいて両耳のうちの左耳、右耳に投射しようとする異なる個人別ホログラフィック音声を取得し、左耳、右耳に対応する異なる個人別ホログラフィック音声をそれぞれ出力し、ユーザ位置の表示スクリーンに近い一側で聞かれる音声を大きくし、表示スクリーンから離れている一側で聞かれる音声を小さくする。例えば、ユーザ位置が右に近寄っている時、右チャネルの音量を大きくし、左チャネルの音量を小さくし、ユーザ位置が左に近寄っている時、左チャネルの音量を大きくし、右チャネルの音量を小さくし、例えば、ユーザの位置が真ん中にあって表示スクリーンから離れている時、左右チャネルの音量を同時に小さくする。
【００５５】
本実施形態では、ユーザの最適な観覧距離の範囲で、両眼と表示スクリーンとの間の距離に基づいて物体のホログラフィックシーンのｚ軸方向での大きさと人間の両眼視線がホログラフィック三次元表示における物体をカバーできるホログラフィックシーンの範囲を調整し、左耳、右耳の異なる個人別ホログラフィック音声を対応して出力する。現実に近くしてユーザーエクスペリエンスを向上させた。
【００５６】
本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法の第４実施形態のフローの模式図である図７を参照する。本発明は以下のステップを含む個人別ホログラフィック三次元表示方法を提供する。
【００５７】
Ｓ６０１：追跡カメラを起動し、ユーザに対して顔検出を行う。
【００５８】
装置の電源を入れてから追跡カメラを起動し、ユーザに対して顔検出を行い、ユーザ位置を初歩的に確定する。
【００５９】
Ｓ６０２：赤外線距離計を起動し、両眼と距離計との間の距離を取得する。
【００６０】
赤外線距離計を同時又は非同時に起動し、両眼と距離計との間の距離を取得する。
【００６１】
Ｓ６０３：人間の両眼と表示スクリーンとの間の距離Ｚを含む人間の両眼位置を取得する。
【００６２】
座標系を確立し、座標系の確立は第１実施形態と類似しており、ここで繰り返して説明せず、ステップＳ６０１で取得された画像に基づいて、人間の顔検出を行い、人間の両眼の特徴を発見し、人間の両眼位置を取得し、ステップＳ６０２で取得された両眼と距離計との間の距離に基づいて両眼と表示スクリーンとの間の距離Ｚを取得する。
【００６３】
Ｓ６０４：前記距離に基づいて前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整し、前記ホログラフィック三次元表示の視点と物体のホログラフィックシーンのｚ軸方向での大きさに基づいて前記両眼のうちの左眼、右眼に投射しようとする異なる個人別ホログラフィック三次元画像の視点を調整し、前記表示スクリーンに表示する。
【００６４】
ステップＳ６０４によってユーザと表示スクリーンとの距離Ｚ、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを取得し、異なる位置に対する具体的な調節について図１０の説明を参照してよく、ここで繰り返して説明しない。
【００６５】
Ｓ６０５：前記距離に基づいて前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整し、前記物体のホログラフィックシーンのｚ軸方向での大きさに基づいて前記両眼のうちの左眼、右眼に投射しようとする異なる個人別ホログラフィック三次元画像の視点を調整し、前記表示スクリーンに表示する。
【００６６】
ステップＳ６０４によってユーザと表示スクリーンとの距離Ｚを取得し、距離Ｚに基づいて前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整し、例えば、距離Ｚの変化を判断し、ユーザの観覧距離が大きくなった場合に、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくするが、逆に、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくし、物体のホログラフィックシーンのｚ軸方向での大きさに基づいてユーザの両眼のうちの左眼、右眼に投射しようとする異なる個人別ホログラフィック三次元画像の視点を調整し、表示スクリーンに表示する。
【００６７】
Ｓ６０６：前記表示スクリーンの光線の射出方向を前記両眼のうちの左眼、右眼方向に向かうように調整して、前記左眼、右眼の異なる個人別ホログラフィック三次元画像をそれぞれ前記左眼、右眼に結像させる。
【００６８】
Ｓ６０７：前記の両眼位置の変化を追跡し、上記各ステップを繰り返して相応な前記左眼、右眼の異なる個人別ホログラフィック三次元画像を動的に取得して、前記両眼が移動した時に前記左眼、右眼が常時に前記ホログラフィック三次元表示の視点、物体のホログラフィックシーンのｚ軸方向での大きさが正確である個人別ホログラフィック三次元画像を取得できるようにする。
【００６９】
本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示装置の一実施形態の構造の模式図である図８を参照する。本発明は、位置取得モジュール７１０、表示モジュール７２０、調整モジュール７３０を含み、表示モジュール７２０がそれぞれ位置取得モジュール７１０、調整モジュール７３０に接続される、眼球追跡に基づく異なる距離に自己適応するホログラフィック表示装置を提供する。
【００７０】
位置取得モジュール７１０は、ユーザに対して顔検出を行い、両眼と表示スクリーンとの間の距離を含む人間の両眼位置を取得するためのものである。
【００７１】
表示モジュール７２０は、取得モジュール７１０によって取得された距離に基づいてホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整し、物体のホログラフィックシーンのｚ軸方向での大きさに基づいて両眼のうちの左眼、右眼に投射しようとする異なる個人別ホログラフィック三次元画像の視点を調整し、表示スクリーンに表示するためのものであり、異なる位置に対する具体的な調節について図１０の説明を参照してよく、ここで繰り返して説明しない。
【００７２】
調整モジュール７３０は、表示スクリーンの光線の射出方向を両眼のうちの左眼、右眼方向に向かうように調整して、左眼、右眼の異なる個人別ホログラフィック三次元画像をそれぞれ左眼、右眼に結像させるためのものである。
【００７３】
位置取得モジュール７１０は、両眼位置を追跡するためのものでもあり、表示モジュール７２０は、相応な左眼、右眼の異なる個人別ホログラフィック三次元画像を動的に調整して、両眼が移動した時に調整モジュール７３０の作用下で左眼、右眼が常時に前記ホログラフィック三次元表示の視点、物体のホログラフィックシーンのｚ軸方向での大きさが正確である個人別ホログラフィック三次元画像を取得できるようにするものである。
【００７４】
本発明に係る眼球追跡に基づく異なる距離に自己適応するホログラフィック表示装置の別の実施形態の構造の模式図である図９を参照する。本発明は、計算ユニット８１１、撮影ユニット８１２、距離測定ユニット８１３を更に含む位置取得モジュール８１０と、第１判断ユニット８２１、第２判断ユニット８２２、表示ユニット８２３、調整ユニット８２４を含む表示モジュール８２０と、調整モジュール８３０と、音声調整モジュール８４０とを含む眼球追跡に基づく異なる距離に自己適応するホログラフィック表示装置を提供する。計算ユニット８１１はそれぞれ撮影ユニット８１２、距離測定ユニット８１３、調整モジュール８３０、第１判断ユニット８２１に接続され、第１判断ユニット８２１は更に第２判断ユニット８２２、音声調整モジュール８４０、表示ユニット８２３に接続され、表示モジュール８２０は更に調整モジュール８３０に接続されている。
【００７５】
撮影ユニット８１２は、ユーザに対して顔検出を行うためのものであり、距離測定ユニット８１３は、人間の両眼と距離測定ユニット８１３との距離を測定し、測定されたデータを計算ユニット８１１に伝送して人間の両眼位置を計算取得するためのものである。
【００７６】
計算ユニット８１１は、撮影ユニット８１２によってユーザに対して顔検出を行い、前記両眼の両眼球の対応座標値（ｘＬ１，ｙＬ１）と（ｘＲ１，ｙＲ１）、（ｘＬ２，ｙＬ２）と（ｘＲ２，ｙＲ２）、・・・、（ｘＬｎ，ｙＬｎ）と（ｘＲｎ，ｙＲｎ）を取得し、ただし、Ｌが左眼を表し、Ｒが右眼を表し、ｎが前記両眼位置１から位置ｎを表し、ｘｙ座標平面が表示スクリーンの表面に平行であり、三次元基準座標系が採用されており、距離測定ユニット８１３によって測定された距離測定ユニット８１３と両眼との間の距離、距離測定ユニット８１３の座標系での座標値、両眼の両眼球の対応座標値に基づいて両眼と表示スクリーンとの間の距離Ｚを取得し、又は距離測定ユニット８１３と両眼との間の距離、距離測定ユニット８１３の光軸の表示スクリーン平面に対する夾角に基づいて両眼と表示スクリーンとの間の距離Ｚを取得し、又は直接距離測定ユニット８１３と前記両眼との間の距離を両眼と表示スクリーンとの間の距離Ｚとするためのものである。
【００７７】
座標系を確立する具体的な方式は本発明に係る個人別ホログラフィック三次元表示方法の第１実施形態と同じであり、ここで繰り返して説明しない。
【００７８】
表示モジュール８２０は、取得モジュール８１０によって取得された距離Ｚに基づいてホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整し、物体のホログラフィックシーンのｚ軸方向での大きさに基づいて両眼のうちの左眼、右眼に投射しようとする異なる個人別ホログラフィック三次元画像の視点を調整し、表示スクリーンに表示するためのものであり、異なる位置に対する具体的な調節について図１０の説明を参照してよく、ここで繰り返して説明しない。
【００７９】
調整モジュール８３０は、表示スクリーンの光線の射出方向を両眼のうちの左眼、右眼方向に向かうように調整して、左眼、右眼の異なる個人別ホログラフィック三次元画像をそれぞれ左眼、右眼に結像させるためのものである。
【００８０】
第１判断ユニット８２１は、両眼と表示スクリーンとの間の距離Ｚが大きくなったか小さくなったかを判断し、両眼と表示スクリーンとの間の距離Ｚが大きくなった場合に、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくするように調整ユニット８２４を制御し、逆に、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくするように調整ユニット８２４を制御するためのものである。
【００８１】
第２判断ユニット８２２は、両眼と表示スクリーンとの間の距離Ｚが第１閾値より小さいかを判断し、両眼と表示スクリーンとの間の距離Ｚが第１閾値より小さい場合に、距離が小さくなっており、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを大きくしないように調整ユニット８２４を制御するが、両眼と表示スクリーンとの間の距離Ｚが第２閾値より大きいかを判断し、距離が第２閾値より大きい場合に、距離が大きくなっており、ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを小さくするように調整ユニット８２４を制御しないためのものである。
【００８２】
調整ユニット８２４は、第１判断モジュール８２１による判断結果に基づいて前記ホログラフィック三次元表示における物体のホログラフィックシーンのｚ軸方向での大きさを調整し、また、人間の両眼視線が物体をカバーできる範囲内の物体外観内容である、ホログラフィック三次元表示における物体のホログラフィックシーンでの内容を調整するためのものである。
【００８３】
位置取得モジュール８１０は、両眼位置を追跡するためのものでもあり、表示モジュール８２０は、相応な左眼、右眼の異なる個人別ホログラフィック三次元画像を動的に調整して、両眼が移動した時に調整モジュール８３０の作用下で左眼、右眼が常時にホログラフィック三次元表示の視点、物体のホログラフィックシーンのｚ軸方向での大きさが正確である個人別ホログラフィック三次元画像を取得できるようにするものである。
【００８４】
音声調節モジュール８４０は、ホログラフィック三次元表示の視点と物体のホログラフィックシーンのｚ軸方向での大きさに基づいて両耳のうちの左耳、右耳に投射しようとする異なる個人別ホログラフィック音声を調節し、前記左耳、右耳に対応する異なる個人別ホログラフィック音声をそれぞれ出力するためのものである。ユーザ位置における表示スクリーンに近い一側で聞かれる音声を大きくし、表示スクリーンから離れている一側で聞かれる音声を小さくする。
【００８５】
上記のものは本発明の実施形態のみであって、それによって本発明の特許請求の範囲に制限を加えるものでなく、本発明の明細書及び添付図面の内容に基づいて行われた等効果の構造変更又は等効果のフロー変更、或いは直接又は間接的なその他の関連技術分野への活用は、すべて同じ理由から本発明の特許請求の範囲に含まれるものである。
【図１】
2016110123.tif 000005
【図２】
2016110123.tif 000006
【図３】
2016110123.tif 000007
【図４】
2016110123.tif 000008
【図５】
2016110123.tif 000009
【図６】
2016110123.tif 000010
【図７】
2016110123.tif 000011
【図８】
2016110123.tif 000012
【図９】
2016110123.tif 000013
【図１０】
2016110123.tif 000014