(57)【要約】【課題】本発明は、ユーザがディスプレイスクリーンの前の三次元空間で行ったジェスチャー操作に応じて三次元立体対話操作を実現することができる。【解決手段】本発明の対話型表示方法は、マトリックスに配列された信号送信機が信号を送信して三次元空間をスキャンするように制御するステップと、前記三次元空間に位置する目標オブジェクトを確定するステップと、目標オブジェクトの第１位置を確定するステップと、表示領域の第２位置に前記目標オブジェクトに対応する可視画像を表示するステップとを含む。本発明の制御方法は、マトリックスに配列された信号送信機が信号を送信して三次元空間をスキャンするように制御するステップと、目標オブジェクトのジェスチャー操作を確定するステップと、前記ジェスチャーを確定するステップと、前記ジェスチャーに対応する制御操作を実行するステップとを含む。本発明の装置は、表示ユニット、信号検出ユニット、位置確定ユニット及び表示制御ユニットを含む。【選択図】図１−２
2016071836.tif 000002
【特許請求の範囲】
【請求項１】
マトリックスに配列された信号送信機が信号を送信して三次元空間をスキャンするように制御するステップと、
マトリックスに配列された信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する目標オブジェクトを確定し、その中で、各前記信号受信機と信号送信機が対応して設置されており、前記マトリックスでの位置が同じであり又は近接しており、各前記信号受信機が、対応する信号送信機からの信号が目標オブジェクトによって反射された反射信号しか受信できないステップと、
前記マトリックスに配列された信号受信機のうち対応する信号送信機からの信号を受信した信号受信機のマトリックスでの位置Ｓ、及び前記確定された信号受信機と前記目標オブジェクトとの間の距離Ｌを確定するステップと、
前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定するステップと、
表示領域における前記第１位置と写像関係を有する第２位置に前記目標オブジェクトに対応する可視画像を表示するステップと、を含む、
ことを特徴とするホログラム表示を実現する対話型表示方法。
【請求項２】
前記信号送信機が送信する信号は、レーザー信号、赤外線信号又は超音波信号であることを特徴とする請求項１に記載のホログラム表示を実現する対話型表示方法。
【請求項３】
前記のマトリックスに配列された信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する目標オブジェクトを確定するステップは、
前記マトリックスに配列された信号受信機のうち、信号を受信した信号受信機があるかどうかを検出するステップと、
信号を受信した信号受信機がある場合に、受信した前記信号に持ち運ばれた標識情報が前記信号受信機の標識情報とマッチングするかどうかを判断し、その中で、前記信号に持ち運ばれる標識情報が、前記信号送信機が信号を送信する時に持ち運ばれるものであり、且つ前記標識情報が前記信号送信機の対応する信号受信機の標識情報とマッチングしているステップと、
受信した前記信号に持ち運ばれた標識情報が前記信号受信機の標識情報とマッチングしている場合に、前記目標オブジェクトが前記三次元空間に位置することを確定するステップと、を含む、
ことを特徴とする請求項１に記載のホログラム表示を実現する対話型表示方法。
【請求項４】
前記の前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定するステップは、前記位置Ｓに基づいて前記目標オブジェクトのＸ軸、Ｙ軸での座標を確定し、前記距離Ｌに基づいて前記目標オブジェクトのＺ軸での座標を確定するようになっている、
ことを特徴とする請求項１に記載のホログラム表示を実現する対話型表示方法。
【請求項５】
前記の前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定するステップの後に、
前記目標オブジェクトの位置、及び前記目標オブジェクトの所定時間での複数の位置に基づいて確定される移動軌跡に基づいて対応するジェスチャーを確定するステップと、
前記ジェスチャーに対応する制御操作を実行するステップと、を更に含む、
ことを特徴とする請求項１に記載のホログラム表示を実現する対話型表示方法。
【請求項６】
前記の前記目標オブジェクトの位置及びその移動軌跡に基づいて対応するジェスチャーを確定するステップの後に、
前記ジェスチャーの前記三次元空間での位置に基づいて前記表示領域における対応する位置にジェスチャーアイコンを表示するステップを更に含むことを特徴とする請求項５に記載のホログラム表示を実現する対話型表示方法。
【請求項７】
前記の前記目標オブジェクトの位置及びその移動軌跡に基づいて対応するジェスチャーを確定するステップの後に、
前記表示領域の一つ又は複数のサブ表示領域に物件を表示し、且つ各前記サブ表示領域における前記ジェスチャーを感知するための感知領域を定義するステップと、
前記ジェスチャーに従って前記表示領域に表示された物件を操作制御するかどうかを確定するために、前記ジェスチャーの前記表示領域での対応するジェスチャー領域が前記感知領域にあるかどうかを判断するステップと、を更に含む、
ことを特徴とする請求項５に記載のホログラム表示を実現する対話型表示方法。
【請求項８】
前記の表示領域の第２位置に前記目標オブジェクトに対応する可視画像を表示するステップは、前記表示領域の第２位置に前記目標オブジェクトに対応するホログラムを表示するようになっている、
ことを特徴とする請求項１に記載のホログラム表示を実現する対話型表示方法。
【請求項９】
マトリックスに配列された信号送信機が信号を送信して三次元空間をスキャンするように制御するステップと、
マトリックスに配列された信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する操作するジェスチャーを確定し、その中で、各前記信号受信機と信号送信機とが対応して設置されており、前記マトリックスでの位置が同じであり又は近接しており、各前記信号受信機が、対応する信号送信機からの信号が手によって反射された反射信号しか受信できないステップと、
前記マトリックスに配列された信号受信機のうち対応する信号送信機からの信号を受信した信号受信機のマトリックスでの位置Ｓ、及び前記確定された信号受信機と手との間の距離Ｌを確定するステップと、
前記位置Ｓと前記距離Ｌに基づいて前記ジェスチャーを確定するステップと、
前記ジェスチャーに対応する制御操作を実行するステップと、を含む、
ことを特徴とするホログラム表示を実現する対話型制御方法。
【請求項１０】
表示ユニットを含むホログラム表示を実現する対話型表示装置において、
複数対の信号送信機と信号受信機がマトリックスに配列されて形成されており、前記複数の信号送信機が信号を送信して三次元空間をスキャンするように制御し、前記複数の信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する目標オブジェクトを確定するためのものであって、その中で、各前記信号受信機と信号送信機とが対応して設置されており、前記マトリックスでの位置が同じであり又は近接しており、各前記信号受信機が、対応する信号送信機からの信号が目標オブジェクトによって反射された反射信号しか受信できない信号検出ユニットと、
前記マトリックスに配列された信号受信機のうち対応する信号送信機からの信号を受信した信号受信機のマトリックスでの位置Ｓ、及び前記確定された信号受信機と前記目標オブジェクトとの間の距離Ｌを確定すると共に、前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定するためのものである位置確定ユニットと、
前記位置確定ユニットの確定した前記目標オブジェクトの第１位置に応じて、前記表示ユニットを制御して表示領域における前記第１位置と写像関係を有する第２位置に前記目標オブジェクトに対応する可視画像を表示させるためのものである表示制御ユニットと、を含む、
ことを特徴とするホログラム表示を実現する対話型表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザ対話応用技術に関し、特にホログラム表示を実現する対話型表示方法、制御方法及びシステムに関する。
【背景技術】
【０００２】
ユーザインターフェース（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ、ＵＩ）の設計とは、ソフトウェアのヒューマンコンピュータインタラクション、操作ロジック、インターフェース美観を配慮した全体的な設計を指す。ヒューマンコンピュータインタラクションによって情報を取得し体験する過程で、媒体即ち可視化するヒューマンコンピュータインターフェース及びこのヒューマンコンピュータインターフェースに対応する対話設備と方法がある。例を挙げて言えば、タッチスクリーン携帯電話の出現によってタッチインタラクション方式が広範囲の消費者に普及されてきた。それと同時に、従来のマウス、キーボードのユーザインターフェースから迅速にタッチインタラクション方式に適したユーザインターフェースに移行している。ユーザはタッチスクリーンをタッチしたりスクリーンに表示されるアイコンをドラッグしたりすることによって、対応する対話操作を行うことができる。
【０００３】
しかしながら、従来のタッチスクリーンでは、容量性タッチスクリーンであっても抵抗性タッチスクリーンであっても、いずれも液晶表示（ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ、ＬＣＤ）パネルの前に更に一枚の接触制御ガラス又は薄膜を増設しているので、ディスプレイスクリーンの厚さ及び重量が増加してしまった。また、消費者が手の指によってディスプレイスクリーンをタッチして電子装置を制御する時、装置そのものが揺れやすくなり、ディスプレイスクリーンと消費者との間に一定の距離及び角度があった。なお、手の指で直接ディスプレイスクリーンをタッチして制御すれば、指紋がディスプレイスクリーンに残ってしまうという問題が発生しやすくなった。更に、タッチによって操作するフラットユーザインターフェースでは、コンテンツの豊富さが大きく制限されており、カーソルをあるキーに移動し一定時間停留することによって選択確認をするようになっており、このような操作では確認又は移行の操作しかできず、対話の豊富さが制限されることに加えてユーザに不自然な感覚を与え、対話操作を行う時に束縛感を感じさせてしまった。
【０００４】
今までのホログラフィー（Ｈｏｌｏｇｒａｐｈｙ）表示技術において、ホログラフィーについて、オブジェクト及び画面を三次元表示し、即ちオブジェクトの全視角の全画面の画像を呈示すると考えられる。ホログラム技術は、特別な技術的手段を利用してオブジェクトの全視角の全画面の画像を記憶し再現して、人の眼に実在感がある視覚効果を与えることを含む。従って、タッチスクリーン操作から離れて（ホログラフィック）三次元立体画像を利用して対話操作を行う方式があればユーザの操作感が大幅に向上する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の主たる解決しようとする技術的課題は、ユーザがディスプレイスクリーンの前の三次元空間で行ったジェスチャー操作に応じてジェスチャーに対応するホログラムを提供して三次元立体対話操作を実現する可能性があるホログラム表示を実現する対話型表示方法、制御方法及び装置を提供することである。
【課題を解決するための手段】
【０００６】
上述した技術的課題を解決するために、本発明の採用する技術的手段は、マトリックスに配列された信号送信機が信号を送信して三次元空間をスキャンするように制御するステップと、マトリックスに配列された信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する目標オブジェクトを確定し、その中で、各前記信号受信機と信号送信機が対応して設置されており、前記マトリックスでの位置が同じであり又は近接しており、各前記信号受信機が、対応する信号送信機からの信号が目標オブジェクトによって反射された反射信号しか受信できないステップと、前記マトリックスに配列された信号受信機のうち対応する信号送信機からの信号を受信した信号受信機のマトリックスでの位置Ｓ、及び前記確定された信号受信機と前記目標オブジェクトとの間の距離Ｌを確定するステップと、前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定するステップと、表示領域における前記第１位置と写像関係を有する第２位置に前記目標オブジェクトに対応する可視画像を表示するステップと、を含むホログラム表示を実現する対話型表示方法を提供することである。
【０００７】
更に、前記信号送信機が送信する信号は、レーザー信号、赤外線信号又は超音波信号である。
【０００８】
更に、前記のマトリックスに配列された信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する目標オブジェクトを確定するステップは、前記マトリックスに配列された信号受信機のうち、信号を受信した信号受信機があるかどうかを検出するステップと、信号を受信した信号受信機がある場合に、受信した前記信号に持ち運ばれた標識情報が前記信号受信機の標識情報とマッチングするかどうかを判断し、その中で、前記信号に持ち運ばれる標識情報が、前記信号送信機が信号を送信する時に持ち運ばれるものであり、且つ前記標識情報が前記信号送信機の対応する信号受信機の標識情報とマッチングしているステップと、受信した前記信号に持ち運ばれた標識情報が前記信号受信機の標識情報とマッチングしている場合に、前記目標オブジェクトが前記三次元空間に位置することを確定するステップと、を含む。
【０００９】
更に、前記の前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定するステップは、具体的に言えば、前記位置Ｓに基づいて前記目標オブジェクトのＸ軸、Ｙ軸での座標を確定し、前記距離Ｌに基づいて前記目標オブジェクトのＺ軸での座標を確定するようになっている。
【００１０】
更に、前記の前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定するステップの後に、前記目標オブジェクトの位置、及び前記目標オブジェクトの所定時間での複数の位置に基づいて確定される移動軌跡に基づいて対応するジェスチャーを確定するステップと、前記ジェスチャーに対応する制御操作を実行するステップと、を更に含む。
【００１１】
更に、前記の前記目標オブジェクトの位置及びその移動軌跡に基づいて対応するジェスチャーを確定するステップの後に、前記ジェスチャーの前記三次元空間での位置に基づいて前記表示領域における対応する位置にジェスチャーアイコンを表示するステップを更に含む。
【００１２】
更に、前記の前記目標オブジェクトの位置及びその移動軌跡に基づいて対応するジェスチャーを確定するステップの後、前記表示領域の一つ又は複数のサブ表示領域に物件を表示し、且つ各前記サブ表示領域における前記ジェスチャーを感知するための感知領域を定義するステップと、前記ジェスチャーに従って前記表示領域に表示された物件を操作制御するかどうかを確定するために、前記ジェスチャーの前記表示領域での対応するジェスチャー領域が前記感知領域にあるかどうかを判断するステップと、を更に含む。
【００１３】
更に、前記の表示領域の第２位置に前記目標オブジェクトに対応する可視画像を表示するステップは、具体的に言えば、前記表示領域の第２位置に前記目標オブジェクトに対応するホログラムを表示するようになっている。
【００１４】
上述した技術的課題を解決するために、本発明の採用する別の技術的手段は、マトリックスに配列された信号送信機が信号を送信して三次元空間をスキャンするように制御するステップと、マトリックスに配列された信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する操作するジェスチャーを確定し、その中で、各前記信号受信機と信号送信機が対応して設置されており、前記マトリックスでの位置が同じであり又は近接しており、各前記信号受信機が、対応する信号送信機からの信号が手によって反射された反射信号しか受信できないステップと、前記マトリックスに配列された信号受信機のうち対応する信号送信機からの信号を受信した信号受信機のマトリックスでの位置Ｓ、及び前記確定された信号受信機と手との間の距離Ｌを確定するステップと、前記位置Ｓと前記距離Ｌに基づいて前記ジェスチャーを確定するステップと、前記ジェスチャーに対応する制御操作を実行するステップと、を含むホログラム表示を実現する対話型制御方法を提供することである。
【００１５】
上述した技術的課題を解決するために、本発明の採用する別の技術的手段は、複数対の信号送信機と信号受信機がマトリックスに配列されて形成されており、前記複数の信号送信機が信号を送信して三次元空間をスキャンするように制御し、前記複数の信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する目標オブジェクトを確定するためのものであって、その中で、各前記信号受信機と信号送信機が対応して設置されており、前記マトリックスでの位置が同じであり又は近接しており、各前記信号受信機が、対応する信号送信機からの信号が目標オブジェクトによって反射された反射信号しか受信できない信号検出ユニットと、前記マトリックスに配列された信号受信機のうち対応する信号送信機からの信号を受信した信号受信機のマトリックスでの位置Ｓ、及び前記確定された信号受信機と前記目標オブジェクトとの間の距離Ｌを確定すると共に、前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定するためのものである位置確定ユニットと、前記位置確定ユニットの確定した前記目標オブジェクトの第１位置に応じて前記表示ユニットを制御して表示領域における前記第１位置と写像関係を有する第２位置に前記目標オブジェクトに対応する可視画像を表示させるための表示制御ユニットと、を含むホログラム表示を実現する対話型表示装置を提供することである。
【発明の効果】
【００１６】
本発明の有益な効果として、従来の技術状況と異なって、本発明は、ユーザがディスプレイスクリーンの前の三次元空間で行ったジェスチャー操作に応じて三次元立体対話操作を実現することができる。スクリーンの前の三次元空間で操作するので、ディスプレイスクリーンをタッチすることがないため、装置そのものが揺れないと共に、指紋がディスプレイスクリーンに残ることを回避可能である。なお、ユーザは対話操作を行っている時、移動、プレス等の操作のいずれに対しても平面のみに停留することでなく、三次元空間内で行うことができ、このようにしてユーザに自然な感じを与え、対話豊富性が向上した。
【図面の簡単な説明】
【００１７】
【図１−１】図１−１は本発明の第１実施形態に係るホログラム表示を実現する対話型表示方法のフローの模式図である。
【図１−２】図１−２は本発明の第１実施形態に係るホログラム表示を実現する対話型表示の原理の模式図である。
【図１−３】図１−３は本発明の第１実施形態に係るホログラム表示を実現する対話型表示方法において目標オブジェクトの位置を確定する原理模式図である。
【図２−１】図２−１は本発明の第２実施形態に係るホログラム表示を実現する対話型表示方法のフローの模式図である。
【図２−２】図２−２は本発明の第２実施形態の三次元空間の目標オブジェクトの確定方法のフローの模式図である。
【図３−１】図３−１は本発明の第３実施形態に係るホログラム表示を実現する対話型表示方法のフローの模式図である。
【図３−２】図３−２は本発明の第３実施形態に係るホログラム表示を実現する対話型表示の原理の模式図である。
【図４−１】図４−１は本発明の第４実施形態に係るホログラム表示を実現する対話型表示方法のフローの模式図である。
【図４−２】図４−２は本発明の第４実施形態に係るホログラム表示を実現する対話型表示方法におけるプレス状態の模式図である。
【図４−３】図４−３は本発明の第４実施形態に係るホログラム表示を実現する対話型表示方法におけるドロップダウン状態の模式図である。
【図５−１】図５−１は本発明の第５実施形態に係るホログラム表示を実現する対話型表示方法のフローの模式図である。
【図５−２】図５−２は本発明の第５実施形態に係るホログラム表示を実現する対話型表示方法におけるプレスする前の状態の模式図である。
【図５−３】図５−３は本発明の第５実施形態に係るホログラム表示を実現する対話型表示方法におけるプレスした後の状態の模式図である。
【図６−１】図６−１は本発明の第６実施形態に係るホログラム表示を実現する対話型表示方法のフローの模式図である。
【図６−２】図６−２は本発明の第６実施形態に係るホログラム表示を実現する対話型表示方法における手の指が感知領域にあった状態の模式図である。
【図６−３】図６−３は本発明の第６実施形態に係るホログラム表示を実現する対話型表示方法における手の指が感知領域にない状態の模式図である。
【図７】図７は本発明の実施形態におけるホログラム表示を実現する対話型制御方法のフローの模式図である。
【図８】図８は本発明の実施形態におけるホログラム表示を実現する対話型表示装置の構造の模式図である。
【発明を実施するための形態】
【００１８】
本発明の技術的内容、構造特徴、実現しようとする目的及び効果を詳細に説明するために、添付図面と実施例を参照しながら本発明について詳細に説明する。
【００１９】
本発明の第１実施形態に係るホログラム表示を実現する対話型表示方法のフローの模式図である図１を参照する。この実施形態に示された対話型表示方法のフローは以下のステップを含む。
【００２０】
Ｓ１０、マトリックスに配列された信号送信機が信号を送信して三次元空間をスキャンするように制御する。
【００２１】
Ｓ１１、マトリックスに配列された信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する目標オブジェクトを確定する。
【００２２】
その中で、各前記信号受信機と信号送信機が対応して設置されており、前記マトリックスでの位置が同じであり又は近接しており、各前記信号受信機が、対応する信号送信機からの信号が目標オブジェクトによって反射された反射信号しか受信できない。
【００２３】
Ｓ１２、前記マトリックスに配列された信号受信機のうち対応する信号送信機からの信号を受信した信号受信機のマトリックスでの位置Ｓ、及び前記確定された信号受信機と前記目標オブジェクトとの間の距離Ｌを確定する。
【００２４】
Ｓ１３、前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定する。
【００２５】
Ｓ１４、表示領域における前記第１位置と写像関係を有する第２位置に前記目標オブジェクトに対応する可視画像を表示する。
【００２６】
例えば、図１−２と図１−３に示すように、信号送信機１１が三次元空間１３をスキャンし、手の指１４がこの三次元空間１３に入ると、その中の一つの信号送信機１１からの信号が手の指１４に会った後に反射され、且つ対応する信号受信機１２に受信された。手の指１４における一つの点、例えば点Ａに対して、信号送信機Ａの信号が点Ａによって反射された後、相応な信号受信機Ａに受信されて手の指１４が確定され検出されることが可能になった。反射された信号を受信したこの信号受信機Ａのマトリックスでの位置Ｓ及び信号受信機と点Ａとの間の距離Ｌによって点Ａの所在する第１位置が確定可能になった。表示領域１５における第２位置にこの点に対応する点Ａ′が写像されている。同様の方法によって手の指１４における複数の点の位置を確定して手の指１４の位置が確定可能になった。表示領域１５における第２位置にこの手の指１４に対応する可視画像１６が写像されており、可視画像１６は一つの矢印又は手の形状のアイコン等であってよいが、本実施例における可視画像は手の指であった。この画像は手の指の空間位置を通過してＹ軸に沿って表示領域に写像されるものであった。
【００２７】
更に、この表示領域の第２位置に表示されるこの目標オブジェクトに対応する可視画像はこの目標オブジェクトに対応するホログラムであってよい。
【００２８】
本発明の第２実施形態に係るホログラム表示を実現する対話型表示方法のフローの模式図である図２−１を参照する。この実施形態に示された対話型表示方法のフローは以下のステップを含む。
【００２９】
Ｓ２０、マトリックスに配列された信号送信機が信号を送信して三次元空間をスキャンするように制御する。
【００３０】
Ｓ２１、マトリックスに配列された信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する目標オブジェクトを確定する。
【００３１】
その中で、各前記信号受信機と信号送信機が対応して設置されており、前記マトリックスでの位置が同じであり又は近接しており、各前記信号受信機が、対応する信号送信機からの信号が目標オブジェクトによって反射された反射信号しか受信できない。
【００３２】
図２−２を共に参照し、マトリックスに配列された信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する目標オブジェクトを確定するステップは以下のようなステップを含む。
【００３３】
Ｓ２１１、前記マトリックスに配列された信号受信機のうち、信号を受信した信号受信機があるかどうかを検出する。
【００３４】
Ｓ２１２、信号を受信した信号受信機がある場合に、受信した前記信号に持ち運ばれた標識情報が前記信号受信機の標識情報とマッチングするかどうかを判断する。
【００３５】
その中で、前記信号に持ち運ばれる標識情報が、前記信号送信機が信号を送信する時に持ち運ばれるものであり、且つ前記標識情報が前記信号送信機の対応する信号受信機の標識情報とマッチングしている。
【００３６】
受信した前記信号に持ち運ばれた標識情報が前記信号受信機の標識情報とマッチングしている場合に、前記目標オブジェクトが前記三次元空間に位置することが確定された。
【００３７】
Ｓ２２、前記マトリックスに配列された信号受信機のうち対応する信号送信機からの信号を受信した信号受信機のマトリックスでの位置Ｓ、及び前記確定された信号受信機と前記目標オブジェクトとの間の距離Ｌを確定する。
【００３８】
Ｓ２３、前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定する。
【００３９】
Ｓ２４、表示領域における前記第１位置と写像関係を有する第２位置に前記目標オブジェクトに対応する可視画像を表示する。
【００４０】
本実施例において、信号送信機が三次元空間をスキャンすると同時に信号受信機のうちに信号を受信した信号受信機があるかどうかを検出した。手の指がこの三次元空間に入ると、その中の一つの信号送信機からの信号が手の指に会った後に反射され、且つ対応する信号受信機に受信された。更に図１−３を参照し、手の指における一つの点、例えば点Ａに対して、信号送信機Ａの信号が点Ａによって反射された後、相応な信号受信機Ａが信号を受信したことが検出された。
【００４１】
本実施例において、信号送信機Ａからの信号に信号受信機の標識情報とマッチングする標識情報が持ち運ばれている。信号受信機Ａが信号を受信した後、この信号が信号受信機Ａの標識情報とマッチングするかどうかを判断した。信号に持ち運ばれた標識情報が信号受信機Ａの標識情報とマッチングしている場合に、手の指が三次元空間に位置することが確定された。
【００４２】
信号を受信した信号受信機が一つであっても検出されなかった場合に、この三次元空間に目標オブジェクトがないことが確定された。
【００４３】
反射された信号を受信したこの信号受信機Ａのマトリックスでの位置Ｓ及び信号受信機と点Ａとの間の距離Ｌによって点Ａの所在する第１位置が確定可能になった。同様の方法によって手の指における複数の点の位置を確定して手の指の位置が確定可能になった。図１−２に示すように、表示領域１５における第２位置にこの手の指に対応する可視画像１６が写像されている。
【００４４】
本発明の第３実施形態に係るホログラム表示を実現する対話型表示方法のフローの模式図である図３−１を参照する。この実施形態に示された対話型表示方法のフローは以下のステップを含む。
【００４５】
Ｓ３０、マトリックスに配列された信号送信機が信号を送信して三次元空間をスキャンするように制御する。
【００４６】
Ｓ３１、マトリックスに配列された信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する目標オブジェクトを確定する。
【００４７】
その中で、各前記信号受信機と信号送信機が対応して設置されており、前記マトリックスでの位置が同じであり又は近接しており、各前記信号受信機が、対応する信号送信機からの信号が目標オブジェクトによって反射された反射信号しか受信できない。
【００４８】
Ｓ３２、前記マトリックスに配列された信号受信機のうち対応する信号送信機からの信号を受信した信号受信機のマトリックスでの位置Ｓ、及び前記確定された信号受信機と前記目標オブジェクトとの間の距離Ｌを確定する。
【００４９】
Ｓ３３、前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定する。位置Ｓに基づいて前記目標オブジェクトのＸ軸、Ｙ軸での座標を確定し、前記距離Ｌに基づいて前記目標オブジェクトのＺ軸での座標を確定する。
【００５０】
Ｓ３４、表示領域における前記第１位置と写像関係を有する第２位置に前記目標オブジェクトに対応する可視画像を表示する。
【００５１】
本実施例において、信号送信機が三次元空間をスキャンすると同時に信号受信機のうちに信号を受信した信号受信機があるかどうかを検出した。手の指がこの三次元空間に入ると、その中の一つの信号送信機からの信号が手の指に会った後に反射され、且つ対応する信号受信機に受信された。図３−２に示すように、手の指における一つの点、例えば点Ａに対して、信号送信機Ａの信号が点Ａによって反射された後、相応な信号受信機Ａが信号を受信したことが検出された。反射された信号を受信したこの信号受信機Ａのマトリックスでの位置Ｓ（ｘ，ｙ）はこの手の指のＸ軸とＹ軸の所在する平面での位置である。信号受信機Ａと信号送信機Ａとが対応して設置されており、マトリックスでの位置が同じであり又は近接しているので、信号受信機Ａと前記手の指との間の距離Ｌは点ＡからＸ軸とＹ軸の所在する平面までの距離、即ちＺ軸の座標ｚと等しいように近似に考えてよい。そのようにして点Ａの第１位置Ａ（ｘ，ｙ，ｚ）を確定すると共に、表示領域の第２位置に手の指の可視画像を表示することができ、本実施例において、この可視画像は手の指であった。この第２位置は第１位置と写像関係を有する。
【００５２】
本発明の第４実施形態に係るホログラム表示を実現する対話型表示方法のフローの模式図である図４−１を参照する。この実施形態に示された対話型表示方法のフローは以下のステップを含む。
【００５３】
Ｓ４０、マトリックスに配列された信号送信機が信号を送信して三次元空間をスキャンするように制御する。
【００５４】
Ｓ４１、マトリックスに配列された信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する目標オブジェクトを確定する。
【００５５】
その中で、各前記信号受信機と信号送信機が対応して設置されており、前記マトリックスでの位置が同じであり又は近接しており、各前記信号受信機が、対応する信号送信機からの信号が目標オブジェクトによって反射された反射信号しか受信できない。
【００５６】
Ｓ４２、前記マトリックスに配列された信号受信機のうち対応する信号送信機からの信号を受信した信号受信機のマトリックスでの位置Ｓ、及び前記確定された信号受信機と前記目標オブジェクトとの間の距離Ｌを確定する。
【００５７】
Ｓ４３、前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定する。位置Ｓに基づいて前記目標オブジェクトのＸ軸、Ｙ軸での座標を確定し、前記距離Ｌに基づいて前記目標オブジェクトのＺ軸での座標を確定する。
【００５８】
Ｓ４４、前記目標オブジェクトの位置、及び前記目標オブジェクトの所定時間での複数の位置に基づいて確定される移動軌跡に基づいて対応するジェスチャーを確定する。
【００５９】
表示領域における前記第１位置と写像関係を有する第２位置に前記目標オブジェクトに対応する可視画像を表示する。
【００６０】
Ｓ４５、前記ジェスチャーに対応する制御操作を実行する。
【００６１】
図４−２に示すように、手の指は、Ｙ軸に沿って表示領域に近接する方向へＹ軸と平行する直線である移動軌跡で移動するように、三次元空間でプレスジェスチャーをし、移動している過程中、その三次元空間でのそれぞれの位置毎にこの位置の信号が反射され、相応な信号受信機が反射された信号を受信できるので、手の指がこの所定時間内に移動した時の複数の位置の座標、例えば図４−１における点Ａ（ｘ，ｙａ，ｚ）、点Ｂ（ｘ，ｙｂ，ｚ）及び点Ｃ（ｘ，ｙｃ，ｚ）が検出でき、更に点Ａ、点Ｂ及び点Ｃに基づいて手の移動軌跡を確定する。確定された移動軌跡がＹ軸と平行する直線であるため、手の指がプレスジェスチャーをしていると判断して、プレスに対応する制御操作を実行した。
【００６２】
図４−３を参照し、手の指は、所定時間内にＺ軸に沿って下へ移動するようにドロップダウンジェスチャーをした。同一の信号受信機がこの所定時間内に信号を受信し、手の指の所在するｎ個の位置の座標がそれぞれ点Ａ（ｘ，ｙ，ｚ１）、点Ｂ（ｘ，ｙ，ｚ２）及び点Ｃ（ｘ，ｙ，ｚ３）、……、点Ｎ（ｘ，ｙ，ｚｎ）であり、そのようにして手の指の移動軌跡がＺ軸と平行する直線であると確定でき、それにより手の指のジェスチャーがドロップダウンジェスチャーであると判断し、表示領域でドロップダウンに対応する制御操作を施した。
【００６３】
本発明の第５実施形態に係るホログラム表示を実現する対話型表示方法のフローの模式図である図５−１を参照する。この実施形態に示された対話型表示方法のフローは以下のステップを含む。
【００６４】
Ｓ５０、マトリックスに配列された信号送信機が信号を送信して三次元空間をスキャンするように制御する。
【００６５】
Ｓ５１、マトリックスに配列された信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する目標オブジェクトを確定する。
【００６６】
その中で、各前記信号受信機と信号送信機が対応して設置されており、前記マトリックスでの位置が同じであり又は近接しており、各前記信号受信機が、対応する信号送信機からの信号が目標オブジェクトによって反射された反射信号しか受信できない。
【００６７】
Ｓ５２、前記マトリックスに配列された信号受信機のうち対応する信号送信機からの信号を受信した信号受信機のマトリックスでの位置Ｓ、及び前記確定された信号受信機と前記目標オブジェクトとの間の距離Ｌを確定する。
【００６８】
Ｓ５３、前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定する。位置Ｓに基づいて前記目標オブジェクトのＸ軸、Ｙ軸での座標を確定し、前記距離Ｌに基づいて前記目標オブジェクトのＺ軸での座標を確定する。
【００６９】
Ｓ５４、前記目標オブジェクトの位置、及び前記目標オブジェクトの所定時間での複数の位置に基づいて確定される移動軌跡に基づいて対応するジェスチャーを確定する。
【００７０】
Ｓ５５、ジェスチャーの前記三次元空間での位置に基づいて前記表示領域における対応する位置にジェスチャーアイコンを表示する。
【００７１】
Ｓ５６、前記ジェスチャーに対応する制御操作を実行する。
【００７２】
本実施例において、第４実施例のような方法によって手の指のジェスチャーが確定された後、表示領域における手の指に対応する位置にジェスチャーアイコンが表示され、例えば図５−２における手の指１４の可視画像１６について、プレスする前に可視画像１６の手の指がまっすぐ伸ばしている状態であり、手の指１４の動作がプレスジェスチャーになった時に、表示領域１５における可視画像１６の手の指のアイコンも相応的にプレス動作を行い、例えば図５−３における可視画像１６の手の指が曲がっている状態であった。ジェスチャーアイコンは様々なように表示してもよく、例えば本実施例における画像状態の変更、色の変更又は位置の変更等の本分野でよく用いられている表示方式であってよい。
【００７３】
本発明の第６実施形態に係るホログラム表示を実現する対話型表示方法のフローの模式図である図６−１を参照する。この実施形態に示された対話型表示方法のフローは以下のステップを含む。
【００７４】
Ｓ６０、マトリックスに配列された信号送信機が信号を送信して三次元空間をスキャンするように制御する。
【００７５】
Ｓ６１、マトリックスに配列された信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する目標オブジェクトを確定する。
【００７６】
その中で、各前記信号受信機と信号送信機が対応して設置されており、前記マトリックスでの位置が同じであり又は近接しており、各前記信号受信機が、対応する信号送信機からの信号が目標オブジェクトによって反射された反射信号しか受信できない。
【００７７】
Ｓ６２、前記マトリックスに配列された信号受信機のうち対応する信号送信機からの信号を受信した信号受信機のマトリックスでの位置Ｓ、及び前記確定された信号受信機と前記目標オブジェクトとの間の距離Ｌを確定する。
【００７８】
Ｓ６３、前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定する。位置Ｓに基づいて前記目標オブジェクトのＸ軸、Ｙ軸での座標を確定し、前記距離Ｌに基づいて前記目標オブジェクトのＺ軸での座標を確定する。
【００７９】
Ｓ６４、前記目標オブジェクトの位置、及び前記目標オブジェクトの所定時間での複数の位置に基づいて確定される移動軌跡に基づいて対応するジェスチャーを確定する。
【００８０】
Ｓ６５、前記表示領域の一つ又は複数のサブ表示領域に物件を表示し、且つ各前記サブ表示領域における前記ジェスチャーを感知するための感知領域を定義する。
【００８１】
Ｓ６６、前記ジェスチャーに従って前記表示領域に表示された物件を操作制御するかどうかを確定するために、前記ジェスチャーの前記表示領域での対応するジェスチャー領域が前記感知領域にあるかどうかを判断する。
【００８２】
Ｓ６７、前記ジェスチャーに対応する制御操作を実行する。
【００８３】
図６−２を参照し、本実施例において、手の指１４の軌跡線がプレスジェスチャーであり、そのジェスチャーが確認された後、前記表示領域１５の一つ又は複数のサブ表示領域に物件が表示され、表示領域における第一キー６１、第二キー６２及び第三キー６３をこのジェスチャーの感知領域とするように定義し、プレス動作を施している時、手の指１４の表示領域１５での対応する可視画像１６がこの感知領域に落ちた場合に、例えば図６−２では、手の指１４の表示領域１５での対応する可視画像１６が第三キー６３の領域に落ちた場合に、プレスジェスチャーが完成した後に、表示領域に表示された物件がプレスジェスチャーに従って操作制御された。図６−３に示すように、手の指１４の表示領域１５での対応する可視画像１６が第一キー６１、第二キー６２及び第三キー６３のいずれか一つでなく他の非感知領域に落ちた場合に、表示領域に表示された物件がプレスジェスチャーに従って操作制御されることがない。
【００８４】
本発明の対話型表示方法における信号送信機からの信号はレーザー信号、赤外線信号、超音波信号又は他の本分野でよく用いられている信号送信機である。
【００８５】
本発明の実施形態に係るホログラム表示を実現する対話型制御方法のフローの模式図である図７を参照する。この実施形態に示された対話型制御方法のフローは以下のステップを含む。
【００８６】
Ｓ７０、マトリックスに配列された信号送信機が信号を送信して三次元空間をスキャンするように制御する。
【００８７】
Ｓ７１、マトリックスに配列された信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する操作するジェスチャーを確定する。
【００８８】
その中で、各前記信号受信機と信号送信機が対応して設置されており、前記マトリックスでの位置が同じであり又は近接しており、各前記信号受信機が、対応する信号送信機からの信号が手によって反射された反射信号しか受信できない。
【００８９】
更に図５−２を参照し、マトリックスに配列された信号送信機が信号を送信して三次元空間でスキャンするように制御し、手の指がＹ軸方向に沿ってこの三次元空間を移動している時に、信号受信機は手の指が三次元空間での複数の位置で反射された信号を受信して手の指の移動軌跡を確定して、更に手の指のジェスチャーを確定した。
【００９０】
Ｓ７２、前記マトリックスに配列された信号受信機のうち対応する信号送信機からの信号を受信した信号受信機のマトリックスでの位置Ｓ、及び前記確定された信号受信機と手との間の距離Ｌを確定する。
【００９１】
Ｓ７３、前記位置Ｓと前記距離Ｌに基づいて前記ジェスチャーを確定する。
【００９２】
前記ジェスチャーは手の指の移動によって実現されるものであり、ジェスチャーを確定するには手の指の移動軌跡を先行して確定することが必要とされず、手の指の移動は空間での点の位置の変化で表現される。更に図３−２を参照し、所定時間内において手の指が移動して経過したそれぞれの点の確定方法は以下のようになる。
【００９３】
信号送信機Ａの信号が点Ａによって反射された後、相応な信号受信機Ａが信号を受信したことが検出された。反射された信号を受信したこの信号受信機Ａのマトリックスでの位置Ｓ（ｘ，ｙ）はこの手の指のＸ軸とＹ軸の所在する平面での位置である。信号受信機Ａと信号送信機Ａとが対応して設置されており、マトリックスでの位置が同じであり又は近接しているので、信号受信機Ａと前記手の指との間の距離Ｌは点ＡからＸ軸とＹ軸の所在する平面までの距離、即ちＺ軸の座標ｚと等しいように近似に考えてよい。それにより点Ａの第１位置Ａ（ｘ，ｙ，ｚ）を確定できる。
【００９４】
各点の位置を確定した後に手の指の移動軌跡線が確定可能になり、具体的には以下のとおりである。
【００９５】
更に図４−３を参照し、手の指は、所定時間内にＺ軸に沿って下へ移動するようにドロップダウンジェスチャーをした。信号受信機が受信した手の指のこの所定時間内のｎ個の位置の座標はそれぞれ点Ａ（ｘ，ｙ，ｚ１）、点Ｂ（ｘ，ｙ，ｚ２）、点Ｃ（ｘ，ｙ，ｚ３）、……、点Ｎ（ｘ，ｙ，ｚｎ）であり、そのようにして手の指の移動軌跡がＺ軸と平行する直線であると確定でき、それにより手の指のジェスチャーがドロップダウンジェスチャーであると判断した。
【００９６】
Ｓ７４、前記ジェスチャーに対応する制御操作を実行する。ジェスチャーがドロップダウンジェスチャーであると判断した後、ドロップダウンに対応する制御操作を実行する。
【００９７】
本発明の実施形態におけるホログラム表示を実現する対話型表示装置の構造の模式図である図８を参照する。この対話型表示装置は、表示ユニット８４、信号検出ユニット８１、位置確定ユニット８２及び表示制御ユニット８３を含む。
【００９８】
信号検出ユニット８１は、複数対の信号送信機と信号受信機がマトリックスに配列されて形成されており、前記複数の信号送信機が信号を送信して三次元空間をスキャンするように制御し、前記複数の信号受信機が受信した対応する信号送信機からの信号に基づいて前記三次元空間に位置する目標オブジェクトを確定するためのものである。
【００９９】
その中で、各前記信号受信機と信号送信機が対応して設置されており、前記マトリックスでの位置が同じであり又は近接しており、各前記信号受信機が、対応する信号送信機からの信号が目標オブジェクトによって反射された反射信号しか受信できない。
【０１００】
位置確定ユニット８１は、前記マトリックスに配列された信号受信機のうち対応する信号送信機からの信号を受信した信号受信機のマトリックスでの位置Ｓ、及び前記確定された信号受信機と前記目標オブジェクトとの間の距離Ｌを確定するためのものである。更に前記位置Ｓと前記距離Ｌに基づいて前記目標オブジェクトの第１位置を確定するためのものである。
【０１０１】
表示制御ユニット８３は、前記位置確定ユニットの確定した前記目標オブジェクトの第１位置に応じて前記表示ユニットを制御して表示領域における前記第１位置と写像関係を有する第２位置に前記目標オブジェクトに対応する可視画像を表示させるためのものである。
【０１０２】
信号検出ユニット８１は信号送信機が三次元空間をスキャンするように制御し、手の指がこの三次元空間に入ると、その中の一つの信号送信機からの信号が手の指に会った後に反射され、且つ対応する信号受信機に受信された。手の指における一つの点、例えば点Ａに対して、信号送信機Ａの信号が点Ａによって反射された後、相応な信号受信機Ａに受信され、信号検出ユニットが手の指を確定し検出した。
【０１０３】
位置確定ユニット８２は反射された信号を受信したこの信号受信機Ａのマトリックスでの位置Ｓ及び信号受信機と点Ａとの間の距離Ｌを確定し、更に前記位置Ｓと前記距離Ｌに基づいて点Ａの第１位置を確定した。同様の方法によって手の指における複数の点の位置を確定して手の指の位置が確定可能になった。
【０１０４】
位置確定ユニット８２は手の指の第１位置を確定した後、表示制御ユニット８３は表示ユニット８４を制御して表示領域における、前記第１位置と写像関係を有する第２位置にこの手の指に対応する可視画像を表示させた。その中で、この表示制御ユニット８３は、手の指に対応するホログラムを表示ユニット８４の表示領域における第２位置に投影してこの手の指に対応するホログラムを表示することができるホログラム投影設備であってよい。
【０１０５】
本発明の対話型表示装置における信号送信機からの信号は、レーザー信号、赤外線信号、超音波信号又は他の本分野でよく用いられている信号送信機である。
【０１０６】
本発明の実施形態のみとして説明したが、それによって本発明の特許請求の範囲を限定する意図がなく、本発明の明細書及び添付図面の内容に基づいて行われた等効果の構造変更又は等効果のフロー変更、或いは直接又は間接的なその他の関連技術分野への適用は、すべて同じ理由から本発明の特許請求の範囲に含まれるものである。
【符号の説明】
【０１０７】
１１  信号送信機１２  信号受信機１３  三次元空間１４  手の指１５  表示領域１６  可視画像６１  第一キー６２  第二キー６３  第三キー８０  対話型表示装置８１  信号検出ユニット８２  位置確定ユニット８３  表示制御ユニット８４  表示ユニット
【図１−１】
2016071836.tif 000003
【図１−２】
2016071836.tif 000004
【図１−３】
2016071836.tif 000005
【図２−１】
2016071836.tif 000006
【図２−２】
2016071836.tif 000007
【図３−１】
2016071836.tif 000008
【図３−２】
2016071836.tif 000009
【図４−１】
2016071836.tif 000010
【図４−２】
2016071836.tif 000011
【図４−３】
2016071836.tif 000012
【図５−１】
2016071836.tif 000013
【図５−２】
2016071836.tif 000014
【図５−３】
2016071836.tif 000015
【図６−１】
2016071836.tif 000016
【図６−２】
2016071836.tif 000017
【図６−３】
2016071836.tif 000018
【図７】
2016071836.tif 000019
【図８】
2016071836.tif 000020