(57)【要約】  本発明は、光ラベルに基づく情報デバイスインタラクション方法及びシステムを提供する。前記方法では、端末装置により情報デバイスの比較的固定された位置にある光ラベルに対して画像収集を行って光ラベルに対する端末装置の初期位置及び姿態を確定し、次に予め標定された、光ラベルに対する各情報デバイスの位置に基づいて端末装置と各情報装置の間の相対位置を確定し、さらに前記端末装置の表示画面上の各情報デバイスのイメージング位置を取得し、その後各情報デバイスとのインタラクション操作を行うために、各情報デバイスの対話型インタフェースを表示画面上のそれらのイメージング位置にそれぞれ表示させる。これにより、ユーザーは、いつでもどこでも視野内の情報デバイスを制御し、且つデバイスインタラクション操作のＷＹＳＩＷＹＧ（見たままが得られる）を行うことができる。【選択図】図４
2021524119.tif 000002
【特許請求の範囲】
【請求項１】
光ラベルに基づく情報デバイスインタラクション方法であって、
Ｓ１）ユーザーが携帯している端末装置により光ラベルに対して画像収集を行って光ラベルに対する端末装置の初期位置及び姿態を確定することと、
Ｓ２）確定された端末装置の位置と予め標定された、光ラベルに対する各情報デバイスの位置に基づいて端末装置と各情報デバイスの間の相対位置を確定することと、
Ｓ３）確定された端末装置の姿態及びそれと各情報デバイスの間の相対位置に基づいて前記端末装置の表示画面上の各情報デバイスのイメージング位置を計算することと、
Ｓ４）各情報デバイスとのインタラクション操作を行うために、各情報デバイスの対話型インタフェースを表示画面上のそれらのイメージング位置にそれぞれ表示させることとを含むことを特徴とする光ラベルに基づく情報デバイスインタラクション方法。
【請求項２】
端末装置の位置及び／又は姿態の変化に応じて、前記端末装置の表示画面上の各情報デバイスのイメージング位置を調整することをさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
情報デバイスの対話型インタフェースに対するユーザーの操作を識別することと、
識別された操作を対応する操作命令に変換し、ネットワークを介して当該情報デバイスに送信することとをさらに含むことを特徴とする請求項１に記載の方法。
【請求項４】
情報デバイスの対話型インタフェースに対するユーザーの操作は、画面入力、キーボード入力、音声入力又はジェスチャー入力のうちの少なくとも１つであることを特徴とする請求項３に記載の方法。
【請求項５】
光ラベルに基づく情報デバイスインタラクションシステムであって、
１つ又は複数の情報デバイスと、情報デバイスの比較的固定された位置にある光ラベルと、情報デバイス及び光ラベルに関連する情報を記憶するためのサーバーと、イメージング装置を備えた端末装置とを含み、
ここで、端末装置は、
光ラベルに対して画像収集を行って光ラベルに対する端末装置の初期位置及び姿態を確定し、
確定された端末装置の位置とサーバーから取得された、予め標定された、光ラベルに対する各情報デバイスの位置に基づいて端末装置と各情報装置の間の相対位置を確定し、
確定された端末装置の姿態及びそれと各情報デバイスの間の相対位置に基づいて前記端末装置の表示画面上の各情報デバイスのイメージング位置を計算し、
各情報デバイスとのインタラクション操作を行うために、各情報装置の対話型インタフェースを表示画面上のそれらのイメージング位置にそれぞれ表示させるように構成されることを特徴とする光ラベルに基づく情報デバイスインタラクションシステム。
【請求項６】
前記端末装置はさらに端末装置の位置及び／又は姿態の変化に応じて、前記端末装置の表示画面上の各情報デバイスのイメージング位置を調整するように構成されることを特徴とする請求項５に記載のシステム。
【請求項７】
前記端末装置はさらに、
情報デバイスの対話型インタフェースに対するユーザーの操作を識別し、
識別された操作を対応する操作命令に変換し、ネットワークを介して当該情報デバイスに送信するように構成されることを特徴とする請求項５に記載のシステム。
【請求項８】
情報デバイスの対話型インタフェースに対するユーザーの操作は、画面入力、キーボード入力、音声入力又はジェスチャー入力のうちの少なくとも１つであることを特徴とする請求項７に記載のシステム。
【請求項９】
プロセッサとメモリを備え、前記メモリにコンピュータープログラムが記憶され、前記コンピュータープログラムが前記プロセッサに実行されると請求項１−４のいずれか一項に記載の方法の実現に用いられてもよいコンピューティングデバイス。
【請求項１０】
コンピュータープログラムを記憶し、前記コンピュータープログラムが実行されると請求項１−４のいずれか一項に記載の方法の実現に用いられてもよい記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は光情報技術及び位置サービス分野に関し、より具体的には、光ラベルを使用してデバイスインタラクションを行うための方法及びシステムに関する。本明細書では、光ラベルは光通信装置とも呼ばれる。
【背景技術】
【０００２】
モバイルインターネット、モノのインターネット技術、ビッグデータなどの技術の継続的な発展に伴い、スマートホーム業界は急速な発展を遂げ、デジタル化、ネットワーク化、インテリジェント化機能を備えた多くの情報家庭用電気デバイスが登場し、これらの情報家庭用電気デバイスは相互にネットワーク化することができ、且つネットワークを介してインタラクション制御を行うこともできる。携帯電話などのスマートポータブルデバイスの普及に伴い、多くのスマートホームシステムは、携帯電話を使用してユーザーによる家庭用電気デバイスの制御を支援するため、ユーザーの携帯電話がネットワークに接続できる限り、いつでもどこでもネットワークを介して自宅の電気デバイスを制御することができる。しかしながら、電気デバイスが多い場合、ユーザーは、携帯電話で常に閲覧及び選択する必要があり、このような操作が面倒であるため、ユーザーが拒絶感を覚えやすい。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上記問題に対して、本発明は、ユーザーがいつでもどこでも視野内のデバイスを制御し、且つデバイスインタラクション操作のＷＹＳＩＷＹＧ（見たままが得られる）を達成することができるように、新しい光ラベルに基づく情報デバイスインタラクション方法及びシステムを提供する。
【課題を解決するための手段】
【０００４】
本発明の目的は、以下の技術的解決策により達成される：
一態様では、本発明は光ラベルに基づく情報デバイスインタラクション方法を提供する。当該方法は、
Ｓ１）ユーザーが携帯している端末装置により情報デバイスの比較的固定された位置にある光ラベルに対して画像収集を行って光ラベルに対する端末装置の初期位置及び姿態を確定することと、
Ｓ２）確定された端末装置の位置と予め標定された、光ラベルに対する各情報デバイスの位置に基づいて端末装置と各情報装置の間の相対位置を確定することと、
Ｓ３）確定された端末装置の姿態及びその各情報デバイス間の相対位置に基づいて前記端末装置の表示画面上の各情報デバイスのイメージング位置を計算することと、
Ｓ４）各情報デバイスとのインタラクション操作を行うために、各情報装置の対話型インタフェースを表示画面上のそれらのイメージング位置にそれぞれ表示することとを含む。
【０００５】
上記方法では、端末装置の位置及び／又は姿態の変化に応じて、前記端末装置の表示画面上の各情報デバイスのイメージング位置を調整することをさらに含むことができる。
上記方法では、
情報デバイスの対話型インタフェースに対するユーザーの操作を識別することと、
識別された操作を対応する操作命令に変換し、ネットワークを介して当該情報デバイスに送信することをさらに含むことができる。
上記方法では、情報デバイスの対話型インタフェースに対するユーザーの操作は、画面入力、キーボード入力、音声入力又はジェスチャー入力のうちの少なくとも１つであってもよい。
【０００６】
別の態様では、本発明はさらに光ラベルに基づく情報デバイスインタラクションシステムを提供する。当該システムは、１つ又は複数の情報デバイスと、情報デバイスの比較的固定された位置にある光ラベルと、情報デバイス及び光ラベルに関連する情報を記憶するためのサーバー、イメージング装置を備えた端末装置とを含み、
ここで、端末装置は、
アクセスされる情報デバイスの比較的固定された位置にある光ラベルに対して画像収集を行って光ラベルに対する端末装置の初期位置及び姿態を確定し、
確定された端末装置の位置とサーバーから取得された、予め標定された、光ラベルに対する各情報デバイスの位置に基づいて端末装置と各情報デバイスの間の相対位置を確定し、
確定された端末装置の姿態及びそれと各情報デバイスの間の相対位置に基づいて前記端末装置の表示画面上の各情報デバイスのイメージング位置を計算し、
各情報デバイスとのインタラクション操作を行うために、各情報デバイスの対話型インタフェースを表示画面上のそれらのイメージング位置にそれぞれ表示させるように構成される。
【０００７】
上記システムでは、前記端末装置はさらに端末装置の位置及び／又は姿態の変化に応じて、前記端末装置の表示画面上の各情報デバイスのイメージング位置を調整するように構成されてもよい。
【０００８】
上記システムでは、前記端末装置はさらに、
情報デバイスの対話型インタフェースに対するユーザーの操作を識別し、
識別された操作を対応する操作命令に変換し、ネットワークを介して当該情報デバイスに送信するように構成されてもよい。
上記システムでは、情報デバイスの対話型インタフェースに対するユーザーの操作は、画面入力、キーボード入力、音声入力又はジェスチャー入力のうちの少なくとも１つであってもよい。
【０００９】
本発明は、さらにプロセッサとメモリを備え、前記メモリにコンピュータープログラムが記憶され、前記コンピュータープログラムが前記プロセッサに実行されると上記方法の実現に用いられてもよいコンピューティングデバイスに関する。
【００１０】
本発明はさらにコンピュータープログラムを記憶し、前記コンピュータープログラムが実行されると上記方法の実現に用いられてもよい記憶媒体に関する。
【図面の簡単な説明】
【００１１】
以下に図面を参照して本発明の実施例をさらに説明する。ここで、
【図１】三角測量法の基本原理の概略図である。
【図２】光ラベルが収集される時のイメージング装置のイメージングプロセスの原理の概略図である。
【図３】オブジェクト座標系とイメージ座標系の間の簡略化された関係の概略図である。
【図４】本発明の実施例による光ラベルに基づく情報デバイスインタラクション方法のフローチャートである。
【発明を実施するための形態】
【００１２】
本発明の目的、技術的解決策及び利点をより明確にするために、以下に添付の図面を組み合わせて具体的な実施例で本発明をさらに詳細に説明する。ここで説明される具体的な実施例が本発明を説明するためのものだけであるが、本発明を限定するものではないことは理解すべきである。
【００１３】
バーコードと２次元コードは、情報を符号化するために広く採用されている。これらのバーコードと２次元コードが特定のデバイス又はソフトウェアでスキャンされると、対応する情報は識別される。しかしながら、バーコードと２次元コードの識別距離は非常に制限される。例えば、２次元コードの場合、それが携帯電話のカメラでスキャンされると、当該携帯電話は通常、１つの近い距離内に配置される必要があり、当該距離が通常、２次元コードの幅の約１５倍だけである。したがって、長距離識別（例えば２次元コードの幅の２００倍に相当する距離）の場合、バーコードと２次元コードで通常実現できなく、又は非常に大きなバーコードと２次元コードをカスタマイズする必要があるが、これにより、コストが増加し、且つ多くの場合で他の様々な制限のため、達成できない。
【００１４】
光ラベルは、異なる光を発して情報を伝達し、長距離、低い可視光条件、強い指向性、位置決め可能などの利点を有し、且つ光ラベルで伝達される情報は、時間の経過とともに急速に変化することができ、これにより、より大きな情報容量を提供することができる（例えば中国特許公開第１０４１６８０６０号明細書、中国特許公開第１０５７４０９３６号明細書などで記載されている光通信装置）。従来の２次元コードと比較して、光ラベルはより強い情報インタラクション能力を備えているので、ユーザーと業者に大きな利便性を与えることができる。
【００１５】
本発明の実施例では、光ラベルは異なる光を発して異なる情報を伝送することができるいずれかの光通信装置であってもよい。１つの実施例では、光ラベルは少なくとも１つの光源とコントローラを含むことができ、コントローラが前記光源から発された異なる光を制御して異なる情報を伝達することに用いられる。例えば、コントローラは、光源から発された光の属性を変更することにより、光源に異なる光を発させることができる。光の属性は、光学イメージング装置（例えばＣＭＯＳイメージング装置）で感知できる任意の属性であってもよく、例えば、光の強度、色、波長などの人間の目で感知できる属性であってもよく、人間の目の可視範囲外の電磁波長の強度、色又は波長変更などの人間の目で感知できない他の属性、又は上記属性の任意の組み合わせであってもよい。したがって、光の属性変更は、単一の属性変更であってもよく、２つ以上の属性の組み合わせの変更であってもよい。光の強度を属性として選択する場合、光源のオン又はオフを選択することで簡単に実現することができる。以下では、簡単にするために、光源をオン又はオフにして光の属性を変更するが、当業者は、光の属性を変更するための他の方式も実行可能であることを理解することができる。
【００１６】
当該光ラベルでは、光学イメージング装置で感知できるある属性が異なる周波数で変更できる限り、様々な形態の光源を使用することができる。光源には、ライトガイドプレート、ソフトライトプレート、ディフューザーなどの各種の一般的な光学装置が含まれてもよい。例えば、光源は、１つのＬＥＤライト、複数のＬＥＤライトで構成されたアレイ、表示画面、又はそのうちの一部であってもよく、さらには、光照射領域（例えば壁上の光照射領域）も光源として使用されてもよい。当該光源の形状は、円形、正方形、矩形、ストライプ状、Ｌ字状などの様々な形状であってもよい。
【００１７】
１つの実施例では、当該光ラベルのコントローラは、情報を伝達するように、各光源から発された光の属性を制御することができる。例えば、バイナリデジタル情報の「０」又は「１」が各光源のオンとオフを制御することで表されてもよいため、当該光ラベルにおける複数の光源は、１つの２進数デジタル情報シーケンスを表すことに用いられてもよい。当業者が理解できるように、各光源は、１つの２進数だけでなく、３進数以上のデータを表すことに用いられてもよい。例えば、光源から発された光の強さを３つ以上のレベルから選択するように設定すること、又は光源から発された光の色を３つ以上の色から選択するように設定すること、さらには強度と色の組み合わせにより、各光源は、３進数以上のデータを表すことができる。したがって、従来の２次元コードと比較して、本発明の光ラベルはデータの符号化密度を大幅に向上させることができる。
【００１８】
別の実施例では、当該光ラベルのコントローラは発された光の属性を一定の周波数で変更するように光源を制御することができ、したがって、本発明の光ラベルは、異なる時間で異なるデータ情報、例えば異なる２進数デジタル情報シーケンスを表すことができる。これにより、光学イメージング装置を使用して本発明の光ラベルを連続的（例えば、３０フレーム／秒の速度で）に撮影する場合、その各フレームの画像は、１グループの情報シーケンスを表すことに用いられてもよく、そのため従来の静的２次元コードと比較して、そのデータ符号化密度をさらに大幅に向上させることができる。
【００１９】
本出願の実施例では、本分野の一般的な光学イメージング装置又は画像収集装置を使用して光ラベルをイメージングし、各フレームの画像から、伝達された情報、例えば、２進数データ１又はデータ０の情報シーケンスを確定し、それによって光ラベルから光学イメージング装置への情報伝達を実現することができる。光学イメージング装置又は画像収集装置は、画像収集素子、プロセッサとメモリなどを含むことができる。光学イメージング装置又は画像収集装置は例えば、携帯電話、タブレットコンピュータ、スマートメガネなどを含む、撮影機能を備えた移動端末であってもよく、画像取得装置と画像処理モジュールを含むことができる。ユーザーは、光ラベルからの視距離範囲内で光ラベルを裸眼で見つけ、移動端末のイメージングセンサーを光ラベルに向けることで、当該光ラベルをスキャンし、情報キャプチャと解釈処理を行う。光ラベルのコントローラが、発される光の属性を一定の周波数で変更するように光源を制御する場合、移動端末の画像収集周波数は、光源の属性変換周波数の２倍以上に設定されてもよい。収集された画像フレームを復号することにより、識別及び復号プロセスを完了することができる。１つの実施例では、画像フレームの重複、漏れなどを回避するために、光ラベルで伝達される情報にシリアル番号、チェックビット、タイムスタンプなどを含ませることができる。必要に応じて、複数の画像フレームの１つの完全な周期の開始位置又は終了位置を示すために、開始フレーム又は終了フレーム、又はその両方を複数の画像フレームで与えることができ、当該開始フレーム又は終了フレームがある特殊なデータ組み合わせ、例えば全０又は１、又は実際に表示される可能性がある情報と同じではないいかなる特殊な組み合わせに設定されてもよい。
【００２０】
ＣＭＯＳイメージング装置を例とすると、ＣＭＯＳイメージング装置により光源の連続したマルチフレーム画像を撮影する場合、光源の動作モード間の切り替え時間間隔がＣＭＯＳイメージング装置の１つの完全なフレームのイメージング時間と等しくなるように、コントローラにより制御することができ、それによって光源とイメージング装置のフレーム同期を実現する。各光源が１フレームあたり１ビットの情報を伝送すると仮定すると、３０フレーム／秒の撮影速度の場合、各光源は１秒あたり３０ビットの情報を伝達することができ、符号化空間が２３０に達し、当該情報が例えば、開始フレームマーク（フレームヘッダー）、光ラベルのＩＤ、パスワード、検証コード、ウェブサイト情報、アドレス情報、タイムスタンプ又はそれらの異なる組み合わせなどを含むことができる。構造化方法に従って上記の様々な情報の順序関係を設定し、データパケット構造を形成することができる。１つの完全な当該データパケット構造が受信されるたびに、１グループの完全なデータ（１つのデータパケット）を取得したと見なされ、さらにそれを読み取って検証及び分析することができる。表１は、本発明の１つの実施例による例示的なデータパケット構造を示す。
【００２１】
【表１】
2021524119.tif 000003
【００２２】
従来の２次元コードと比較して、上記光ラベルは、異なる光を発して情報を伝達し、長距離、低い可視光条件、強い指向性、位置決め可能などの利点を有し、且つ光ラベルで伝達される情報は、時間の経過とともに急速に変化することができ、これにより、大きな情報容量を提供することができる。したがって、光ラベルはより強い情報インタラクション能力を備えているので、ユーザーと業者に大きな利便性を与えることができる。光ラベルに基づいてユーザーと業者に対応するサービスを提供するために、各光ラベルには一意の識別子（ＩＤ）が割り当てられ、当該識別子は光ラベルの製造者、管理者及びユーザーなどによって光ラベルを一意に識別又は標識することに用いられる。通常、その識別子が光ラベルによって発行されてもよく、ユーザーは、例えば携帯電話に内蔵された画像収集装置又はイメージング装置を使用して光ラベルに対して画像収集を行い、当該光ラベルで伝達された情報（例えば識別子）を取得することができ、これにより、当該光ラベルによるサービスにアクセスすることができる。
【００２３】
本発明の実施例では、上記光ラベルに基づき、当該光ラベルをスキャンするイメージング装置を精確に位置決めすることができる（逆位置決め又は相対位置決めとも呼ばれる）。例えば、光ラベルの地理的位置情報は、例えば、サーバー上に予め登録されてもよい。光ラベルは、動作プロセスにその標識情報（ＩＤ情報など）を伝達することができ、イメージング装置は、光ラベルをスキャンすることで当該ＩＤ情報を取得することができ、イメージング装置が光ラベルのＩＤ情報を取得した後、ＩＤ情報を使用してサーバーにクエリすると、光ラベルに対応する地理的位置を取得し、それによって逆位置決めを行ってイメージング装置の具体的な位置を確定することができる。選択可能に、物理的サイズ情報、物理的形状情報及び／又は向き情報などの、光ラベルの他の関連情報はサーバーに予め登録されてもよい。一つの実施例では、光ラベルは、統一又はデフォルトの物理的サイズ又は形状を有することができ、且つユーザーは、当該物理的サイズ又は形状を知ることができる。
【００２４】
各種の実行可能な逆位置決め方法を使用してユーザー（実際にはユーザーのイメージング装置）と光ラベルの間の相対的な位置関係を確定することができる。例えば、イメージング装置と光ラベルの間の相対距離を確定し（例えば光ラベルのイメージングサイズ、又は携帯電話上の測距機能を備えたいかなるアプリケーションにより）、そして２つ以上の光ラベルを使用して三角測量によりイメージング装置といずれかの光ラベルの間の相対位置距離を確定することができる。イメージング装置と光ラベルの間の相対距離を確定し、イメージング装置上にイメージングされた光ラベルの透視変形を分析してイメージング装置と光ラベルの間の相対的な位置関係を確定することもできる。イメージング装置と光ラベルの間の相対的な位置関係を確定する時に、光ラベルの物理サイズ情報及び／又は向き情報などをさらに使用することができる。当該物理的サイズ情報及び／又は向き情報は光ラベルの標識情報に関連してサーバーに記憶されてもよい。
【００２５】
例えば、一つの実施例では、少なくとも２つの光ラベルを使用して位置決めすることができる。各光ラベルに対して、次のステップを実行することができる。
【００２６】
ステップ１で、イメージング装置を使用して光ラベルのＩＤ情報を収集する。
【００２７】
ステップ２で、当該ＩＤ情報によって光ラベルの物理的サイズ情報と地理的位置情報をクエリして取得する。
【００２８】
ステップ３で、イメージング装置のデフォルトの焦点距離で撮影して光ラベルを得る。イメージング装置のデフォルトの焦点距離が使用されるため、撮影された光ラベル画像はぼやける可能性がある。
【００２９】
ステップ４で、イメージング装置の焦点距離を調整及び最適化して光ラベルの鮮明な画像を取得する。例えば、デフォルトの焦点距離に基づき、まず焦点距離を増やして試み、光ラベル画像が鮮明になる場合、焦点距離を増やし続け、光ラベル画像がぼやける場合、逆方向に調整し、即ち焦点距離を短くし、逆も同様である。焦点距離調整プロセスでは、光ラベル画像の鮮明度を確定するために、光ラベル画像に対してテクスチャ特徴抽出を行い、光ラベル画像が鮮明であるほど、それに対応するテクスチャ情報が簡単になり、テクスチャの密度が低くなり、したがって、光ラベル画像のテクスチャ密度に応じて最適な焦点距離パラメータを確定することができ、複数回繰り返してもより小さいテクスチャ密度を取得することができない場合、テクスチャ密度が最も小さい画像をクリア画像とみなし、取得された最小のテクスチャ密度に対応する焦点距離パラメータを最適焦点距離パラメータとすることができる。
【００３０】
ステップ５で、最適な焦点距離パラメータに基づき、光ラベルの鮮明な画像を撮影し、その後、簡単なレンズオブジェクトイメージ式とオブジェクトイメージの関係を使用し、光ラベルの鮮明な画像のサイズ、光ラベルの物理的サイズと最適な焦点距離パラメータに基づいてイメージング装置と光ラベルの間の相対距離を計算することができる。
【００３１】
イメージング装置と少なくとも２つの光ラベルのそれぞれの間の相対距離を取得した後、三角測量法を使用してイメージング装置の具体的な位置情報、即ち物理世界座標系におけるイメージング装置の具体的な座標を確定することができる。図１は２つの光ラベル（光ラベル１と光ラベル２）を使用して三角測量を行う三角測量法の概略図である。
【００３２】
また、２つの光ラベルを使用して三角測量を行う場合、通常、２つの候補位置を取得する。この場合、これら２つの候補位置から選択する必要がある可能性がある。１つの実施形態では、イメージング装置（例えば携帯電話）自体の位置情報（例えばＧＰＳ情報）と組み合わせてその中の１つの候補位置を選択することができる。例えば、ＧＰＳ情報により近い１つの候補位置を選択することができる。別の実施形態では、各光ラベルの向き情報をさらに考慮することができ、当該向き情報が実際には光ラベルを観察できる領域を限定し、したがって、当該向き情報に基づいてその中の１つの候補位置を選択することができる。光ラベルの向き情報は同様にサーバーに記憶されてもよく、光ラベルのＩＤ情報によってクエリして取得されてもよい。上記実施例では、２つの光ラベルが例として説明されるが、当業者は、上述した三角測量に基づく方法が同様に３つ以上の光ラベルの場合にも適用できることを理解できる。実際には、３つ以上の光ラベルを使用すると、より正確な位置決めを実現でき、通常、複数の候補ポイントがない。
【００３３】
別の実施例では、以下の逆位置決め方法を使用することもでき、当該実施例では、少なくとも２つの光ラベルを使用する必要がないが、１つの光ラベルを使用して逆位置決めを行うことができる。当該実施例の方法は以下のステップを含む。
【００３４】
ステップ１で、イメージング装置を使用して光ラベルのＩＤ情報を収集する。
【００３５】
ステップ２で、当該ＩＤ情報によって光ラベルの地理的位置情報及びその上の複数のポイントの関連情報を取得する。当該関連情報は例えば光ラベル上のこれらのポイントの位置情報及びそれらの座標情報である。
【００３６】
ステップ３で、光ラベルをイメージング装置のデフォルトの焦点距離で撮影して光ラベルの画像を得る。例えば、上述したように、光ラベル画像のテクスチャの密度に応じて最適な焦点距離パラメータを確定することができ、複数回繰り返してもより小さいテクスチャ密度を取得することができない場合、テクスチャ密度が最も小さい画像を鮮明な画像とみなし、取得された最も小さいテクスチャ密度に対応する焦点距離パラメータを最適な焦点距離パラメータとすることができる。
【００３７】
ステップ４で、最適な焦点距離パラメータに基づき、光ラベルの鮮明な画像を撮影し、以下に説明される逆位置決めを実現する。
【００３８】
図２を参照すると、図２はイメージング装置上の光ラベルのイメージングプロセスの概略図である。光ラベルのセントロイドを原点としてオブジェクト座標系（Ｘ、Ｙ、Ｚ）を確立し、イメージング装置の位置Ｆｃを原点としてイメージ座標系（ｘ、ｙ、ｚ）を確立し、オブジェクト座標系が物理世界座標系とも呼ばれ、イメージ座標系がカメラ座標系とも呼ばれる。また、イメージング装置によって収集された光ラベルの画像の左上隅のポイントを座標の原点とし、光ラベルのイメージ平面に２次元座標系（ｕ、ｖ）を確立してイメージング平面座標系を呼び、当該イメージ平面と光軸（即ちＺ軸）の交点が主点であり、（ｃｘ、ｃｙ）がイメージ平面座標系における主点の座標である。光ラベル上の任意のポイントＰはオブジェクト座標系における座標が（Ｘ、Ｙ、Ｚ）であり、イメージポイントｑに対応し、そのイメージ座標系における座標が（ｘ、ｙ、ｚ）であり、イメージ平面座標系における座標が（ｕ、ｖ）である。イメージングプロセスでは、オブジェクト座標系に対するイメージ座標系の変位だけでなく、角度の回転、オブジェクト座標系（Ｘ、Ｙ、Ｚ）とイメージ座標系（ｘ、ｙ、ｚ）の関係も次のように表されてもよい。
【００３９】
2021524119.tif 000004
【００４０】
変数の定義は        ｘ´＝ｘ／ｚ        、        ｙ´＝ｙ／ｚ        であり、そのため、イメージ平面座標系における座標は、
ｕ＝ｆｘ*ｘ´＋ｃｘ    且つ    ｖ＝ｆｙ*ｙ´＋ｃｙ    （２）
【００４１】
ここで、ｆｘとｆｙはそれぞれｘ軸とｙ軸方向のイメージング装置の焦点距離であり、ｃｘ、ｃｙはイメージ平面座標系における主点の座標であり、ｆｘ、ｆｙ、ｃｘ、ｃｙは、全てイメージング装置内部のパラメータであり、予め測定されてもよい。回転行列Ｒと変位ベクトルｔはそれぞれイメージ座標系に対するオブジェクト座標系の姿態情報（即ち光ラベルに対するイメージング装置の姿態、つまり光ラベルに対するイメージング装置の中軸線の偏向であり、光ラベルに対するイメージング装置の向きとも呼ばれ、例えば、イメージング装置が光ラベルに対向する場合、Ｒ＝０）と変位情報（即ちイメージング装置と光ラベルの間の変位）を表す。３次元空間では、回転がそれぞれの座標軸を中心とした２次元回転に分解されてもよく、ｘ、ｙ、ｚ軸を中心として角度ψ、φ、θ順次回転すると、回転行列Ｒの合計は３つの行列Ｒｘ（ψ）となり、Ｒｙ（φ）、Ｒｚ（θ）の積、即ちＲ＝Ｒｘ（ψ）＊Ｒｙ（φ）＊Ｒｚ（θ）、ここで、
【００４２】
2021524119.tif 000005
【００４３】
簡単にするために、本分野でよく知られているので、計算されなく、回転行列は単純に次のように書かれている：
【００４４】
2021524119.tif 000006
【００４５】
変位量ｔは、単純に次のように書かれてもよく、即ち
【００４６】
2021524119.tif 000007
【００４７】
それによって次の関係式を得る：
【００４８】
2021524119.tif 000008
【００４９】
ここで、ｓはオブジェクトイメージ変換係数であり、イメージ平面のサイズとイメージング装置の解像度の比率に等しく、これも知られている。
【００５０】
ステップ２で取得された光ラベル上の複数のポイント（例えば少なくとも４つのポイントＡ、Ｂ、Ｃ及びＤ）の関連情報（例えば、光ラベル上のこれらのポイントの位置情報）に基づいて光ラベル上のこれらのポイントのイメージポイント、例えばＡ，、Ｂ，、Ｃ，、Ｄ，を確定する。これら４つのポイントＡ、Ｂ、ＣとＤは例えばそれぞれ光ラベルの左右両側に位置してもよく、又は光ラベルの四隅に位置する４つの別々の点光源などであってもよい。当該４つのポイントの座標情報（ＸＡ、ＹＡ、ＺＡ）、（ＸＢ、ＹＢ、ＺＢ）、（ＸＣ、ＹＣ、ＺＣ）と（ＸＤ、ＹＤ、ＺＤ）も上記ステップ２で取得される。イメージ平面座標系における対応する４つのイメージポイントＡ，、Ｂ，、Ｃ，及びＤ，の座標（ｕＡ，、ｖＡ，）、（ｕＢ，、ｖＢ，）、（ｕＣ，、ｖＣ，）と（ｕＤ，、ｖＤ，）を上記の関係式（３）に代入して、回転行列Ｒと変位ベクトルｔを解くことにより、オブジェクト座標系（Ｘ、Ｙ、Ｚ）とイメージ座標系（ｘ、ｙ、ｚ）の間の関係を得る。この関係に基づき、光ラベルに対するイメージング装置の姿態情報と変位情報を取得することができ、それにより、イメージング装置に対する位置決めを実現する。図３はオブジェクト座標系とイメージ座標系の間の関係を簡略化して示す。次に、上記ステップ２で取得された光ラベルの地理的位置情報に基づき、回転行列Ｒと変位ベクトルｔによってイメージング装置の実際の具体的な位置と姿態を計算することができ、変位ベクトルｔによってイメージング装置の具体的な位置を確定し、回転行列Ｒによって光ラベルに対するイメージング装置の姿態を確定する。
【００５１】
本発明の１つの実施例では、光ラベルに基づく情報デバイスインタラクション制御システムが提供される。当該システムでの情報デバイスはネットワークを介してインタラクション制御を行うことができる任意のコンピューティングデバイスを指し、情報家庭用電子デバイス又は家庭用デバイスを含むがこれらに限定されない。各情報デバイスは１つ以上の光ラベルに関連付けられてもよく、各光ラベルは１つ以上の情報デバイスに関連付けられてもよい。光ラベルは当該情報装置に設けられてもよく、又は当該情報デバイスと比較的固定された位置に配置されてもよい。光ラベルの物理的位置及び光ラベルに対する情報デバイスの位置などは、予め標定される。光ラベル及びそれに関連付けられた情報デバイスの関連情報は、クエリのためにサーバーに保存されてもよい。光ラベルに関連付けられた情報は、例えば、光ラベルのＩＤ情報、光ラベルの物理的世界座標、物理的サイズ、向き、当該光ラベルに関連付けられた情報デバイス識別子、光ラベル上の複数のポイントの位置情報及びそのオブジェクト座標などの情報を含むことができる。情報デバイスに関連付けられた情報は、例えば、当該情報デバイスの識別子、それに関連付けられた光ラベルのセントロイドを原点として確立されたオブジェクト座標系における情報デバイスの座標、当該情報デバイスとそれに関連付けられた光ラベルの間の相対位置情報、当該情報デバイスの操作インタフェース、当該情報デバイスの説明情報、サイズ、向きなどを含むことができる。
【００５２】
ユーザーが自分の視野内のある情報デバイスとのインタラクションを望む場合、自分で携帯している端末機器（例えば携帯電話など）のイメージング装置を使用して当該情報デバイスに関連付けられた光ラベルに対して画像収集を行って当該光ラベルのＩＤ情報を取得することができる。次に端末装置は、当該光ラベルＩＤ情報に基づいてサーバーから光ラベルに関連付けられた情報デバイスに関連する情報を取得することができ、当該情報デバイスの対話型インタフェースを端末装置の表示画面上の当該情報デバイスの位置に表示させることができる。このようにして、ユーザーは、当該情報デバイス上又はその近くに重ねられた対話型インタフェースを介して当該情報デバイスに対して関連するインタラクション制御操作を行うことができる。好ましくは、情報デバイスの対話型インタフェースを端末装置の表示画面上の当該情報デバイスが現在表示されている位置に表示させる前に、まず当該光ラベルに関連付けられたいずれかの情報デバイスが端末装置の表示画面に表示されるか否かを判定し、判定結果が、端末装置の表示画面に表示されることである場合、さらに表示画面上の当該情報デバイスのイメージング位置を確定し、例えば表示画面にイメージングする時の当該情報デバイスの２次元のイメージ平面座標を確定することができる。
【００５３】
上記目的を達成するために、まず上記の逆位置決め方法を使用して、ユーザーが携帯している端末装置と光ラベルの間の初期相対位置関係を確定し、それによってユーザーの端末装置の初期位置と初期向きを確定することができる。さらに、光ラベルの物理的位置及び光ラベルに対する各情報デバイスの位置が予め標定されるので、端末デバイスの初期位置及び予め記憶された標定情報に基づいてユーザーの端末装置と各情報デバイスの間の初期相対位置関係を確定することができる。ユーザーの端末装置と各情報デバイスの間の初期相対位置関係及び端末装置の初期向きに基づき、当該光ラベルに関連付けられた現在のいずれかの情報デバイスが端末装置の表示画面に表示されるか否かを確定することができ、そして判定結果が表示である場合でさらに表示画面上の当該情報デバイスのイメージング位置を確定することができる。ユーザーが制御される情報デバイスが現在の表示画面に表示されないことを望む場合、ユーザーは、当該情報デバイスが表示画面に表示できるように、端末装置を前記初期位置から移動することができ、例えば、ユーザーは、カメラが最終的に当該情報デバイスに向くように、端末装置を水平移動又は回転することができる。端末装置が前記初期位置から移動する場合、従来の様々な方式によって端末装置の位置と姿態の変化を検出し（例えば端末装置に内蔵された加速度センサー、ジャイロスコープなどのセンサーによって監視し）、移動後の端末装置の位置情報と向き情報を確定することができ、当該位置情報と向き情報に基づき、現在のどの情報装置が端末装置の表示画面に表示されるか、それらのそれぞれの表示位置を確定することができる。さらに、これらの情報デバイスの対話型インタフェースを表示画面上のそれらのイメージング位置にそれぞれ重ね合わせることで、各情報デバイスに対するインタラクション操作のＷＹＳＩＷＹＧ（見たままが得られる）を実現することができる。
【００５４】
１つの実施例では、上述したように、イメージング装置を使用して光ラベルに対して画像収集を行う場合、光ラベルのセントロイドを原点として確立された物理世界オブジェクト座標系（Ｘ、Ｙ、Ｚ）とイメージング装置の位置を原点として確立されたカメラ座標系（ｘ、ｙ、ｚ）の間に一定の変換関係（例えば式（１））があり、回転行列Ｒと変位ベクトルｔで説明されてもよい。カメラ座標系とカメラ画面に収集された光ラベルの画像の左上隅のポイントを原点とする２次元イメージ平面座標系（ｕ、ｖ）の間にも一定の変換関係（例えば式（２））があり、イメージング装置内部のパラメータによって決定される。これにより、回転行列Ｒと変位ベクトルｔ、及びイメージング装置内部のパラメータが確定された後、物理世界座標とイメージ平面座標の間の変換関係（例えば式（３））もそれに応じて確定され、当該変換関係は、投影関係とも呼ばれ、イメージング平面における、物理世界座標系のある位置にある実際のオブジェクトの投影位置を確定することに用いられてもよい。
【００５５】
以上に逆位置決め法及び式（１）−（３）と組み合わせて説明したように、イメージング装置によって収集された光ラベル画像及びサーバーから取得された光ラベルに関連する情報に基づいて光ラベルに対するイメージング装置の具体的な位置と向きを確定するプロセスでは、式（３）における回転行列Ｒと変位ベクトルｔ、及びイメージング装置内部のパラメータが既に確定され、そのため当該式によって各情報デバイスのイメージ平面座標を確定することができる。光ラベルの物理的位置、及び光ラベルと情報デバイスの間の相対位置が予め設定されるため、光ラベルと情報デバイスの間の相対位置によって物理世界座標系における各情報デバイスのオブジェクト座標を確定し、それを式（３）に代入するとイメージング平面における当該情報デバイスのイメージ平面座標を得ることができ、次に情報デバイスのイメージ平面座標に基づいて当該情報デバイスの対話型インタフェースをユーザーによる使用のために端末装置の画面に表示することができる。別の実施例では、当該情報デバイスのアイコンを、ユーザーによる選択のために端末装置の画面で情報デバイスに重ね合わせることもでき、ユーザーがアイコンをクリックして操作したい情報デバイスを選択する場合、ユーザーが当該情報デバイスを操作及び制御するように、当該情報デバイスの対話型インタフェースを端末装置の画面に表示させる。アイコンが互いに遮る場合、前方のアイコンを半透明にするか、最も前方にあるアイコンの付近に数字プロンプトによって当該位置に複数のアイコンが重なっていることを示すことができる。
【００５６】
当該システムでは、ユーザーが携帯している端末装置の移動に伴い、光ラベルと情報デバイスの位置及び向きに対する物理世界での端末装置のイメージング位置が変化し、端末装置のイメージング平面に表示されている情報デバイスの位置も変化する。したがって、端末装置の位置と姿態をリアルタイムで検出し、上記の回転行列Ｒと変位ベクトルｔを適時に調整して情報デバイスの正確なイメージ平面座標の取得を確保する必要がある。端末装置は様々な方式によって自体位置と姿態の変化を監視することができる。例えば、端末装置は、光ラベルを基準ポイントとし、現在のイメージング装置によってキャプチャされた画像を前の画像と比較し、画像の違いを識別して計算し、それによって特徴点を形成し、これらの特徴点を使用して自体の位置と姿勢の変化を計算することができる。別の例として、携帯電話などの端末装置は、内蔵された加速度センサー、ジャイロスコープなどの慣性測定センサーによって測定された値を通じて現実世界でのカメラの位置と向きの変化を経時的に推定することができる。次に、端末装置の現在の位置と向きに基づいて回転行列Ｒと変位ベクトルｔを調整し、その後情報デバイスの現在のイメージ平面座標を新たに取得して関連するアイコン又はインタフェースを画面に表示させる。
【００５７】
ユーザーが、操作する必要がある情報デバイスを選択した後、様々な方式によって情報デバイスとのインタラクションを行うことができる。例えば、ユーザーは端末装置の画面に表示されている対話型インタフェースを介して情報デバイスを配置及び操作することができる。別の例として、情報デバイスの操作方式、例えば音声制御又はジェスチャー制御は予め定義されてもよい。情報デバイスの操作方式が音声制御として設定されている場合、ユーザーが当該情報デバイスを選択すると、端末装置は、音声入力を検出して音声識別を行い、受信された音声を操作命令に変換し、ネットワークを介して制御命令を情報デバイスに送信してそれを操作する。情報デバイスの操作方式がジェスチャー制御として設定されている場合、端末装置のイメージング装置又はユーザーの周囲の環境に取り付けられた撮影装置によってユーザーのジェスチャーをキャプチャすることができ、端末装置でジェスチャー識別を行ってそれを対応する操作命令に変換し、ネットワークを介して当該操作命令を送信して関連する情報デバイスを制御することができる。各情報デバイスの操作に関連するジェスチャーは予め定義されてもよく、例えばライトの操作に関連するジェスチャーは手のひらを開いてライトをオンにすること、拳でライトをオフにすること、指を上にスワイプして明るさを上げること、指を下にスワイプして明るさを下げることを含むことができる。
【００５８】
図４は本発明の１つの実施例による光ラベルに基づく情報デバイスインタラクション方法のフローチャートである。ステップＳ１）で、ユーザーが携帯している端末装置により情報デバイスの比較的固定された位置にある光ラベルに対して画像収集を行って光ラベルに対する端末装置の初期位置及び姿態を確定する。例えば、以上に説明された複数の逆位置決め方法を使用すると、光ラベルに対して画像収集を行うことで画像収集のためのイメージング装置と光ラベルの間の初期相対位置関係を取得することができ、それによって端末装置の初期位置と初期配向を確定する。ステップＳ２）で当該端末装置の初期位置及び上記の予め標定された、光ラベルに対する各情報デバイスの位置に基づき、端末装置と各情報装置の間の相対位置を確定し、次にステップＳ３）で表示画面上の各情報デバイスのイメージング位置を確定する。以上に逆位置決め法及び式（１）−（３）と組み合わせて説明したように、光ラベルの物理的位置及び光ラベルと情報デバイスの間の相対位置が予め設定され、イメージング装置によって収集された光ラベル画像及びサーバーから取得された光ラベルに関連する情報に基づいて光ラベルに対するイメージング装置の具体的な位置と姿態を確定するプロセスでは、式（３）における回転行列Ｒと変位ベクトルｔ、及びイメージング装置内部のパラメータが既に確定され、そのため当該式によって各情報装置のイメージ平面座標を確定することができる。したがって、光ラベルと情報デバイス間の相対位置によって物理世界座標系における各情報デバイスのオブジェクト座標を確定し、それを式（３）に代入するとイメージング平面における当該情報デバイスのイメージ平面座標を得ることができる。次に、ステップＳ４）で各情報デバイスとのインタラクション操作を行うために、各情報デバイスの対話型インタフェースを表示画面上のそれらのイメージング位置にそれぞれ重ね合わせることができる。
【００５９】
別の実施例では、ユーザーが制御される情報デバイスが現在の表示画面にないことを望む場合、ユーザーは、当該情報デバイスが表示画面に表示できるように、端末装置を前記初期位置から移動することができ、例えば、ユーザーは、カメラが最終的に情報デバイスに向くように、端末装置を水平移動又は回転することができる。端末装置が前記初期位置から移動する場合、端末装置の位置と姿態の変化を検出し、移動後の端末装置の位置情報と姿態情報を確定することができ、当該位置情報と姿態情報に基づき、現在のどの情報装置が端末装置の表示画面に表示されるか、それらのそれぞれの表示位置を確定することができる。さらに、これらの情報デバイスの対話型インタフェースを表示画面上のそれらの表示位置にそれぞれ重ね合わせることで、各情報デバイスに対するインタラクティブ操作のＷＹＳＩＷＹＧを実現することができる。ここで、端末装置は様々な方式によって自体の位置と姿態の変化を監視することができる。例えば、端末装置は、光ラベルを基準ポイントとし、現在のイメージング装置によってキャプチャされた画像を前の画像と比較し、画像の違いを識別して計算し、それによって特徴点を形成し、これらの特徴点を使用して自体の位置と姿勢の変化を計算することができる。別の例として、携帯電話などの端末装置は、内蔵された加速度センサー、ジャイロスコープなどの慣性測定センサーによって測定された値を通じて現実世界でのカメラの位置と向きの変化を経時的に推定することができる。次に、端末装置の現在の位置と向きに基づいて回転行列Ｒと変位ベクトルｔを調整し、その後情報デバイスの現在のイメージ平面座標を新たに取得して関連するアイコン又はインタフェースを画面に表示させる。
【００６０】
別の実施例として、当該方法は、情報デバイスの対話型インタフェースに対するユーザーの操作を識別し、当該操作を対応する操作命令に変換し、ネットワークを介して当該情報デバイスに送信することをさらに含むことができる。情報デバイスは、受信された関連操作命令に応じて対応する操作を実行することができる。ユーザーは様々な方式によって情報デバイスとのインタラクションを行うことができる。例えば、ユーザーは端末装置の画面に表示されている対話型インタフェースを介して情報デバイスを配置及び操作することができ、例えばタッチスクリーンを使用して入力したり、キーボードを使用して入力したりすることができる。別の例として、情報デバイスの操作方式、例えば音声制御又はジェスチャー制御は予め定義されてもよい。情報デバイスの操作方式が音声制御として設定されている場合、ユーザーが当該情報デバイスを選択すると、端末装置は、音声入力を検出して音声識別を行い、受信された音声を操作命令に変換し、ネットワークを介して制御命令を情報デバイスに送信してそれを操作する。情報デバイスの操作方式がジェスチャー制御として設定されている場合、端末装置のイメージング装置又はユーザーの周囲の環境に取り付けられた撮影装置によってユーザーのジェスチャーをキャプチャすることができ、端末装置でジェスチャー識別を行ってそれを対応する操作命令に変換し、ネットワークを介して当該操作命令を送信して関連する情報デバイスを制御することができる。各情報デバイスの操作に関連するジェスチャーは予め定義されてもよく、例えばライトの操作に関連するジェスチャーは手のひらを開いてライトをオンにすること、拳でライトをオフにすること、指を上にスワイプして明るさを上げること、指を下にスワイプして明るさを下げることを含むことができる。
【００６１】
本発明の実施例では、情報を伝達するために使用できる任意の光ラベル（又は光源）を使用することができる。例えば、本発明の方法は、ＣＭＯＳローリングシャッター効果に基づいて異なるストライプを介して情報を伝達する光源（例えば、中国特許公開第１０４１６８０６０号明細書に記載される光通信装置）に適用でき、中国特許公開第１０５７４０９３６号明細書に記載される光ラベルにも適用でき、ＣＣＤ感光性デバイスを介して伝達された情報を識別できる様々な光ラベルにも適用でき、又は光ラベル（又は光源）のアレイにも適用できる。
【００６２】
本明細書における「様々な実施形例」、「いくつかの実施例」、「１つの実施例」、又は「実施例」などへの参照は前記実施例と組み合わせて説明される特定の特徴、構造、又は性質が少なくとも１つの実施例に含まれることを指す。したがって、本明細書全体の様々な場所での「様々な実施例において」、「いくつかの実施例において」、「１つの実施例において」、又は「実施例において」という連語の出現は、必ずしも同じ実施例を指すとは限らない。また、特定の特徴、構造又は性質は１つ又は複数の実施例において任意の適切な方式で組み合わせられてもよい。したがって、１つの実施例で示され又は説明される特定の特徴、構造又は性質は、組み合わせが非論理的ではなく又は機能しない限り、１つ又は複数の他の実施例の特徴、構造、又は性質と全体的又は部分的に組み合わせることができる。本明細書で記載されている「Ａによる」又は「Ａに基づく」と同様の表現は、非排他的であることを意味し、即ち、「Ａによる」は、特に明記されていない限り、又は文脈が「Ａのみによる」としての意味を明確に知らない限り、「Ａのみによる」をカバーすることができ、又は「ＡとＢによる」をカバーすることもできる。本出願では明確に説明するために、いくつかの例示的な操作ステップを一定の順序で説明するが、当業者は、これらの操作ステップのそれぞれが必須ではなく、その中のいくつかのステップが省略されてもよく又は他のステップに置き換えられてもよいことを理解することができる。これらの操作ステップは、示されている方法で順次実行される必要がなく、逆に、これらの操作ステップの一部は、新しい実行方法が非論理的ではなく又は機能しない限り、実際のニーズに応じて異なる順序で実行されたり、並行して実行されたりすることができる。
【００６３】
本発明は好ましい実施例を通じて説明されたが、本発明は本明細書に記載される実施例に限定されず、本発明の範囲から逸脱することなく行われた様々な変更及び変形を含む。
【図１】
2021524119.tif 000009
【図２】
2021524119.tif 000010
【図３】
2021524119.tif 000011
【図４】
2021524119.tif 000012
【国際調査報告】
2021524119.tif 000013
2021524119.tif 000014
2021524119.tif 000015
2021524119.tif 000016