(57)【要約】  電子デバイス（１）が、カメラで捕捉される画像を取得する、センサのための場所を決定する、センサのために決定される場所に基づいて画像に対するセンサの検出ゾーンを決定する、及び、画像と、画像上に重畳されるセンサの仮想表現（５４）及び検出ゾーンの仮想表現（５５）とを表示するように構成される。電子デバイスは、ユーザが、センサのための少なくとも１つの特性を指定する又は適応させることを可能にするように構成される。この少なくとも１つの特性は、センサのための場所を含み、さらに、センサの向き及び／又は設定を含んでもよい。
2021521690.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのプロセッサを含む電子デバイスであって、前記少なくとも１つのプロセッサは、
カメラで捕捉される画像を取得する、
設置されていないセンサのための場所を決定する、
前記設置されていないセンサのために決定される前記場所に基づいて前記画像に対する前記設置されていないセンサの検出ゾーンを決定する、及び
前記画像と、前記画像上に重畳される前記設置されていないセンサ及び前記検出ゾーンの仮想表現とを表示する、
ように構成され、
前記少なくとも１つのプロセッサは、ユーザが、前記設置されていないセンサのための少なくとも１つの特性を指定する又は適応させることを可能にするように構成され、前記少なくとも１つの特性は、少なくとも前記場所を含む、電子デバイス。
【請求項２】
前記少なくとも１つのプロセッサは、
前記設置されていないセンサへの動的入力をシミュレートする、及び
前記画像上に重畳される前記動的入力の動的仮想表現を表示する、
ように構成される、請求項１に記載の電子デバイス。
【請求項３】
前記設置されていないセンサは、存在センサを含み、前記少なくとも１つのプロセッサは、前記動的仮想表現として前記画像によって捕捉される物理的空間の中を歩く仮想キャラクタのアニメーションを表示するように構成される、請求項２に記載の電子デバイス。
【請求項４】
前記少なくとも１つのプロセッサは、
前記設置されていないセンサにセンサ出力を生成させる前記動的入力をシミュレートする、及び
前記センサ出力に基づいて仮想照明デバイス及び／又は設置済み照明デバイスを制御する、
ように構成される、請求項２又は３に記載の電子デバイス。
【請求項５】
前記少なくとも１つのプロセッサは、
前記設置されていないセンサにセンサ出力を生成させる前記動的入力をシミュレートする、
前記センサ出力に応答して前記仮想照明デバイスによって生成される光効果をシミュレートし、前記光効果は、前記仮想照明デバイスの場所及び向きに基づいて生成される、及び
前記画像上に重畳されるシミュレートされた前記光効果を表示する、
ように構成される、請求項４に記載の電子デバイス。
【請求項６】
前記設置されていないセンサのための前記少なくとも１つの特性は、前記設置されていないセンサのための向きを含む、請求項１乃至５のいずれか一項に記載の電子デバイス。
【請求項７】
前記設置されていないセンサのための前記少なくとも１つの特性は、前記設置されていないセンサのための１つ以上の設定を含む、請求項１乃至６のいずれか一項に記載の電子デバイス。
【請求項８】
前記少なくとも１つのプロセッサは、前記ユーザが、前記１つ以上の設定で前記設置されていないセンサをコンフィギュレーションすることを可能にするように構成される、請求項７に記載の電子デバイス。
【請求項９】
前記少なくとも１つのプロセッサは、
前記カメラで捕捉されるさらなる画像を取得する、
適応された前記少なくとも１つの特性に基づいて前記さらなる画像に対する前記設置されていないセンサのさらなる検出ゾーンを決定する、及び
前記さらなる画像と、前記さらなる画像上に重畳される前記設置されていないセンサ及び前記さらなる検出ゾーンの仮想表現とを表示する、
ように構成される、請求項１乃至８のいずれか一項に記載の電子デバイス。
【請求項１０】
前記少なくとも１つのプロセッサは、前記ユーザが、前記画像内の前記設置されていないセンサのための前記場所を指定することを可能にするように構成される、請求項１乃至９のいずれか一項に記載の電子デバイス。
【請求項１１】
前記少なくとも１つのプロセッサは、前記ユーザが、建物の少なくとも一部のモデル内の前記設置されていないセンサのための前記場所を指定することを可能にするように構成され、前記画像は、前記建物の前記少なくとも一部の少なくとも一部を捕捉する、請求項１乃至１０のいずれか一項に記載の電子デバイス。
【請求項１２】
前記少なくとも１つのプロセッサは、建物の少なくとも一部に関する情報に基づいて前記設置されていないセンサのための提案される場所として前記設置されていないセンサのための前記場所を決定するように構成され、前記画像は、前記建物の前記少なくとも一部の少なくとも一部を捕捉する、請求項１乃至１１のいずれか一項に記載の電子デバイス。
【請求項１３】
前記少なくとも１つのプロセッサは、
建物の少なくとも一部に関する情報に基づいて前記設置されていないセンサのための１つ以上の提案される設定を決定し、前記画像は、前記建物の前記少なくとも一部の少なくとも一部を捕捉する、及び
前記１つ以上の提案される設定に基づいて前記画像に対する前記設置されていないセンサの前記検出ゾーンを決定する、
ように構成される、請求項１乃至１２のいずれか一項に記載の電子デバイス。
【請求項１４】
画像上に検出ゾーンを重畳する方法であって、
カメラで捕捉される画像を取得するステップと、
設置されていないセンサのための場所を決定するステップと、
前記設置されていないセンサのために決定される前記場所に基づいて前記画像に対する前記設置されていないセンサの検出ゾーンを決定するステップと、
前記画像と、前記画像上に重畳される前記設置されていないセンサ及び前記検出ゾーンの仮想表現とを表示するステップと、
を含み、
ユーザが、前記設置されていないセンサのための少なくとも１つの特性を指定する又は適応させることを可能にするためにユーザインターフェースが設けられ、前記少なくとも１つの特性は、前記場所を含む、方法。
【請求項１５】
少なくとも１つのソフトウェアコード部分を含むコンピュータプログラム若しくはコンピュータプログラム一式又は少なくとも１つのソフトウェアコード部分を記憶するコンピュータ可読記憶媒体であって、前記ソフトウェアコード部分は、コンピュータシステム上で実行されると、請求項１４に記載の方法が実行されることを可能にするように構成される、コンピュータプログラム若しくはコンピュータプログラム一式又はコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像上に検出ゾーンを重畳するための電子デバイスに関する。
【０００２】
本発明はさらに、画像上に検出ゾーンを重畳する方法に関する。
【０００３】
本発明はまた、コンピュータシステムがそのような方法を実行することを可能にするコンピュータプログラムプロダクトに関する。
【背景技術】
【０００４】
スマート照明は、環境における何らかのイベントが検出される場合にライトがトリガするようにセンサに接続されることができる。例えば、フィリップスのＨｕｅ照明システムは、人が部屋に入るとライトがオンするようにモーションセンサに接続されることができる。このようなセンサの購入を検討する際の一つの大きな問題は、センサが適切に機能するであろうかどうかということであり、このようなセンサを設置する際の一つの大きな問題は、どのようにしてセンサを適切に機能させるかということである。
【０００５】
ＵＳ ２０１５／００７７５６６号は、ＰＩＲセンサ及びカメラを備えたＰＩＲ検出器が、ＰＩＲセンサの範囲及び信号強度が重畳されるカメラ画像を記録する方法を開示している。これは、セキュリティシステムのインストーラが、ＰＩＲセンサの前のエリアの中を歩行することにより歩行テストを行うことを可能にする。その後、インストーラは、記録された映像をコンピュータで再生して、侵入が検出されるべき場所をカバーするためにＰＩＲセンサの閾値がどのように調整される必要があるかを判断することができる。
【０００６】
この方法の不利な点は、限られた状況でしか使用されることができず、カメラ画像を記録できる検出器でしか使用されることができないことである。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の第１の目的は、広範な状況においてセンサの設置を容易にする、電子デバイスを提供することである。
【０００８】
本発明の第２の目的は、広範な状況においてセンサの設置を容易にする、方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明の第１の態様において、電子デバイスは、カメラで捕捉される画像を取得する、センサのための場所(location)を決定する、前記センサのために決定される前記場所に基づいて前記画像に対する前記センサの検出ゾーン(detection zone)を決定する、及び、前記画像と、前記画像上に重畳される前記センサ及び前記検出ゾーンの仮想表現とを表示するように構成される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、ユーザが、前記センサのための少なくとも１つの特性を指定する(specify)又は適応させる(adapt)ことを可能にするように構成され、前記少なくとも１つの特性は、前記場所を含む。電子デバイスは、例えば、携帯電話、タブレット、拡張現実メガネ、又は拡張現実ヘッドセットであってもよい。
【００１０】
前記少なくとも１つのプロセッサは、前記カメラで捕捉されるさらなる画像を取得する、適応された前記少なくとも１つの特性に基づいて前記さらなる画像に対する前記センサのさらなる検出ゾーンを決定する、及び、前記さらなる画像と、前記さらなる画像上に重畳される前記センサ及び前記さらなる検出ゾーンの仮想表現とを表示するように構成される。検出ゾーンは、例えば、視野及び／又は検出範囲に対応してもよい。検出ゾーンは、センサ設定、例えば、感度設定に依存してもよい。
【００１１】
本発明者らは、好ましくはリアルタイム又はほぼリアルタイム(near-real-time)で、センサ及びその検出ゾーンの仮想表現をカメラ画像上に重畳することにより、この拡張現実ビューが、センサが適切に機能することができるかどうか及び／又はどのようにしてセンサを適切に機能させることができるかを判断するために使用されることができることを認識している。センサは、まだ設置されていなくてもよく（ましては、まだ購入されていなくてもよく）、又はセンサは、すでに設置されているが、恐らくは不適切な若しくは最適ではない場所に設置されていてもよい。
【００１２】
実際のセンサ(real sensor)が、表現されるセンサ(represented sensor)と同じ場所に存在する必要はないので、本発明は、広範な状況において、例えば、センサが購入される前に、センサが設置される前に、又はセンサが再配置される前に用いられることができ、センサは、画像を捕捉し送信するカメラを組み込む必要はない。電子デバイスは、ユーザが、該ユーザが設置することを望むセンサのための候補場所(potential location)を指定することを可能にしてもよく、又は、電子デバイスは、センサのための現在の又は提案される場所を決定する、及び、ユーザが、例えば、当該場所を適応させることを可能にしてもよい。
【００１３】
前記少なくとも１つのプロセッサは、前記センサへの動的入力(dynamic input)をシミュレートする、及び、前記画像上に重畳される前記動的入力の動的仮想表現(dynamic virtual representation)を表示するように構成されてもよい。これにより、ユーザは、入力がどのような瞬間にセンサをトリガするかをテストすることができる。センサは、例えば、動き検出器及び／又は熱検出器を含んでもよい。
【００１４】
前記センサは、存在センサを含んでもよく、前記少なくとも１つのプロセッサは、前記動的仮想表現として前記画像によって捕捉される物理的空間の中を歩く仮想キャラクタのアニメーションを表示するように構成されてもよい。これにより、ユーザは、入力がどのような瞬間に存在センサをトリガするかをテストすることができる。
【００１５】
前記少なくとも１つのプロセッサは、前記センサにセンサ出力を生成させる前記動的入力をシミュレートする、及び、前記センサ出力に基づいて仮想照明デバイス及び／又は設置済み照明デバイスを制御するように構成されてもよい。これにより、ユーザは、どの照明デバイスが入力に応答してどのような瞬間にトリガされるかを見ることができる。
【００１６】
前記少なくとも１つのプロセッサは、前記センサにセンサ出力を生成させる前記動的入力をシミュレートする、前記センサ出力に応答して前記仮想照明デバイスによって生成される光効果(light effect)をシミュレートし、前記光効果は、前記仮想照明デバイスの場所及び向き(orientation)に基づいて生成される、及び、前記画像上に重畳されるシミュレートされた前記光効果を表示するように構成されてもよい。これにより、ユーザは、拡張現実ビューにおいてどの仮想照明デバイスが入力に応答してトリガされるかを見ることができる。
【００１７】
前記センサのための前記少なくとも１つの特性はさらに、前記センサのための向きを含んでもよい。これは、センサが全方位センサでない場合に有益である。センサが全方位センサでない場合、検出ゾーンは、好ましくは、センサのために決定される場所及び向きの両方に基づいて画像に対して決定される。
【００１８】
前記センサのための前記少なくとも１つの特性はさらに、前記センサのための１つ以上の設定を含んでもよい。ユーザがセンサのための１つ以上の設定、例えば、センサの感度を指定する又は適応させることを可能にすることにより、ユーザは、所望のカバレッジがこれらの１つ以上の設定で得られるかどうかを確認することができる。
【００１９】
前記少なくとも１つのプロセッサは、前記ユーザが、前記１つ以上の設定で前記センサをコンフィギュレーションする(configure)ことを可能にするように構成されてもよい。満足のいく設定が発見された場合、これにより、ユーザは、センサが既に設定されている場合には直ちに、又はまだ設定されていない場合には後で（例えば、センサの設置時に）、これらの設定でセンサをコンフィギュレーションすることができる。
【００２０】
前記少なくとも１つのプロセッサは、前記ユーザが、前記画像内の前記センサのための前記場所を指定する及び／又は適応させることを可能にするように構成されてもよい。ユーザが例えばモデル内ではなく画像内で場所を指定する及び／又は適応させることを可能にすることにより、場所を指定する又は適応させることの効果が直ちに示されることができる。
【００２１】
前記少なくとも１つのプロセッサは、前記ユーザが、建物の少なくとも一部のモデル内の前記センサのための前記場所を指定することを可能にするように構成され、前記画像は、前記建物の前記少なくとも一部の少なくとも一部を捕捉するようにしてもよい。ユーザが例えば画像自体内ではなくそのようなモデル内で場所を指定する及び／又は適応させることを可能にすることにより、ユーザが、３次元空間内でセンサを位置決めすること、すなわち、ある方向にセンサの仮想表現を移動させた場合に仮想表現のｘ、ｙ及びｚ座標のうちのどの座標が変化するかを知ることを容易にし得る。
【００２２】
前記少なくとも１つのプロセッサは、前記ユーザが、建物の少なくとも一部に関する情報に基づいて前記センサのための提案される場所(suggested location)として前記センサのための前記場所を決定するように構成され、前記画像は、前記建物の前記少なくとも一部の少なくとも一部を捕捉するようにしてもよい。センサのためのある場所を自動的に決定し提案することにより、ユーザが満足のいく又は最適な場所を決定することが容易になり、時間がかからなくなる。
【００２３】
前記少なくとも１つのプロセッサは、建物の少なくとも一部に関する情報に基づいて前記センサのための１つ以上の提案される設定(suggested setting)を決定し、前記画像は、前記建物の前記少なくとも一部の少なくとも一部を捕捉する、及び、前記１つ以上の提案される設定に基づいて前記画像に対する前記センサの前記検出ゾーンを決定するように構成されてもよい。センサのためのある設定を自動的に決定し提案することにより、ユーザが満足のいく又は最適な設定を決定することが容易になり、時間がかからなくなる。
【００２４】
本発明の第２の態様において、方法は、カメラで捕捉される画像を取得するステップと、センサのための場所を決定するステップと、前記センサのために決定される前記場所に基づいて前記画像に対する前記センサの検出ゾーンを決定するステップと、前記画像と、前記画像上に重畳される前記センサ及び前記検出ゾーンの仮想表現とを表示するステップとを含み、ユーザが、前記センサのための少なくとも１つの特性を指定する又は適応させることを可能にするためにユーザインターフェースが設けられ、前記少なくとも１つの特性は、前記場所を含む。方法は、ハードウェア及び／又はソフトウェアで実施されてもよい。
【００２５】
さらに、本明細書で説明される方法を実践するためのコンピュータプログラム、並びに、そのコンピュータプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供される。コンピュータプログラムは、例えば、既存のデバイスによってダウンロードされるか、又は、既存のデバイスにアップロードされてもよく、あるいは、これらのシステムの製造時に記憶されてもよい。
【００２６】
非一時的コンピュータ可読記憶媒体は、少なくとも１つのソフトウェアコード部分を記憶し、ソフトウェアコード部分は、コンピュータによって実行又は処理されると、カメラで捕捉される画像を取得すること、センサのための場所及び向きを決定すること、前記センサのために決定される記場所及び前記向きに基づいて前記画像に対する前記センサの検出ゾーンを決定すること、及び、前記画像と、前記画像上に重畳される前記センサ及び前記検出ゾーンの仮想表現とを表示することを含む実行可能動作(executable operation)を行うように構成され、ユーザが、前記センサのための少なくとも１つの特性を指定する又は適応させることを可能にするためにユーザインターフェースが設けられ、前記少なくとも１つの特性は、前記場所及び前記向きのうちの少なくとも１つを含む。
【００２７】
当業者には理解されるように、本発明の諸態様は、デバイス、方法、又はコンピュータプログラム製品として具現化されてもよい。したがって、本発明の諸態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、あるいは、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態を取ってもよく、それらは全て、本明細書では「回路」、「モジュール」、又は「システム」と総称されてもよい。本開示で説明される機能は、コンピュータのプロセッサ／マイクロプロセッサによって実行される、アルゴリズムとして実装されてもよい。更には、本発明の諸態様は、１つ以上のコンピュータ可読媒体として具現化されている、コンピュータプログラム製品の形態を取ってもよく、１つ以上のコンピュータ可読媒体は、その上に具現化されている、例えば記憶されている、コンピュータ可読プログラムコードを有する。
【００２８】
１つ以上のコンピュータ可読媒体の任意の組み合わせが、利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、限定するものではないが、電子、磁気、光学、電磁気、赤外線、又は半導体の、システム、装置、若しくはデバイス、あるいは、上述の任意の好適な組み合わせであってもよい。より具体的なコンピュータ可読記憶媒体の例としては、限定するものではないが、１つ以上のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（random access memory；ＲＡＭ）、読み出し専用メモリ（read-only memory；ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（erasable programmable read-only memory；ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（portable compact disc read-only memory；ＣＤ−ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は上述の任意の好適な組み合わせを挙げることができる。本発明の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを含むか、又は記憶することが可能な、任意の有形媒体であってもよい。
【００２９】
コンピュータ可読信号媒体としては、例えばベースバンド内又は搬送波の一部として、その内部に具現化されているコンピュータ可読プログラムコードを有する、伝搬データ信号を挙げることができる。そのような伝搬信号は、限定するものではないが、電磁気、光学、又はこれらの任意の好適な組み合わせを含めた、様々な形態のうちのいずれを取ってもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、通信、伝搬、又は伝送することが可能な、任意のコンピュータ可読媒体であってもよい。
【００３０】
コンピュータ可読媒体上に具現化されているプログラムコードは、限定するものではないが、無線、有線、光ファイバ、ケーブル、ＲＦ等、又は上述の任意の好適な組み合わせを含めた、任意の適切な媒体を使用して送信されてもよい。本発明の諸態様に関する動作を実施するためのコンピュータプログラムコードは、Ｊａｖａ（商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語、及び、「Ｃ」プログラミング言語又は同様のプログラミング言語等の従来の手続き型プログラミング言語を含めた、１つ以上のプログラミング言語の任意の組み合わせで書き込まれてもよい。このプログラムコードは、スタンドアロン型ソフトウェアパッケージとして、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で実行されてもよく、部分的にユーザのコンピュータ上かつ部分的にリモートコンピュータ上で、又は完全にリモートコンピュータ若しくはサーバ上で実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（local area network；ＬＡＮ）若しくは広域ネットワーク（wide area network；ＷＡＮ）を含めた任意のタイプのネットワークを通じて、ユーザのコンピュータに接続されてもよく、又は、この接続は、外部コンピュータに対して（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）実施されてもよい。
【００３１】
本発明の実施形態による方法、装置（システム）、及びコンピュータプログラム製品の、フローチャート図及び／又はブロック図を参照して、本発明の諸態様が以下で説明される。フローチャート図及び／又はブロック図の各ブロック、並びに、フローチャート図及び／又はブロック図内のブロックの組み合わせは、コンピュータプログラム命令によって実装されることができる点が理解されるであろう。これらのコンピュータプログラム命令は、マシンを作り出すために、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置の、プロセッサ、特にマイクロプロセッサ又は中央処理ユニット（central processing unit；ＣＰＵ）に提供されてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスのプロセッサを介して実行される命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施するための手段を作り出す。
【００３２】
これらのコンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスに、特定の方式で機能するように指示することが可能な、コンピュータ可読媒体内に記憶されてもよく、それにより、コンピュータ可読媒体内に記憶されている命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施する命令を含む、製品を作り出す。
【００３３】
コンピュータプログラム命令はまた、コンピュータ実施プロセスを作り出すために、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上にロードされて、それらのコンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上で一連の動作ステップを実行させてもよく、それにより、コンピュータ又は他のプログラマブル装置上で実行される命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施するためのプロセスを提供する。
【００３４】
図におけるフローチャート及びブロック図は、本発明の様々な実施形態によるデバイス、方法、及びコンピュータプログラム製品の可能な実装の、アーキテクチャ、機能性、及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定されている論理関数を実施するための１つ以上の実行可能命令を含む、コードのモジュール、セグメント、又は部分を表してもよい。また、一部の代替的実装形態では、ブロック内に記されている機能は、それらの図に記されている順序と異なる順序で行われてもよい点にも留意されたい。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてもよく、又は、それらのブロックは、関与している機能性に応じて、逆の順序で実行される場合があってもよい。また、ブロック図及び／又はフローチャート図の各ブロック、並びに、それらブロック図及び／又はフローチャート図内のブロックの組み合わせは、指定されている機能若しくは行為を実行する専用ハードウェアベースのシステム、又は、専用ハードウェアとコンピュータ命令との組み合わせによって実施されることができる点にも留意されたい。
【図面の簡単な説明】
【００３５】
本発明のこれらの態様及び他の態様は、以下の図面から明らかであり、例として、それらの図面を参照して更に解明されるであろう。
【図１】本発明の電子デバイスの一実施形態のブロック図である。
【図２】本発明の方法の一実施形態のフロー図である。
【図３】カメラ画像の一例を示す。
【図４】センサ及び検出ゾーンの仮想表現が図３の画像上に重畳されている例示的な画像を示す。
【図５】仮想キャラクタが図４の画像上に重畳されている例示的な画像を示す。
【図６】図４に表現されるセンサの場所が適応された例示的な画像を示す。
【図７】図６に表現されるセンサの設定が適応された例示的な画像を示す。
【図８】仮想キャラクタが図７の画像上に重畳されている例示的な画像を示す。
【図９】本発明の方法を実行するための例示的なデータ処理システムのブロック図である。
【発明を実施するための形態】
【００３６】
図面中の対応する要素は、同じ参照番号によって示される。
【００３７】
図１は、本発明の電子デバイスの一実施形態を示す。タブレット１は、プロセッサ３、カメラ４、ディスプレイ５、トランシーバ６及び記憶手段７を含む。タブレット１は、無線アクセスポイント１１に接続される。ブリッジ１３、例えば、Ｐｈｉｌｉｐｓ Ｈｕｅブリッジもまた、無線アクセスポイント１１に、例えば、イーサネットリンクを介して接続される。ライト５１、５２（例えば、Ｐｈｉｌｉｐｓ Ｈｕｅライト）のモーションセンサ１７（例えばＰｈｉｌｉｐｓ Ｈｕｅモーションセンサ）は、ブリッジ１３と、例えば、Ｚｉｇｂｅｅを介して通信する。
【００３８】
プロセッサ３は、カメラ４で捕捉される画像を取得する、及び、センサ１７のための場所及び向きを決定するように構成される。センサ１７は、既に設置されていてもよく、又は、その時点ではまだ設置されていなくてもよい。プロセッサ３はさらに、センサ１７のために決定される場所及び向きに基づいて画像に対するセンサ１７の検出ゾーンを決定する、及び、画像と、画像上に重畳されるセンサ及び検出ゾーンの仮想表現を表示するように構成される。プロセッサ３は、ユーザが、センサ１７のための少なくとも１つの特性を指定する又は適応させることを可能にするように構成される。少なくとも１つのプロパティは、場所及び向きのうちの少なくとも１つを含む。
【００３９】
プロセッサ３はさらに、カメラ４で捕捉されるさらなる画像を取得する、適応された少なくとも１つの特性に基づいてさらなる画像に対するセンサ１７のさらなる検出ゾーンを決定する、及び、さらなる画像と、さらなる画像上に重畳されるセンサ及びさらなる検出ゾーンの仮想表現とを表示するように構成される。タブレット１の動作は、図２の説明でさらに説明される。
【００４０】
図１に示されるタブレット１の実施形態では、タブレット１は、１つのプロセッサ３を含む。代替的な実施形態では、タブレット１は、複数のプロセッサを含む。タブレット１のプロセッサ３は、例えばＱｕａｌｃｏｍｍ若しくはＡＲＭからの汎用プロセッサ、又は特定用途向けプロセッサであってよい。タブレット１のプロセッサ３は、例えば、Ａｎｄｒｏｉｄ又はｉＯＳオペレーティングシステムを実行してもよい。記憶手段７は、１つ以上のメモリユニットを含んでもよい。記憶手段７は、例えば、１つ以上のハードディスク及び／又はソリッドステートメモリを含んでもよい。記憶手段７は、例えば、オペレーティングシステム、アプリケーション及びアプリケーションデータを記憶するために使用されてもよい。
【００４１】
トランシーバ６は、例えば、インターネットアクセスポイント１１と通信するために１つ以上の無線通信技術を使用してもよい。代替的な実施形態では、単一のトランシーバの代わりに複数のトランシーバが使用される。図１に示される実施形態では、受信機及び送信機は、トランシーバ６に組み合わされている。代替的な実施形態では、１つ以上の別個の受信機構成要素及び１つ以上の別個の送信機構成要素が使用される。ディスプレイ５は、例えば、ＬＣＤ又はＯＬＥＤディスプレイパネルを含んでもよい。ディスプレイ５は、タッチスクリーンであってもよい。カメラ４は、例えば、ＣＭＯＳセンサを含んでもよい。タブレット１は、バッテリ及び電源コネクタ等のタブレットに典型的な他の構成要素を含んでもよい。
【００４２】
図１の実施形態では、本発明の電子デバイスは、タブレットである。異なる実施形態では、本発明の電子デバイスは、例えば、携帯電話、拡張現実メガネ、又はＰＣであってもよい。図１の実施形態では、カメラ４は、電子デバイスの一部である。異なる実施形態では、カメラ４は、電子デバイスの外部にあってもよい。例えば、カメラ４は、ユーザの（他の）モバイルデバイス又はウェアラブルデバイス、例えば、スマートフォン又は拡張現実メガネの一部であってもよく、又は、固定カメラ、例えば、（固定）スマートテレビのカメラ、スマートアシスタント（例えば、Ａｍａｚｏｎ Ｅｃｈｏ Ｓｈｏｗ）のカメラ、又は防犯カメラであってもよい。単一のカメラの代わりに複数のカメラが使用されてもよい。代替的な実施形態では、センサは、別の種類のセンサ、例えば、マイク等の全方位センサであってもよい。センサが全方位センサである場合、ユーザが向きを指定する及び／又は適応させる必要はないかもしれない。本発明は、１つ以上のプロセッサ上で実行されるコンピュータプログラムを使用して実装されてもよい。
【００４３】
本発明の方法の一実施形態が、図２に示されている。ステップ３１は、カメラで捕捉される画像を取得することを含む。ステップ３３は、センサのための場所及び向きを決定することを含む。ステップ３５は、センサのために決定される場所及び向きに基づいて画像に対するセンサの検出ゾーンを決定することを含む。ステップ３７は、画像と、画像上に重畳されるセンサ及び検出ゾーンの仮想表現を表示することを含む。
【００４４】
ステップ４１、ステップ４３又はステップ４５は、ステップ３７の後に実行されてもよい。代替的に、ステップ３７の後にステップ３１が繰り返されてもよい。ステップ３１が再び実行される場合、ステップ３１は、カメラで捕捉されるさらなる画像を取得することを含む。その後、ステップ３５は、適応された少なくとも１つの特性に基づいてさらなる画像に対するセンサのさらなる検出ゾーンを決定することを含み、その後、ステップ３７は、さらなる画像と、さらなる画像上に重畳されるセンサ及びさらなる検出ゾーンの仮想表現とを表示することを含む。ステップ３１〜３７は、所望／必要とする回数繰り返されてもよい。
【００４５】
ステップ４１は、センサコンフィギュレーション設定(sensor configuration setting)を適応させるためにユーザ入力を受けることを含む。ステップ４３は、センサへの動的入力をシミュレートすることを含む。ステップ４５は、調整されたセンサコンフィギュレーション設定を記憶することを含む。ステップ４１、ステップ４３、及びステップ４５の後にステップ３１が繰り返されてもよい。ユーザが、センサのための少なくとも１つの特性を指定する又は適応させることを可能にするためにユーザインターフェースが設けられる。少なくとも１つのプロパティは、場所及び向きのうちの少なくとも１つを含む。センサの場所及び向きは、ステップ３３において指定又は適応されることができる。ここで、ステップ３１〜４５がより詳細に述べられる。
【００４６】
ステップ３１
ステップ３１で捕捉される画像は、２Ｄ画像又は３Ｄ画像であってもよい。拡張現実ユーザインターフェースが携帯電話又はタブレットのディスプレイ上で実現される場合、情報は、典型的には、２Ｄ画像上に重畳される。拡張現実ユーザインターフェースが拡張現実メガネ上で実現される場合、情報は、典型的には、３Ｄ画像上に重畳される。拡張現実を実現するためには、捕捉された画像は、リアルタイム又はほぼリアルタイム、すなわち、捕捉されたすぐ後に(shortly after)表示される必要がある。画像が２Ｄでしか表示されることができない場合でも、３Ｄ画像を捕捉することは有益であり得る。例えば、建物情報モデル（ＢＩＭ：Building Information Model）が、これらの捕捉された３Ｄ画像から構築され得る。ＢＩＭは、壁／ドア／窓が適切な場所にあるだけの空の部屋から、家具及び設置済み照明／センサ等のより細部を含む画像まで、様々なものがあり得る。このＢＩＭは、後のステップで使用されてもよい。
【００４７】
ステップ３３
ステップ３３では、場所及び向きが、既に設置されているセンサ(already installed sensor)、又はまだ設置されていないセンサ(yet to be installed sensor)のために決定される。センサが既に設置されている場合、このセンサの場所及び向きは自動的に決定されてもよい。代替的に、ユーザが、センサの場所及び向きを指定できるようにしてもよく、又は、方法は、実際の場所及び／又は実際の向きとは異なってもよい、センサのための場所及び向きを提案することを含んでもよい。センサがまだ設置されておらず、おそらくはまだ購入さえされていない場合、ユーザが、センサのための場所及び向きを指定できるようにしてもよく、又は、方法は、センサのための場所及び向きを提案することを含んでもよい。どちらの場合も、センサは、好ましくは、画像が少なくとも一部を捕捉する建物の少なくとも一部の３Ｄモデル（例えば、ＢＩＭ）に加えられる。
【００４８】
ユーザが、例えば、画像をレンダリングしているタッチディスプレイ上の位置をタップすることによって画像内の、又は、２Ｄ表現（例えば、フロアプラン）若しくは３Ｄモデルの３Ｄ表現内のセンサのための場所及び向きを指定できるようにしてもよい。他のセンサ又は照明デバイスの場所及び向きが、同様にして、可能であればドラッグ、フリック、ピンチ、スプレッド、回転等の追加のタッチジェスチャを使用して、決定又は指定されてもよい。既に設置されているデバイス及びまだ設置されていないデバイスの両方が、建物の３Ｄモデルに加えられてもよい。
【００４９】
オブジェクト検出方法を使用して捕捉された（１つ以上の）画像から自動的にこれらのデバイス及びそれらの場所（及び可能であればそれらの向き）を検出することが可能であってもよい。これは、様々なやり方で行われることができ、例えば、モバイルデバイス上のアプリが、デバイスクラス（例えば、ライトストリップ、ライトバルブ、又はモーションセンサ）を識別するためにパターン認識（又は他の技術）のためのローカル処理を使用してもよい。別のオプションは、センサ及び照明デバイスの場所に関する情報が照明システムから取得されることである。例えば、これらのデバイスの自動位置特定は、ＲＦ信号強度分析（ビーコン）を介して、又は可視光通信（ＶＬＣ：Visible Light Communication）を使用して行われることができる。
【００５０】
通常、センサは限られた視野角を持ち、それゆえ、検出ゾーンはこの向きに依存するため、センサの向きが重要であることが多い。既に設置されているセンサからの向きは、コンパス（地球磁場に対する向き）及び／又は加速度計（地球重力に対する向き）をセンサデバイスに統合し、この向きをセンサの軸にリンクさせることによって取得されることができる。別のオプションは、向きが、捕捉された画像の解析から導出されることである。向きは、３Ｄモデルに含められ、ユーザが、拡張現実ビュー又は３Ｄモデル内で向きを操作できるようにしてもよい（例えば、センサが描写されているタッチスクリーン領域上での回転ジェスチャ）。
【００５１】
センサの場所及び向きは、建物の少なくとも一部に関連する情報に基づいて提案されてもよい。捕捉された（３Ｄ）画像が、センサのための良好な場所及び向きを決定するために分析されてもよい。これは、環境の３Ｄジオメトリが導出される１つ以上の（３Ｄ）画像を捕捉することを要する。好ましくは、３Ｄジオメトリは、センサが配置され得る表面及び（１つ以上の）部屋の寸法を示す。３Ｄ空間入力に加えて、使用情報(usage info)が、最適なセンサ位置及びコンフィギュレーション設定を決定するために取得されてもよい。このような使用情報は、明示的なユーザ入力から得られてもよく、又は、例えば、観察された人間の挙動（例えば、よく通る通路又はよく使われる席等）から、以前に構成された部屋のタイプ（例えば、リビングルーム、ホール又はキッチン等）から、事前に定義された使用テンプレート(usage template)から、若しくは（分析された）システム使用データ(system usage data)から獲得されてもよい。人の挙動は、例えば、固定カメラを使用して観察されてもよい。例えば、１つ以上のモーションセンサが、典型的なユーザ位置に向けられるように、及び／又は、エリアに入る人を検出できるように位置付けられてもよい。
【００５２】
ステップ３５
ステップ３５では、センサに関連する情報が、例えば、センサデバイスの製造業者の製品データベースから及び／又はセンサデバイス自体から取得される。第１の例として、最大感度における検出ゾーンが、製品データベースから取得されてもよく、感度が、センサデバイスから取得されてもよく、選択された（例えば、実際の又は推奨される）感度における検出ゾーンが、この情報から決定されてもよい。第２の例として、センサ範囲及び検出角度が、製品データベース又はセンサデバイスから取得されてもよく、検出ゾーンが、この情報から決定されてもよい。決定された検出ゾーンは、センサのために決定される場所及び向きにおいて使用して３Ｄモデルに加えられてもよい。
【００５３】
検出ゾーンをどこでどのように表現するかを決定するために、まず、３Ｄモデルと画像のコンテンツとの関係が決定される必要がある。これは、３Ｄモデル内のどのオブジェクト、例えば、固定された照明デバイス、ドア、窓、又は建物内に固定された他のオブジェクトが、捕捉された画像内に表現されているかを決定することによって実施されてもよい。これらのオブジェクトが識別され次第、カメラの場所及び角度が、３Ｄモデル内のオブジェクトに対して、すなわち、あたかもカメラが３Ｄモデルの一部であったかのように、決定されることができる。
【００５４】
その後、３Ｄモデル内の決定されたカメラ場所からの、決定されたカメラ角度を有する３Ｄモデル化された検出ゾーンの２Ｄビュー又は３Ｄビュー（表現）が決定されることができる。３Ｄモデル／環境内の１つ以上のオブジェクトの２Ｄビューの作成は、２Ｄスクリーン上で３Ｄ環境を表現するための従来の技術を使用して実施されることができる。
【００５５】
ステップ３５はさらに、検出ゾーンが画像に重畳される必要がある位置を決定することを含む。これは、画像内で識別されたモデル化されたオブジェクトと比較して３Ｄモデル内のどこにセンサが位置しているかを決定し、この情報を使用して、画像内のこれらのオブジェクトの検出された場所と比較して画像内のどこにセンサが表現されるべきかを決定することによって実施されることができる。
【００５６】
ステップ３７
ステップ３７では、捕捉された画像が表示され、ステップ３５で決定された検出ゾーンの（仮想）表現が、ステップ３５で決定された位置において画像上に（例えば、グラフィカルオーバーレイ(graphical overlay)として）重畳されて表示される。センサの（はるかに小さい）仮想表現が、同じ位置において画像上に（例えば、グラフィカルオーバーレイとして）重畳されて表示される。
【００５７】
ステップ４１
ステップ３１でユーザがセンサのための場所及び向きを指定する又は適応させることを可能にすることに加えて、ステップ４１は、ユーザがセンサを自身のニーズに合わせてコンフィギュレーションするためにセンサのための１つ以上のコンフィギュレーション設定を適応させることを可能にする。これは、ステップ４３でセンサへの動的入力がシミュレーションされる前及び／又は後に行われてもよい。例えば、モーションセンサのトリガが速すぎる場合、ユーザは、モーションセンサの感度、検出時間、検出範囲、又は検出視野を適応させてもよい。ステップ３７で表示される検出ゾーンの仮想表現は、ユーザがどのようにコンフィギュレーション設定を適応させるかを決定するのに役立つ。例えば、センサがまだ設置されていない又はセンサがこれらの設定へのアクセスを許可しないために、現在のコンフィギュレーション設定がステップ３５で取得されることができなかった場合、デフォルト設定が使用されることができる。
【００５８】
ハンドヘルドデバイスの実施形態では、これらのセンサコンフィギュレーション設定の適応(adaption)は、タッチスクリーン上に表示される拡張現実画像上でのタッチジェスチャを介して行われてもよい。ウェアラブルデバイスの実施形態では、ユーザ入力は、ウェアラブルデバイス、例えば、拡張現実メガネの前でなされるジェスチャによって行われてもよい。この場合、ジェスチャは、ウェアラブルデバイスに統合される１つ以上のセンサによって検出されることができる。
【００５９】
ユーザがセンサ設定を直接調整することを可能にすることに代えて又はそうすることに加えて、１つ以上のセンサ設定は、自動的に取得された情報及び／又はユーザによって入力される使用情報に基づいてユーザに提案されてもよい。ステップ４１は、（画像が少なくとも一部を捕捉している）建物の少なくとも一部に関する情報に基づいてセンサのための１つ以上の提案される設定を決定すること、及び、１つ以上の提案される設定に基づいて画像に対するセンサの検出ゾーンを決定することを含んでもよい。
【００６０】
例えば、様々なエリアタイプを識別する使用情報、例えば、最も頻繁に人が集まるエリアが何であるかを示す情報、典型的な入口及び通路がどこに位置しているかを示す情報等が使用されてもよい。センサコンフィギュレーション設定は、これらの識別されたエリアに応じて生成されることができる。用いられてもよい使用情報の他の例は、ステップ３３に関連して提供されている。
【００６１】
ステップ４３
ステップ４３では、センサへの動的入力がシミュレートされ、動的入力の動的仮想表現が、センサを含む照明システムの挙動をレンダリングするように画像上に重畳されて表示される。センサが存在センサを含む場合、動的仮想表現は、存在センサに反応する照明システムの挙動を可視化／シミュレートするために画像によって捕捉される物理的空間の中を歩く仮想キャラクタのアニメーションであってもよい。ステップ４３の反復(iteration)毎に、アニメーションの次のフレームが表示されてもよい。キャラクタの挙動は、典型的なユーザ挙動の一般的なモデルに基づいていてもよく、又は、システムの現在の（１人以上の）ユーザの挙動をモデル化したものであってもよい。好ましくは、アニメーションは、表示される画像及び検出ゾーンの表示される仮想表現と同じ縮尺である。ユーザは、キャラクタの身長をコンフィギュレーションすること、例えば、キャラクタの身長を自身の身長又は子供の身長に設定することができてもよい。
【００６２】
ステップ４３はさらに、センサにセンサ出力を生成させる動的入力をシミュレートすること、及び、センサ出力に基づいて（例えば、ステップ３３でユーザによって加えられた）仮想照明デバイス及び／又は（利用可能な場合）設置済み（すなわち、物理(physical)）照明デバイスを制御することを含んでもよい。（仮想／設置済み）ライトは、あたかも物理的空間に実際の物体があるかのように反応する。仮想照明デバイスが制御される場合、センサ出力に応答して仮想照明デバイスによって生成される光効果がシミュレートされてもよい。光効果は、仮想照明デバイスの場所及び向きに基づいて生成される。シミュレートされた光効果は、画像上に重畳されて表示される。
【００６３】
ユーザは、ディスプレイデバイス上のボタンを選択することにより事前に定義されたユースケース(use case)の可視化を開始することができてもよく、及び／又は自身の挙動を作成すること（例えば、オブジェクトをドラッグする又はパス(path)を描く）ができてもよい。オプションとして、実際の物体が、環境で感知され（例えば、部屋の中を歩いている実際の人）、あたかも表現されたセンサが表現された場所に表現された向きで存在していたかのようにライトをトリガしてもよい。この場合、カメラ画像は、シミュレーションにおける仮想センサへの入力として使用するためこれらの物体及びそれらのパラメータ（例えば、場所、軌跡）を検出するために使用されることができる。
【００６４】
設置済み照明デバイスが制御される場合、シミュレートされたセンサ出力は、照明制御システムに送られる。設置済みライトは、ユーザにシステムの挙動を実証する(demonstrate)ためにこのシミュレートされたセンサデータに基づいて制御される。設置済みセンサが設置済みコントローラに接続される場合、設置済みセンサからのデータをシミュレートされたセンサデータと置き換え、この修正されたデータを設置済みコントローラに転送することによる「マンインザミドル(man in the middle)」アプローチを用いることも可能であり得る。
【００６５】
ステップ４５
ステップ４５では、ユーザが、ステップ４１で実行される適応に起因する１つ以上の設定又は１つ以上の提案される設定を保存したいかどうかを示せるようにしてもよい。センサが既に設置されている場合、これらの１つ以上の設定は、センサ（デバイス）自体に保存され、それによってセンサをコンフィギュレーションしてもよい。センサがまだ設置されていない場合、これらの１つ以上の設定は、別のデバイス、例えば、拡張現実の可視化(augmented reality visualization)をレンダリングするデバイスに保存され、センサが設置された後にセンサ（デバイス）に転送されてもよい。代替的に、これらの１つ以上の設定は、センサ出力に応答するためのロジックを含む制御デバイスに保存され、それによってセンサをコンフィギュレーションしてもよい。
【００６６】
本発明の方法がモーションセンサと共に使用される例を、図３〜図８を参照して説明する。この例では、ユーザは、キッチン用のモーションセンサを購入することに興味があるが、これがどのように機能するか試してみたいと考えている。ユーザはタブレットを手に取り、Ｐｈｉｌｉｐｓ ｈｕｅアプリを起動し、アプリ内購入メニューを選択する。これは、キッチンのモーションセンサを設置したい領域にスマートフォンのカメラを向けることができる拡張現実機能を起動する。図３は、ユーザが、モーションセンサを設置したいキッチンをタブレットのカメラで捕捉していることを示す。カメラ画像の解析から、キッチンが検出され、Ｈｕｅライト５１及び５２からの情報及びそれらの場所が、照明システムから取得される。
【００６７】
モーションセンサの検出範囲は、拡張現実で可視化される。図４は、ユーザがセンサを選択し、タッチスクリーン上でこの場所をタップすることにより、図示の場所に配置されたセンサの仮想表現５４を示している。モーションセンサの検出ゾーンの仮想表現５５が、画像上に重畳されて表示されている。図３〜図８の例において、検出ゾーンの表現は、単一エリアで構成されている。しかしながら、実際には、物体が検出される確率は、検出ゾーンの端部付近では低くなる。検出ゾーンの表現は、当該エリアで物体が検出される確率と類似するように複数の（例えば、色の異なる）エリアに分割されてもよい。言い換えれば、異なるエリアは、異なる検出精度を表す。
【００６８】
図５は、キッチンを歩く人のアニメーション５７の再生を示している。キッチンの既存のＨｕｅライト５１、５２はオンされないので、ユーザは、センサの仮想表現５４を右に再配置する。センサのための新しい場所は、図６に示されている。図３〜図８の例では、センサはまだ設置されていない。センサが既に設置されている場合、現実のセンサは、図６の画像においてぼやかされてもよく、又は除去されてもよい。
【００６９】
センサの検出ゾーンが十分に広くないので、ユーザは、ピンチジェスチャで検出ゾーンを広げる。広げられた検出ゾーンは、図7に示されている。図７では、検出ゾーンの仮想表現５５が、適応を反映して修正されている。図８は、キッチンに入っていく人のアニメーション５７が再び再生されていることを示し、仮想キャラクタがモーションセンサの検出ゾーンに入り次第、キッチンの既存のＨｕｅライト５１及び５２はオンされる。
【００７０】
この例では、仮想モーションセンサの最初の配置後、仮想キャラクタがキッチンに入ると照明はオンしなかった。その後、ユーザは、関心領域をよりよくカバーするためにモーションセンサを別の場所にドラッグアンドドロップした。さらに、ユーザは、タッチスクリーン上のタッチジェスチャでセンサの検出ゾーンを広げた。
【００７１】
オプションとして、アプリは、ユーザによって要求される挙動（例えば、誰かがキッチンに入ったときのライトの自動点灯等）に基づいてセンサ（適切な場合には複数のセンサ）のタイプ及び場所を提案してもよい。この提案は、検出ゾーンを示し、仮想キャラクタが部屋に入ったり部屋を歩き回ったりしたときのシステム挙動を示すように、上述したような拡張現実において可視化されることができる。ユーザはさらに、提案されたソリューションをさらに最適化／修正し、（シミュレートされた）挙動への影響(implication)を見ることもできる。
【００７２】
仮想センサ、その設定、及びその結果としての照明システムの挙動に満足した場合、ユーザは、直ちに仮想センサを注文し、例えば図１のセンサ１７として自宅に設置することができる。購入される各センサの場所、向き及び設定が記憶されることが好ましい。これにより、ユーザは、（例えば、照明制御アプリ内のパーソナライズされた設置ガイドの形態で）設置時にそれらを思い出すことができる。設置後、設定は、自動的に適用されてもよい。
【００７３】
図９は、図２を参照して述べられたような方法を実行し得る、例示的なデータ処理システムを示すブロック図を示す。
【００７４】
図９に示されるように、データ処理システム３００は、システムバス３０６を介してメモリ要素３０４に結合される、少なくとも１つのプロセッサ３０２を含んでもよい。それゆえ、データ処理システムは、メモリ要素３０４内にプログラムコードを記憶してもよい。さらに、プロセッサ３０２は、システムバス３０６を介してメモリ要素３０４からアクセスされるプログラムコードを実行してもよい。一態様では、データ処理システムは、プログラムコードを記憶及び／又は実行するために好適な、コンピュータとして実装されてもよい。しかしながら、データ処理システム３００は、本明細書内で述べられる機能を実行することが可能な、プロセッサ及びメモリを含む任意のシステムの形態で実装されてもよい点を理解されたい。
【００７５】
メモリ要素３０４は、例えば、ローカルメモリ３０８及び１つ以上の大容量記憶デバイス３１０等の、１つ以上の物理メモリデバイスを含んでもよい。ローカルメモリとは、プログラムコードの実際の実行中に一般に使用される、ランダムアクセスメモリ又は他の非永続的メモリデバイスを指してもよい。大容量記憶デバイスは、ハードドライブ又は他の永続的データ記憶デバイスとして実装されてもよい。処理システム３００はまた、実行中に大容量記憶デバイス３１０からプログラムコードが取得されなければならない回数を低減するために、少なくとも一部のプログラムコードの一時記憶を提供する、１つ以上のキャッシュメモリ（図示せず）を含んでもよい。また、処理システム３００は、例えば、処理システム３００がクラウドコンピューティングプラットフォームの一部である場合、別の処理システムのメモリ要素を使用することができてもよい。
【００７６】
入力デバイス３１２及び出力デバイス３１４として示される、入出力（input/output；Ｉ／Ｏ）デバイスが、オプションとして、データ処理システムに結合されることができる。入力デバイスの例としては、限定するものではないが、キーボード、マウス等のポインティングデバイス、（例えば、ボイス及び／又はスピーチ認識のための）マイク等を挙げることができる。出力デバイスの例としては、限定するものではないが、モニタ又はディスプレイ、スピーカ等を挙げることができる。入力デバイス及び／又は出力デバイスは、直接、又は介在Ｉ／Ｏコントローラを介して、データ処理システムに結合されてもよい。
【００７７】
一実施形態では、入力デバイス及び出力デバイスは、（入力デバイス３１２及び出力デバイス３１４を取り囲む破線で図９に示されるような）複合型入力／出力デバイスとして実装されてもよい。そのような複合型デバイスの一例は、「タッチスクリーンディスプレイ」又は単に「タッチスクリーン」と称される場合もある、タッチ感知ディスプレイである。そのような実施形態では、デバイスへの入力は、タッチスクリーンディスプレイ上、又はタッチスクリーンディスプレイの近くでの、例えばスタイラス又はユーザの指等の、物理的実体の移動によって提供されてもよい。
【００７８】
ネットワークアダプタ３１６もまた、データ処理システムに結合されて、介在する私設ネットワーク又は公衆ネットワークを介して、データ処理システムが、他のシステム、コンピュータシステム、リモートネットワークデバイス、及び／又はリモート記憶デバイスに結合されることを可能にしてもよい。ネットワークアダプタは、上述のシステム、デバイス、及び／又はネットワークによってデータ処理システム３００に送信されるデータを受信するための、データ受信機と、データ処理システム３００から上述のシステム、デバイス、及び／又はネットワークにデータを送信するための、データ送信機とを含んでもよい。モデム、ケーブルモデム、及びＥｔｈｅｒｎｅｔカードは、データ処理システム３００と共に使用されてもよい、種々のタイプのネットワークアダプタの例である。
【００７９】
図９に示されるように、メモリ要素３０４は、アプリケーション３１８を記憶してもよい。様々な実施形態では、アプリケーション３１８は、ローカルメモリ３０８、１つ以上の大容量記憶デバイス３１０内に記憶されてもよく、あるいは、ローカルメモリ及び大容量記憶デバイスとは別個であってもよい。データ処理システム３００はさらに、アプリケーション３１８の実行を促すことが可能な（図９には示されない）オペレーティングシステムを実行してもよい点を理解されたい。アプリケーション３１８は、実行可能プログラムコードの形態で実装されており、データ処理システム３００によって、例えばプロセッサ３０２によって、実行されることができる。アプリケーションの実行に応答して、データ処理システム３００は、本明細書で述べられる１つ以上の動作又は方法ステップを実行するように構成されてもよい。
【００８０】
本発明の様々な実施形態は、コンピュータシステムと共に使用するためのプログラム製品として実装されてもよく、このプログラム製品のプログラムは、（本明細書で説明される方法を含めた）実施形態の機能を定義する。一実施形態では、このプログラムは、様々な非一時的コンピュータ可読記憶媒体上に含まれることができ、本明細書で使用されるとき、「非一時的コンピュータ可読記憶媒体」という表現は、全てのコンピュータ可読媒体を含むが、唯一の例外は一時的な伝搬信号である。別の実施形態では、このプログラムは、様々な一時的コンピュータ可読記憶媒体上に含まれることができる。例示的なコンピュータ可読記憶媒体としては、限定するものではないが、（ｉ）情報が永続的に記憶される、書き込み不可記憶媒体（例えば、ＣＤ−ＲＯＭドライブによって読み取り可能なＣＤ−ＲＯＭディスク、ＲＯＭチップ、又は任意のタイプの不揮発性固体半導体メモリ等の、コンピュータ内部の読み出し専用メモリデバイス）、及び（ｉｉ）変更可能な情報が記憶される、書き込み可能記憶媒体（例えば、フラッシュメモリ、ディスケットドライブ若しくはハードディスクドライブ内部のフロッピーディスク、又は任意のタイプのランダムアクセス固体半導体メモリ）が挙げられる。コンピュータプログラムは、本明細書で述べられるプロセッサ３０２上で実行されてもよい。
【００８１】
本明細書で使用される用語法は、特定の実施形態を説明することのみを目的とするものであり、本発明を限定することを意図するものではない。本明細書で使用されるとき、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形も含むことが意図される。本明細書で使用されるとき、用語「含む（comprises）」及び／又は「含んでいる（comprising）」は、記述された特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するものであるが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらの群の存在若しくは追加を排除するものではない点が、更に理解されるであろう。
【００８２】
以下の請求項における全てのミーンズプラスファンクション又はステッププラスファンクションの要素の、対応する構造、材料、行為、及び均等物は、具体的に特許請求される他の特許請求要素と組み合わせて機能を実行するための、任意の構造、材料、又は行為を含むことが意図される。本発明の実施形態の説明は、例示を目的として提示されてきたが、網羅的であるか、又は開示された形態の実装形態に限定されることを意図するものではない。本発明の範囲及び趣旨から逸脱することなく、多くの修正形態及び変形形態が当業者には明らかとなるであろう。実施形態は、本発明の原理及び一部の実際的応用を最良に説明し、想到される特定の用途に適するような様々な修正を有する様々な実施形態に関して、他の当業者が本発明を理解することを可能にするために、選択及び説明されるものとした。
【図１】
2021521690.tif 000003
【図２】
2021521690.tif 000004
【図３】
2021521690.tif 000005
【図４】
2021521690.tif 000006
【図５】
2021521690.tif 000007
【図６】
2021521690.tif 000008
【図７】
2021521690.tif 000009
【図８】
2021521690.tif 000010
【図９】
2021521690.tif 000011
【国際調査報告】
2021521690.tif 000012
2021521690.tif 000013
2021521690.tif 000014