(57)【要約】【課題】人間と機械の対話の向上に関し、特に、関心地点、ＰｏＩの検出との関連において拡張現実を提供するハンドヘルド・デバイスを提供すること。【解決手段】本発明は、デバイス上に拡張現実、ＡＲ、グラフィカル・ユーザ・インターフェース、ＧＵＩを表示する方法に関する。方法は、カメラによって獲得された視覚データおよびＰｏＩの位置に関する情報に基づいて、オフスクリーンに配置されたＰｏＩを検出すること（４０２）を備える。次いで、検出された各オフスクリーンＰｏＩについて、ＰｏＩを中心とする所定の形状のゾーンが決定され（４０３）、ゾーンは少なくとも部分的にオンスクリーンに配置される。それぞれのゾーンの縁部の交差部分に対応するオンスクリーン頂点が決定され、オンスクリーン頂点に基づいて連続曲線が決定される（４０５、４０６、４０７）。視覚データおよび連続曲線を重畳させることによってＧＵＩが表示され、動作は、視覚データの獲得の間にリアルタイムで実行される。【選択図】図４
2020129370.tif 000002
【特許請求の範囲】
【請求項１】
デバイス（２２０）上に拡張現実、ＡＲ、グラフィカル・ユーザ・インターフェース、ＧＵＩを表示する方法であって、前記デバイスは、関心地点、ＰｏＩの位置に関する情報にアクセスし、下記の動作、
前記デバイスのカメラによって視覚データを獲得すること（４０１）、
前記カメラによって獲得された前記視覚データおよびＰｏＩの位置に関する前記情報に基づいて、オフスクリーンに配置されたＰｏＩを検出すること（４０２）、
検出された各オフスクリーンＰｏＩについて、前記ＰｏＩを中心とする所定の形状のゾーンを決定すること（４０３）であって、前記ゾーンは少なくとも部分的にオンスクリーンに配置される、決定すること（４０３）、
前記それぞれのゾーンの縁部の交差部分に対応するオンスクリーン頂点を決定すること（４０４）、
前記オンスクリーン頂点に基づいて連続曲線を決定すること（４０５、４０６、４０７）、
前記視覚データおよび前記連続曲線を重畳させることによってＧＵＩを表示すること（４０８）、
を備え、前記動作は、前記視覚データの獲得の間にリアルタイムで実行される、
表示する方法。
【請求項２】
インデックスｉは連続的に頂点に起因するものであり、ｉは１からｎの間で変動し、ｎは頂点の数であり、
インデックスｉの各頂点は、合併に基づいて決定される所与の位置および傾斜に関連付けられ、
ｉ＝１から始まる各インデックスｉについて、方法は、
インデックスｉ、ｉ＋１、およびｉ＋２の前記頂点の前記位置に基づいて、また、インデックスｉおよびｉ＋２の前記頂点の前記傾斜に基づいて、二次曲線を決定すること（４０６）、
曲線の一部を取得するために、前記二次曲線に基づいてインデックスｉおよびｉ＋１の前記頂点を接合すること、
前記連続曲線を取得するために、前記曲線の部分を集約すること（４０７）、
を、さらに備える、
請求項１に記載の方法。
【請求項３】
前記方法は、
前記デバイスの前記カメラによって新しい視覚データを獲得すること、
新しい視覚データに基づいて前記連続曲線を更新すること、および、
前記更新された連続曲線および前記新しい視覚データを重畳させることによって、前記ＧＵＩを更新すること、
を、さらに備える、請求項１又は２に記載の方法。
【請求項４】
前記オンスクリーン頂点は、前記スクリーンと前記ゾーンの合併との交差部分をさらに備える、請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
各ゾーンのサイズは、前記ＰｏＩと前記スクリーンとの間、または前記ＰｏＩと前記デバイスとの間の距離に依存する、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
所与のＰｏＩと前記スクリーンとの間の前記距離は、前記所与のＰｏＩと前記スクリーン内側の矩形の最も近い縁部との間の距離であり、前記ゾーンは円形とし、前記円の半径は前記距離に等しい、請求項５に記載の方法。
【請求項７】
前記ＧＵＩは、前記連続曲線に対応するオフスクリーンＰｏＩの数を表す数値情報をさらに備える、請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
コンピュータ・プログラムが記憶された非一時的コンピュータ可読記憶媒体であって、前記コンピュータ・プログラムは、プロセッサ（３０３）によって実行されたとき、請求項１から７のうちの一項に記載の方法の前記ステップを実施するための命令を備える、非一時的コンピュータ可読記憶媒体。
【請求項９】
拡張現実、ＡＲ、グラフィカル・ユーザ・インターフェース、ＧＵＩを表示するために構成されたスクリーン（２１０）を備えるデバイス（２２０）であって、前記デバイスは、関心地点、ＰｏＩの位置に関する情報にアクセスするために構成され、前記デバイスは、
視覚データを獲得するために構成されたカメラ（３０１）と、
前記カメラによって獲得された前記視覚データおよび前記ＰｏＩの位置に関する前記情報に基づいて、オフスクリーンに配置されたＰｏＩを検出するため、
検出された各オフスクリーンＰｏＩについて、前記ＰｏＩを中心とする所定の形状のゾーンを決定するためであって、前記ゾーンは少なくとも部分的にオンスクリーンに配置される、前記ゾーンを決定するため、
前記それぞれのゾーンの縁部の交差部分に対応するオンスクリーン頂点を決定するため、
前記オンスクリーン頂点に基づいて連続曲線を決定するため、
前記視覚データおよび前記連続曲線を重畳させることによって前記スクリーン上にＧＵＩを表示するためであって、前記視覚データの獲得の間に前記動作がリアルタイムで実行される、前記ＧＵＩを表示するために、
構成された、プロセッサ（３０３）と、
をさらに備える、デバイス（２２０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間と機械の対話の向上に関し、特に、限定ではないが、関心地点、ＰｏＩの検出との関連において拡張現実を提供するハンドヘルド・デバイスを使用することに関する。
【背景技術】
【０００２】
拡張現実、ＡＲは、実世界に存在する関心地点、ＰｏＩなどのオブジェクトが、時には、視覚、聴覚、触覚、体性感覚、および嗅覚を含む、複数の感覚様相全体にわたって、コンピュータ生成知覚情報によって増補される、実世界環境の対話型体験に存在する。下記では、視覚情報を使用する拡張現実の状況が考察される。
【０００３】
例えば保守のために、拡張現実デバイスを伴う産業用機械に従事するオペレータの産業状況において、ユーザは、機械の周囲を歩き回り、様々な距離および様々な角度で立ち、ＰｏＩ上の手掛かりを探す。これは、ユーザがＰｏＩを容易に検出すること、および、ＰｏＩに向かって動的に誘導されることが、可能であることを必要とする。
【０００４】
これは、ＰｏＩの位置情報をどのように示すかのみならず、ユーザによって取り扱われるデバイスおよびＰｏＩが表示されるべき機械の対話に起因した変化を反映させるためにデバイスのグラフィカル・ユーザ・インターフェース、ＧＵＩをどのように適合させるかの問題を生じる。
【０００５】
ハンドヘルド・デバイスは限定サイズのスクリーンを有し、ユーザの読み取りが可能な相対的に大きなスケール（例えば、ズーム・イン）で情報を表示することが好ましい。しかしながら、スクリーンの表示エリアは関心のすべてのゾーンを表示するには小さすぎる場合があり、いくつかの関心地点は表示エリアの外側に配置されることがある。
【０００６】
図１ａに示されるように、従来技術に従った第１のソリューションは、それぞれオフスクリーンＰｏＩを中心とする円のオンスクリーン部分を表示することを提案している。
【０００７】
いくつかのＰｏＩ  １００．１から１００．４はオフスクリーンに配置される。これは、ＰｏＩがデバイス１０１のカメラの視野の外側にあることを意味する。
【０００８】
デバイスは、第１のＧＵＩ  １０３が表示されるスクリーン１０２をさらに備える。図１ａに示されるように、ＧＵＩ  １０３は、それぞれにＰｏＩ  １００．１〜１００．４のそれぞれを中心とする円のオンスクリーン部分を使用して、オフスクリーンＰｏＩ  １００．１〜１００．４を表す。しかしながら、高密度のＰｏＩの場合、円の一部は重なり合っているため、オフスクリーンＰｏＩに関する情報がユーザにとってかなり理解しにくいことになる。そこでユーザは、ＰｏＩがどこに配置されているかを想定する必要があるため、検出は長く面倒で煩雑な体験になる。
【０００９】
図１ｂに示される従来技術に従った第２のソリューションは、第１のソリューションと同様であるが、代わりに円の三角部分を備えるＧＵＩ  １０４を表示している。これは重なりを減少させるが、完全に解消しない。特に、ＰｏＩの密度が高い状況では、重なりは依然として生じる可能性があり、したがって第１のソリューションと同じ欠点はあらゆる状況で解消されない。
【００１０】
従来技術に従った第３のソリューションが図１ｃに示されている。オフスクリーン・エリアを表すゾーンを備えるＧＵＩ  １０５が、スクリーンの縁部に表示されている。オフスクリーンＰｏＩは、ゾーン内にそれぞれの地点１０６．１〜１０６．４として表されている。しかしながら、高密度の場合、ゾーンは地点によってオーバーロードとなる可能性があるため、オフスクリーン情報がユーザによってかなり理解しにくいものとなる。したがって、最初の２つのソリューションの欠点は克服されない。
【００１１】
したがって、これら最初の３つの従来技術ソリューションは、ＰｏＩの集約のないオフスクリーン視覚化システムに依拠する。
【００１２】
さらなるソリューションは、オフスクリーンＰｏＩを集約させることを提案する。
【００１３】
例えば、従来技術に従った第４のソリューションは、ＰｏＩの集約を伴うデバイス・スクリーン上でのオフスクリーン視覚化を提案する。第４のソリューションは、図１ｄを参照しながら例示される。
【００１４】
この第４のソリューションによれば、オフスクリーンにある実際の空間はセルに分割され、同じセル内に配置されたＰｏＩは集約される。
【００１５】
例えば、第１のセル１１１．１はオフスクリーンＰｏＩ  １１０．１〜１１０．４を備え、第２のセル１１１．２はオフスクリーンＰｏＩ  １１０．５および１１０．６を備え、第３のセル１１１．３はＰｏＩ  １１０．７、１１０．８、および１１０．９を備える。
【００１６】
次いで、各セルに対応する円の一部としての円弧が、セルが備えるＰｏＩの数の指示を伴うＧＵＩ  １１６として表示される。しかしながら、これは、ＰｏＩが所与のセル内のどこに配置されているかに関する指示は提供しない。また、セル１１１は固定されているため、２つのＰｏＩは互いに非常に近くに配置されているが、異なるセル内に配置されていることがあり、その場合、この第４のソリューションは状況の歪んだビューを与える。したがって、第４のソリューションは正確さに欠け、ＰｏＩを備える機械の周囲を歩くユーザによる正確な操作を妨げる。
【００１７】
従来技術の第５のソリューションが、図１ｅを参照しながら示される。デバイス１２２のスクリーン１２１の外側に配置されたＰｏＩ  １２０．１〜１２０．４のクラスタの重心１２４が決定され、その中心としての重心を有する円のオンスクリーン部分を備えるＧＵＩ  １２３が表示される。これは、高密度のＰｏＩの場合の重なりの問題を解決する。しかしながら、第４のソリューションの場合と同じく、クラスタ内のＰｏＩの位置について欠けている情報が存在する。これは、位置情報が、集約マーカーである円弧の下／内側に埋もれていることを意味する。
【発明の概要】
【発明が解決しようとする課題】
【００１８】
従来技術のソリューションは、ＰｏＩの離間距離に関する情報を保持しながら、集約された様式でオフスクリーンＰｏＩの位置を示唆するＧＵＩの表示を可能にすることによって、依然として改良されることができる。特に、表示するＰｏＩの数およびそれらそれぞれの位置に応じて、ＰｏＩのより変動する表現を可能にする集約マーカーに対するニーズがある。セルまたは重心のいずれかの円を用いる従来技術は、円形アーチの湾曲を増加または減少させること、あるいは重なり合った円を作成することのみが可能である。
【課題を解決するための手段】
【００１９】
本発明の第１の態様は、デバイス上に拡張現実、ＡＲ、グラフィカル・ユーザ・インターフェース、ＧＵＩを表示する方法に関し、関心地点、ＰｏＩの位置に関する情報にアクセスするデバイスは、下記の動作、
−当該デバイスのカメラによって視覚データを獲得すること、
−カメラによって獲得された視覚データおよびＰｏＩの位置に関する情報に基づいて、オフスクリーンに配置されたＰｏＩを検出すること、
−検出された各オフスクリーンＰｏＩについて、ＰｏＩを中心とする所定の形状のゾーンを決定することであって、当該ゾーンは少なくとも部分的にオンスクリーンに配置される、決定すること、
−それぞれのゾーンの縁部の交差部分に対応するオンスクリーン頂点を決定すること、
−オンスクリーン頂点に基づいて連続曲線を決定すること、
−視覚データおよび連続曲線を重畳させることによってＧＵＩを表示すること、
を備え、動作は、視覚データの獲得の間にリアルタイムで実行される。
【００２０】
連続曲線は、オフスクリーンＰｏＩの数およびそれらそれぞれの位置の両方を表するものであるため、これは、表示するＰｏＩの数およびそれらそれぞれの位置に応じて、ＰｏＩのより変動する表現を可能にする。
【００２１】
いくつかの実施形態によれば、インデックスｉは連続的に頂点に起因するものとすることが可能であり、ｉは１からｎの間で変動し、ｎは頂点の数であり、インデックスｉの各頂点は、合併に基づいて決定される所与の位置および傾斜に関連付けられ、
ｉ＝１から始まる各インデックスｉについて、方法は、
インデックスｉ、ｉ＋１、およびｉ＋２の頂点の位置に基づいて、また、インデックスｉおよびｉ＋２の頂点の傾斜に基づいて、二次曲線を決定すること、
曲線の一部を取得するために、二次曲線に基づいてインデックスｉおよびｉ＋１の頂点を接合すること、
連続曲線を取得するために、曲線の部分を集約すること、
を、さらに備えることができる。
【００２２】
二次曲線を集約することによって取得される連続曲線は、ＰｏＩ間の離間距離に関する示唆を与える。実際に、所与の頂点における２つの連続する二次曲線の間の遷移が平滑な場合、曲線に対応する２つのＰｏＩが他のＰｏＩから遠く離れていることを意味する一方で、遷移が急激な場合、ＰｏＩが近いことを意味する。
【００２３】
いくつかの実施形態によれば、方法は、
−デバイスのカメラによって新しい視覚データを獲得すること、
−新しい視覚データに基づいて連続曲線を更新すること、および、
−更新された連続曲線および新しい視覚データを重畳させることによって、ＧＵＩを更新すること、
を、さらに備えることができる。
【００２４】
連続曲線は、オペレータによるＡＲデバイスの動的取り扱いに従って、平滑に適合する。特に、ディスプレイ上の複数のオフスクリーンＰｏＩに向かうかまたは離れるようにナビゲートしながら、オフスクリーンＰｏＩまでの距離を反映するためにマーカー（連続曲線）が表示される手法を動的に適合させる様式が、強化されることができる。これに関連して、「平滑に」という用語は、表示されるマーカーを適合させる様式において、急激な遷移を減少させることを言い表し、「動的に」という用語は、マーカーの提示においてより多くの多様性を可能にすることを言い表す。
【００２５】
いくつかの実施形態によれば、オンスクリーン頂点は、スクリーンとゾーンの合併との交差部分をさらに備えることができる。
【００２６】
いくつかの実施形態によれば、各ゾーンのサイズは、ＰｏＩとスクリーンとの間、またはＰｏＩとデバイスとの間の距離に依存することができる。
【００２７】
これは、ゾーンとスクリーンとの交差部分がゼロではないこと、および、したがって、表示されるＧＵＩが、スクリーンからさらに遠く離れている場合であってもすべてのＰｏＩに依存することを、保証することを可能にする。
【００２８】
補足として、所与のＰｏＩとスクリーンとの間の距離は、所与のＰｏＩとスクリーン内側の矩形の最も近い縁部との間の距離であり、ゾーンは円形とすることができ、円の半径は距離に等しいものとすることができる。
【００２９】
これは、スクリーン内の連続曲線は決して矩形を貫通しないため、侵入を制限することを可能にする。
【００３０】
いくつかの実施形態によれば、ＧＵＩは、連続曲線に対応するオフスクリーンＰｏＩの数を表す数値情報をさらに備えることができる。
【００３１】
これは、ユーザによるＡＲデバイスの操作を容易にすることを可能にする。ＧＵＩが異なる方向にいくつかの連続曲線を備える場合、ＧＵＩは各連続曲線について１つの数値情報を備えることができる。
【００３２】
本発明の第２の態様は、コンピュータ・プログラムが記憶された非一時的コンピュータ可読記憶媒体に関し、コンピュータ・プログラムは、プロセッサによって実行されたとき、本発明の第１の態様に従った方法のステップを実施するための命令を備える。
【００３３】
本発明の第３の態様は、拡張現実、ＡＲ、グラフィカル・ユーザ・インターフェース、ＧＵＩを表示するために構成されたスクリーンを備えるデバイスに関し、デバイスは、関心地点、ＰｏＩの位置に関する情報にアクセスするために構成され、デバイスは、
視覚データを獲得するために構成されたカメラと、
−カメラによって獲得された視覚データおよびＰｏＩの位置に関する情報に基づいて、オフスクリーンに配置されたＰｏＩを検出するため、
−検出された各オフスクリーンＰｏＩについて、ＰｏＩを中心とする所定の形状のゾーンを決定するためであって、当該ゾーンは少なくとも部分的にオンスクリーンに配置される、前記ゾーンを決定するため、
−それぞれのゾーンの縁部の交差部分に対応するオンスクリーン頂点を決定するため、
−オンスクリーン頂点に基づいて連続曲線を決定するため、
−視覚データおよび連続曲線を重畳させることによってスクリーン上にＧＵＩを表示するためであって、視覚データの獲得の間に動作がリアルタイムで実行される、前記ＧＵＩを表示するために、
構成されたプロセッサと、
をさらに備える。
【００３４】
さらに、本発明の目的、態様、効果、および詳細は、いくつかの例示的実施形態の下記の詳細な説明において、図面を参照しながら説明される。
【００３５】
添付の図面を参照しながら、単なる例として、本開示の実施形態が説明される。
【図面の簡単な説明】
【００３６】
【図１ａ】従来技術に従ったＧＵＩを表す図である。
【図１ｂ】従来技術に従ったＧＵＩを表す図である。
【図１ｃ】従来技術に従ったＧＵＩを表す図である。
【図１ｄ】従来技術に従ったＧＵＩを表す図である。
【図１ｅ】従来技術に従ったＧＵＩを表す図である。
【図２ａ】本発明のいくつかの実施形態に従ったＧＵＩを示す図である。
【図２ｂ】本発明のいくつかの実施形態に従ったＧＵＩを示す図である。
【図２ｃ】本発明のいくつかの実施形態に従ったＧＵＩを示す図である。
【図２ｄ】本発明のいくつかの実施形態に従ったＧＵＩを示す図である。
【図２ｅ】本発明のいくつかの実施形態に従ったＧＵＩを示す図である。
【図２ｆ】本発明のいくつかの実施形態に従ったＧＵＩを示す図である。
【図２ｇ】本発明のいくつかの実施形態に従ったＧＵＩを示す図である。
【図３】本発明のいくつかの実施形態に従ったデバイスの構造を示す図である。
【図４】本発明のいくつかの実施形態に従った方法のステップを示す図である。
【発明を実施するための形態】
【００３７】
図２ａから図２ｇは、本発明のいくつかの実施形態に従ったグラフィカル・ユーザ・インターフェース、ＧＵＩを示す。
【００３８】
図２ａに示されるように、４つのＰｏＩ  ２００．１、２００．２、２００．３、および２００．４は、デバイス２２０に対して、特にデバイス２２０のスクリーン２１０に対して識別および配置される。
【００３９】
ＰｏＩ  ２００．１がオンスクリーンに配置されるのに対して、ＰｏＩ  ２００．２、２００．３、および２００．４はオフスクリーンに配置される。説明されたように、本発明は、ＰｏＩの離間距離に関する情報を保持しながら、および、ＰｏＩの数、それらそれぞれの距離に依存しながら、集約された様式でオフスクリーンＰｏＩの位置を示唆するために表示されるＧＵＩを改良し、それによって、ユーザによるデバイスの操作を正確にすることを可能にすることを目標とする。
【００４０】
次に図２ｂを参照すると、オフスクリーンＰｏＩ  ２００．２、２００．３、および２００．４に最も近いスクリーン２１０の縁部は２０２と呼ばれる。
【００４１】
本発明によれば、所定の形状でありＰｏＩを中心とするゾーンが計算され、当該ゾーンは少なくとも部分的にオンスクリーンに配置される。例えば、図２ｂに示されるように、所定の形状は円とすることができる。ゾーンは、それぞれＰｏＩ  ２００．２、２００．３、および２００．４に対応して、２０１．２、２０１．３、および２０１．４と呼ばれる。
【００４２】
各ゾーンのサイズは、ゾーンの少なくとも一部がオンスクリーンに配置されるようなサイズである。円形ゾーンの場合、これは、ゾーンの半径が、オフスクリーンＰｏＩとスクリーン２１０の縁部２０２との間の距離よりも大きいことを意味する。例えば、ゾーンの半径は、ゾーンに対応するＰｏＩと線２０３との間の距離に等しいとすることができる。線２０３は、スクリーン２１０の内側に配置された（図２ｇで２０９と呼ばれる）矩形の４辺のうちの（ＰｏＩ  ２００．２から２００．４から最も近い）１辺とすることができ、矩形の外側にあるスクリーンのゾーンは、オフスクリーンＰｏＩに関する情報の表示専用とされることができる。下記の説明においてより良く理解されるように、ゾーンが入っていないスクリーン内側の矩形を事前に定義することが、スクリーン内への曲線の侵入を制限することを可能にする。
【００４３】
円形ゾーン２０１．１は、オンスクリーンＰｏＩ  ２００．１の周囲にも表される。本発明に従った円形ゾーン２０１．１のサイズには、何の制約も加えられない。
【００４４】
図２ｂに示されるように、いくつかのＰｏＩが互いの近くに配置されるとき、それらのゾーンは互いに重なり合うことができる。
【００４５】
図２ｃを参照すると、４つのゾーン２０１．１から２０１．４の縁部の間、および、４つのゾーンの縁部とスクリーンとの間の、交差部分は２０４と呼ばれる。
【００４６】
図２ｄを参照すると、スクリーン上にあり、また、スクリーンと４つのゾーンの合併との間の交差部分の頂点である交差部分が選択され、インデックスｉに関連付けられることができ、ｉは１からＮの間で変動し、Ｎはオンスクリーン頂点の数である。したがって、交差部分２０５．１（インデックス１）、２０５．２、２０５．３、２０５．４、２０５．５、および２０５．６を取得し、Ｎは６に等しい。図２ａから図２ｇは例示の目的で与えられ、本発明の範囲を制限せず、本発明の範囲はＰｏＩの任意の分布およびゾーン２０１の任意の形状に適用されることができることが理解される。
【００４７】
図２ｅを参照すると、ゾーン２０１の合併のオンスクリーン縁部が提示され、２０６と呼ばれる。本発明のいくつかの実施形態によれば、合併のオンスクリーン縁部は、デバイスのカメラによって獲得された視覚データと重畳されることができる連続曲線を形成する。
【００４８】
ゾーンの合併の縁部がオフスクリーンＰｏＩの数およびそれぞれの位置に関する情報を与えるため、結果として生じるＧＵＩ上に表示される連続曲線は、ＰｏＩの離間距離に関する情報を保持しながら、集約された様式でオフスクリーンＰｏＩの位置を示唆する。縁部（円の一部）の数は、オフスクリーンＰｏＩの数に関する情報を提供し、縁部の湾曲は、オフスクリーンＰｏＩからのそれぞれの距離に関する情報を提供する。
【００４９】
これが、ユーザによって取り扱われるとき、ＧＵＩをデバイスの位置／配向の修正に応答させる。
【００５０】
したがって、ＧＵＩは、簡潔な様式でＰｏＩの位置を示唆し、ユーザによる動的な取り扱いに従って平滑に適合する。
【００５１】
特に、ディスプレイ上の複数のオフスクリーンＰｏＩに向かうかまたは離れるようにナビゲートしながら、オフスクリーンＰｏＩまでの距離を反映するためにＧＵＩが表示される手法を動的に適合させる様式が、本発明に従って強化されることができる。
【００５２】
これに関連して、「平滑に」という用語は、表示されるＧＵＩを適合させる様式において、急激な遷移を減少させることを言い表し、「動的に」という用語は、マーカー（すなわち、結果として生じる曲線を形成する、縁部の湾曲、サイズ、および数）の提示においてより多くの多様性を可能にすることを言い表す。
【００５３】
本発明の上記の利点を強化する補足的な実施形態によれば、連続曲線は、カメラによって獲得された視覚データと共に表示される前に修正されることができる。
【００５４】
このため、ｉ＝１で始まる各インデックスｉについて、本発明のいくつかの実施形態に従った方法は、
インデックスｉ、ｉ＋１、およびｉ＋２の頂点の位置に基づいて、また、インデックスｉおよびｉ＋２の頂点の傾斜に基づいて、二次曲線を計算すること、
結果として生じる連続曲線を修正するために、二次曲線に基づいてインデックスｉおよびｉ＋１の頂点を接合すること、
を、さらに備えることができる。
【００５５】
これが、修正された連続曲線が、（元の結果として生じる連続曲線に比べて）連続傾斜を有することを可能にする。
【００５６】
図２ｆを参照すると、頂点ＡおよびＣは、連続インデックスを有する２つの頂点２０５であると想定することができる。頂点ＡおよびＣは、事前に計算された合併に基づいて決定されることができる、それぞれの位置（例えば、スクリーンの座標系における座標）およびそれぞれの傾斜ｔ１およびｔ３を有する。
【００５７】
それぞれの位置およびそれぞれの傾斜に基づいて、位置および傾斜ｔ２を有する各地点Ｂが二次曲線に属するように、頂点ＡおよびＣを接合する二次曲線が一意に決定されることが可能である。頂点ＡとＣとの間の合併のオンスクリーン縁部は、連続曲線を修正するために、二次曲線によって置き換えられることができる。
【００５８】
すべてのインデックスについてこれらの計算が実行されると、連続曲線は図２ｇに示されるように修正される。修正された連続曲線は２０７と呼ばれる。
【００５９】
以前に説明されたように、ゾーンの半径は、修正された曲線２０７（または曲線２０６）がスクリーン内に配置される事前に定義された矩形２０９を貫通しないような半径である。これにより、スクリーン内側の曲線２０６または２０７の侵入を制限できるようにする。
【００６０】
修正された連続曲線は、ＰｏＩ間の離間距離に関する示唆を与える。実際に、所与の頂点での２つの連続する二次曲線間の遷移が平滑である場合は、曲線に対応する２つのＰｏＩが他のＰｏＩから遠く離れていることを意味するが、遷移が急激である場合は、ＰｏＩが近いことを意味する。
【００６１】
連続曲線（修正されたかまたはされていない）は、オフスクリーンＰｏＩの数を表す数値情報２０８も備えることができる。例えば、数値情報２０８は、
−オンスクリーンおよびオフスクリーンのＰｏＩを含む、連続曲線に対応する（すなわち、連続曲線が決定されるときに基づくものにされる）ＰｏＩの総数、および／または、
−オンスクリーンおよびオフスクリーンのＰｏＩを含む、連続に対応するオフスクリーンＰｏＩの総数、
であるとすることができる。
【００６２】
図３は、本発明のいくつかの実施形態に従ったデバイス２２０を示す。
【００６３】
デバイス２２０は、限定ではないが、好ましくは、スマートフォン、タッチパッド、または、例えば眼鏡などのウェアラブルデバイスなどの、ハンドヘルド・デバイスである。代替として、デバイス２２０は、コンピュータの他の要素とは独立にユーザによって操作されることが可能な、ポータブル・カメラを備えるラップトップまたはデスクトップ・コンピュータであるとすることができる。
【００６４】
デバイス２２０は、タッチ・スクリーンとすることも可能であり、したがって、ユーザ・インターフェースとしても動作する、スクリーン２１０を備える。代替として、スクリーン２１０がタッチ・スクリーンではない場合、デバイス２２０は、英数字データなどの、またはカーソルを移動させるためのコマンドなどの、ユーザ入力を受信するように構成された、別のユーザ・インターフェースを備えることができる。
【００６５】
デバイス２２０は、図３を参照しながら説明されるように、および図１に示されるように、本発明に従った方法の動作を実施するように構成されたプロセッサ３０３を、さらに備える。プロセッサ３０３は、１つまたはいくつかの通信バスを介して、一方向または二方向にメモリ３０２と通信することができる。メモリ３０２は、ランダム・アクセス・メモリ、ＲＡＭ、読み取り専用メモリ、ＲＯＭ、または、フラッシュ、ＥＥＰＲＯＭなどの任意の他のタイプメモリであるとすることができる。メモリ３０２は、本発明に従った方法の実装によって使用および／または生成されるデータの少なくとも一部を、永続的または一時的に記憶するために構成される。特に、メモリは、ＰｏＩの位置に関する情報、および特にＰｏＩの（３次元座標などの）位置座標を記憶することができる。代替として、位置情報はリモート・サーバに記憶されることができ、デバイス２２０は通信ネットワークを介してリモート・サーバにアクセスすることができる。
【００６６】
代替として、プロセッサ３０３およびメモリ３０２は、本発明に従った方法の動作の実行専用である電子回路によって置き換えられることができる。
【００６７】
デバイス２２０は、視覚データをリアルタイムで獲得するために構成されたカメラ３０１をさらに備える。視覚データは、ＧＵＩを形成するために結果として生じる曲線と重畳されることができる。カメラ３０１は、好ましくはデバイス２２０のメイン・カメラ（すなわち、スクリーンの反対側に配置されたカメラ）である。
【００６８】
デバイス２２０は、デバイス２２０を配置するため、またはデバイス２２０の角度を取得するためのセンサなどの、センサ３０５をさらに備えることができる。このため、センサ３０５は、加速度計および／またはジャイロスコープであるとすることができる。
【００６９】
図４は、本発明のいくつかの実施形態に従った方法のステップを示すフローチャートである。
【００７０】
ステップ４０１において、視覚データはデバイス２２０のカメラ３０１によって獲得される。ステップ４０１は、ＧＵＩが視覚データをリアルタイムで表示できるように、連続して実行されることができる。このため、視覚データはビデオ・レートで獲得されることができる。「リアルタイム」で、とは、視覚データが獲得されるとすぐに（もちろん、処理時間に起因する遅延を考慮して）ＧＵＩ上に表示されることを意味する。代替として、視覚データは、好ましくはＧＵＩがデバイスの操作に応答するように高い、所与の周波数（例えば、少なくとも毎秒１フレーム）で獲得された静的フレームを備えることができる。
【００７１】
ステップ４０２において、ＰｏＩは、デバイス２２０に対して識別および配置される。ＰｏＩを配置するために使用される方法には何の制約も加えられず、また特に、周知の方法が適用されることができる。ＰｏＩの位置は、デバイス２２０のメモリ３０２に記憶された３次元モデルを、デバイスの現行の位置／配向と比較することに依拠することができる。デバイス２２０は、センサ３０５から発行されたセンサ・データの、および／または、カメラ３０１によってまたはＧＰＳデータを介して獲得された視覚データの、使用により、３次元モデル内に配置されることができる。
【００７２】
例えば、いくつかの既知のＡＲ技術は、同時位置決め地図作成（ＳＬＡＭ）と呼ばれ、測定ユニット（加速度計、ジャイロスコープ、磁力計）およびカメラから発行されるセンサ・データに依拠する。これは、奥行き知覚、運動追跡、およびエリア学習などの、３つの機能の組み合わせを含むことができる。デバイスの位置および配向は、ＩＭＵ（慣性計測ユニット）を使用して追跡される。他のＡＲ技術は、単一のカメラおよびセンサ追跡、またはＧＰＳベース追跡に依拠することができる。
【００７３】
ステップ４０３において、方法は、検出された各オフスクリーンＰｏＩについて、ＰｏＩを中心とする所定の形状のゾーンを決定することを備え、ゾーンは、例えば図２ｂに示されるように、少なくとも部分的にオンスクリーンに配置される。所定の形状は、円、またはより一般的には、例えば楕円とすることができる。「中心とする」とは、ゾーンの縁部がＰｏＩの位置に関して示唆するように、ＰｏＩがゾーンの内側に配置されることを意味する。
【００７４】
ステップ４０４において、方法は、それぞれのゾーンの縁部の交差部分に対応するオンスクリーン頂点を決定することを備える。頂点は、図２ｅの頂点２０６に対応することができる。オンスクリーン頂点２０６を決定することは、オフスクリーンＰｏＩに対応するゾーンの、また任意選択として、オンスクリーンＰｏＩに対応するゾーンの、合併を決定することを備えることができる。
【００７５】
ステップ４０５において、連続曲線はオンスクリーン頂点に基づいて決定される。曲線は、決定された合併の縁部を備えることができるか、または、図２ｆおよび図２ｇを参照しながら説明されたように、修正された連続曲線とすることができる。修正された連続曲線を使用する実施形態において、方法は、ステップ４０６および４０７をさらに備える。ステップ４０６は、事前に１からＮまでのインデックスが付けられた、頂点の結合のための二次曲線を決定することを備え、Ｎはオンスクリーン頂点の数である。次いで、各インデックスｉについて、インデックスｉとｉ＋１の頂点の間の修正された連続曲線の一部は、２次曲線に基づいて取得される。
【００７６】
ステップ４０７において、修正された連続曲線を取得するために、曲線の部分が集約される。上記で説明されたように、ステップ４０６および４０７は任意選択である。
【００７７】
ステップ４０８において、ＧＵＩは、ステップ４０４において決定されたオンスクリーン頂点およびステップ４０１において獲得された視覚データに基づいて表示される。例えば、視覚データは、
−ステップ４０５において計算された合併のオンスクリーン縁部、または、
−ステップ４０７において決定された連続曲線、
と、重畳されることができる。
【００７８】
ＧＵＩは、上記で説明されたように、数値情報２０８をさらに備えることができる。
【００７９】
次いでステップは反復され、次の反復において、ＧＵＩは、新しい視覚データ、および、デバイス２２０の新しい位置に基づいて決定された新しい連続曲線に基づいて更新される。
【００８０】
これらのステップまたは動作は、ＡＲ  ＧＵＩを提供するためのカメラによる視覚データの獲得の間にリアルタイムで実行される。
【００８１】
上記では、本発明は特定の実施形態を参照しながら説明されたが、本明細書に記載された特定の形に限定されることは意図されていない。むしろ、本発明は添付の特許請求によってのみ限定され、特定の上記以外の他の実施形態は、これらの添付の特許請求の範囲の範囲内で等しく可能である。
【００８２】
さらに、例示の実施形態は、構成要素および／または機能のいくつかの例示の組み合わせにおいて説明されたが、本開示の範囲から逸脱することなく、代替の実施形態が、部材および／または機能の異なる組み合わせによって提供されることができることを理解されたい。加えて、個別にまたは実施形態の一部として説明された特定の特徴は、他の個別に説明された特徴、または他の実施形態の一部と組み合わせられることが可能であることが、特に企図される。
【符号の説明】
【００８３】
４０１  視覚データを獲得する
４０２  ＰｏＩを識別する
４０３  ゾーンを決定する
４０４  頂点を決定する
４０５  曲線を取得する
４０６  二次曲線
４０７  修正された曲線
４０８  ＧＵＩを表示する
【図１ａ】
2020129370.tif 000003
【図１ｂ】
2020129370.tif 000004
【図１ｃ】
2020129370.tif 000005
【図１ｄ】
2020129370.tif 000006
【図１ｅ】
2020129370.tif 000007
【図２ａ】
2020129370.tif 000008
【図２ｂ】
2020129370.tif 000009
【図２ｃ】
2020129370.tif 000010
【図２ｄ】
2020129370.tif 000011
【図２ｅ】
2020129370.tif 000012
【図２ｆ】
2020129370.tif 000013
【図２ｇ】
2020129370.tif 000014
【図３】
2020129370.tif 000015
【図４】
2020129370.tif 000016
【外国語明細書】
2020129370000001.pdf