(57)【要約】  実世界において、表示装置（２）に表示された基準マーカを検出する方法であって、カメラおよびマーカ検出器ユニットを含む携帯装置（１）が、表示された基準マーカ（５）に関連付けられた少なくとも１つの修正可能な属性の現在の値を表す、現在の属性情報を取得することと、現在の属性情報に従って、表示装置に表示された画像において、表示された基準マーカを検出することと、現在の属性情報および検出済みの表示された基準マーカに従って、実世界において、表示された基準マーカに関して、携帯装置の姿勢を表す姿勢情報を計算することと、少なくとも１つの修正可能な属性の第１の新規の値を表す第１の新規の属性情報を取得することであって、第１の新規の値は、計算された姿勢情報に依存する、ことを実行する方法が提案される。
2018534677.tif 000002
【特許請求の範囲】
【請求項１】
表示装置（２）に表示された基準マーカを検出する方法であって、カメラおよびマーカ検出器ユニットを含む携帯装置（１）が、
前記表示された基準マーカ（５）に関連付けられた少なくとも１つの修正可能な属性の現在の値を表す、現在の属性情報を取得すること（２１、２１１）と、
前記現在の属性情報に従って、前記表示装置に表示された画像において、前記表示された基準マーカを検出すること（２４、３４）と、
前記現在の属性情報および前記検出済みの表示された基準マーカに従って、前記表示された基準マーカに関して、前記携帯装置の姿勢を表す姿勢情報を計算すること（２６、３６）と、
前記少なくとも１つの修正可能な属性の第１の新規の値を表す第１の新規の属性情報を取得すること（２７、２９、３７）であって、前記第１の新規の値は、前記計算された姿勢情報に依存する、ことと
を実行することを特徴とする、方法。
【請求項２】
前記第１の新規の属性情報を取得することは、前記計算された姿勢情報に従って、前記少なくとも１つの修正可能な属性の前記現在の値を前記第１の新規の値に変更すること（３７）を含むことを特徴とする、請求項１に記載の方法。
【請求項３】
前記第１の新規の属性情報を取得することは、
マーカ・マネージャ装置（３）が前記計算された姿勢情報に従って、前記少なくとも１つの修正可能な属性の現在の値を前記第１の新規の値に変更できるように、前記計算された姿勢情報を送信すること（２７）と、
前記第１の新規の値を表す前記第１の新規の属性情報を受信すること（２９）と
を含むことを特徴とする、請求項１に記載の方法。
【請求項４】
前記表示された基準マーカが検出されない場合、前記携帯装置が、
前記少なくとも１つの修正可能な属性の第２の新規の値を表す、第２の新規の属性情報を取得すること（２１０、２１１、３１０）と、
前記第２の新規の属性情報に従って、前記表示装置に表示された画像において、前記表示された基準マーカを検出すること（２２、３２）と
を実行することを特徴とする、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記第２の新規の属性情報を取得することは、前記少なくとも１つの修正可能な属性の前記現在の値を前記第２の新規の値に変更すること（３１０）を含むことを特徴とする、請求項４に記載の方法。
【請求項６】
前記第２の新規の属性情報を取得することは、
マーカ・マネージャ装置が前記少なくとも１つの修正可能な属性の前記現在の値を前記第２の新規の値に変更できるように、失敗情報を送信すること（２１０）と、
前記第２の新規の値を表す前記第２の新規の属性情報を受信すること（２１１）と
を含むことを特徴とする、請求項４に記載の方法。
【請求項７】
表示装置（２）に表示された少なくとも１つの基準マーカを管理する方法であって、マーカ・マネージャ装置（３）が、
携帯装置（１）が前記表示装置に表示された画像において、前記表示された基準マーカを検出できるように、前記表示された基準マーカ（５）に関連付けられた少なくとも１つの修正可能な属性の現在の値を表す、現在の属性情報を送信すること（２２０）と、
前記表示された基準マーカに関して、前記携帯装置の姿勢を表す姿勢情報を受信すること（２２２）と、
前記受信された姿勢情報に従って、前記少なくとも１つの修正可能な属性の前記現在の値を、第１の新規の値に変更すること（２２３）と、
前記第１の新規の値を表す第１の新規の属性情報を、前記携帯装置に送信すること（２２４）と
を実行することを特徴とする、方法。
【請求項８】
前記マーカ・マネージャ装置は、前記姿勢情報を受信せずに、前記表示された基準マーカの非検出を示す失敗情報を受信する場合、
前記少なくとも１つの修正可能な属性の前記現在の値を、第２の新規の値に変更すること（２２３）と、
前記少なくとも１つの修正可能な属性の前記第２の新規の値を表す第２の新規の属性情報を送信すること（２２４）と
を実行することを特徴とする、請求項７に記載の方法。
【請求項９】
前記マーカ・マネージャ装置（３）が、前記表示装置（２）に表示され、それぞれが別個の携帯装置（１１〜１３）に関連付けられている、いくつかの基準マーカ（５１〜５３）を管理することと、前記表示された基準マーカのうち所与のマーカについて、前記少なくとも１つの修正可能な属性の前記現在の値を、前記第１または第２の新規の値に変更するステップ（２２３）を実行するとき、前記マーカ・マネージャ装置が、前記所与の表示された基準マーカと、前記表示された基準マーカのうち他のマーカとの間のコンフリクトのうち少なくとも１つのケースを処理することとを特徴とする、請求項７または８のいずれか一項に記載の方法。
【請求項１０】
コンフリクトの前記少なくとも１つのケースは、
少なくとも２つの表示された基準マーカ間の衝突と、
少なくとも２つの表示された基準マーカ間の遮蔽と
を含むグループに属することを特徴とする、請求項９に記載の方法。
【請求項１１】
前記少なくとも１つの修正可能な属性は、
前記表示された画像における、前記表示された基準マーカの位置と、
前記表示された画像における、前記表示された基準マーカの向きと、
前記表示された画像における、前記表示された基準マーカのサイズと、
前記表示された画像における、前記表示された基準マーカの色と、
前記表示された画像における、前記表示された基準マーカの輝度と、
前記表示された画像における、前記表示された基準マーカのコントラストと、
前記表示された画像における、前記表示された基準マーカのパターンと
を含むグループに属することを特徴とする、請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
前記携帯装置（１）は、光学式シースルー装置またはビデオ・シースルー装置であることを特徴とする、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
プログラムがコンピュータまたはプロセッサ（５２）上で実行されるとき、請求項１〜１２の少なくともいずれか一項に記載の方法を実施するためのプログラム・コード命令を記憶する、持続的でコンピュータ読取り可能な搬送媒体（５３）。
【請求項１４】
マーカ・ベースの拡張現実システムの携帯装置（１）であって、カメラおよびマーカ検出ユニットを含み、表示装置（２）に表示された基準マーカを検出するように構成され、
前記表示された基準マーカに関連付けられた少なくとも１つの修正可能な属性の現在の値を表す、現在の属性情報を取得する手段（５１〜５３）と、
前記現在の属性情報に従って、前記表示装置に表示された画像において、前記表示された基準マーカを検出する手段（５１〜５３）と、
前記現在の属性情報および前記検出済みの表示された基準マーカに従って、前記表示された基準マーカに関して、前記携帯装置の姿勢を表す姿勢情報を計算する手段（５１〜５３）と、
前記少なくとも１つの修正可能な属性の新規の値を表す新規の属性情報を取得する手段（５１〜５３）であって、前記新規の値は、前記計算された姿勢情報に依存する、手段と
を含むことを特徴とする、携帯装置（１）。
【請求項１５】
マーカ・ベースの拡張現実システムのマーカ・マネージャ装置（３）であって、表示装置（２）に表示された少なくとも１つの基準マーカを管理するように構成され、
携帯装置が前記表示装置に表示された画像において、前記表示された基準マーカを検出できるように、前記表示された基準マーカに関連付けられた少なくとも１つの修正可能な属性の現在の値を表す、現在の属性情報を送信する手段（６１〜６３）と、
前記表示された基準マーカに関して、前記携帯装置の姿勢を表す姿勢情報を受信する手段（６１〜６３）と、
前記受信された姿勢情報に従って、前記少なくとも１つの修正可能な属性の前記現在の値を、新規の値に変更する手段（６１〜６３）と、
第１の新規の値を表す第１の新規の属性情報を、前記携帯装置に送信する手段（６１〜６３）と
を含むことを特徴とする、マーカ・マネージャ装置（３）。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の分野は、マーカ・ベースの拡張現実システムの分野である。
【０００２】
より詳細には、本開示は、実世界において、表示装置に表示された基準マーカを検出する方法、ならびに表示装置に表示されたこのような基準マーカを管理する方法に関する。
【背景技術】
【０００３】
通常、マーカ・ベースの拡張現実システムは、カメラからの画像を取り込む、取込みモジュールと、基準マーカ（たとえば、２Ｄバーコード・マーカ）を検出し、カメラの姿勢（すなわち、位置および向き）を推定する追跡モジュール（「マーカ検出器ユニット」とも呼ばれる）と、この姿勢を使用して元の画像および仮想構成要素（すなわち、３Ｄコンピュータ生成オブジェクト）を結合し、次いで拡張された画像をスクリーン上にレンダリングするレンダリング・モジュールとを含む。
【０００４】
このようなシステムは、たとえば、やはりカメラおよび画面を含む、携帯装置（光学式もしくはシースルー型装置）、またはパーソナル・コンピュータに組み込まれる。携帯装置は、たとえば、スマートフォン、タブレット、ヘッドマウント・ディスプレイ（ＨＭＤ）などである。
【０００５】
マーカ・ベースの拡張現実システムは数多くあり、ゲーム、マーケティング、医療画像処理など、いくつかの適用領域をターゲットにしている。
【０００６】
この基準マーカは、カメラの視野内の実世界に配置される。これらは、あらゆる環境下で、容易にかつ確実に検出可能でなければならない。これらはしばしば、正方形または長方形など、幾何学的に単純な形状からなる２Ｄ白黒パターンを含む。たいていのシステムでは、基準マーカは、（たとえば、実際の対象物に貼り付けられたラベル、床、または壁に）印刷される。他のシステムによっては、この基準マーカは、（拡張画像がレンダリングされる画面と混同されないように）、たとえばテレビ受像機などの表示装置に表示される。
【０００７】
マーカ・ベースの拡張現実システムは、定義によれば、マーカ検出器の信頼性に大きく依存する。このマーカ検出が失われるか、または不安定になると、現実と仮想オブジェクトの間のリンクを失い、ユーザの没入感がなくなる。これは、以下の制限事項のいずれかに起因することがある。
・マーカが、カメラの視野の範囲外にある。
・カメラとの距離と比較してマーカのサイズが小さすぎ、カメラの解像度が十分ではない。
・マーカのサイズが大きすぎる（または、カメラが近すぎる）：カメラの視野よりも大きい。
・カメラが取り込んだ画像の残りの部分と比較して、マーカの内部コントラストが低すぎる：たとえば、マーカは陰に入っているが、ピクチャの大部分は非常に明るい。
・カメラがマーカの直前にあると、検出時にある程度の不安定性を生じることもある。
【０００８】
マーカ・ベースの拡張現実システムは、マーカの属性によって制約を受ける。マーカ・ベースのあらゆる既知の拡張現実システムは、固定（不変）である（位置および向きを含む）属性を有する静的マーカ、すなわち（印刷または表示された）マーカを使用している。このような静的マーカを使用するとき、このシステムのマーカ検出効率は、マーカ属性の初期セットアップの選択によって制限される。残念ながら、マーカ属性が慎重に選択されている場合でも、マーカの検出が失われ、または不安定になる前述の制限を防ぐことが常に可能とは限らない。
【発明の概要】
【０００９】
したがって、マーカ・ベースの拡張現実システムの頑強性を改善する必要がある。
【００１０】
本開示の具体的な態様は、実世界において、表示装置に表示された基準マーカを検出する方法であって、カメラおよびマーカ検出器ユニットを含む携帯装置が、
−前記表示された基準マーカに関連付けられた少なくとも１つの修正可能な属性の現在の値を表す、現在の属性情報を取得することと、
−前記現在の属性情報に従って、前記表示装置に表示された画像において、前記表示された基準マーカを検出することと、
−前記現在の属性情報および前記検出済みの表示された基準マーカに従って、実世界において、表示された基準マーカに関して、前記携帯装置の姿勢を表す姿勢情報を計算することと、
−前記少なくとも１つの修正可能な属性の第１の新規の値を表す第１の新規の属性情報を取得することであって、前記第１の新規の値は、前記計算された姿勢情報に依存する、ことと
を実行する、方法に関する。
【００１１】
この一般的原理は、通常の静的な（印刷または表示された）マーカの代わりに、「動的に表示されたマーカ」を使用する原理である。「動的に表示されたマーカ」により、表示装置に表示され、少なくとも１つの修正可能な属性に関連付けられたマーカを意味する。
【００１２】
提案された解決策を用いる場合、動的に表示されたマーカを検出することができるとき、したがって携帯装置の現在の姿勢を計算することができるとき、動的に表示されたマーカの少なくとも１つの修正可能な属性の値が、計算された現在の姿勢を考慮に入れて、（現在の値から、第１の新規の値に）変更される。これにより、動的に表示されたマーカの適応更新が可能になり、マーカの検出効率が改善し、したがって、提案された検出方法を実行するマーカ・ベースの拡張現実システムの頑強性が改善する。
【００１３】
検出方法の具体的な実装形態では、第１の新規の属性情報を取得することは、前記計算された姿勢情報に従って、前記少なくとも１つの修正可能な属性の現在の値を第１の新規の値に変更することを含む。
【００１４】
したがって、前述の適応更新では、携帯装置自体が、少なくとも１つの修正可能な属性の現在の値の変更を実行する。
【００１５】
この検出方法の代替実装形態では、第１の新規の属性情報を取得することは、
−マーカ・マネージャ装置が前記計算された姿勢情報に従って、前記少なくとも１つの修正可能な属性の現在の値を第１の新規の値に変更できるように、前記計算された姿勢情報を送信することと、
−前記第１の新規の値を表す前記第１の新規の属性情報を受信することを含む。
【００１６】
したがって、前述の適応更新のこの代替実装形態では、少なくとも１つの修正可能な属性の現在の値の変更は、携帯装置によって実行されるのではなく、代わりにマーカ・マネージャ装置によって実行される。
【００１７】
この検出方法の具体的な特徴によれば、前記表示された基準マーカが検出されない場合、携帯装置は、
−前記少なくとも１つの修正可能な属性の第２の新規の値を表す、第２の新規の属性情報を取得することと、
−前記第２の新規の属性情報に従って、前記表示装置に表示された画像において、前記表示された基準マーカを検出すること
を実行する。
【００１８】
提案された解決策を用いる場合、動的に表示されたマーカを検出することができないとき、したがって携帯装置の現在の姿勢を計算することができないとき、動的に表示されたマーカの少なくとも１つの修正可能な属性の値も、推測および／またはシステム状態履歴（すなわち、少なくとも１つの修正可能な属性の以前の値、ならびに／または携帯装置の姿勢の以前の値）を使用して、（現在の値から、第２の新規の値に）変更される。これにより、動的に表示されたマーカの訂正更新が可能になり、マーカの検出効率も改善する。
【００１９】
検出方法の具体的な実装形態では、第２の新規の属性情報を取得することは、前記少なくとも１つの修正可能な属性の現在の値を第２の新規の値に変更することを含む。
【００２０】
したがって、前述の訂正更新では、携帯装置自体が、少なくとも１つの修正可能な属性の現在の値の変更を実行する。
【００２１】
この検出方法の代替実装形態では、第２の新規の属性情報を取得することは、
−マーカ・マネージャ装置が前記少なくとも１つの修正可能な属性の現在の値を第２の新規の値に変更できるように、失敗情報を送信することと、
−前記第２の新規の値を表す前記第２の新規の属性情報を受信すること
を含む。
【００２２】
したがって、前述の訂正更新のこの代替実装形態では、少なくとも１つの修正可能な属性の現在の値の変更は、携帯装置によって実行されるのではなく、代わりにマーカ・マネージャ装置によって実行される。
【００２３】
本開示の別の態様は、実世界において、表示装置に表示された少なくとも１つの基準マーカを管理する方法であって、マーカ・マネージャ装置が、
−携帯装置が前記表示装置に表示された画像において、前記表示された基準マーカを検出できるように、前記表示された基準マーカに関連付けられた少なくとも１つの修正可能な属性の現在の値を表す、現在の属性情報を送信することと、
−実世界において、表示された基準マーカに関して、前記携帯装置の姿勢を表す姿勢情報を受信することと、
−前記受信された姿勢情報に従って、前記少なくとも１つの修正可能な属性の現在の値を、第１の新規の値に変更することと、
−前記第１の新規の値を表す第１の新規の属性情報を、前記携帯装置に送信すること
を実行する、方法に関する。
【００２４】
これは、適応更新の前述の代替実装形態に対応しており、少なくとも１つの修正可能な属性の現在の値の変更は、マーカ・マネージャ装置によって実行される。
【００２５】
管理方法の具体的な特徴によれば、マーカ・マネージャ装置は、前記姿勢情報を受信せずに、前記表示された基準マーカの非検出を示す失敗情報を受信する場合、
−前記少なくとも１つの修正可能な属性の現在の値を、第２の新規の値に変更することと、
−前記少なくとも１つの修正可能な属性の前記第２の新規の値を表す第２の新規の属性情報を送信すること
を実行する。
【００２６】
これは、訂正更新の前述の代替実装形態に対応しており、少なくとも１つの修正可能な属性の現在の値の変更は、マーカ・マネージャ装置によって実行される。
【００２７】
管理方法の具体的な特徴によれば、マーカ・マネージャ装置は、前記表示装置に表示され、それぞれが別個の携帯装置に関連付けられた、いくつかの基準マーカを管理する。前記少なくとも１つの修正可能な属性の現在の値を、第１または第２の新規の値に変更するステップを実行するとき、前記表示された基準マーカのうち所与のマーカについて、マーカ・マネージャ装置は、前記所与の表示された基準マーカと、前記表示された基準マーカのうち他のマーカとの間のコンフリクトのうち少なくとも１つのケースを処理する。
【００２８】
したがって、いくつかの基準マーカ（それぞれ、別個の携帯装置を使用して別個のユーザによって検出される）を、同じ表示装置に表示することができる。
【００２９】
管理方法の具体的な特徴によれば、コンフリクトの前記少なくとも１つのケースは、
−少なくとも２つの表示された基準マーカ間の衝突と、
−少なくとも２つの表示された基準マーカ間の遮蔽と
を含むグループに属する。
【００３０】
検出方法および／または管理方法の具体的な特徴によれば、前記少なくとも１つの修正可能な属性は、
−表示された画像における、表示された基準マーカの位置と、
−表示された画像における、表示された基準マーカの向きと、
−表示された画像における、表示された基準マーカのサイズと、
−表示された画像における、表示された基準マーカの色と、
−表示された画像における、表示された基準マーカの輝度と、
−表示された画像における、表示された基準マーカのコントラストと、
−表示された画像における、表示された基準マーカのパターンと
を含むグループに属する。
【００３１】
実装形態に応じて、これらの修正可能な属性のうち１つまたはいくつかを使用することができる。このリストは網羅的なものではない。使用される修正可能な属性の数を増やすことによって、マーカ検出効率を改善する。
【００３２】
この検出方法および／または管理方法の具体的な実装形態では、携帯装置は、光学式シースルー装置またはビデオ・シースルー装置である。
【００３３】
本開示の別の態様は、（その様々な実施形態のいずれかにおいて）基準マーカを検出する前述の方法、および／または、プログラムがコンピュータもしくはプロセッサ上で実行されるときに、（その様々な実施形態のいずれかにおいて）基準マーカを管理する方法を実施するためのプログラム・コード命令を含む、コンピュータ・プログラム製品に関する。
【００３４】
本開示の別の態様は、前述のコンピュータ・プログラム製品、すなわちコンピュータまたはプロセッサによって実行されると、このコンピュータまたはプロセッサが、基準マーカを検出する方法および／または基準マーカを管理する方法を実行できるようにするプログラムを記憶する、持続的なコンピュータ読取り可能な搬送媒体に関する。
【００３５】
本開示の別の態様は、マーカ・ベースの拡張現実システムの携帯装置に関し、前記携帯装置は、カメラおよびマーカ検出器ユニットを含み、実世界において、表示装置に表示された基準マーカを検出するように構成されている。前記携帯装置は、
−前記表示された基準マーカに関連付けられた少なくとも１つの修正可能な属性の現在の値を表す、現在の属性情報を取得する手段と、
−前記現在の属性情報に従って、前記表示装置に表示された画像において、前記表示された基準マーカを検出する手段と、
−前記現在の属性情報および前記検出済みの表示された基準マーカに従って、実世界において、表示された基準マーカに関して、前記携帯装置の姿勢を表す姿勢情報を計算する手段と、
−前記少なくとも１つの修正可能な属性の新規の値を表す新規の属性情報を取得する手段であって、前記新規の値は、前記計算された姿勢情報に依存する、手段と
を含む。
【００３６】
本開示の別の態様は、マーカ・ベースの拡張現実システムの携帯装置に関し、前記携帯装置は、カメラおよびマーカ検出器ユニットを含み、実世界において、表示装置に表示された基準マーカを検出するように構成され、
−前記表示された基準マーカに関連付けられた少なくとも１つの修正可能な属性の現在の値を表す、現在の属性情報を取得するように構成された受信機と、
−現在の属性情報に従って、前記表示装置に表示された画像において、表示された基準マーカを検出するように構成された検出器と、
−前記現在の属性情報および前記検出済みの表示された基準マーカに従って、実世界において、表示された基準マーカに関して、前記携帯装置の姿勢を表す姿勢情報を計算するように構成されたプロセッサと、
−前記少なくとも１つの修正可能な属性の新規の値を表す新規の属性情報を取得するように構成された受信機またはプロセッサであって、前記新規の値は、前記計算された姿勢情報に依存する、受信機またはプロセッサと
を含む。
【００３７】
有利には、携帯装置は、その様々な実施形態のいずれかにおいて、前述の通り基準マーカを検出する方法において、この携帯装置が実行する各ステップを実施する手段を含む。
【００３８】
本開示の別の態様は、マーカ・ベースの拡張現実システムのマーカ・マネージャ装置に関し、前記マーカ・マネージャ装置は、実世界において、表示装置に表示された少なくとも１つの基準マーカを管理するように構成されている。前記マーカ・マネージャ装置は、
−携帯装置が前記表示装置に表示された画像において、前記表示された基準マーカを検出できるように、前記表示された基準マーカに関連付けられた少なくとも１つの修正可能な属性の現在の値を表す、現在の属性情報を送信する手段と、
−実世界において、表示された基準マーカに関して、前記携帯装置の姿勢を表す姿勢情報を受信する手段と、
−前記受信された姿勢情報に従って、前記少なくとも１つの修正可能な属性の現在の値を、新規の値に変更する手段と、
−前記第１の新規の値を表す第１の新規の属性情報を、前記携帯装置に送信する手段と
を含む。
【００３９】
本開示の別の態様は、マーカ・ベースの拡張現実システムのマーカ・マネージャ装置に関し、前記マーカ・マネージャ装置は、実世界において、表示装置に表示された少なくとも１つの基準マーカを管理するように構成されている。前記マーカ・マネージャ装置は、
−携帯装置が前記表示装置に表示された画像において、前記表示された基準マーカを検出できるように、前記表示された基準マーカに関連付けられた少なくとも１つの修正可能な属性の現在の値を表す、現在の属性情報を送信するように構成された送信機と、
−実世界において、表示された基準マーカに関して、前記携帯装置の姿勢を表す姿勢情報を受信するように構成された受信機と、
−前記受信された姿勢情報に従って、前記少なくとも１つの修正可能な属性の現在の値を、新規の値に変更するように構成されたプロセッサと、
−前記第１の新規の値を表す第１の新規の属性情報を、前記携帯装置に送信するように構成された送信機と
を含む。
【００４０】
有利には、マーカ・マネージャ装置は、その様々な実施形態のいずれかにおいて、前述の通り基準マーカを管理する方法において、この携帯装置が実行する各ステップを実施する手段を含む。
【００４１】
各実施形態の他の特徴および利点は、例示的かつ包括的でない例として提示される以下の説明から、また添付図面から明らかになろう。
【図面の簡単な説明】
【００４２】
【図１Ａ】本発明の具体的な実施形態による、動的なマーカの位置およびスケールの時間的変化の一例の概略図を示す。
【図１Ｂ】本発明の具体的な実施形態による、動的なマーカの位置およびスケールの時間的変化の一例の概略図を示す。
【図２Ａ】本発明の第１の実施形態による、基準マーカを管理する方法、およびそれに対応して基準マーカを管理する方法のそれぞれの流れ図である。
【図２Ｂ】本発明の第１の実施形態による、基準マーカを管理する方法、およびそれに対応して基準マーカを管理する方法のそれぞれの流れ図である。
【図３Ａ】本発明の第２の実施形態による、基準マーカを検出する方法、およびそれに対応して基準マーカを管理する方法の、それぞれの流れ図である。
【図３Ｂ】本発明の第２の実施形態による、基準マーカを検出する方法、およびそれに対応して基準マーカを管理する方法の、それぞれの流れ図である。
【図４】本発明の、マルチユーザの実施形態の概略図である。
【図５】本発明の具体的な実施形態による、携帯装置の簡略化された構造を示す。
【図６】本発明の具体的な実施形態による、マーカ・マネージャ装置の簡略化された構造を示す。
【発明を実施するための形態】
【００４３】
この文書の各図全てにおいて、同様の要素およびステップは、同じ参照番号で示してある。
【００４４】
次に図１Ａおよび図１Ｂを参照して、本開示の具体的な実施形態を適用することが可能なマーカ・ベースの拡張現実システムの一例を示す。
【００４５】
システムのこの例は、マーカ・マネージャ装置３（たとえば、パーソナル・コンピュータ）、表示装置２（たとえばテレビ受像機）および携帯装置１（たとえば、スマートフォン、タブレット、ヘッドマウント・ディスプレイ（ＨＭＤ）、または任意の光学式もしくはシースルー型装置）を含む。
【００４６】
マーカ・マネージャ装置３は、少なくとも１つの基準マーカ、および表示装置２へのその表示を管理する。表示された基準マーカ（表示装置２に視覚的に表示される）は、図１Ａには５で示してあり、図１Ｂには５’で示してある。
【００４７】
図１Ａおよび図１Ｂの例では、マーカ・マネージャ装置３は、直接リンク７を介して表示装置２と通信する。一代替実施形態（図示せず）では、ネットワークを介したリンクが実装される。
【００４８】
図１Ａおよび図１Ｂの例では、シングル・ユーザの実施形態に対応する、表示された１つの基準マーカ５、５’のみが示してある。いくつかのマーカが同じ表示装置に表示されている、マルチユーザの実施形態について、図４を参照されたい。
【００４９】
携帯装置１は、カメラ、画面、取込みモジュール、追跡モジュール（「マーカ検出ユニット」とも呼ばれる）、およびレンダリング・モジュールを含む。取込みモジュールは、カメラから画像を取り込む。図１Ａおよび図１Ｂの例では、取り込まれた画像は、表示装置２に表示された画像の一部分に対応し、この部分は、図１Ａには６で示してあり、図１Ｂには６’で示してある。追跡モジュールは、取り込まれた画像内の表示された基準マーカ５、５’を検出し、カメラの姿勢（すなわち、位置および向き）を推定する。レンダリング・モジュールは、この姿勢を使用して、取り込まれた元の画像（または、光学式シースルー携帯装置の場合は実世界のビュー）を、１つまたはいくつかの仮想構成要素（すなわち、３Ｄコンピュータ生成されたオブジェクト）と結合し、次いで、この拡張された画像を画面上にレンダリングする。
【００５０】
図１Ａおよび図１Ｂの例では、携帯装置１は、ネットワーク４を通過するリンク８ａ、８ｂを介して、マーカ・マネージャ装置３と通信する。一代替実施形態（図示せず）では、直接リンク（すなわち、ネットワークを介さない）が実装される。
【００５１】
図１Ａおよび図１Ｂには、提案された解決策の一般的原理、すなわち、少なくとも１つの修正可能な属性に関連付けられた、動的に表示されるマーカ５、５’の使用が示してある。より明確には、図１Ａおよび図１Ｂには、動的マーカの２つの属性、すなわちその位置およびそのスケールの時間的変化の一例の概略図が示してある。この例では、Ｔ＝ｔ０（図１Ａに示した状況）とＴ＝ｔ１（図１Ｂに示した状況）との間で、ユーザが、携帯機器１を移動させて、表示装置２から近づきながら右へと並進する。表示されたマーカ（図１Ａには５で示してあり、図１Ｂには５’で示してある）は、それに応じて移動およびスケーリングされている。そうでない場合、これは、携帯装置１のカメラからは、もはや見えなくなっている。
【００５２】
実装形態に応じて、動的マーカの１つまたはいくつかの属性が修正可能である。修正可能な属性の包括的でないリストは、
−表示された画像（すなわち、表示装置２に表示された画像）における、表示された基準マーカの位置と、
−表示された画像における、表示された基準マーカの向きと、
−表示された画像における、表示された基準マーカのサイズと、
−表示された画像における、表示された基準マーカの色と、
−表示された画像における、表示された基準マーカの輝度と、
−表示された画像における、表示された基準マーカのコントラストと、
−表示された画像における、表示された基準マーカのパターンと、
−・・・と
を含む。
【００５３】
１つまたはいくつかの修正可能な属性の値を変更することにより（すなわち、マーカ属性のうち１つまたはいくつかのライブ修正を実行することにより）、提案された解決策は、背景の解決策の上記リストに記載された制限事項（マーカ検出が失われるか、または不安定になる）の少なくとも一部を防止できるようにする。すなわち、提案された解決策により、たとえば、以下の動作のうちの１つまたは全ての動作が、表示された動的マーカを変更できるようにする。
・表示されたマーカを移動させて（すなわち、その位置を変更させて）、カメラの視野内に確実に保持されるようにする。
・携帯装置１と表示装置２の間の距離に適合するように、表示されたマーカのサイズを変更する。
・携帯装置１のカメラによって取り込まれた画像に適合させるように、表示されたマーカの色および／または輝度および／またはコントラストを変更する。
・表示されたマーカが検出器の真正面に示されないように、表示されたマーカの向きを変更する（すなわち、推定された姿勢が近い値の間で変動する場合）。
【００５４】
以下で詳細に説明する実施形態では、これらの変更動作は、積極的に、またはフェイルオーバ・メカニズムとして実行してもよい。その両方において、マーカ・マネージャ装置３と携帯装置１の間でのフィードバック・ループを使用する。
【００５５】
次に、図２Ａおよび図２Ｂを参照すると、本発明の原理の第１の実施形態による、基準マーカを検出する方法（携帯装置１によって実行される（図２Ａ））、およびそれに対応して基準マーカを管理する方法（マーカ・マネージャ装置３によって実行される（図２Ｂ）を提示する。
【００５６】
次に、図２Ａの流れ図を詳細に説明する。
【００５７】
初期化ステップ２１において、携帯装置１は、表示された基準マーカに関連付けられたそれぞれの修正可能な属性の初期化値を表す初期化属性情報（マーカ・マネージャ装置３から送信される）を受信する。
【００５８】
マーカ検出ステップ２２において、携帯装置１は、現在の属性情報（この段階では、初期化属性情報である）に従って、表示装置２に表示された画像において、表示された基準マーカを検出しようとする。
【００５９】
ステップ２２において、表示された基準マーカが見つからない場合（すなわち、テスト・ステップ２３において否定回答の場合）、携帯装置１は、
・マーカ・マネージャ装置が修正可能な属性のうちの１つ、いくつか、または全ての現在の値（この場合は初期値）を新規の値に変更し、この新規の値を表す新規の属性情報を取得できるように、失敗情報を送信するステップ２１０と、
・マーカ・マネージャ装置３から送信された新規の属性情報を受信し、マーカ検出ステップ２２に戻る（この段階では、現在の属性情報は、マーカ・マネージャ装置３から送信された新規の属性情報である）ステップ２１１と
を実行する。
【００６０】
ステップ２２において、表示された基準マーカが見つかる場合（すなわち、テスト・ステップ２３において肯定回答の場合）、携帯装置１は、所定期間の後、現在の属性情報に従って、表示装置２に表示された画像において、表示された基準マーカを再び検出しようとするマーカ追跡ステップ２４を実行する。
【００６１】
ステップ２４において、表示された基準マーカが見つからない場合（すなわち、テスト・ステップ２５において否定回答の場合）、携帯装置１は、（既に前述した）ステップ２１０および２１１を実行し、マーカ検出ステップ２２に戻る。
【００６２】
ステップ２４において、表示された基準マーカが見つかる場合（すなわち、テスト・ステップ２５において肯定回答の場合）、携帯装置１は、
・現在の属性情報および検出済みの表示された基準マーカに従って、実世界において、表示された基準マーカに関して、携帯装置の姿勢を表す姿勢情報を計算するステップ２６と、
・計算された姿勢情報に従って、マーカ・マネージャ装置が修正可能な属性のうちの１つ、いくつか、または全ての現在の値を新規の値に変更し、この新規の値を表す新規の姿勢情報を取得できるように、計算された姿勢情報を送信するステップ２７と、
・計算された姿勢情報を使用して、取り込まれた元の画像（または、光学式シースルー携帯装置の場合は実世界のビュー）を、１つまたはいくつかの仮想構成要素と結合し、次いで、この拡張された画像を携帯装置１の画面上にレンダリングするステップ２８と、
・マーカ・マネージャ装置３から送信された新規の属性情報を受信し、マーカ追跡ステップ２４に戻る（この段階では、現在の属性情報は、マーカ・マネージャ装置３から送信された新規の属性情報である）ステップ２９と
を実行する。
【００６３】
次に、図２Ｂの流れ図を詳細に説明する。
【００６４】
初期化ステップ２２０において、マーカ・マネージャ装置３は、初期化属性情報（上記定義参照）を携帯装置１に送信する。
【００６５】
ステップ２２１において、マーカ・マネージャ装置３は、現在の属性情報（この段階では、初期化属性情報である）に従って、表示装置２への基準マーカの表示を管理する。
【００６６】
テスト・ステップ２２２において、マーカ・マネージャ装置３は、携帯装置１から送信される、失敗情報（図２Ａのステップ２１０参照）または計算された姿勢情報（図２Ａのステップ２７参照）のいずれかを含むメッセージを受信したかどうか検出する。テスト・ステップ２２２で否定回答の場合、マーカ・マネージャ装置３はステップ２２２に留まる。テスト・ステップ２２２で肯定回答の場合、マーカ・マネージャ装置３は、
・修正可能な属性のうちの１つ、いくつか、または全ての現在の値を新規の値に変更し、この新規の値を表す新規の属性情報を取得するステップ２２３と、
・新規の属性情報を携帯装置１に送信するステップ２２４と、
・新規の属性情報に従って、表示装置２への基準マーカの表示を管理するステップ２２５と
を実行し、ステップ２２２に戻る。
【００６７】
図２Ａおよび図２Ｂに示すように、マーカ検出の頑強性を改善する２つの別々の方法を提案する。すなわち、失敗後のマーカ属性の訂正更新（図２Ａのステップ２１０〜２１１、および失敗情報を受信した後の図２Ｂのステップ２２３〜２２５を参照）、または、検出失敗率を回避するか、もしくは少なくとも減少させるための、マーカ属性の適応（および事前）更新（図２Ａのステップ２６〜２９、および計算された姿勢情報を受信した後の図２Ｂのステップ２２３〜２２５を参照）である。
【００６８】
検出が最初に成功するまでの訂正更新の場合、マーカ・マネージャ装置３は、「ブラインド」モードにあるので、適切な属性の、任意の種類の最良の推測を使用して、表示されたマーカを調整してもよい。検出が最初に成功した後の訂正更新の場合、マーカ・マネージャ装置３は、システム状態の履歴（たとえば、マーカ属性および装置姿勢）を考慮して、表示されたマーカを調整してもよい。
【００６９】
適応更新（すなわち、マーカ追跡中）の場合、マーカ・マネージャ装置３は、表示装置２に対する携帯装置１の動きに従って、マーカ属性を調整してもよい。
【００７０】
次に、図３Ａおよび図３Ｂを参照すると、本発明の原理の第２の実施形態による、基準マーカを検出する方法（携帯装置１によって実行される（図３Ａ））、およびそれに対応して基準マーカを管理する方法（マーカ・マネージャ装置３によって実行される（図３Ｂ）を提示する。
【００７１】
図２Ａおよび図２Ｂに示し、先に述べた第１の実施形態との差は、携帯装置１が、初期化属性情報の初期知識を有し、修正可能な属性のうちの１つ、いくつか、または全ての現在の値を、新規の値に変更する（したがって、新規の値を表す新規の属性情報を取得する）ことである。
【００７２】
次に、図３Ａの流れ図を詳細に説明する。
【００７３】
初期化ステップ３１において、携帯装置１は、初期化属性情報（上記定義参照）をマーカ・マネージャ装置３に送信する。
【００７４】
マーカ検出ステップ３２は、図２Ａのマーカ検出ステップ２２と同一である。
【００７５】
ステップ３２において、表示された基準マーカが見つからない場合（すなわち、テスト・ステップ３３において否定回答の場合）、携帯装置１は、
・修正可能な属性のうちの１つ、いくつか、または全ての現在の値（この場合は初期値）を新規の値に変更し、この新規の値を表す新規の属性情報を取得するステップ３１０と、
・この新規の属性情報をマーカ・マネージャ装置３に送信し、マーカ検出ステップ２２に戻るステップ３１１と
を実行する。
【００７６】
ステップ３２において、表示された基準マーカが見つかる場合（すなわち、テスト・ステップ３３において肯定回答の場合）、携帯装置１は、図２Ａのマーカ追跡ステップ２４と同一のマーカ追跡ステップ３４を実行する。
【００７７】
ステップ３４において、表示された基準マーカが見つからない場合（すなわち、テスト・ステップ２５において否定回答の場合）、携帯装置１は、ステップ３１０および３１１を実行し、マーカ検出ステップ２２に戻る。
【００７８】
ステップ３４において、表示された基準マーカが見つかる場合（すなわち、テスト・ステップ３５において肯定回答の場合）、携帯装置１は、
・図２Ａのステップ２６と同一のステップ３６（姿勢情報の計算）と、
・計算された姿勢情報に従って、修正可能な属性のうちの１つ、いくつか、または全ての現在の値を新規の値に変更し、この新規の値を表す新規の属性情報を取得するステップ３７と、
・図２Ａのステップ２８と同一のステップ３８（携帯装置１の画面上の拡張された画像のレンダリング）と、
・この新規の属性情報をマーカ・マネージャ装置３に送信し、マーカ追跡ステップ３４に戻るステップ３９と
を実行する。
【００７９】
次に、図３Ｂの流れ図を詳細に説明する。
【００８０】
初期化ステップ３２０において、マーカ・マネージャ装置３は、携帯装置１から送信された初期化属性情報（上記定義参照）を受信する。
【００８１】
ステップ３２１は、図２Ａのステップ２２１と同一である（現在の属性情報に従って、表示装置２への基準マーカの表示を管理すること）。
【００８２】
テスト・ステップ３２２において、マーカ・マネージャ装置３は、携帯装置１から送信される、新規の属性情報（図３Ａのステップ３１１および３９を参照）を含むメッセージを受信したかどうか検出する。否定回答の場合、マーカ・マネージャ装置３はステップ３２２に留まる。テスト・ステップ３２２で肯定回答の場合、マーカ・マネージャ装置３は、新規の属性情報に従って、表示装置２への基準マーカの表示を管理するステップ３２３を実行し、ステップ３２２に戻る。
【００８３】
図４は、本発明の、マルチユーザの実施形態の概略図である。マーカ・マネージャ装置３は、表示装置２への、いくつかの基準マーカ５１、５２、５３．．．の表示を管理する。表示された基準マーカのそれぞれが、別個の携帯装置１１、１２、１３．．．に関連付けられている。この例では、各携帯装置は、ネットワーク４を通過するリンク（８ａ１、８ｂ）、（８ａ２、８２）、（８ａ３、８ｂ）．．．を介して、マーカ・マネージャ装置３と通信する。
【００８４】
表示された基準マーカのうち所与のマーカ（たとえば５１）について、修正可能な属性のうちの１つ、いくつか、または全ての現在の値を、新規の値に変更するステップを実行するとき（図２Ｂのステップ２２３を参照）、マーカ・マネージャ装置３は、所与の表示された基準マーカ（たとえば５１）と、表示された基準マーカのうち他のマーカ（たとえば５２、５３．．．）との間のコンフリクトのうちの１つまたはいくつかのケースを処理する。たとえば、コンフリクトの以下のケース、すなわち、少なくとも２つの表示された基準マーカ間の衝突と、少なくとも２つの表示された基準マーカ間の遮蔽とを処理する。
【００８５】
図５には、本発明の原理の具体的な実施形態による、携帯装置１の簡略化された構造が示してある。
【００８６】
携帯装置１は、不揮発性メモリ５３（たとえば、リードオンリ・メモリ（ＲＯＭ）またはハード・ディスク）、揮発性メモリ５１（たとえば、ランダム・アクセス・メモリ、すなわちＲＡＭ）、プロセッサ５２、カメラ５４、および画面５５を含む。
【００８７】
不揮発性メモリ５３は、持続的でコンピュータ読取り可能な搬送媒体である。これは、プロセッサ５２によって実行されて、前述の基準マーカを検出する方法の実施を可能にする、実行可能プログラム・コード命令５３０を記憶する。
【００８８】
初期化されると、このプログラム・コード命令５３０は、不揮発性メモリ５３から揮発性メモリ５１に転送されて、プロセッサ５２によって実行される。同様に、揮発性メモリ５１は、この実行に必要な変数およびパラメータを記憶するためのレジスタを含む。
【００８９】
図２Ａに示す第１の実施形態では、入力５６が、マーカ・マネージャ装置３から送信される初期化属性情報および新規の属性情報を含み、出力５７が、マーカ・マネージャ装置３に送信される失敗情報および計算された姿勢情報を含む。
【００９０】
図３Ａに示す第２の実施形態では、出力５７は、マーカ・マネージャ装置３に送信される初期化属性情報および新規の属性情報を含む。
【００９１】
具体的な実装形態では、プログラム・コード命令５３０のある部分（５３１、５３２、および５３３）は、プロセッサ５２によって実行されると、取込みモジュール、追跡モジュール（「マーカ検出器ユニット」とも呼ばれる）および前述のレンダリング・モジュールの実施を可能にする。代替実装形態では、これらのモジュールは、そのそれぞれの機能を実行するように構成された電子回路を含む、ハードウェア・モジュールである。これらのユニットのそれぞれも、ハードウェアとソフトウェアの組合せで実施してもよい。
【００９２】
図６には、本発明の原理の具体的な実施形態による、マーカ・マネージャ装置３の簡略化された構造が示してある。
【００９３】
マーカ・マネージャ装置３は、不揮発性メモリ６３（たとえば、リードオンリ・メモリ（ＲＯＭ）またはハード・ディスク）、揮発性メモリ６１（たとえば、ランダム・アクセス・メモリ、すなわちＲＡＭ）、およびプロセッサ６２を含む。
【００９４】
不揮発性メモリ６３は、持続的でコンピュータ読取り可能な搬送媒体である。これは、プロセッサ６２によって実行されて、前述の基準マーカを管理する方法の実施を可能にする、実行可能プログラム・コード命令６３０を記憶する。
【００９５】
初期化されると、このプログラム・コード命令６３０は、不揮発性メモリ６３から揮発性メモリ６１に転送されて、プロセッサ６２によって実行される。同様に、揮発性メモリ６１は、この実行に必要な変数およびパラメータを記憶するためのレジスタを含む。
【００９６】
図２Ｂに示す第１の実施形態では、出力６５が、携帯装置１に送信される初期化属性情報および新規の属性情報を含み、入力６４が、携帯装置１から送信される失敗情報および計算された姿勢情報を含む。
【００９７】
図３Ｂに示す第２の実施形態では、入力６４は、携帯装置１から送信される初期化属性情報および新規の属性情報を含む。
【００９８】
携帯装置１およびマーカ・マネージャ装置３の様々な実装形態を使用することができる。実際、（携帯装置１によって実行される）基準マーカを検出する方法の全てのステップ、および（マーカ・マネージャ装置３によって実行される）基準マーカ管理する方法の全てのステップは、以下によって等しく良好に実施することができる。
・ＰＣタイプの機器、ＤＳＰ（デジタル信号プロセッサ）、またはマイクロコントローラなど、再プログラム可能なコンピューティング・マシンによって実行される、１組のプログラム・コード命令を実行することによって。このプログラム・コード命令は、取外し可能（たとえば、フロッピー・ディスク、ＣＤ−ＲＯＭ、もしくはＤＶＤ−ＲＯＭ）、または取外し不可能な、持続的でコンピュータ読取り可能な搬送媒体に記憶することができる。
・ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）、ＡＳＩＣ（特定用途向け集積回路）、または任意の専用ハードウェア構成要素など、専用のマシンまたは構成要素によって。
【００９９】
すなわち、携帯装置１およびマーカ・マネージャ装置３の開示は、コンピュータ・プログラム命令の形式で純粋にソフトウェアベースの実装形態に限定されず、ハードウェア形式、またはハードウェア部分とソフトウェア部分とを組み合わせる任意の形式で実装することもできる。
【図１Ａ】
2018534677.tif 000003
【図１Ｂ】
2018534677.tif 000004
【図２Ａ】
2018534677.tif 000005
【図２Ｂ】
2018534677.tif 000006
【図３Ａ】
2018534677.tif 000007
【図３Ｂ】
2018534677.tif 000008
【図４】
2018534677.tif 000009
【図５】
2018534677.tif 000010
【図６】
2018534677.tif 000011
【国際調査報告】
2018534677.tif 000012
2018534677.tif 000013
2018534677.tif 000014
2018534677.tif 000015