(57)【要約】      （修正有）【課題】装置に関する情報の少なくとも１つの項目を電子デバイスの画面に表示することを管理するための方法を提供する。【解決手段】装置の画像と前記装置の複数の注目点とを含む、装置の補強画像を提供するステップａと、１組の選ばれた注目点を取得するために、複数の注目点の中から少なくとも１つの注目点を選ぶステップｂと、表示される情報を選択するステップｃと、装置に利用可能な、装置の１組の図形を提供するステップｄと、少なくとも１つの補強概略表現を取得するために、表示される情報のプレビューを装置の図形に挿入することにより、利用可能な装置の各図形を、あらかじめ定められた基準に従って最適化するステップｅと、あらかじめ定められた基準に従って、補強概略表現を分類するステップｆと、補強画像の代わりに、取得された前記補強概略表現のうちの少なくとも１つを表示するステップｈとを含む。【選択図】図５
2016157435.tif 000002
【特許請求の範囲】
【請求項１】
装置（４）に関する情報（Ｉ４）の少なくとも１つの項目を電子デバイス（２）の画面（２４）に表示することを管理するための方法であって、
ａ）前記装置（４）の画像（Ｉａ）と前記装置（４）の複数の注目点（Ｐ）とを含む、前記装置（４）の補強画像（Ｉｅ）を提供するステップであって、各注目点（Ｐ）は、前記装置（４）の要素に固有の情報（ＩＰ）の項目に関連付けられている、ステップと、
ｂ）１組の選ばれた注目点（Ｐ）を取得するために、前記複数の注目点（Ｐ）の中から少なくとも１つの注目点（Ｐ）を選ぶステップと、
ｃ）表示される情報を選択するステップであって、表示される情報は、前記選ばれた注目点（Ｐ）に関連付けられた情報（ＩＰ）である、ステップと、
ｄ）前記装置（４）に利用可能な、前記装置（４）の１組の図形を提供するステップと、
ｅ）前記補強画像（Ｉｅ）と区別され、前記装置（４）の図形と、表示される情報の前記項目の１つの少なくとも１つのプレビューとを含む少なくとも１つの補強概略表現（Ｒｅ）を取得するために、表示される情報のプレビューを前記装置（４）の図形に挿入することにより、利用可能な前記装置（４）の各図形を、あらかじめ定められた基準（Ｃ）に従って最適化するステップであって、表示される情報の前記プレビューは、前記装置（４）の前記図形に適合する、ステップと、
ｆ）前記あらかじめ定められた基準（Ｃ）に従って、前記補強概略表現（Ｒｅ）を分類するステップと、
ｈ）前記補強画像（Ｉｅ）の代わりに、取得された前記補強概略表現（Ｒｅ）のうちの少なくとも１つを表示するステップと、
を含む方法。
【請求項２】
さらに、データ（Ｄ２、Ｄ４）を選択するステップｇ）を含み、前記データ（Ｄ２、Ｄ４）は、前記選ばれた注目点（Ｐ）に関連付けられた情報（ＩＰ）ではなく、前記データ（Ｄ２、Ｄ４）は、前記電子デバイス（２）にとってアクセス可能であり、表示される情報は、前記選択されたデータ（Ｄ２、Ｄ４）も含む、請求項１に記載の方法。
【請求項３】
前記選択されたデータ（Ｄ２、Ｄ４）は、前記電子デバイス（２）の少なくとも１つのセンサ（２０、２１）から生じる、請求項２に記載の方法。
【請求項４】
最適化のステップｅ）は、表示される情報を格子の形式で順序付けることを含む、請求項１から３のいずれか一項に記載の方法。
【請求項５】
最適化のステップｅ）は、複数の選択フィルタを使用することを含む、請求項１から３のいずれか一項に記載の方法。
【請求項６】
最適化のステップｅ）は、前記注目点（Ｐ）が関連付けられた情報（ＩＰ）の固有のプレビューを各注目点（Ｐ）と関連付ける連想配列を使用することを含む、請求項１から３のいずれか一項に記載の方法。
【請求項７】
表示のステップｈ）は、前記あらかじめ定められた基準（Ｃ）の値に従って順序付けられた複数の補強概略表現（Ｒｅ）を表示することを含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
さらに、前記あらかじめ定められた基準（Ｃ）の最も高い値を提示する前記補強概略表現（Ｒｅ）を表示することを含む、請求項７に記載の方法。
【請求項９】
少なくとも１つのステップは、ユーザの動作によりトリガされる、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記ユーザの動作は、前記電子デバイス（２）の画面（２４）に垂直な軸（Ｘ２）のまわりの前記電子デバイス（２）の回転であり、前記電子デバイス（２）は、少なくとも１つの作動ボタンまたはタッチボタンを備え、前記ユーザの動作は、前記作動ボタンまたは前記タッチボタンを押すことである、請求項９に記載の方法。
【請求項１１】
電子デバイス（２）に組み込まれた処理ユニット（２６）により実施されたとき、請求項１から１０のいずれか一項に記載の方法を実施する複数のソフトウェア命令（２７２、２７４、２７５、２７６、２７７、２７８、２７９）を備える、コンピュータプログラム製品（２７）。
【請求項１２】
検出器（２０）と、１組のセンサ（２１）と、画面（２４）と、前記画面にデータを表示するユニット（２２）と、請求項１１に記載のコンピュータプログラム製品（２７）が実装された処理ユニット（２６）と、を備える電子デバイス（２）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機器または装置の部品に関する情報の少なくとも１つの項目を電子デバイスの画面に表示することを管理するための方法に関する。本発明はまた、そのような方法を実施するコンピュータプログラム製品、およびそのようなコンピュータプログラム製品を実装する電子デバイスに関する。
【背景技術】
【０００２】
複数の産業分野において、電子デバイスにより収集された産業機器または産業装置の部品の画像に仮想モデルを重ね合わせることが知られている。そのような重ね合わせは、産業装置に関する情報がその上に重ね合わされたか、またはそれに関連付けられた新しい画像の形式で、電子デバイスの画面に表示可能である。したがって、そのような画像は補強画像（enriched image）と呼ばれる。そのような表示方法は、一般に、拡張現実の名称で知られる。
【０００３】
この点について、たとえば、仏国特許出願公開第２９９０２８６号明細書は、それに関する情報の項目が存在する装置の構成要素を示す注目点（interest point）を開示する。この文書はまた、装置の構成要素に関して収集された画像上の注目点を測位する可能性を明らかにする。
【０００４】
以下の文書も知られている：米国特許第２０１１／０１１５８１６号明細書、およびSanghoon Leeらにより書かれた記事：「Augmented reality-based computational fieldwork support for equipment operations and maintenance」、Automation In Construction、第２０巻、第４号、２０１０年１１月４日、３３８〜３５２ページ、DOI：10.1016/J.AUTCON.2010.11.004、およびHugo Alvarezらによる：「Providing guidance for maintenance operations using automatic markerless Augmented Reality system」、複合現実および拡張現実に関する第１０回ＩＥＥＥ国際シンポジウム、２０１１年１０月２６日、１８１〜１９０ページ、DOI：10.1109/ISMAR.2011.6092385。
【０００５】
拡張現実内の表示モードから補強画像上で識別される構成要素および情報の一覧表に移ることも知られている。そのような手法では、情報はリスト形式で簡単に作成される。しかしながら、考慮中の産業装置の視覚表現が提供されず、それにより、表示されるデータを考慮に入れ、分析することが容易にならない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】仏国特許出願公開第２９９０２８６号明細書
【特許文献２】米国特許第２０１１／０１１５８１６号明細書
【非特許文献】
【０００７】
【非特許文献１】Sanghoon Leeらにより書かれた記事：「Augmented reality-based computational fieldwork support for equipment operations and maintenance」、Automation In Construction、第２０巻、第４号、２０１０年１１月４日、３３８〜３５２ページ、DOI：10.1016/J.AUTCON.2010.11.004
【非特許文献２】Hugo Alvarezらによる：「Providing guidance for maintenance operations using automatic markerless Augmented Reality system」、複合現実および拡張現実に関する第１０回ＩＥＥＥ国際シンポジウム、２０１１年１０月２６日、１８１〜１９０ページ、DOI：10.1109/ISMAR.2011.6092385
【発明の概要】
【０００８】
ユーザに関する情報にアクセスすることを容易にする表示管理方法が必要である。
【０００９】
この目的のために、本発明の主題は、装置に関する情報の少なくとも１つの項目を電子デバイスの画面に表示することを管理するための方法であり、前記方法は、
ａ）前記装置の画像と前記装置の複数の注目点とを含む、前記装置の補強画像を提供するステップであって、各注目点は、前記装置の要素（element）に固有の情報の項目に関連付けられている、ステップと、
ｂ）１組の選ばれた注目点を取得するために、前記複数の注目点の中からの少なくとも１つの注目点を選ぶステップと、
ｃ）表示される情報を選択するステップであって、表示される情報は、選ばれた注目点に関連付けられた情報である、ステップと、
ｄ）前記装置に利用可能な（available）、前記装置の１組の図形（diagram）を提供するステップと、
ｅ）前記補強画像と区別され（distinct）、前記装置の図形と、表示される情報の前記項目の１つの少なくとも１つのプレビューとを含む補強概略表現（enriched schematic representation）を取得するために、表示される情報のプレビューを前記装置の図形に挿入することにより、利用可能な前記装置の各図形を、あらかじめ定められた基準に従って最適化するステップであって、表示される情報の前記プレビューは、前記装置の前記図形に適合する（compatible）、ステップと、
ｆ）前記あらかじめ定められた基準に従って、前記補強概略表現を分類するステップと、
ｈ）前記補強画像の代わりに、取得された前記補強概略表現のうちの少なくとも１つを表示するステップと、
を含む。
【００１０】
本発明のおかげで、表示管理方法は、装置上で識別される情報の少なくとも１つの補強概略表現を提供する。そのような表現は、特により図式化され、したがって識別された情報の分析に対する簡略化された手法を提供する。
【００１１】
本発明の有利ではあるが必須ではない態様によれば、そのような表示管理方法は、すべての技術的に許容できる組合せに従って取られる、以下の特徴のうちの１つまたは複数を含む。
【００１２】
−前記方法はさらに、データを選択するステップｇ）を含み、前記データは、選ばれた注目点に関連付けられた情報ではなく、前記データは、前記電子デバイスにとってアクセス可能であり、表示される情報は、前記選択されたデータも含む。
【００１３】
−前記選択されたデータは、前記電子デバイスの少なくとも１つのセンサから生じる。
【００１４】
−最適化のステップｅ）は、表示される情報を格子の形式で順序付けることを含む。
【００１５】
−最適化のステップｅ）は、複数の選択フィルタを使用することを含む。
【００１６】
−最適化のステップｅ）は、前記注目点が関連付けられた情報の固有のプレビューを各注目点と関連付ける連想配列（associative array）を使用することを含む。
【００１７】
−表示のステップｈ）は、前記あらかじめ定められた基準の値に従って順序付けられた複数の補強概略表現を表示することを含む。
【００１８】
−前記方法はさらに、前記あらかじめ定められた基準の最も高い値を提示する前記補強概略表現を表示することを含む。
【００１９】
−少なくとも１つのステップは、ユーザの動作によりトリガされる。
【００２０】
−前記ユーザの動作は、前記電子デバイスの画面に垂直な軸のまわりの前記電子デバイスの回転であり、前記電子デバイスは、少なくとも１つの作動ボタンまたはタッチボタンを備え、前記ユーザの動作は、前記作動ボタンまたは前記タッチボタンを押すことである。
【００２１】
本発明の主題はまた、電子デバイスに組み込まれた情報処理ユニットにより実施されたとき、上述された方法を実施するソフトウェア命令を備える、コンピュータプログラム製品である。
【００２２】
本発明の主題はまた、検出器と、１組のセンサと、画面と、前記画面にデータを表示するユニットと、前述されたコンピュータプログラム製品が実装された情報処理ユニットと、を備える電子デバイスである。
【００２３】
添付の図面を参照しながら、非限定的な例としてのみ与えられる以下の発明を実施するための形態に照らして、本発明はより良く理解され、その他の利点はより明確になる。
【図面の簡単な説明】
【００２４】
【図１】電子デバイスの一例の概略表現である。
【図２】装置の一例の概略図である。
【図３】図１の電子デバイスおよびコンピュータプログラム製品の一例の概略図である。
【図４】図３に表されたコンピュータプログラム製品の詳細概略図である。
【図５】表示管理方法の一例のフローチャートである。
【図６】図２の装置の補強画像の提供後得られた結果の概略図である。
【図７】ユーザの動作の概略図である。
【図８】補強概略表現の表示後得られた結果の概略図である。
【発明を実施するための形態】
【００２５】
電子デバイス２および装置４が、それぞれ図１および図２に表される。
【００２６】
電子デバイス２はユーザを対象とする。
【００２７】
電子デバイス２は、好ましくは、携帯型電子デバイス、たとえば、モバイルフォンまたは電子タブレットである。
【００２８】
変形形態として、電子デバイス２はコンピュータである。
【００２９】
電子デバイス２は、表示管理方法を実行するためのソフトウェア命令を備えるコンピュータプログラム製品を実装することが可能である。
【００３０】
電子デバイス２は、検出器２０、１組のセンサ２１、ディスプレイユニット２２、画面２４、情報処理ユニット２６、トランシーバ２８、および電源ユニット３０を含む。
【００３１】
検出器２０は、たとえば、装置４の１つまたは複数の連続画像を収集することに適した画像センサである。
【００３２】
たとえば、検出器２０は、ＣＣＤ（電荷結合素子）センサまたはＣＭＯＳ（相補型金属酸化膜半導体）センサなどのマトリックスセンサである。
【００３３】
検出器２０は、装置４の収集された画像Ｉａを処理ユニット２６に配信すること、または前記装置４の連続画像の映像を供給することに適している。
【００３４】
１組のセンサ２１は、たとえば、ジオポジショニングユニット２１１、加速度計２１２、ジャイロスコープ２１３、タッチセンサ２１４、眼球運動センサ（eye movement sensor）２１５、およびマイクロフォン２１６を含む。
【００３５】
変形形態として、１組のセンサ２１は、前述されたセンサの任意の組合せを備える。
【００３６】
さらに別の変形形態によれば、１組のセンサ２１は、ユーザにとって関心があり得る他の情報へのアクセスを可能にするための他のセンサを備える。
【００３７】
ジオポジショニングユニット２１１、加速度計２１２、およびジャイロスコープ２１３は、電子デバイス２に位置データを提供することに適している。電子デバイス２に関する位置データは、説明の残りにおいてデータＤ２と表記される。
【００３８】
ジオポジショニングユニット２１１は、たとえば、ジオポジショニングシステム、たとえば、それ自体知られているＧＰＳシステム（全地球測位システム）などの、屋内測位システムまたは屋外測位システムと通信するために構成される。
【００３９】
加速度計２１２は、少なくとも１つの方向における電子デバイス２の加速度を測定するために使用される。一変形形態によれば、加速度計２１２は、３つの別々の方向における電子デバイス２の加速度を測定するための複数のセンサを備える。
【００４０】
ジャイロスコープ２１３は、少なくとも１つの軸に沿った電子デバイス２の回転を測定するために使用される。一変形形態によれば、ジャイロスコープ２１３は、３つの別々の軸に沿った電子デバイス２の回転を測定するための複数のセンサを備える。
【００４１】
タッチセンサ２１４、眼球運動センサ２１５、およびマイクロフォン２１６は、ユーザのコマンドに関する情報の少なくとも１つの項目を処理ユニット２６に送信することに適している。
【００４２】
タッチセンサ２１４は、画面２４がタッチボタンおよび／またはタッチキーボードを表示することが可能なタッチ画面であるように、画面２４の下に配置される。
【００４３】
眼球運動センサ２１５は、たとえば、ユーザの眼球運動を追うことを可能にする眼球運動測定器である。
【００４４】
マイクロフォン２１６は、ユーザの音声を記録するために使用される。
【００４５】
ディスプレイユニット２２は、画面２４にデータを表示することが可能である。詳細には、ディスプレイユニット２２は、電子デバイス２の画面２４に任意のタイプの画像、特に検出器２０により収集された画像Ｉａ、または収集され、次いで処理ユニット２６により修正された画像を表示することに適している。ディスプレイユニット２２は、たとえば、画面２４に画像Ｉａを表示するためのソフトウェアプログラムまたはグラフィックスカードである。
【００４６】
画面２４は、特に、検出器２０および／またはディスプレイユニット２２と対話して、１つまたは複数の連続画像を表示するために構成される。
【００４７】
説明の残りとして、画面２４の表面に垂直な軸が垂直軸Ｘ２として表記される。
【００４８】
画面２４は、５インチよりも大きく、好ましくは７インチよりも大きく、好ましくは９インチよりもさらに大きい長さを有する対角線などの、収集された画像Ｉａの容易な表示を可能にする寸法を有する。
【００４９】
処理ユニット２６は、情報のコンピュータ処理に適している。詳細には、処理ユニット２６は、収集された画像Ｉａに修正、変換、および分析を実施することに適している。
【００５０】
処理ユニット２６は、プロセッサ２６０と、プロセッサ２６０に関連付けられたメモリ２６２とを備える。
【００５１】
プロセッサ２６０は、メモリ２６２に記憶された１つまたは複数のソフトウェア命令を実施することが可能である。
【００５２】
電子デバイス２の処理ユニット２６のメモリ２６２は、データおよびコンピュータプログラム製品２７を記憶することが可能である。
【００５３】
メモリ２６２により記憶されるデータは、たとえば、装置４に関し、ファイル、数値、および／またはテキスト値の形式で記録されるデータＤ４である。メモリ２６２により記憶されるデータは、１組のセンサ２１により供給された電子デバイス２の位置データＤ２でもあり得る。
【００５４】
コンピュータプログラム製品２７はソフトウェア命令を備え、ソフトウェア命令は、処理ユニット２６により実施されると、装置４に関する情報Ｉ４の項目を表示する方法を実施する。
【００５５】
図３から分かるように、コンピュータプログラム製品２７は、第１のソフトウェア命令２７２、第２のソフトウェア命令２７４、および第３のソフトウェア命令２７５を備える。
【００５６】
第１のソフトウェア命令２７２は、たとえば、拡張現実内で表示するソフトウェア命令である。
【００５７】
第１の拡張現実ソフトウェア命令２７２は、複数の注目点Ｐの収集された画像Ｉａとの関連による装置４の補強画像Ｉｅを供給することが可能である。各注目点Ｐは、装置４の要素を示し、該当する要素に固有の情報ＩＰの項目に関連付けられる。注目点Ｐは、たとえば、テキスト値、測定値、画像、グラフィカルウィジェット（graphical widget）（グラフィカルインターフェースコンポーネント、グラフィカルインターフェースの視覚要素、またはボタン、スクロールバー、ドロップダウンリストなど）、ハイパーテキスト、または拡張現実内の表示用の任意の他の関連データなどの、デジタルデータＤＰの項目である。
【００５８】
第２のソフトウェア命令２７４は、たとえば、従来のモードで表示するソフトウェア命令である。
【００５９】
第２のソフトウェア命令２７４は、装置４の補強画像Ｉｅの補強概略表現Ｒｅを供給することが可能である。
【００６０】
補強概略表現Ｒｅは、たとえば、図形、グラフ、モデル、マンマシンインターフェース、または、ＳＣＡＤＡ（Supervisory Control And Data Acquisition：監視制御およびデータ収集）模擬図形などの模擬図形（mimic diagram）である。補強概略表現Ｒｅは、複数のオブジェクトＯを含む。
【００６１】
変形形態として、補強概略表現Ｒｅがマンマシンインターフェースまたは模擬図形である場合、オブジェクトＯを含まない場合もある。
【００６２】
各オブジェクトＯは、装置４の要素を示し、補強画像Ｉｅのそれぞれの注目点Ｐに関連付けられる。したがって、各オブジェクトＯは、該当する要素に固有の情報ＩＯの項目に関連付けられる。
【００６３】
オブジェクトＯは、たとえば、テキスト値、測定値、画像、ハイパーテキスト、または従来のモードでの表示用の任意の他の関連データなどの、デジタルデータＤＯの項目である。
【００６４】
図４から分かるように、第２のソフトウェア命令２７４は、選択ソフトウェア命令２７６、準備ソフトウェア命令２７７、分類ソフトウェア命令２７８、およびプレビューソフトウェア命令２７９を備える。
【００６５】
選択ソフトウェア命令２７６は、表示される注目点Ｐに関連付けられた情報ＩＰを取り出すために構成される。
【００６６】
準備ソフトウェア命令２７７は、装置４の１組の図形を供給することが可能である。
【００６７】
装置４の図形は、装置４を記述する２次元または３次元のビューである。各図形は、表示される情報Ｉ４のプレビューを備える。
【００６８】
準備ソフトウェア命令２７７は、補強概略表現Ｒｅを取得するために、あらかじめ定められた基準Ｃに従って装置４の各図形を最適化することも可能である。
【００６９】
あらかじめ定められた基準Ｃは、たとえば、ユーザにより選ばれる。次いで、あらかじめ定められた基準Ｃは、補強概略表現Ｒｅに関する、ユーザにより表現されるコマンドを表す。次いで、あらかじめ定められた基準Ｃは、「最大の注目点Ｐ’を提示する図形」または「表示される最多の情報を有する注目点Ｐを提示する図形」であり得る。他の基準Ｃがユーザにより考えられる場合がある。
【００７０】
分類ソフトウェア命令２７８は、同じ基準Ｃに従って、補強概略表現Ｒｅを分類または順序付けするために構成される。
【００７１】
プレビューソフトウェア命令２７９は、あらかじめ定められた基準Ｃの最も高い値を提示する補強概略表現Ｒｅを表示することが可能である。
【００７２】
変形形態として、プレビューソフトウェア命令２７９は、ユーザにより選択された補強概略表現Ｒｅを表示することが可能である。
【００７３】
第３のソフトウェア命令２７５は、補強画像Ｉｅの注目点Ｐを補強概略表現Ｒｅの各オブジェクトＯと関連付けるために構成された実行ソフトウェア命令である。第３のソフトウェア命令２７５は、第２のソフトウェア命令２７４により制御される。
【００７４】
トランシーバ２８は、たとえばアンテナである。アンテナ２８は、電子デバイス２と電子デバイス２の外部にある少なくとも１つのユニットとの間の双方向無線通信を確立するために構成される。そのような外部ユニットは、装置４に関する情報Ｉ４を通信することが可能である。
【００７５】
外部ユニットは、たとえば、装置４とは別の場所に配置され、リモートサーバとも呼ばれるサーバ６である。サーバ６は、特に図１に表される。
【００７６】
変形形態として、サーバ６は、たとえば、ローカルエリアネットワークがサーバ６を装置４に接続するように、装置４の近傍に配置される。
【００７７】
さらなる変形形態として、複数の外部ユニットが、装置４に関する情報Ｉ４を通信することが可能である。外部ユニットは、たとえば、リモートサーバおよび／またはローカルサーバである。
【００７８】
電源ユニット３０は、検出器２０、１組のセンサ２１、ディスプレイユニット２２、画面２４、処理ユニット２６、およびトランシーバ２８に電気エネルギーを供給するために構成される。
【００７９】
電源ユニット３０は、たとえば電池である。そのようなバッテリは、好ましくは充電可能である。
【００８０】
装置４は、たとえばポンプ場である。ポンプ場４は、パイプ４０、ポンプ４２、電気モータ、センサ（図示せず）、および、可変速ドライブ、コントローラ、およびアクチュエータを含む保護キャビネット（図示せず）を含む。
【００８１】
サーバ６は、データベース６０と、電子デバイス２にデータを送信するためのユニット６２とを備える。
【００８２】
データベース６０は、装置４に関するデータＤ４、特に各々のパイプ４０、ポンプ４２、および図に表されていない他の構成要素の状態および動作に関するデータを記憶することに適している。記憶されたデータＤ４は、たとえば、各電気モータにより消費された電力、各パイプ４０の温度、各ポンプ４２の圧力、および構成要素の各々についての動作不良の存在または不在である。
【００８３】
加えて、記憶されたデータＤ４は、ＳＣＡＤＡ模擬図形、マンマシンインターフェース、またはインターネットページなどの補強概略表現Ｒｅの形式で表示される。
【００８４】
送信ユニット６２は、データベース６０に記憶された装置４に関するデータＤ４を電子デバイス２に送るために構成される。
【００８５】
表示方法の実施の一例の以下の記述において、電子デバイス２およびコンピュータプログラム製品２７の動作が説明される。
【００８６】
以下に記述されるように、表示管理方法の各ステップは、ユーザの動作によりトリガされる。ユーザの動作は、たとえば、垂直軸Ｘ２のまわりの電子デバイス２の回転、または電子デバイス２の作動ボタンの押下、またはタッチセンサ２１４の助けを借りる画面２４上のタッチボタンの押下である。
【００８７】
ユーザは、装置４に関する複数の情報を抽出するために電子デバイス２を使用する。次いで、コンピュータプログラム製品２７が、ユーザにより電子デバイス２上で起動される。製品２７は、表示管理方法を実施する。そのような方法は、図５に示され、以下の記述において説明される複数のステップを含む。
【００８８】
表示方法は、装置４の収集された画像Ｉａおよび装置４の注目点Ｐを備える装置４の補強画像Ｉｅを供給する第１のステップａ）を含む。
【００８９】
ステップａ）は処理ユニット２６により実施される。
【００９０】
変形形態として、ステップａ）において、装置４の補強画像Ｉｅが処理ユニット２６に供給され、次いで、処理ユニット２６が注目点Ｐを分析する。そのような分析は、モードが変更されたときに動的に実行されるか、または静的に実行され、特に画面２４が凍結した後実行される。
【００９１】
詳細には、ステップａ）の間、処理ユニット２６は第１のソフトウェア命令２７２を起動する。
【００９２】
一実施形態によれば、電子デバイス２は、ジオポジショニングにより装置４を識別する。電子デバイス２は、ジオポジショニングユニット２１１を使用して、装置４の方向とともに装置４の座標を算出する。例として、算出された座標はＧＰＳ座標である。次いで、電子デバイス２は、そのアンテナ２８を経由して、送信ユニット６２を介してサーバ６のデータベース６０との無線通信を確立する。
【００９３】
次いで、電子デバイス２のＧＰＳ座標および方向が、装置４を識別するサーバ６に送られる。
【００９４】
変形形態として、装置４は、装置４の画像の認識により識別される。言い換えれば、電子デバイス２は、検出器２０を使用して装置４の画像Ｉａ、または画像の連続を収集する。次いで、１つまたは複数の画像は、装置４を識別するサーバ６に送られる。
【００９５】
さらなる変形形態として、装置４は、装置４に存在する固有のコードを使用して識別される。固有のコードは、たとえば、２次元識別コード、バーコード、識別画像または識別シンボル、マトリックスコードとも呼ばれるＱＲ（クイックレスポンス）コード、または装置４の明白な識別を可能にする任意の他の手段である。言い換えれば、電子デバイス２は、検出器２０を使用して固有のコードの画像を収集し、次いで、画像は装置４を識別するためにサーバ６に送られる。
【００９６】
サーバ６が装置４を識別したとき、サーバ６は、識別された装置４に存在する注目点Ｐに関する情報ＩＰを電子デバイス２に送る。次いで、複数の注目点Ｐは、補強画像Ｉｅになる収集された画像Ｉａ上にディスプレイユニット２２により表示される。上記で説明されたように、各注目点Ｐは、ユーザがアクセスすることができる、装置４の要素に固有の情報ＩＰの項目に関連付けられる。
【００９７】
変形形態として、ステップａ）において、装置４の収集された画像の連続および装置４の注目点Ｐを備える、装置４の補強画像の連続、たとえば映像が供給される。次いで、装置４は前に説明されたように識別される。詳細には、サーバ６が注目点Ｐに関する情報ＩＰを送ったとき、複数の注目点Ｐは、補強画像の連続になる収集された画像の連続上にディスプレイユニット２２により表示される。
【００９８】
ステップａ）の終わりに、コンピュータプログラム製品２７は、拡張現実内の装置４のビューを提供している。たとえば、図６に表されたように、補強画像Ｉｅは、ディスプレイユニット２２の助けを借りて、電子デバイス２の画面２４に表示される。補強画像Ｉｅは、装置４の一部の収集された画像Ｉａ、および装置４のそのような一部で識別された注目点Ｐを備える。詳細には、２つのポンプ４２、パイプ４０、および４つの注目点Ｐが補強画像Ｉｅ上に見える。この場合、注目点Ｐは、故障メッセージ、装置４のセンサにより作成された測定値を含む２つのメッセージ、および装置４の構成要素の動作に関するテキストメッセージである。
【００９９】
しかしながら、ユーザは拡張現実内のビューから従来のモードにおけるビューに変更することを望む。これを行うために、ユーザは、図７に表されたように、電子デバイス２を垂直軸Ｘ２のまわりに、たとえば９０度だけ回転させる。ユーザのそのような動作は、第３のソフトウェア命令２７４を起動する。
【０１００】
この方法は、次いで、１組の選ばれた注目点を取得するために、複数の注目点Ｐの中から少なくとも１つの注目点Ｐを選ぶステップｂ）を含む。
【０１０１】
選ぶステップｂ）は、電子デバイス２と対話するユーザにより実施される。
【０１０２】
詳細には、ユーザは、ユーザが保持することを望む注目点Ｐを選択する。たとえば、図６を参照すると、ユーザは、故障メッセージおよび測定値を有するメッセージに関係する注目点Ｐを選ぶ。そのようなユーザの選択は、たとえば画面２４上のタッチセンサ２１４を使用して、または音声認識用のマイクロフォン２１６を使用して、または手動選択の任意の他の手段を介して手動で、または注目点Ｐを含んでいる画面２４のエリアを選択することにより、または自動選択の任意の他の手段により自動的に、実行される場合がある。
【０１０３】
ステップｂ）の終わりに、ユーザは、装置４の最も関連し、最も関心のある要素に対応する１組の注目点Ｐを取得する。
【０１０４】
この方法は、次いで、表示される情報を選択するステップｃ）を含み、表示される情報は、選ばれた注目点に関連付けられた情報ＩＰである。
【０１０５】
ステップｃ）は、選択ソフトウェア命令２７６により実施される。より正確には、ソフトウェア命令２７６は、選ばれた注目点Ｐに関連付けられた情報ＩＰをサーバ６から取り出す。たとえば、図６を参照すると、選択ソフトウェア命令２７６は、故障、および該当する装置４の要素で実行された測定に関する情報ＩＰをサーバ６から取り出す。実例として、情報ＩＰは、パイプ４０の各々の圧力に関する。
【０１０６】
この方法は、次いで、データを選択するステップｇ）を含む。ステップｇ）において選択されたデータは、表示される対象である。
【０１０７】
ステップｇ）は、選択ソフトウェア命令２７６により実施される。
【０１０８】
一般に、ステップｇ）では、ユーザは、ユーザが関係すると考える情報に対する他の要求により、ステップｃ）の選択を完了させる。そのようなさらなる情報源は、電子デバイス２から得られるか、または電子デバイス２により生成される。例として、上記データは、ＧＰＳ座標、ファイルから抽出されたデータ、数値入力、またはテキストデータから構成される。代替または追加として、上記データは、１つまたは複数のリモートサーバ上のデータのリモートアクセスおよびリモート取出しを用いて、電子デバイス２により求められる。
【０１０９】
したがって、上記データは、選ばれた注目点Ｐに関連付けられた情報ＩＰではないが、電子デバイス２にアクセス可能なデータである。そのようなデータへのアクセスは、一般に、選択ソフトウェア命令２７６により可能にされる。
【０１１０】
より正確には、図示された例によれば、選択ソフトウェア命令２７６は、検出器２０および１組のセンサ２１から上記データを取り出す。
【０１１１】
たとえば、選択ソフトウェア命令２７６は、電子デバイス２の位置データＤ２を取り出す。
【０１１２】
選択ソフトウェア命令２７６は、処理ユニット２６のメモリ２６２から装置４に関するデータＤ４も取り出す。思い出されるように、データＤ４は、装置４に関する数値およびテキスト値である。
【０１１３】
たとえば、図６を参照すると、選択ソフトウェア命令２７６は、検出器２０から画像を取り出し、メモリ２６２から故障を修正するために実行される修正行動（corrective action）のリストを取り出す。ステップｇ）の終わりに、表示される情報は、ステップｃ）において取り出された情報ＩＰ、およびステップｇ）において取り出されたデータを含む。
【０１１４】
この方法は、次いで、装置４に利用可能な装置４の１組の図形を提供するステップｄ）を含む。
【０１１５】
変形形態として、１つの図形のみが装置４に利用可能である。
【０１１６】
たとえば、準備ソフトウェア命令２７７は、２次元図形、３次元図形などを含む利用可能な図形のリストを提供する。
【０１１７】
ステップｄ）は、従来のモードで表示するソフトウェア命令２７４の準備ソフトウェア命令２７７により実施される。
【０１１８】
ステップｄ）の終わりに、装置４について、１組の図形がこのようにして取得される。これらの図形は、表示される情報を含まない。
【０１１９】
この方法は、次いで、補強概略表現Ｒｅを取得するために利用可能な装置４の各図形を最適化するステップｅ）を含む。最適化のステップｅ）は、準備ソフトウェア命令２７７により実施される。最適化は、あらかじめ定められた基準Ｃに従って実施される。
【０１２０】
最適化は、表示される情報Ｉ４のプレビューの、装置４の図形への挿入を含む。プレビューは図形に適合する。
【０１２１】
ステップｅ）の終わりに、１組の補強概略表現Ｒｅが取得され、各補強概略表現Ｒｅは、装置４の図形および表示される情報Ｉ４のプレビューを備える。補強画像Ｉｅ上でユーザにより選ばれた注目点Ｐに関連付けられたオブジェクトＯは、各補強概略表現Ｒｅに重ね合わされる。
【０１２２】
この方法は、次いで、あらかじめ定められた基準Ｃに従って補強概略表現Ｒｅを分類するステップｆ）を含む。
【０１２３】
実際には、分類は、ユーザにより要求されたコマンドおよび／または情報に従って、補強概略表現Ｒｅを順序付ける。
【０１２４】
この分類の終わりに、この方法は、最良の補強概略表現Ｒｅを決定することが可能である。
【０１２５】
ステップｆ）は、分類ソフトウェア命令２７８により実施される。
【０１２６】
ステップｅ）およびｆ）を、特に同時に実施するために、いくつかの実施形態が提供される。
【０１２７】
第１の実施形態によれば、表示される情報Ｉ４のプレビュー図形への挿入のために、最適化ステップｅ）は、たとえば、連想配列の使用を含む。そのような配列は、装置４のすべての注目点Ｐを含み、ＵＲＩ（Uniform Resource Identifier）文字列などのテキスト値を各注目点Ｐと関連付ける。ＵＲＩは、表示される情報のプレビューなどのリソースを示す。そのような情報のプレビューは、たとえば、ＳＣＡＤＡ模擬図形、またはマンマシンインターフェース、またはインターネットページである。言い換えれば、配列は、情報ＩＰの固有のプレビューを各注目点Ｐと関連付ける。
【０１２８】
最適化の間、ユーザは、ある特定の図形に最も関連する注目点Ｐを選ぶ。準備ソフトウェア命令２７７は、連想配列を介してプレビューを抽出し、そのようなプレビューの当該図形への挿入に進む。
【０１２９】
第２の実施形態によれば、最適化のステップｅ）は、少なくとも１つの選択フィルタの使用を含む。
【０１３０】
各選択フィルタは、たとえば、ＬＤＡＰ（Lightweight Directory Access Protocol）フィルタである。
【０１３１】
ＬＤＡＰフィルタは、階層ツリーに従って構築されたデータを取得することを可能にする。
【０１３２】
ＬＤＡＰフィルタは、たとえば近似フィルタである。「そのスペルがPeterに近い名前」のタイプのクエリが近似フィルタの例示である。
【０１３３】
別の例によれば、ＬＤＡＰフィルタは、均等フィルタ、すなわち「Peterに全く等しい」タイプのクエリである。
【０１３４】
さらに別の例によれば、ＬＤＡＰフィルタは、比較フィルタ、またはＡＮＤ、ＯＲ、排他的ＯＲなどのタイプの論理演算である。
【０１３５】
各ＬＤＡＰフィルタは、通常、フィルタに適したシンタックスにより表される。
【０１３６】
最適化の間、タッチセンサ２１４を使用する画面２４は、タッチキーボードを表示する。ユーザは、ＬＤＡＰフィルタに対応するシンタックスを入力する。
【０１３７】
変形形態として、画面２４は、ＬＤＡＰフィルタに対応するタッチボタンを表示する。ユーザは所望のフィルタを選択する。
【０１３８】
準備ソフトウェア命令２７７は、そのようなフィルタに関連付けられた注目点Ｐのみを抽出する。次いで、連想配列は、ＵＲＩ文字列などのキスト値を、ＬＤＡＰフィルタにより識別された各注目点Ｐと関連付ける。ＵＲＩすなわちユニフォームリソースアイデンティファイアは、ネットワーク上の物理リソースまたは抽象リソース（たとえば、ウェブリソース）を識別する短い文字列であり、そのシンタックスは、ワールドワイドウェブ用のインターネット規格の設定に準拠する。
【０１３９】
上記で説明されたように、ＵＲＩはプレビューを示す。ユーザは、このようにして、ある特定の図形に最も関連する注目点Ｐを選ぶことができる。準備ソフトウェア命令２７７は、連想配列を介してプレビューを抽出し、そのようなプレビューの当該図形への挿入に進む。
【０１４０】
ＬＤＡＰフィルタの使用は、複数の注目点Ｐを選択するために使用することができる。
【０１４１】
さらなる変形形態として、最適化のステップｅ）は、格子の形式で表示される情報を順序付けることを含む。そのような順序付けは、たとえば、より一般的に頭文字ＦＣＡで知られる、形式概念分析を使用して実行される。
【０１４２】
ＦＣＡ分析は、概念が形式的に記述されたとき、すなわちコンテキストおよび概念が完全かつ正確に定められたとき、概念を調査することに着手する。そのような分析は、格子理論におけるソフトウェア命令として、１９８２年にRudolf Willeにより導入された。概念がその内包およびその外延により定められ得ることが思い出され、外延は概念に属する１組のオブジェクトであり、内包はこれらのオブジェクトにより共有される１組の属性である。
【０１４３】
その結果、ＦＣＡ分析は、その目的が形式概念とも呼ばれるオブジェクトまたは属性のグループ化を識別することである、１組のデータ分析技法である。
【０１４４】
ＦＣＡ分析は格子に基づき、数学では、格子は対偶が上限および下限を有する半順序集合である。
【０１４５】
各ＦＣＡ分析技法は、考えられる形式概念を各々のオブジェクトおよび属性と関連付ける配列の使用に基づく。分析が実施された後、格子は順序付けられた要素の出力である。
【０１４６】
ステップｅ）の特定のケースでは、形式概念のオブジェクトは、拡張現実ビュー内に存在するオブジェクトであり、形式概念の属性は、プレビューを示すＵＲＩ文字列である。
【０１４７】
代替として、属性は拡張現実ビュー内に存在するオブジェクトの性状、またはグラフィカルオブジェクトの性状である。
【０１４８】
前に説明されたように、図示された例では、１組の選ばれた注目点ＰがＦＣＡ分析において考慮に入れられる入力であるように、オブジェクトは注目点Ｐである。
【０１４９】
ＦＣＡ分析を実施すると、注目点Ｐおよび対応するプレビューを備える配列が作成される。１つの注目点Ｐが複数のプレビューに関連付けられる場合があるので、ＦＣＡ分析は格子を定め、格子内の形式概念を順序付ける。実際には、格子を介して、分析は最も適切なプレビューを提供する。
【０１５０】
したがって、ＦＣＡ分析を使用すると、順序付けられたプレビューをユーザに提示することが可能になる。特に、ＦＣＡ分析は、「少なくともＸであり多くともＹである」タイプのフィルタを表すため、および、その関係が「符号化」されず、したがって事前に知られているビューを提示するために使用される。
【０１５１】
次いで、準備ソフトウェア命令２７７はこのプレビューを抽出し、そのようなプレビューの当該図形への挿入に進む。
【０１５２】
この方法は、次いで、補強画像Ｉｅの代わりに、あらかじめ定められた基準Ｃの値に従って順序付けられた補強概略表現Ｒｅを表示するステップｈ）を含む。ステップｈ）は、プレビューソフトウェア命令２７９およびディスプレイユニット２２により実施される。次いで、ユーザは、自分の要求に最も適すると考える補強概略表現Ｒｅを選択することができる。次いで、選択された補強概略表現Ｒｅは、補強画像Ｉｅの代わりに、かつ、補強画像Ｉｅに完全にとって代わり、ディスプレイユニット２２の助けを借りて画面２４に表示される。
【０１５３】
たとえば、図８に表されたように、ユーザは、あらかじめ定められた基準Ｃの最も高い値を提示する補強概略表現Ｒｅを選択する。この補強概略表現Ｒｅは、装置４の構成要素の２次元図形およびプレビューを備える。詳細には、ポンプ４２およびパイプ４０、および補強画像Ｉｅの注目点Ｐに関連付けられたオブジェクトＯが、補強概略表現Ｒｅ上に見られる。
【０１５４】
補強概略表現Ｒｅがインターネットページである場合、プレビューソフトウェア命令２７９は、ウェブブラウザを調べるために使用することができる。選ばれた補強概略表現Ｒｅがマンマシンインターフェースまたは模擬図形である場合、プレビューソフトウェア命令２７９は、該当するインターフェースまたは模擬図形を表示することが可能な特定のソフトウェア命令を実行するために使用することができる。
【０１５５】
加えて、表示管理方法は、従来のモードで表示することから拡張現実内で表示することに変更するためのステップを含む。これら後のステップは図に表されておらず、以下の記述において説明される。
【０１５６】
実際には、ユーザの動作、たとえば垂直軸Ｘ２のまわりの電子デバイス２の９０°の回転、または作動ボタンまたはタッチボタンの押下に続いて、ユーザは、拡張現実内の表示の補強画像Ｉｅまたは補強画像の連続への補強概略表現Ｒｅの変換をトリガすることができる。
【０１５７】
次いで、ディスプレイユニット２２は、ユーザが補強概略表現Ｒｅの一部分を選択することを可能にするタッチボタンを、画面２４に表示する。詳細には、ユーザは、少なくとも１つのオブジェクトＯを備える部分を選択しなければならない。この例では、ユーザは、複数のオブジェクトＯを備える補強概略表現Ｒｅの所望の部分を選択する。
【０１５８】
変形形態として、ユーザは、補強概略表現Ｒｅ全体を選択する。
【０１５９】
次いで、実行ソフトウェア命令２７５を使用して、この方法は、選択されたオブジェクトＯに関連付けられた注目点Ｐを識別する。
【０１６０】
この方法は、次いで、新しい補強画像Ｉｅまたは新しい補強画像の連続への選択された部分または補強概略表現Ｒｅ全体の変換を含む。
【０１６１】
前述されたように、電子デバイス２は、サーバ６を介して、ジオポジショニングにより、画像認識により、固有のコードを使用して、または装置４を一意に識別するための任意の他の機構を使用して、装置４を識別する。電子デバイス２は、１組のセンサ２１を使用して、そのＧＰＳ座標、その方向、および検出器２０の相対位置を算出する。言い換えれば、このステップの終わりに、表示管理方法は、電子デバイス２が認識されるように位置する環境を可能にしている。
【０１６２】
次いで、コンピュータプログラム製品２７は、装置４の画像または画像の連続に、識別された注目点Ｐを配置し表示する。
【０１６３】
より正確には、この方法は、注目点Ｐが選択された補強概略表現Ｒｅの一部分に位置する場合、注目点Ｐを配置し、注目点Ｐを表示するか、または注目点Ｐが選択された補強概略表現Ｒｅの一部分に属さないとき、それらの相対位置を示し、それらを見つけるようにユーザを導く。
【０１６４】
変形形態として、新しい補強画像Ｉｅまたは新しい画像の連続が、選択された部分または補強概略表現Ｒｅ全体に対応しないとき、かつ注目点Ｐが画像Ｉｅ上で直接見えないとき、コンピュータプログラム製品２７は、注目点Ｐの相対位置を示すマーカを画面２４に表示する。
【０１６５】
表示管理方法は、拡張現実内の表示と従来のモードでの表示との間の流動的かつ平滑な遷移を実行することに適している。この方法は、ユーザにより選択されたモードにおける正しいビジュアルインターフェースを探索するために使用することができる。この方法は、次いで、順序付けられた適合率でインターフェースまたはインターフェースのリストを提示する。複数の満足するインターフェースが存在する場合、ユーザは最も適切なインターフェースを選ぶ。
【０１６６】
ユーザは、このようにして、２つの表示において同じ情報を見つけることができる。第１の拡張現実表示は、地理的空間および実空間に対応し、第２の従来のモードにおける表示は、専門的なビュー、すなわち、より容易にユーザに理解できる論理空間および抽象空間に対応する。
【０１６７】
したがって、表示管理方法は、識別された情報のより簡略化され、図式化され、効果的な分析を実行するために、ユーザが従来のモードでの表示を取得するためのツールである。上述された表示管理方法は、ポンプ場４などの産業環境、および非産業環境、たとえば第３次活動が実践される環境、または病院環境において使用される場合がある。
【図１】
2016157435.tif 000003
【図２】
2016157435.tif 000004
【図３】
2016157435.tif 000005
【図４】
2016157435.tif 000006
【図５】
2016157435.tif 000007
【図８】
2016157435.tif 000008
【図６】
2016157435.tif 000009
【図７】
2016157435.tif 000010
【外国語明細書】
2016157435000001.pdf