(57)【要約】【課題】実施対象の作業に応じたオブジェクト情報を出力できる制御プログラムを提供する。【解決手段】制御プログラムは、複数の基準画像のうち、いずれかの基準画像が含まれる撮像画像を取得すると、作業の実施履歴を記憶する第１の記憶部を参照して、実施対象の作業を特定するとともに、第１のオブジェクト情報を基準画像と作業との組み合わせに対応付けて記憶する第２の記憶部を参照して、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせに対応付けられた第１のオブジェクト情報を取得し、取得した前記第１のオブジェクト情報を出力する、処理をコンピュータに実行させることを特徴とする。【選択図】図８
2018160036.tif 000002
【特許請求の範囲】
【請求項１】
複数の基準画像のうち、いずれかの基準画像が含まれる撮像画像を取得すると、作業の実施履歴を記憶する第１の記憶部を参照して、実施対象の作業を特定するとともに、第１のオブジェクト情報を基準画像と作業との組み合わせに対応付けて記憶する第２の記憶部を参照して、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせに対応付けられた第１のオブジェクト情報を取得し、
取得した前記第１のオブジェクト情報を出力する、
処理をコンピュータに実行させることを特徴とする制御プログラム。
【請求項２】
前記第２の記憶部は、前記第１のオブジェクト情報を、視点位置が異なる複数種類の基準画像と作業との組み合わせに対応付けて記憶する、
ことを特徴とする請求項１に記載の制御プログラム。
【請求項３】
前記処理は、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせが存在しない場合、前記第１のオブジェクト情報と内容が異なる第２のオブジェクト情報を出力する、
ことを特徴とする請求項１又は２に記載の制御プログラム。
【請求項４】
前記処理は、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせが存在しない場合、前記第１のオブジェクト情報と異なる第２のオブジェクト情報を前記基準画像と異なる基準画像と作業との組み合わせに対応付けて記憶する第３の記憶部を参照して、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせに対応付けられた第２のオブジェクト情報を取得し、取得した前記第２のオブジェクト情報を出力する、
ことを特徴とする請求項１から３のいずれか１項に記載の制御プログラム。
【請求項５】
複数の基準画像のうち、いずれかの基準画像が含まれる撮像画像を取得すると、作業の実施履歴を記憶する第１の記憶部を参照して、実施対象の作業を特定するとともに、オブジェクト情報を基準画像と作業との組み合わせに対応付けて記憶する第２の記憶部を参照して、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせに対応付けられたオブジェクト情報を取得し、
取得した前記オブジェクト情報を出力する、
処理をコンピュータが実行することを特徴とする制御方法。
【請求項６】
複数の基準画像のうち、いずれかの基準画像が含まれる撮像画像を取得すると、作業の実施履歴を記憶する第１の記憶部を参照して、実施対象の作業を特定するとともに、オブジェクト情報を基準画像と作業との組み合わせに対応付けて記憶する第２の記憶部を参照して、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせに対応付けられたオブジェクト情報を取得し、
取得した前記オブジェクト情報を出力する、
処理を実行する処理部を備えることを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本件は、制御プログラム、制御方法、及び情報処理装置に関する。
【背景技術】
【０００２】
現実世界と仮想世界の継ぎ目のない融合を目指したMixed Reality（ＭＲ：複合現実感）が知られている。また、ＭＲを提供するための装置としてHead Mounted Display（ＨＭＤ：頭部装着型表示装置）が知られている。さらに、ＭＲの適用分野として作業支援が知られている。特に、工場において製品の組立手順を仮想空間画像として実際の製品に重ねて表示する作業支援が知られている（以上、例えば特許文献１参照）。
【０００３】
一方、設備機器の点検作業や保守作業など、さまざまな作業の効率化を目的として、Augmented Reality（ＡＲ：拡張現実）技術が導入されるケースが増えている。ＡＲ技術は、現実空間に対応する３次元の仮想空間を仮想的に設定し、現実空間には存在しないオブジェクト情報（いわゆるＡＲオブジェクト）を仮想空間上に配置して表示する技術である。オブジェクト情報は、例えば作業内容の指示情報を含むことが知られている（以上、例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２６０７２４号公報
【特許文献２】特開２０１５−０８２８３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した作業では、一連の作業工程に従って設備機器の一部を動かして作業することがある。具体的には、設備機器に設けられたパネルを開閉したり、設備機器に設けられたレバーを回したりすることがある。このような場合、設備機器の外形の変化に基づいて、外形に応じたオブジェクト情報を仮想空間上に配置して表示すると、適切なオブジェクト情報が表示されないことがある。例えば、一連の作業工程の中で設備機器の現在の外形が既に作業を終えた設備機器の過去の外形と一致すると、現在の外形に対して過去の外形に応じたオブジェクト情報が表示される可能性がある。これにより、作業担当者は誤った作業を行うおそれがある。
【０００６】
そこで、１つの側面では、実施対象の作業に応じたオブジェクト情報を出力できる制御プログラム、制御方法、及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
１つの実施態様では、制御プログラムは、複数の基準画像のうち、いずれかの基準画像が含まれる撮像画像を取得すると、作業の実施履歴を記憶する第１の記憶部を参照して、実施対象の作業を特定するとともに、第１のオブジェクト情報を基準画像と作業との組み合わせに対応付けて記憶する第２の記憶部を参照して、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせに対応付けられた第１のオブジェクト情報を取得し、取得した前記第１のオブジェクト情報を出力する、処理をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００８】
実施対象の作業に応じたオブジェクト情報を出力することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は情報処理システムの一例を説明するための図である。
【図２】図２はＨＭＤの一例である。
【図３】図３はＨＭＤのハードウェア構成の一例である。
【図４】図４はサーバ装置のハードウェア構成の一例である。
【図５】図５は第１実施形態に係るＨＭＤ及びサーバ装置のブロック図の一例である。
【図６】図６は実施履歴記憶部の一例である。
【図７】図７は作業工程記憶部の一例である。
【図８】図８は第１実施形態に係る情報処理システムの処理シーケンスの一例である。
【図９】図９（ａ）は撮像画像の一例である。図９（ｂ）は撮像画像の他の一例である。
【図１０】図１０は送信対象の作業用ＡＲオブジェクトを特定するまでの処理を説明するための図である。
【図１１】図１１（ａ）及び（ｂ）は履歴情報の更新を説明するための図である。
【図１２】図１２（ａ）は、設備機器を上から見下ろした場合の基準画像の一例である。図１２（ｂ）は、設備機器を真正面から見た場合の基準画像の一例である。図１２（ｃ）は、設備機器を下から見上げた場合の基準画像の一例である。
【図１３】図１３は第３実施形態に係るＨＭＤ及びサーバ装置のブロック図の一例である。
【図１４】図１４は復旧作業記憶部の一例である。
【図１５】図１５は第３実施形態に係る情報処理システムの処理シーケンスの一例である。
【発明を実施するための形態】
【００１０】
以下、本件を実施するための形態について図面を参照して説明する。
【００１１】
（第１実施形態）
図１は情報処理システムＳの一例を説明するための図である。図２はＨＭＤ１００の一例である。情報処理システムＳはＨＭＤ１００と情報処理装置としてのサーバ装置２００とを備えている。尚、ＨＭＤ１００に代えて、タブレット端末やスマートフォンといったスマートデバイスを利用してもよいが、ＨＭＤ１００を利用することにより、作業担当者１０は台座３０の上に置かれた作業実施対象としての設備機器２０に対し両手で作業を行うことができる。
【００１２】
ＨＭＤ１００とサーバ装置２００は互いに接続されている。より詳しくは、ＨＭＤ１００とサーバ装置２００はアクセスポイントＡＰ及び通信ネットワークＮＷを介して接続されている。通信ネットワークＮＷとしては例えばLocal Area Network（ＬＡＮ）などがある。したがって、ＨＭＤ１００は無線通信及び有線通信を利用してサーバ装置２００に接続することができる。尚、サーバ装置２００はクラウド上のデータセンタに配備されていてもよい。この場合、通信ネットワークＮＷとしてはインターネットが利用される。
【００１３】
ＨＭＤ１００は、図１に示すように、作業担当者１０の頭部にベルトなどで装着される。ＨＭＤ１００は、図２に示すように、カメラ１００Ｇとディスプレイ１００Ｉを備えている。ディスプレイ１００Ｉはカメラ１００Ｇによる撮像画像を表示する。また、ディスプレイ１００Ｉはサーバ装置２００から送信されたＡＲオブジェクトを受信すると、受信したＡＲオブジェクトを撮像画像上に表示する。
【００１４】
詳細は後述するが、ＨＭＤ１００はCentral Processing Unit（ＣＰＵ）やRadio Frequency（ＲＦ）回路などを備えており、カメラ１００Ｇが撮像範囲内の領域を撮像すると、ＣＰＵはその領域に応じた画像を撮像画像として取得し、ＲＦ回路はその撮像画像内に含まれる設備機器２０の部分の画像をサーバ装置２００に送信する。サーバ装置２００は、その画像を受信すると、受信した画像に基づいて設備機器２０の外形に応じたＡＲオブジェクトをＨＭＤ２００に送信する。ＲＦ回路がＡＲオブジェクトを受信すると、ＣＰＵはディスプレイ１００ＩにＲＦ回路が受信したＡＲオブジェクトを表示する。
【００１５】
以下、上述したＨＭＤ１００及びサーバ装置２００の各種構成及び動作の詳細について図面を参照して説明する。
【００１６】
図３はＨＭＤ１００のハードウェア構成の一例である。図３に示すように、ＨＭＤ１００は、ＣＰＵ１００Ａ、Random Access Memory（ＲＡＭ）１００Ｂ、Read Only Memory（ＲＯＭ）１００Ｃ、Electrically Erasable Programmable Read Only Memory（ＥＥＰＲＯＭ）１００Ｄ及びＲＦ回路１００Ｅを含んでいる。ＲＦ回路１００Ｅにはアンテナ１００Ｅ´が接続されている。ＲＦ回路１００Ｅに代えて通信機能を実現するＣＰＵが利用されてもよい。
【００１７】
また、ＨＭＤ１００は、センサ１００Ｆ、カメラ１００Ｇ、スピーカ１００Ｈ、ディスプレイ１００Ｉ、及びマイク１００Ｊを含んでいる。ＣＰＵ１００Ａからマイク１００Ｊまでは、内部バス１００Ｋによって互いに接続されている。少なくともＣＰＵ１００ＡとＲＡＭ１００Ｂとが協働することによってコンピュータが実現される。
【００１８】
上述したＲＡＭ１００Ｂには、ＲＯＭ１００ＣやＥＥＰＲＯＭ１００Ｄに記憶されたプログラムがＣＰＵ１００Ａによって格納される。格納されたプログラムをＣＰＵ１００Ａが実行することにより、後述する各種の機能が実現され、また、各種の処理が実行される。尚、プログラムは後述するフローチャートに応じたものとすればよい。
【００１９】
図４はサーバ装置２００のハードウェア構成の一例である。図４に示すように、サーバ装置２００は、少なくともＣＰＵ２００Ａ、ＲＡＭ２００Ｂ、ＲＯＭ２００Ｃ及びネットワークＩ／Ｆ（インタフェース）２００Ｄを含んでいる。サーバ装置２００は、必要に応じて、Hard Disk Drive（ＨＤＤ）２００Ｅ、入力Ｉ／Ｆ２００Ｆ、出力Ｉ／Ｆ２００Ｇ、入出力Ｉ／Ｆ２００Ｈ、ドライブ装置２００Ｉの少なくとも１つを含んでいてもよい。ＣＰＵ２００Ａからドライブ装置２００Ｉまでは、内部バス２００Ｊによって互いに接続されている。少なくともＣＰＵ２００ＡとＲＡＭ２００Ｂとが協働することによってコンピュータが実現される。
【００２０】
入力Ｉ／Ｆ２００Ｆには、入力装置７１０が接続される。入力装置７１０としては、例えばキーボードやマウスなどがある。
出力Ｉ／Ｆ２００Ｇには、表示装置７２０が接続される。表示装置７２０としては、例えば液晶ディスプレイがある。
入出力Ｉ／Ｆ２００Ｈには、半導体メモリ７３０が接続される。半導体メモリ７３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ２００Ｈは、半導体メモリ７３０に記憶されたプログラムやデータを読み取る。
入力Ｉ／Ｆ２００Ｆ及び入出力Ｉ／Ｆ２００Ｈは、例えばＵＳＢポートを備えている。出力Ｉ／Ｆ２００Ｇは、例えばディスプレイポートを備えている。
【００２１】
ドライブ装置２００Ｉには、可搬型記録媒体７４０が挿入される。可搬型記録媒体７４０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置２００Ｉは、可搬型記録媒体７４０に記録されたプログラムやデータを読み込む。
ネットワークＩ／Ｆ２００Ｄは、例えばＬＡＮポートを備えている。ネットワークＩ／Ｆ２００Ｄは上述した通信ネットワークＮＷと接続される。
【００２２】
上述したＲＡＭ２００Ｂには、ＲＯＭ２００ＣやＨＤＤ２００Ｅに記憶されたプログラムがＣＰＵ２００Ａによって格納される。ＲＡＭ２００Ｂには、可搬型記録媒体７４０に記録されたプログラムがＣＰＵ２００Ａによって格納される。格納されたプログラムをＣＰＵ２００Ａが実行することにより、後述する各種の機能が実現され、また、後述する各種の処理が実行される。尚、プログラムは後述するフローチャートに応じたものとすればよい。
【００２３】
図５は第１実施形態に係るＨＭＤ１００及びサーバ装置２００のブロック図の一例である。図５ではＨＭＤ１００及びサーバ装置２００のそれぞれの機能構成を表している。図６は実施履歴記憶部２１０の一例である。図７は作業工程記憶部２２０の一例である。
【００２４】
まず、ＨＭＤ１００について説明する。ＨＭＤ１００は入力部１１０、表示部１２０、制御部１３０、撮像部１４０、及び通信部１５０を備えている。尚、入力部１１０はボタンスイッチ（不図示）などによって実現される。表示部１２０は上述したディスプレイ１００Ｉによって実現される。制御部１３０は上述したＣＰＵ１００Ａなどによって実現される。撮像部１４０は上述したカメラ１００Ｇによって実現される。通信部１５０は上述したＲＦ回路１００Ｅ及びアンテナ１００Ｅ´によって実現される。
【００２５】
入力部１１０は作業担当者１０による指示を受け付けると、受け付けた指示を制御部１３０に出力する。例えば、作業担当者１０が入力部１１０としてのボタンスイッチを押下する操作を行うと、ボタンスイッチは作業工程を終了した旨の指示を制御部１３０に出力する。尚、入力部１１０としてマイク１００Ｊを利用し、作業担当者１０の音声により作業工程を終了した旨の指示を制御部１３０に出力するようにしてもよい。表示部１２０は撮像画像及びＡＲオブジェクトを表示する。
【００２６】
制御部１３０はＨＭＤ１００全体の動作を制御する。例えば、制御部１３０は入力部１１０から出力された指示を通信部１５０に出力する。制御部１３０は撮像部１４０から出力された画像を撮像画像として取得し、表示部１２０に出力する。制御部１３０は既知の物体認識技術（又は物体検出技術）を利用して撮像画像から設備機器２０の部分を認識し、認識した部分を設備機器２０の状態を特定する状態画像として通信部１５０に出力する。制御部１３０は通信部１５０から出力されたＡＲオブジェクトを表示部１２０に出力する。
【００２７】
撮像部１４０は撮像範囲内の領域を撮像し、その領域に応じた画像を生成して制御部１３０に出力する。したがって、撮像範囲内の領域に設備機器２０が含まれていれば、その領域に応じた画像には設備機器２０の画像も含まれる。通信部１５０は制御部１３０から出力された指示や状態画像を受け付けると、受け付けた指示や状態画像をサーバ装置２００に向けて送信する。また、通信部１５０はサーバ装置２００から送信されたＡＲオブジェクトを受信すると、制御部１３０に出力する。
【００２８】
次に、サーバ装置２００について説明する。サーバ装置２００は実施履歴記憶部２１０、作業工程記憶部２２０、情報処理部２４０、及び通信部２５０を備えている。尚、実施履歴記憶部２１０及び作業工程記憶部２２０は例えば上述したＨＤＤ２００Ｅによって実現される。情報処理部２４０は上述したＣＰＵ２００Ａによって実現される。通信部２５０は上述したネットワークＩ／Ｆ２００Ｄによって実現される。
【００２９】
実施履歴記憶部２１０は履歴情報を記憶する。履歴情報は設備機器２０に対する一連の作業の実施履歴を管理する情報である。履歴情報により、各作業工程が定める作業が完了したか否かを判別することができる。具体的に説明すると、実施履歴記憶部２１０は、図６に示すように、履歴テーブルＴ１により履歴情報を管理する。履歴情報は、設備機器ＩＤ、作業工程番号、及び工程完了フラグを構成要素として含んでいる。設備機器ＩＤは設備機器２０を識別する情報である。作業工程番号は一連の作業工程を識別する番号である。工程完了フラグはその作業工程の作業が完了したか否かを判別するための情報である。例えば、その作業工程の作業が完了すると、情報処理部２４０は工程完了フラグ「ＮＵＬＬ」を「〇」に更新する。
【００３０】
作業工程記憶部２２０は作業用ＡＲオブジェクトを設備機器２０の外形を表す基準画像と作業工程番号との組み合わせに対応付けて記憶する。作業用ＡＲオブジェクトは作業担当者１０による各種作業を支援する情報を含んでいる。例えば、作業用ＡＲオブジェクトは次の作業を指示する情報を含んでいる。作業用ＡＲオブジェクトが撮像画像上に出現することにより、たとえ設備機器２０に対する作業が不慣れであっても作業担当者１０は作業を円滑に進めことができる。
【００３１】
ここで、作業工程記憶部２２０は、図７に示すように、工程テーブルＴ２により作業用ＡＲオブジェクトを管理する。工程テーブルＴ２における基準画像はその作業工程番号によって特定される作業時の設備機器２０の状態を表す画像データである。特に、第１実施形態における基準画像は設備機器２０を真正面から見た場合の画像データである。詳細は後述するが、基準画像が状態画像のマッチング対象になる。一方、工程テーブルＴ２における作業用ＡＲオブジェクトはその作業工程番号によって特定される作業時に表示されるＡＲオブジェクトを表している。このように、作業用ＡＲオブジェクトには作業工程番号と基準画像の組み合わせが対応付けられている。
【００３２】
ここで、図７に示すように、作業工程番号が異なる場合であっても、同じ基準画像が対応付けられている場合がある。例えば、作業工程番号「１」の基準画像と作業工程番号「４」の基準画像は同じである。このような場合、基準画像だけに基づいて作業用ＡＲオブジェクトを特定しようとすると、どちらの基準画像と対応づけられた作業用ＡＲオブジェクトを特定すべきか判断することができない。しかしながら、本実施形態では、基準画像と作業工程番号との組み合わせに作業用ＡＲオブジェクトが対応付けられているため、基準画像が同じであっても、作業工程番号が異なれば、作業用ＡＲオブジェクトを一意に特定することができる。
【００３３】
情報処理部２４０は実施履歴記憶部２１０及び作業工程記憶部２２０にアクセスして、種々の情報処理を実行する。例えば、情報処理部２４０はＨＭＤ１００から送信された状態画像を受信すると、状態画像の受信に基づき、実施履歴記憶部２１０が記憶する履歴情報を参照して、現在の作業工程番号を特定する。また、情報処理部２４０は作業工程を特定すると、特定した作業工程と受信した状態画像に対応付けられた作業用ＡＲオブジェクトを作業工程記憶部２２０から取得して通信部２５０に出力する。尚、情報処理部２４０が実行するその他の情報処理については、後に詳しく説明する。
【００３４】
通信部２５０はＨＭＤ１００とサーバ装置２００との通信を制御する。例えば、通信部２５０はＨＭＤ１００から送信された状態画像や指示を受信すると、受信した状態画像や指示を情報処理部２４０に出力する。例えば、通信部２５０は情報処理部２４０から出力された作業用ＡＲオブジェクトを受信すると、作業用ＡＲオブジェクトをＨＭＤ１００に送信する。
【００３５】
続いて、図８から図１１までを参照して、情報処理システムＳの動作について説明する。
【００３６】
図８は第１実施形態に係る情報処理システムＳの処理シーケンスの一例である。図９（ａ）は撮像画像の一例である。図９（ｂ）は撮像画像の他の一例である。図１０は送信対象の作業用ＡＲオブジェクトを特定するまでの処理を説明するための図である。図１１（ａ）及び（ｂ）は履歴情報の更新を説明するための図である。
【００３７】
まず、図８に示すように、ＨＭＤ１００の制御部１３０は撮像画像を取得する（ステップＳ１０１）。例えば、作業担当者１０はＨＭＤ１００の電源ボタン（不図示）を押下すると撮像部１４０は撮像を開始し、制御部１３０は撮像部１４０が撮像した画像を撮像画像として取得する。そして、制御部１３０は取得した撮像画像を表示部１２０に出力し、表示部１２０は撮像画像を表示する。
【００３８】
このため、例えば作業担当者１０が作業工程番号「３」の作業を始めようとして、撮像部１４０の撮像領域内に設備機器２０を含めると、図９（ａ）に示すように、表示部１２０は、台座３０の上に置かれた設備機器２０を含む撮像画像ＩＭ１を表示する。尚、作業工程番号「３」の作業を始める際の設備機器２０の外形は、左のパネル２１が閉じられており、上段のパネル２２が開かれており、レバー２３が設備機器２０の底面と垂直になっている状態である。尚、レバー２３は、持ち手２４を時計回り又は反時計回りに回すことにより回転軸２５を中心に回転可能である。
【００３９】
ステップＳ１０１の処理が完了すると、制御部１３０は通信部１５０を介して状態画像をサーバ装置２００に送信する（ステップＳ１０２）。より詳しくは、制御部１３０は物体認識技術に基づいて撮像画像から設備機器２０の部分を認識し、認識した部分を設備機器２０の状態を表す状態画像として送信する。
【００４０】
サーバ装置２００の情報処理部２４０は通信部２５０が受信した状態画像を取得すると、作業工程番号を特定する（ステップＳ２０１）。より詳しくは、情報処理部２４０は実施履歴記憶部２１０にアクセスして、図１０の上段に示すように、履歴テーブルＴ１の作業工程番号の最初から順に工程完了フラグを参照し、最初に工程完了フラグ「ＮＵＬＬ」が出現した時の作業工程番号を特定して取得する。本実施形態では、情報処理部２４０は作業工程番号「３」を特定して取得する。
【００４１】
ステップＳ２０１の処理が完了すると、次いで、情報処理部２４０はマッチングを行う（ステップＳ２０２）。より詳しくは、情報処理部２４０は作業工程記憶部２２０にアクセスして、図１０の下段に示すように、工程テーブルＴ２の作業工程番号の中から、ステップＳ２０１の処理で取得した作業工程番号を特定する。そして、情報処理部２４０は作業工程番号を特定すると、特定した作業工程番号と対応付けられた基準画像をマッチング対象として、受信した状態画像とのマッチングを行う。
【００４２】
情報処理部２４０はマッチングした結果、基準画像と状態画像が一致した場合（ステップＳ２０３：ＹＥＳ）、作業用ＡＲオブジェクトをＨＭＤ１００に送信する（ステップＳ２０４）。すなわち、本実施形態であれば、図１０の下段に示すように、情報処理部２４０は作業工程番号「３」と対応付けられた作業用ＡＲオブジェクトを送信対象として取得し、通信部２５０を経由してＨＭＤ１００に送信する。尚、情報処理部２４０はマッチングした結果、基準画像データと状態画像が一致しなかった場合（ステップＳ２０３：ＮＯ）、第１実施形態では後続の処理を中止する。
【００４３】
ＨＭＤ１００の制御部１３０は、図８に示すように、通信部１５０を経由した作業用ＡＲオブジェクトを表示部１２０に表示する（ステップＳ１０３）。これにより、図９（ｂ）に示すように、表示部１２０は作業用ＡＲオブジェクトＯＢを撮像画像ＩＭ２と対応付けて（例えば合成して）表示する。作業担当者１０は作業用ＡＲオブジェクトＯＢが指示する内容に基づいて、設備機器２０の上段のパネル２２を閉じ、レバー２３を右回りに９０度回す。この結果、設備機器２０は工程テーブルＴ２における作業工程番号「４」と対応付けられた基準画像と同じ状態に移行する。
【００４４】
図８に示すように、ステップＳ１０３の処理が完了すると、次いで、制御部１３０は工程終了指示を送信する（ステップＳ１０４）。より詳しくは、作業担当者１０がその作業工程の作業を終えると、作業担当者１０は入力部１１０に作業工程の終了を指示する。入力部１１０は当該指示を受信すると、制御部１３０は通信部１５０を経由して工程終了指示を送信する。
【００４５】
情報処理部２４０は工程終了指示を受信すると、履歴情報を更新する（ステップＳ２０５）。より詳しくは、情報処理部２４０は実施履歴記憶部２１０にアクセスし、ステップＳ２０１の処理で取得した作業工程番号の工程完了フラグを更新する。本実施形態では、ステップＳ２０１の処理で情報処理部２４０は作業工程番号「３」を取得するため、図１１（ａ）に示すように、作業工程番号「３」の工程完了フラグ「ＮＵＬＬ」を、図１１（ｂ）に示すように、工程完了フラグ「〇」に更新する。これにより、サーバ装置２００はその作業工程番号の作業完了を管理する。
【００４６】
図８に示すように、ステップＳ２０５の処理が完了すると、次いで、情報処理部２４０は最終工程であるか否かを判断する（ステップＳ２０６）。例えば、情報処理部２４０は実施履歴記憶部２１０にアクセスして、一連の作業工程における最後の作業工程番号の工程完了フラグを更新した場合、最終工程であると判断する（ステップＳ２０６：ＹＥＳ）。この場合、情報処理部２４０は工程完了フラグを初期化する（ステップＳ２０７）。ステップＳ２０７が完了した場合、情報処理部２４０は一連の作業工程により定められた作業の完了をＨＭＤ１００に通知してもよい。ＨＭＤ１００の制御部１３０はサーバ装置２００から作業の完了が通知されると、例えば音声や画像によりその旨を出力してもよい。これにより、作業担当者１０は作業の完了を認識する。
【００４７】
一方、情報処理部２４０は実施履歴記憶部２１０にアクセスして、一連の作業工程における最後以外の作業工程番号の工程完了フラグを更新した場合、最終工程でないと判断する（ステップＳ２０６：ＮＯ）。この場合、制御部１３０及び情報処理部２４０はそれぞれ上述したステップＳ１０１からＳ１０４の処理及びステップＳ２０１からＳ２０７の処理を繰り返す。これにより、制御部１３０は次の作業用ＡＲオブジェクトを表示部１２０に表示し、作業担当者１０は次の作業工程の作業を実施する。
【００４８】
以上、第１実施形態によれば、サーバ装置２００は情報処理部２４０を備えている。情報処理部２４０は、複数の基準画像のうち、いずれかの基準画像が含まれる撮像画像を取得すると、実施履歴記憶部２１０を参照して、実施対象の作業工程番号を特定する。そして、情報処理部２４０は作業工程記憶部２２０を参照して、取得した撮像画像に含まれる基準画像と、特定した作業工程番号との組み合わせに対応付けられた作業用ＡＲオブジェクトを取得し、取得した作業用ＡＲオブジェクトを出力する。これにより、実施対象の作業に応じた作業用ＡＲオブジェクトを出力することができる。
【００４９】
（第２実施形態）
続いて、図１２を参照して、本件の第２実施形態について説明する。
図１２（ａ）は、設備機器２０を上から見下ろした場合の基準画像の一例である。図１２（ｂ）は、設備機器２０を真正面から見た場合の基準画像の一例である。図１２（ｃ）は、設備機器２０を下から見上げた場合の基準画像の一例である。
【００５０】
第２実施形態では、工程テーブルＴ２が視点位置の異なる複数種類の基準画像を管理する。工程テーブルＴ２が管理する複数種類の基準画像は、１つの作業工程番号と対応付いている。例えば、作業工程番号「１」には、３種類の基準画像が対応付いている。具体的には、図１２（ａ）に示すように、作業工程番号「１」には、設備機器２０を上から見下ろした場合の基準画像が対応付いている。また、図１２（ｂ）に示すように、作業工程番号「１」には、設備機器２０を真正面から見た場合の基準画像も対応付いている。さらに、作業工程番号「１」には、設備機器２０を下から見上げた場合の基準画像も対応付いている。尚、工程テーブルＴ２は例えば設備機器２０を横から見た場合の基準画像や斜めから見た場合の基準画像を管理していてもよい。
【００５１】
このように、第２実施形態によれば、工程テーブルＴ２が視点位置の異なる複数種類の基準画像を管理することにより、作業担当者１０の身長に応じて設備機器２０に対する撮像画角又は視野角が変わる場合であっても、状態画像と基準画像が一致する可能性が向上する。また、設備機器２０を真正面や正面上方又は正面下方から見ることができない環境であっても、同様に、状態画像と基準画像が一致する可能性が向上する。これにより、作業用ＡＲオブジェクトが表示され易くなる。
【００５２】
（第３実施形態）
続いて、図１３から図１５を参照して、本件の第３実施形態について説明する。
図１３は第３実施形態に係るＨＭＤ１００及びサーバ装置２００のブロック図の一例である。図１４は復旧作業記憶部２３０の一例である。尚、図４に示す第１実施形態に係るＨＭＤ１００及びサーバ装置２００の各部と同様の構成には同一符号を付し、その説明を省略する。第３実施形態に係るサーバ装置２００は、図１３に示すように、復旧作業記憶部２３０を備える点で第１実施形態に係るサーバ装置２００と相違する。
【００５３】
復旧作業記憶部２３０は復旧用ＡＲオブジェクトを設備機器２０の外形を表す基準画像と作業工程番号との組み合わせに対応付けて記憶する。復旧用ＡＲオブジェクトは作業担当者１０による復旧（リカバリ）作業を支援する情報を含んでいる。復旧用ＡＲオブジェクトが撮像画像上に出現することにより、作業担当者１０は、設備機器２０に対する作業誤りを正すことができる。
【００５４】
ここで、復旧作業記憶部２３０は、図１４に示すように、復旧テーブルＴ３により復旧用ＡＲオブジェクトを管理する。復旧テーブルＴ３における基準画像はその作業工程番号において想定される設備機器２０の作業誤りの状態を表す数種類の画像データである。一方、復旧テーブルＴ３における復旧用ＡＲオブジェクトはその作業工程番号によって特定される復旧時に表示されるＡＲオブジェクトを表している。このように、復旧用ＡＲオブジェクトには作業工程番号と基準画像の組み合わせが対応付けられている。
【００５５】
図１５は第３実施形態に係る情報処理システムＳの処理シーケンスの一例である。特に、図１５は情報処理システムＳの処理シーケンスの一部を例示している。第１実施形態ではステップＳ２０３の処理において、基準画像と状態画像が一致しなかった場合、後続の処理を中止したが、第３実施形態では、図１５に示すように、情報処理部２４０は種々の情報処理を実行する。
【００５６】
具体的には、ステップＳ２０３の処理において、基準画像と状態画像が一致しなかった場合、情報処理部２４０は、まず通信部２５０を通じて、不一致箇所をＨＭＤ１００に送信する（ステップＳ２１１）。例えば、情報処理部２４０は基準画像と状態画像の差分に基づいて不一致箇所を特定して送信する。ＨＭＤ１００の制御部１３０はサーバ装置２００から送信された不一致箇所を、通信部１５０を通じて受信すると、受信した不一致箇所を表示部１２０に表示する（ステップＳ１１１）。これにより、作業担当者１０は作業誤りに気付き、誤った箇所を認識することができる。
【００５７】
ステップＳ２１１の処理が完了すると、次いで、情報処理部２４０は復旧テーブルＴ３を確認する（ステップＳ２１２）。より詳しくは、情報処理部２４０は復旧作業記憶部２３０にアクセスし、ステップＳ２０１の処理で取得した作業工程番号の１つ前の作業工程番号とＨＭＤ１００から送信された状態画像の組み合わせに基づいて、復旧テーブルＴ３を確認する。そして、その組み合わせに対応する作業工程番号と基準画像の組み合わせの有無を確認する。
【００５８】
情報処理部２４０は、１つ前の作業工程番号とＨＭＤ１００から送信された状態画像の組み合わせに対応する作業工程番号と基準画像の組み合わせが復旧テーブルＴ３にある場合、作業工程番号と基準画像の組み合わせに対応付けられた復旧用ＡＲオブジェクトを送信する（ステップＳ２１３）。ＨＭＤ１００の制御部１３０は、通信部１５０を通じた復旧用ＡＲオブジェクトを受信し、受信した復旧用ＡＲオブジェクトを表示部１２０に表示する（ステップＳ１１２）。これにより、作業担当者１０は復旧用ＡＲオブジェクトが指示する内容に基づいて、設備機器２０に対する復旧作業を行う。
【００５９】
ステップＳ１１２の処理が完了すると、次いで、制御部１３０は復旧終了指示を送信する（ステップＳ１１３）。より詳しくは、作業担当者１０が復旧作業を終えると、作業担当者１０は入力部１１０に復旧作業の終了を指示する。入力部１１０は当該指示を受信すると、制御部１３０は通信部１５０を経由して復旧終了指示を送信する。情報処理部２４０は復旧作業指示を受信すると処理を終える。したがって、作業担当者１０がＨＭＤ１００により設備機器２０の撮像を再び開始すると、図８を参照して説明したＨＭＤ１００及びサーバ装置２００の処理が開始される。これにより、一連の作業工程が再び進行する。
【００６０】
以上、第３実施形態によれば、実施対象の作業に応じた作業用ＡＲオブジェクトを出力することができるだけでなく、復旧作業に応じた復旧用ＡＲオブジェクトも出力することができる。
【００６１】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００６２】
例えば、上述した実施形態では、サーバ装置２００を情報処理装置として利用したが、ＨＭＤ１００を情報処理装置として利用してもよい。すなわち、上述した実施形態では情報処理部２４０が種々の情報処理を実行したが、情報処理部２４０が実行する種々の情報処理の一部又は全部をＨＭＤ１００の制御部１３０が実行してもよい。
【００６３】
また、上述した実施形態では、サーバ装置２００が実施履歴記憶部２１０、作業工程記憶部２２０、及び復旧作業記憶部２３０を備えていたが、実施履歴記憶部２１０、作業工程記憶部２２０、及び復旧作業記憶部２３０をサーバ装置２００と異なる別のサーバ装置２００が備えていてもよい。
【００６４】
さらに、上述した実施形態では状態画像と基準画像とをマッチングしたが、制御部１３０が撮像画像をサーバ装置２００に送信し、情報処理部２４０が撮像画像又は撮像画像から物体認識技術で認識した状態画像と基準画像とをマッチングし、基準画像に該当する設備機器２０の画像が含まれているか否か判断するようにしてもよい。さらに、第１実施形態から第３実施形態を適宜組み合わせるようにしてもよい。さらに、第１実施形態から第３実施形態では状態画像と基準画像の一致を説明したが、誤差の範囲内で状態画像と基準画像が類似した場合に、作業用ＡＲオブジェクトや復旧用ＡＲオブジェクトを表示させるようにしてもよい。
【００６５】
なお、以上の説明に関して更に以下の付記を開示する。
（付記１）複数の基準画像のうち、いずれかの基準画像が含まれる撮像画像を取得すると、作業の実施履歴を記憶する第１の記憶部を参照して、実施対象の作業を特定するとともに、第１のオブジェクト情報を基準画像と作業との組み合わせに対応付けて記憶する第２の記憶部を参照して、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせに対応付けられた第１のオブジェクト情報を取得し、取得した前記第１のオブジェクト情報を出力する、処理をコンピュータに実行させることを特徴とする制御プログラム。
（付記２）前記第２の記憶部は、前記第１のオブジェクト情報を、視点位置が異なる複数種類の基準画像と作業との組み合わせに対応付けて記憶する、ことを特徴とする付記１に記載の制御プログラム。
（付記３）前記処理は、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせが存在しない場合、前記第１のオブジェクト情報と内容が異なる第２のオブジェクト情報を出力する、ことを特徴とする付記１又は２に記載の制御プログラム。
（付記４）前記処理は、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせが存在しない場合、前記第１のオブジェクト情報と異なる第２のオブジェクト情報を前記基準画像と異なる基準画像と作業との組み合わせに対応付けて記憶する第３の記憶部を参照して、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせに対応付けられた第２のオブジェクト情報を取得し、取得した前記第２のオブジェクト情報を出力する、ことを特徴とする付記１から３のいずれか１項に記載の制御プログラム。
（付記５）複数の基準画像のうち、いずれかの基準画像が含まれる撮像画像を取得すると、作業の実施履歴を記憶する第１の記憶部を参照して、実施対象の作業を特定するとともに、第１のオブジェクト情報を基準画像と作業との組み合わせに対応付けて記憶する第２の記憶部を参照して、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせに対応付けられた第１のオブジェクト情報を取得し、取得した前記第１のオブジェクト情報を出力する、処理をコンピュータが実行することを特徴とする制御方法。
（付記６）複数の基準画像のうち、いずれかの基準画像が含まれる撮像画像を取得すると、作業の実施履歴を記憶する第１の記憶部を参照して、実施対象の作業を特定するとともに、第１のオブジェクト情報を基準画像と作業との組み合わせに対応付けて記憶する第２の記憶部を参照して、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせに対応付けられた第１のオブジェクト情報を取得し、取得した前記第１のオブジェクト情報を出力する、処理を実行する処理部を備えることを特徴とする情報処理装置。
（付記７）前記第２の記憶部は、前記第１のオブジェクト情報を、視点位置が異なる複数種類の基準画像と作業との組み合わせに対応付けて記憶する、ことを特徴とする付記６に記載の情報処理装置。
（付記８）前記処理部は、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせが存在しない場合、前記第１のオブジェクト情報と内容が異なる第２のオブジェクト情報を出力する、ことを特徴とする付記６又は７に記載の情報処理装置。
（付記９）前記処理部は、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせが存在しない場合、前記第１のオブジェクト情報と異なる第２のオブジェクト情報を前記基準画像と異なる基準画像と作業との組み合わせに対応付けて記憶する第３の記憶部を参照して、取得した前記撮像画像に含まれる前記基準画像と、特定した前記作業との組み合わせに対応付けられた第２のオブジェクト情報を取得し、取得した前記第２のオブジェクト情報を出力する、ことを特徴とする付記６から８のいずれか１項に記載の情報処理装置。
【符号の説明】
【００６６】
Ｓ  情報処理システム
１００  ＨＭＤ
１１０  入力部
１２０  表示部
１３０  制御部
１４０  撮像部
１５０  通信部
２００  サーバ装置
２１０  実施履歴記憶部
２２０  作業工程記憶部
２３０  復旧作業記憶部
２４０  情報処理部
２５０  通信部
【図１】
2018160036.tif 000003
【図２】
2018160036.tif 000004
【図３】
2018160036.tif 000005
【図４】
2018160036.tif 000006
【図５】
2018160036.tif 000007
【図６】
2018160036.tif 000008
【図７】
2018160036.tif 000009
【図８】
2018160036.tif 000010
【図９】
2018160036.tif 000011
【図１０】
2018160036.tif 000012
【図１１】
2018160036.tif 000013
【図１２】
2018160036.tif 000014
【図１３】
2018160036.tif 000015
【図１４】
2018160036.tif 000016
【図１５】
2018160036.tif 000017