(57)【要約】【課題】マーカー設置位置に制限されないで情報提示を行う電子機器、表示方法、プログラム及び通信システムを提供すること。【解決手段】撮像部１１により現実空間を撮像して得られた撮像画像を取得する撮像画像取得部１２と、撮像画像を表示する表示部１３と、撮像画像に含まれているマーカーＭを検出し、識別する検出部１４と、撮像部１１とマーカーＭとの相対的な位置及び姿勢を算出する位置算出部１５と、仮想空間内の所定の場所に仮想撮像部を配置する仮想撮像部配置部１６と、選択部２０により選択された手順に基づいて、記憶部１９を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出部２１と、仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、仮想撮像部により仮想空間内を撮像するレンダリング部１７と、撮像画像にレンダリング部１７で撮像した結果を重畳する重畳部１８とを備える。【選択図】図１
2015194975.tif 000002
【特許請求の範囲】
【請求項１】
撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得部と、
前記撮像画像取得部で取得された前記撮像画像を表示する表示部と、
前記撮像画像取得部で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出部と、
前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出部と、
前記位置算出部による算出結果に基づいて、前記撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置部と、
現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部と、
前記手順を選択する選択部と、
前記選択部により選択されている手順に基づいて、前記記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出部と、
前記読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング部と、
前記表示部に表示されている前記撮像画像に前記レンダリング部で撮像した結果を重畳する重畳部と、を備える電子機器。
【請求項２】
前記撮像部は、第１撮像部と第２撮像部とによって構成されており、
前記第１撮像部は、前記所定のマーカーを撮像し、
前記第２撮像部は、前記所定の機器を撮像し、
前記表示部は、前記第２撮像部によって撮像された撮像画像を表示し、
前記検出部は、前記第１撮像部によって撮像された撮像画像に含まれている所定のマーカーを検出し、
前記位置算出部は、前記現実空間において、前記第１撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、当該算出結果と、前記第１撮像部及び前記第２撮像部の相対的な位置及び姿勢とに基づいて、前記第２撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、
前記仮想撮像部配置部は、前記位置算出部による算出結果に基づいて、前記第２撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する請求項１記載の電子機器。
【請求項３】
撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、
前記撮像画像取得工程で取得された前記撮像画像を表示部に表示する表示工程と、
前記撮像画像取得工程で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出工程と、
前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、
前記位置算出工程による算出結果に基づいて、前記撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、
現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、
前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、
前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、
前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を備える表示方法。
【請求項４】
コンピュータにより、
撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、
前記撮像画像取得工程で取得された前記撮像画像を表示部に表示する表示工程と、
前記撮像画像取得工程で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出工程と、
前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、
前記位置算出工程による算出結果に基づいて、前記撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、
現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、
前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、
前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、
前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を実行するためのプログラム。
【請求項５】
第１電子機器と第２電子機器とがネットワークを介して接続される通信システムにおいて、
前記第１電子機器は、
第３撮像部により現実空間を撮像して得られた撮像画像を取得する第１撮像画像取得部と、
前記第１撮像画像取得部で取得された前記撮像画像に含まれている第１マーカーを検出し、識別する第１検出部と、
前記第２電子機器に備えられている第４撮像部と、当該第４撮像部に固定されている第２マーカーとの相対的な位置及び姿勢が記憶されている第１記憶部と、
前記第１記憶部から前記第４撮像部と前記第２マーカーとの相対的な位置及び姿勢を読み出す第１読出部と、
前記第３撮像部と、前記第２電子機器に備えられている第４撮像部に固定されている第２マーカーとの相対的な位置及び姿勢の逆行列を算出し、前記第３撮像部と前記第１マーカーとの相対的な位置及び姿勢を算出する第１位置算出部と、
前記第１位置算出部による算出結果と、前記第１読出部で読み出した前記第４撮像部と前記第２マーカーとの相対的な位置及び姿勢を位置関係情報とし、前記第１検出部で検出した前記第１マーカーの識別結果とともに前記第２電子機器に送信する第１送受信部とを備え、
前記第２電子機器は、
前記第１送受信部から送信されてきた前記位置関係情報と前記第１マーカーの識別結果を受信する第２送受信部と、
前記第２マーカーが固定されている第４撮像部と、
前記第４撮像部で取得された撮像画像を表示する第２表示部と、
前記位置関係情報に基づいて、前記第４撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する第２仮想撮像部配置部と、
現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する第２記憶部と、
前記手順を選択する第２選択部と、
前記第２送受信部で受信した前記第１マーカーの識別結果と前記第２選択部により選択されている手順に基づいて、前記第２記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す第２読出部と、
前記第２読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像する第２レンダリング部と、
前記第２表示部に表示されている前記撮像画像に前記第２レンダリング部で撮像した結果を重畳する第２重畳部と、を備える通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、表示方法、プログラム及び通信システムに関する。
【背景技術】
【０００２】
近年、ＡＲ（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）が注目を集めている。ＡＲとは、現実世界に何らかの情報を追加することで、目の前にある現実以上の情報を提示する技術や、その技術によって表される環境そのものを含めた状態をいう。
【０００３】
また、ＡＲは、付加情報を重畳する位置の算出方法により、ロケーションベース型とビジョンベース型に分類される。ロケーションベース型は、ＧＰＳ等から取得可能な位置情報を利用して情報提示を行うものをいう。ビジョンベース型とは、画像認識や空間認識等の技術を応用して直接目の前にある環境を認識し、解析することで情報提示を行うものをいう。
【０００４】
また、ビジョンベース型は、マーカーと呼ばれる決まった形の図形を認識することによって情報を提示するマーカー型と、決まった形の図形ではなく、現実の環境に実在する物体や空間そのものを認識、識別して、それに基づいて提示位置を特定し情報を出現させるマーカーレス型に分類される。
精度や室内利用の観点からビジョンベースが優位であるとされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２５４３９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、マーカー型は、カメラ撮影画像にマーカーが入ることが必須となるが、設備によっては情報の重畳先近辺にマーカーを用意できない場合が課題となる。一方、マーカーレス型は、空間認識や物体の認識において、計算量が多くなり、ハードウェア的な能力の要求が高くなる等の課題がある。
本発明は、上記課題を解決し、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる電子機器、表示方法、プログラム及び通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る電子機器は、撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得部と、前記撮像画像取得部で取得された前記撮像画像を表示する表示部と、前記撮像画像取得部で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出部と、前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出部と、前記位置算出部による算出結果に基づいて、前記撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置部と、現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部と、前記手順を選択する選択部と、前記選択部により選択されている手順に基づいて、前記記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出部と、前記読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング部と、前記表示部に表示されている前記撮像画像に前記レンダリング部で撮像した結果を重畳する重畳部と、を備える構成である。
【０００８】
かかる構成によれば、電子機器は、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。
【０００９】
電子機器では、前記撮像部は、第１撮像部と第２撮像部とによって構成されており、前記第１撮像部は、前記所定のマーカーを撮像し、前記第２撮像部は、前記所定の機器を撮像し、前記表示部は、前記第２撮像部によって撮像された撮像画像を表示し、前記検出部は、前記第１撮像部によって撮像された撮像画像に含まれている所定のマーカーを検出し、前記位置算出部は、前記現実空間において、前記第１撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、当該算出結果と、前記第１撮像部及び前記第２撮像部の相対的な位置及び姿勢とに基づいて、前記第２撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、前記仮想撮像部配置部は、前記位置算出部による算出結果に基づいて、前記第２撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する構成でもよい。
【００１０】
かかる構成によれば、電子機器は、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。さらに、電子機器は、互いの位置関係を既知とした撮像部（カメラ）を複数台用意し、情報重畳先を撮影する第２撮像部にマーカーが映ってない場合でも、第１撮像部で撮影しているマーカーから、第２撮像部の位置及び姿勢が計算できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。
【００１１】
本発明に係る表示方法は、撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、前記撮像画像取得工程で取得された前記撮像画像を表示部に表示する表示工程と、前記撮像画像取得工程で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出工程と、前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、前記位置算出工程による算出結果に基づいて、前記撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を備える構成である。
【００１２】
かかる構成によれば、表示方法は、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。
【００１３】
本発明に係るプログラムは、コンピュータにより、撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、前記撮像画像取得工程で取得された前記撮像画像を表示部に表示する表示工程と、前記撮像画像取得工程で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出工程と、前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、前記位置算出工程による算出結果に基づいて、前記撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を実行するためのものである。
【００１４】
かかる構成によれば、プログラムは、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。
【００１５】
本発明に係る通信システムは、第１電子機器と第２電子機器とがネットワークを介して接続される通信システムにおいて、前記第１電子機器は、第３撮像部により現実空間を撮像して得られた撮像画像を取得する第１撮像画像取得部と、前記第１撮像画像取得部で取得された前記撮像画像に含まれている第１マーカーを検出し、識別する第１検出部と、前記第２電子機器に備えられている第４撮像部と、当該第４撮像部に固定されている第２マーカーとの相対的な位置及び姿勢が記憶されている第１記憶部と、前記第１記憶部から前記第４撮像部と前記第２マーカーとの相対的な位置及び姿勢を読み出す第１読出部と、前記第３撮像部と、前記第２電子機器に備えられている第４撮像部に固定されている第２マーカーとの相対的な位置及び姿勢の逆行列を算出し、前記第３撮像部と前記第１マーカーとの相対的な位置及び姿勢を算出する第１位置算出部と、前記第１位置算出部による算出結果と、前記第１読出部で読み出した前記第４撮像部と前記第２マーカーとの相対的な位置及び姿勢を位置関係情報とし、前記第１検出部で検出した前記第１マーカーの識別結果とともに前記第２電子機器に送信する第１送受信部とを備え、前記第２電子機器は、前記第１送受信部から送信されてきた前記位置関係情報と前記第１マーカーの識別結果を受信する第２送受信部と、前記第２マーカーが固定されている第４撮像部と、前記第４撮像部で取得された撮像画像を表示する第２表示部と、前記位置関係情報に基づいて、前記第４撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する第２仮想撮像部配置部と、現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する第２記憶部と、前記手順を選択する第２選択部と、前記第２送受信部で受信した前記第１マーカーの識別結果と前記第２選択部により選択されている手順に基づいて、前記第２記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す第２読出部と、前記第２読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像する第２レンダリング部と、前記第２表示部に表示されている前記撮像画像に前記第２レンダリング部で撮像した結果を重畳する第２重畳部と、を備える構成である。
【００１６】
かかる構成によれば、通信システムは、ネットワークを介して第１電子機器と第２電子機器との間において、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。さらに、通信システムは、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。
【発明の効果】
【００１７】
本発明によれば、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】電子機器の構成を示す図である。
【図２】マーカーに基づく仮想オブジェクトが仮想空間内で配置される位置及び姿勢を算出する手順についての説明に供する図である。
【図３】仮想オブジェクト等が表示部に表示される様子についての説明に供する図である。
【図４】２台の撮像部を連携して利用する手順についての説明に供する図である。
【図５】通信システムの概要についての説明に供する図である。
【図６】通信システムの構成を示す図である。
【図７】第２撮像部とマーカーとの相対的な位置及び姿勢を算出する手順についての説明に供する図である。
【図８】第２撮像部とマーカーの相対的な位置及び姿勢を算出する手順についての説明に供する図である。
【図９】通信システムによる処理の流れについての説明に供するフローチャートである。
【図１０】図９に示すステップＳ２の工程の詳細についての説明に供するフローチャートである。
【図１１】図９に示すステップＳ３の工程の詳細についての説明に供するフローチャートである。
【図１２】図１１に示すステップＳ３３の工程の詳細についての説明に供するフローチャートである。
【図１３】図１２に示すフローチャートにおいて想定する通信システムの構成を示す図である。
【図１４】撮像画像を解析し、マーカーごとに検出の結果を記録するときに用いるテーブルである。
【図１５】図９に示すステップＳ４の工程の詳細についての説明に供するフローチャートである。
【図１６】手順−仮想オブジェクト関連付けマトリックスについての説明に供する図である。
【発明を実施するための形態】
【００１９】
放送設備の保守は、電波の安定確保に対する重要な業務の一つである。操作を誤ると放送事故につながるおそれがある。そのため、保守の実施にあたり操作時のダブルチェック等により誤認識等のミスを低減させている。しかし、誤認識等は、人間の性質でもあるため、その防止が難しい。
【００２０】
一方、現実空間に位置及び姿勢を整合させながら情報を画面に重畳するＡＲ技術は、その直感的な情報提示方法により、誤認等によるミスを防ぐツールに活用できると考えられる。
【００２１】
本発明に係る電子機器１は、ＡＲを活用し、誤認識等のミスを低減させる構成を有する。以下に、電子機器１の具体的な構成と動作について説明する。
【００２２】
電子機器１は、図１に示すように、撮像部１１と、撮像画像取得部１２と、表示部１３と、検出部１４と、位置算出部１５と、仮想撮像部配置部１６と、レンダリング部１７と、重畳部１８と、記憶部１９と、選択部２０と、読出部２１と、を備える。電子機器１は、スマートフォン又はタブレットのような機器が該当するが、これに限られず、使用者の身体に装着して利用することができる端末（ウェアラブルデバイス）であってもよい。また、電子機器１がヘッドマウントディスプレイとＰＣの構成で実現される場合には、ヘッドマウントディスプレイは、使用者に装着され、ＰＣは、リュック等に入れて使用者に携行される形態が考えられる。
【００２３】
撮像画像取得部１２は、撮像部１１（カメラ）により現実空間を撮像して得られた撮像画像を取得する。なお、本実施例に係る現実空間には、図１に示すように、所定の機器２と、所定の機器２の前面に所定のマーカーＭ（以下、マーカーＭという）が固定されていることを想定している。よって、撮像画像には、所定の機器２とマーカーＭが含まれている。なお、以下では、所定の機器２を放送機２とも呼ぶが、放送機に限定されない。
また、マーカーＭは、例えば、後述する非特許文献１に示されているような中抜きの黒縁正方形により形成されている。内部の四隅は、各マーカーを識別するためのパターンとして利用される。
【００２４】
表示部１３は、撮像画像取得部１２で取得された撮像画像を表示する。表示部１３は、表示画面の前面にタッチパネルが配置されている。ユーザは、タッチパネルを操作することにより、様々な指示を電子機器１に送ることができる。
【００２５】
検出部１４は、撮像画像取得部１２で取得された撮像画像に含まれているマーカーＭを検出し、識別する。マーカーＭは、複数種類存在する。検出部１４は、その種類を識別する。
【００２６】
位置算出部１５は、現実空間において、撮像部１１とマーカーＭとの相対的な位置及び姿勢を算出する。なお、以下では、位置とは、平行移動成分を意味し、姿勢とは、回転成分を意味する。
【００２７】
仮想撮像部配置部１６は、位置算出部１５による算出結果に基づいて、撮像部１１の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部（仮想カメラ）を仮想空間内の所定の場所に配置する。
なお、内部パラメータは、検出部１４及び位置算出部１５においても、後述する非特許文献１に記載の手法により利用される。
【００２８】
記憶部１９は、現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する。仮想オブジェクトの配置情報とは、仮想オブジェクトを仮想空間において配置する位置及び姿勢、スケール等の情報である。なお、記憶部１９に記憶されているテーブルの一例として、後述する図１６に手順−仮想オブジェクト関連付けマトリックスを示す。
選択部２０は、手順を選択する。
読出部２１は、選択部２０により選択されている手順に基づいて、記憶部１９を参照し、対応する仮想オブジェクト及びその位置情報を読み出す。
レンダリング部１７は、読出部２１により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、仮想撮像部により仮想空間内を撮像する。
重畳部１８は、表示部１３に表示されている撮像画像にレンダリング部１７で撮像した結果を重畳する。
【００２９】
ここで、現実空間において、撮像部１１とマーカーＭとの相対的な位置及び姿勢を求め、仮想空間内に仮想撮像部を配置し、マーカーＭに基づく仮想オブジェクトが仮想空間内で配置される位置及び姿勢を算出する手順について図２を参照しながら説明する。
【００３０】
撮像部１１の座標系Ｃは、撮像部１１とマーカーＭとの相対的な位置及び姿勢をＴｃｍとし、これにマーカーＭの座標系を乗算することにより算出することができる。なお、Ｔｃｍは、マーカー座標系をカメラ座標系に変換するための変換行列である。
【数１】
2015194975.tif 000003
また、Ｔｃｍは、例えば、下記非特許文献１に記載の手法により算出する。
（非特許文献１）
マーカー追跡に基づく拡張現実感システムとそのキャリブレーション、加藤博一，Ｍａｒｋ  Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野浩一，橘啓八郎、日本バーチャルリアリティ学会論文誌  巻：４号：６０７−６１６（発行年：１９９９年１２月３１日）
【００３１】
表示部１３のスクリーン座標系は、射影行列Ｐを用いて、ＴｃｍとマーカーＭの座標系を乗算することにより算出することができる。なお、射影行列Ｐは、事前にカメラキャリブレーションにより求まっている行列である。
【数２】
2015194975.tif 000004
【００３２】
電子機器１は、撮像部１１により撮像された現実空間のマーカーＭを基準にして、所定の位置及び姿勢に仮想オブジェクトを表示部１３に重畳して表示することができる。
【００３３】
ここで、選択部２０と読出部２１の動作について説明する。
ユーザは、図３に示すように、表示部１３に表示されている「手順」（図３中のＡ１）をタップ操作し、手順表示機能を起動して「手順リスト」（図３中のＡ２）を表示させ、「手順リスト」の中から所望の手順をタップ操作する。選択部２０は、タップ操作された手順が選択されたものとして認識する。なお、手順リストに表示される各手順は、それぞれ具体的な機器の操作方法を表示してもよい。
【００３４】
読出部２１は、選択された手順（図３に示す例の場合「手順（４）」が選択された）に基づいて、操作禁止の仮想オブジェクト（図３中のＡＲ１）と手順（４）の仮想オブジェクト（図３中のＡＲ２）を読み出す。
【００３５】
なお、「手順リスト」の各手順は、手順の番号と、位置及び姿勢の計算を行うときに用いるマーカーを示す情報と、重畳する仮想オブジェクトの情報と、完了フラグ（チェックの有無）と、選択フラグ（選択の有無）等の値を持っている。
よって、電子機器１は、「手順リスト」の中の一の手順が選択された場合、選択された手順が有している各種値に基づいて、処理を実行する。
【００３６】
また、表示部１３に表示されている「系統」（図３中のＡ３）をタップ操作すると、系統表示機能が起動し、表示部１３に系統図（図３中のＡ４）が表示されてもよい。また、系統図には、現在、表示部１３に表示されている仮想オブジェクトに対応する表示も重畳して行われ、操作の意味と本線系統を操作者に意識させることができる。なお、図３中に示す系統図は、一例であって、これに限られない。
【００３７】
かかる構成によれば、電子機器１は、手順ごとに異なる仮想オブジェクトを表示部１３に表示される撮像画像に重畳して表示できるので、放送機２の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。
【００３８】
上述では、一台の撮像部１１によって、放送機２とマーカーＭを撮影できた場合の一例について説明したが、これに限られず、撮像部１１は、図４に示すように、第１撮像部１１ａと第２撮像部１１ｂとによって構成されていてもよい。なお、撮像部１１（第１撮像部１１ａ及び第２撮像部１１ｂ）は、電子機器１に固定されている構成でもよく、また、図４に示すように、電子機器１に固定されず自由に角度を調整できる構成でもよい。
【００３９】
第１撮像部１１ａは、マーカーＭを撮像する。
第２撮像部１１ｂは、放送機２を撮像する。
表示部１３は、第２撮像部１１ｂによって撮像された撮像画像を表示する。
検出部１４は、第１撮像部１１ａによって撮像された撮像画像に含まれているマーカーＭを検出する。
【００４０】
位置算出部１５は、現実空間において、第１撮像部１１ａとマーカーＭとの相対的な位置及び姿勢を算出し、当該算出結果と、第１撮像部１１ａ及び第２撮像部１１ｂの相対的な位置及び姿勢とに基づいて、第２撮像部１１ｂとマーカーＭとの相対的な位置及び姿勢を算出する。
【００４１】
仮想撮像部配置部１６は、位置算出部１５による算出結果に基づいて、第２撮像部１１ｂの内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する。
【００４２】
ここで、現実空間において、第１撮像部１１ａとマーカーＭとの相対的な位置及び姿勢を求め、第１撮像部１１ａと第２撮像部１１ｂとの相対的な位置及び姿勢と、マーカーＭの座標から第２撮像部１１ｂの位置及び姿勢を算出する手順について図４を参照しながら説明する。
【００４３】
第２撮像部１１ｂの位置及び姿勢Ｃ２は、第１撮像部１１ａとマーカーＭとの相対的な位置及び姿勢をＴｃｍとし、これに第１撮像部１１ａと第２撮像部１１ｂとの相対的な位置及び姿勢Ｔｃｃと、マーカーＭの位置及び姿勢とを乗算することにより算出することができる。
Ｃ２＝ＴｃｃＴｃｍＭ  ・・・（３）
なお、Ｃ２は、カメラ座標系を示し、Ｍは、マーカー座標系を示し、ＴｃｃとＴｃｍは、マーカー座標系をカメラ座標系に変換するための変換行列である。
また、Ｔｃｃは、既知であるものとするが、以下のように算出することができる。なお、以下では、第１撮像部１１ａで撮像するマーカーをマーカーＭ１とし、第２撮像部１１ｂで撮像するマーカーをマーカーＭ２として説明する。
【００４４】
第１撮像部１１ａの位置及び姿勢Ｃ１は、第１撮像部１１ａとマーカーＭ１との相対的な位置及び姿勢Ｔｃｍ１と、マーカーＭ１を乗算することにより算出することができる。
Ｃ１＝Ｔｃｍ１Ｍ１  ・・・（４）
なお、Ｃ１は、カメラ座標系を示し、Ｍ１は、マーカー座標系を示し、Ｔｃｍ１は、マーカー座標系をカメラ座標系に変換するための変換行列である。
【００４５】
また、第２撮像部１１ｂの位置及び姿勢Ｃ２は、第２撮像部１１ｂとマーカーＭ２との相対的な位置及び姿勢Ｔｃｍ２と、マーカーＭ２を乗算することにより算出することができる。
Ｃ２＝Ｔｃｍ２Ｍ２  ・・・（５）
なお、Ｍ２は、マーカー座標系を示し、Ｔｃｍ２は、マーカー座標系をカメラ座標系に変換するための変換行列である。
また、マーカーＭ２は、マーカーＭ１とマーカーＭ２との相対的な位置及び姿勢Ｔｍｍと、マーカーＭ１を乗算することにより算出することができる。なお、Ｔｍｍは、マーカーＭ１とマーカーＭ２の配置により事前に既知となっている。
Ｍ２＝ＴｍｍＭ１  ・・・（６）
なお、Ｔｍｍは、変換行列である。
また、第２撮像部１１ｂの位置及び姿勢Ｃ２は、第１撮像部１１ａと第２撮像部１１ｂとの相対的な位置及び姿勢Ｔｃｃと第１撮像部１１ａを乗算することにより算出することができる。
Ｃ２＝ＴｃｃＣ１  ・・・（７）
（３）式〜（７）式に基づいて、Ｔｃｃは、（８）式により算出することができる。
Ｔｃｃ＝Ｔｃｍ２ＴｍｍＴｃｍ１−１  ・・・（８）
【００４６】
なお、上述では、第１撮像部１１ａと第２撮像部１１ｂとを固定し、位置及び姿勢が変わらないことを前提にしたが、第１撮像部１１ａと第２撮像部１１ｂをサーボ等で駆動し、駆動したときの制御情報に基づいて位置及び姿勢（Ｔｃｃ）を算出することもでき、第１撮像部１１ａと第２撮像部１１ｂとを固定にしなくてもよい。例えば、サーボ等で動かしうる第１撮像部１１ａと第２撮像部１１ｂの位置及び姿勢について、事前にそれぞれの位置及び姿勢でＴｃｃを取得してサーボの制御情報を対応付けしておくことにより、位置及び姿勢を算出する。
【００４７】
かかる構成によれば、電子機器１は、互いの位置及び姿勢を既知とした撮像部（カメラ）を複数台用意し、情報重畳先を撮影する第２撮像部１１ｂにマーカーＭが映ってない場合でも、第１撮像部１１ａで撮影しているマーカーＭから、第２撮像部１１ｂの位置及び姿勢が計算できるので、放送機２の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。
【００４８】
上述では、一の電子機器１によって、マーカーの設置位置に制限されずに情報提示を行う実施例について説明したが、これに限られず、複数の電子機器（例えば、第１電子機器１ａと第２電子機器１ｂ）がネットワークを介して接続される通信システム１００において、マーカーの設置位置に制限されずに情報提示を行う構成でもよい。
【００４９】
具体的には、通信システム１００は、監督者側の第１電子機器１ａと操作者側の第２電子機器１ｂとを同期させ、監督者側の環境に固定されているマーカーと第１電子機器１ａとの相対的な位置及び姿勢を第１電子機器１ａから第２電子機器１ｂに送信することにより、操作者側の環境にマーカーが固定されていなくても、情報提示を行うことができる。
【００５０】
このように構成される通信システム１００は、図５に示すように、監督者と操作者の役割分担を明確化でき、監督者が進行管理を行うことにより、操作者は、放送機２の操作の作業に集中できるメリットがある。例えば、第１電子機器１ａと第２電子機器１ｂを同期させておき、第１電子機器１ａを利用して監督者が手順（１）と手順（２）に操作が完了したことを示すチェックを行い、手順（３）に操作中であることを示すチェックを行うと、第２電子機器１ｂの表示部には、手順（１）と手順（２）には操作が完了したことを示すチェックが表示され、手順（３）には操作中を示すチェックが表示される。
【００５１】
以下に、通信システム１００の具体的な構成と動作について説明する。なお、第１電子機器１ａと第２電子機器１ｂは、基本的に同じ構成である。
【００５２】
第１電子機器１ａは、図６に示すように、第３撮像部１１ｃと、第１撮像画像取得部１２ａと、第１表示部１３ａと、第１検出部１４ａと、第１位置算出部１５ａと、第１仮想撮像部配置部１６ａと、第１レンダリング部１７ａと、第１重畳部１８ａと、第１記憶部１９ａと、第１選択部２０ａと、第１読出部２１ａと、第１送受信部２２ａと、を備える。
【００５３】
第１撮像画像取得部１２ａは、第３撮像部１１ｃにより現実空間を撮像して得られた撮像画像を取得する。なお、本実施例に係る現実空間には、図６に示すように、監督者側の環境にマーカーＭ１が配置されており、操作者側の環境には放送機２が配置されていることを想定している。
【００５４】
第１表示部１３ａは、第１撮像画像取得部１２ａで取得された撮像画像を表示する。
第１検出部１４ａは、第１撮像画像取得部１２ａで取得された撮像画像に含まれている第１マーカーＭ１を検出し、識別する。
第１記憶部１９ａは、第２電子機器１ｂに備えられている第４撮像部１１ｄと、当該第４撮像部１１ｄに固定されている第２マーカーＭ２との相対的な位置及び姿勢（例えば、後述するＴｃｃ２）が記憶されている。また、第１記憶部１９ａには、他に、現実空間に配置されている放送機（図６に示す例では、監督者側の環境には放送機は配置されていない）を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する。仮想オブジェクトの配置情報とは、仮想オブジェクトを仮想空間において配置する位置及び姿勢、スケール等の情報である。
【００５５】
第１読出部２１ａは、第１記憶部１９ａから第４撮像部１１ｄと第２マーカーＭ２との相対的な位置及び姿勢を読み出す。読み出された第４撮像部１１ｄと第２マーカーＭ２との相対的な位置及び姿勢は、第１位置算出部１５ａを介して、第１送受信部２２ａに供給される。また、第１読出部２１ａは、第３撮像部１１ｃの内部パラメータ（射影行列Ｐ）を第１記憶部１９ａから読み出して、第１仮想撮像部配置部１６ａに供給する。
第１位置算出部１５ａは、第３撮像部１１ｃと、第４撮像部１１ｄに固定されている第２マーカーＭ２との相対的な位置及び姿勢（例えば、後述するＴｃｍ２）の逆行列（例えば、後述するＴｃｍ２−１）を算出する。また、第１位置算出部１５ａは、第３撮像部１１ｃと第１マーカーＭ１との相対的な位置及び姿勢（例えば、後述するＴｃｃＴｃｍ）を算出する。
【００５６】
第１送受信部２２ａは、第１位置算出部１５ａによる算出結果と、第１読出部２１ａで読み出した第４撮像部１１ｄと第２マーカーＭ２との相対的な位置及び姿勢を位置関係情報（例えば、後述するＴｃｃ２Ｔｃｍ２−１ＴｃｃＴｃｍ）とし、第１検出部１４ａで検出した第１マーカーＭ１の識別結果（例えば、マーカー番号）とともに第２電子機器１ｂに送信する。
【００５７】
第２電子機器１ｂは、図６に示すように、第４撮像部１１ｄと、第２撮像画像取得部１２ｂと、第２表示部１３ｂと、第２検出部１４ｂと、第２位置算出部１５ｂと、第２仮想撮像部配置部１６ｂと、第２レンダリング部１７ｂと、第２重畳部１８ｂと、第２記憶部１９ｂと、第２選択部２０ｂと、第２読出部２１ｂと、第２送受信部２２ｂと、を備える。
【００５８】
第２送受信部２２ｂは、第１送受信部２２ａから送信されてきた位置関係情報と第１マーカーの識別結果を受信する。
第４撮像部１１ｄは、第２マーカーＭ２が固定されている。
第２撮像画像取得部１２ｂは、第４撮像部１１ｄにより現実空間を撮像して得られた撮像画像を取得する。
第２表示部１３ｂは、第４撮像部１１ｄで取得された撮像画像を表示する。
第２仮想撮像部配置部１６ｂは、位置関係情報に基づいて、第４撮像部１１ｄの内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する。
【００５９】
第２記憶部１９ｂは、現実空間に配置されている放送機２を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、仮想オブジェクトの配置情報とが対応付けられているテーブルを有する。仮想オブジェクトの配置情報とは、仮想オブジェクトを仮想空間において配置する位置及び姿勢、スケール等の情報である。なお、記憶部１９に記憶されているテーブルの一例として、後述する図１６に手順−仮想オブジェクト関連付けマトリックスを示す。
第２選択部２０ｂは、手順を選択する。
第２読出部２１ｂは、第２送受信部２２ｂで受信した第１マーカーＭ１の識別結果と第２選択部２０ｂにより選択されている手順に基づいて、第２記憶部１９ｂを参照し、対応する仮想オブジェクト及びその位置及び姿勢を読み出す。また、第２読出部２１ｂは、第４撮像部１１ｄの内部パラメータ（射影行列Ｐ）を第２記憶部１９ｂから読み出して、第２仮想撮像部配置部１６ｂに供給する。
【００６０】
第２レンダリング部１７ｂは、第２読出部２１ｂにより読み出された仮想オブジェクトをその位置及び姿勢にしたがって仮想空間内に配置し、仮想撮像部により仮想空間内を撮像する。
第２重畳部１８ｂは、第２表示部１３ｂに表示されている撮像画像に第２レンダリング部１７ｂで撮像した結果を重畳する。
【００６１】
かかる構成によれば、通信システム１００は、ネットワークを介して第１電子機器１ａと第２電子機器１ｂとの間において、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。さらに、通信システム１００は、環境の問題で操作者側にマーカーを固定できない場合でも、監督者側に固定されているマーカーに基づいて、手順ごとに異なる仮想オブジェクトを操作者側の第２電子機器１ｂの撮像画像に重畳して表示できる。よって、通信システム１００は、放送機２の操作について、各手順において仮想オブジェクトにより補助することにより、操作者による操作の誤り等を低減することができる。
【００６２】
ここで、第４撮像部１１ｄとマーカーＭ１との相対的な位置及び姿勢を算出する手順について図７を参照しながら以下に説明する。なお、以下では、第３撮像部１１ｃは、放送機２を撮像する撮像部１１ｃ１と、マーカーＭ１を撮像する撮像部１１ｃ２とにより構成されるものとして説明するが、これに限られない。
【００６３】
撮像部１１ｃ２の位置及び姿勢Ｃｓ２は、撮像部１１ｃ１と撮像部１１ｃ２の相対的な位置及び姿勢Ｔｃｃと、撮像部１１ｃ１とマーカーＭ１の相対的な位置及び姿勢Ｔｃｍと、マーカーＭ１の位置及び姿勢Ｍｓとを乗算することにより算出することができる。
Ｃｓ２＝ＴｃｃＴｃｍＭｓ  ・・・（９）
なお、Ｃｓ２は、カメラ座標系を示し、Ｍｓは、マーカー座標系を示し、ＴｃｃとＴｃｍは、変換行列である。
【００６４】
また、撮像部１１ｃ２の位置及び姿勢Ｃｓ２は、撮像部１１ｃ２とマーカーＭ２の位置及び姿勢Ｍｏとの相対的な位置及び姿勢Ｔｃｍ２と、マーカーＭ２の位置及び姿勢Ｍｏとを乗算することにより算出することができる。
Ｃｓ２＝Ｔｃｍ２Ｍｏ  ・・・（１０）
なお、Ｍｏは、マーカー座標系を示し、Ｔｃｍ２は、マーカー座標系をカメラ座標系に変換するための変換行列である。
【００６５】
（９）式と（１０）式に基づいて、Ｍｏは、（１１）式により算出することができる。
Ｍｏ＝Ｔｃｍ２−１ＴｃｃＴｃｍＭｓ  ・・・（１１）
また、第４撮像部１１ｄの位置及び姿勢Ｃｏ２は、第４撮像部１１ｄとマーカーＭ２の相対的な位置及び姿勢Ｔｃｃ２と、マーカーＭ２の位置及び姿勢Ｍｏとを乗算することにより算出することができる。
Ｃｏ２＝Ｔｃｃ２Ｍｏ  ・・・（１２）
なお、Ｃｏ２は、カメラ座標系を示し、Ｔｃｃ２は、マーカー座標系をカメラ座標系に変換するための変換行列である。
【００６６】
よって、（１１）式と（１２）式に基づいて、Ｃｏ２は、（１３）式により算出することができる。
Ｃｏ２＝Ｔｃｃ２Ｔｃｍ２−１ＴｃｃＴｃｍＭｓ  ・・・（１３）
このようにして、第２電子機器１ｂは、第１電子機器１ａから位置関係情報（Ｔｃｃ２Ｔｃｍ２−１ＴｃｃＴｃｍ）を受信することにより、第４撮像部１１ｄのマーカーＭ１に対する相対的な位置及び姿勢を算出することができる。
【００６７】
つぎに、Ｔｃｃ２の導出（キャリブレーション）の手順について図８を参照しながら説明する。なお、以下では、Ｔｃｃ２を導出するために必要な撮像部１１ｅと、マーカーＭ３を追加して説明する。また、マーカーＭ３の位置及び姿勢は、Ｍｃとする。
【００６８】
第４撮像部１１ｄの位置及び姿勢Ｃｏ２は、第４撮像部１１ｄとマーカーＭ３の相対的な位置及び姿勢Ｔ３と、マーカーＭ３の位置及び姿勢Ｍｃとを乗算することにより算出することができる。
Ｃｏ２＝Ｔ３Ｍｃ  ・・・（１４）
【００６９】
また、第４撮像部１１ｄの位置及び姿勢Ｃｏ２は、第４撮像部１１ｄとマーカーＭ２の相対的な位置及び姿勢Ｔｃｃ２と、マーカーＭ２の位置及び姿勢Ｍｏとを乗算することにより算出することができる。
Ｃｏ２＝Ｔｃｃ２Ｍｏ  ・・・（１５）
【００７０】
（１４）式と（１５）式に基づいて、Ｔｃｃ２は、（１６）式により算出することができる。
Ｔｃｃ２＝Ｔ３ＭｃＭｏ−１  ・・・（１６）
【００７１】
撮像部１１ｅの位置及び姿勢Ｃｃは、撮像部１１ｅとマーカーＭ２の相対的な位置及び姿勢Ｔ２と、マーカーＭ２の位置及び姿勢Ｍｏとを乗算することにより算出することができる。
Ｃｃ＝Ｔ２Ｍｏ  ・・・（１７）
【００７２】
また、撮像部１１ｅの位置及び姿勢Ｃｃは、撮像部１１ｅとマーカーＭ３の相対的な位置及び姿勢Ｔ１と、マーカーＭ３の位置及び姿勢Ｍｃとを乗算することにより算出することができる。
Ｃｃ＝Ｔ１Ｍｃ  ・・・（１８）
【００７３】
（１７）式と（１８）式に基づいて、Ｍｃは、（１９）式により算出することができる。
Ｍｃ＝Ｔ１−１Ｔ２Ｍｏ  ・・・（１９）
【００７４】
また、（１６）式と（１９）式に基づいて、Ｔｃｃ２を導出することができる。
Ｔｃｃ２＝Ｔ３Ｔ１−１Ｔ２  ・・・（２０）
【００７５】
つぎに、通信システム１００による処理の流れについて、図９に示すフローチャートを参照しながら説明する。なお、以下では、操作者側の第２電子機器１ｂの動作を主体に説明する。
ステップＳ１において、第２電子機器１ｂは、手順リストを表示部４３に表示するかどうかを判断する。例えば、第２電子機器１ｂは、ユーザにより表示部４３に表示されている「手順」（図３中のＡ１）がタップ操作されたかどうかによって判断する。
【００７６】
手順リストを表示部４３に表示すると判断した場合（Ｙｅｓ）には、ステップＳ２に進み、手順リストを表示部４３に表示しないと判断した場合（Ｎｏ）には、ステップＳ５に進む。
【００７７】
ステップＳ２において、第２電子機器１ｂは、手順の選択と、表示処理を行う。なお、ステップＳ２の工程の詳細については、後述する。
ステップＳ３において、第２電子機器１ｂは、マーカーの検出処理を行う。なお、ステップＳ３の工程の詳細については、後述する。
ステップＳ４において、第２電子機器１ｂは、仮想オブジェクト（ＡＲオブジェクト）の表示処理を行う。なお、ステップＳ４の工程の詳細については、後述する。
【００７８】
ステップＳ５において、第２電子機器１ｂは、系統図を表示部４３に表示するかどうかを判断する。例えば、第２電子機器１ｂは、ユーザにより表示部４３に表示されている「系統」（図３中のＡ３）がタップ操作されたかどうかによって判断する。
【００７９】
系統を表示部４３に表示すると判断した場合（Ｙｅｓ）には、ステップＳ６に進み、系統を表示部４３に表示しないと判断した場合（Ｎｏ）には、処理を終了する。
【００８０】
＜ステップＳ２の工程について＞
ステップＳ２の工程の詳細について、図１０を参照しながら説明する。
ステップＳ２１において、第２電子機器１ｂは、割り込み処理によって、表示されている手順リストの中から手順や完了フラグの操作が行われたとき、当該操作を行った者が操作者であるかどうかを判断する。操作者によって操作されたと判断された場合（Ｙｅｓ）には、ステップＳ２２に進み、操作者によって操作されなかったと判断、すなわち、監督者（第１電子機器１ａ）によって操作されたと判断された場合（Ｙｅｓ）には、ステップＳ２３に進む。
【００８１】
ステップＳ２２において、第２電子機器１ｂは、ロックの解除を行うかどうかを判断する。本実施例では、第１電子機器１ａと第２電子機器１ｂとは、同期していることが前提であるが、ロックの解除によりこの同期が解除される。ロックの解除を行ったと判断した場合（Ｙｅｓ）には、ステップＳ２３に進み、ロックの解除を行っていないと判断した場合（Ｎｏ）には、ステップＳ２５に進む。
【００８２】
ステップＳ２３において、第２電子機器１ｂは、割り込み処理によって、管理者（第１電子機器１ａ）から送信されてきた手順の番号や完了フラグを受信し、送信されてきた手順の番号や完了フラグの選択状況を取得する。
【００８３】
ステップＳ２４において、第２電子機器１ｂは、手順の番号や完了フラグをグローバル変数へ代入する。グローバル変数は、選択手順番号と、完了フラグ（配列）によって構成されている。選択手順番号は、例えば、手順が何も選択されていない場合には「０」が代入され、手順（１）が選択されている場合には「１」が代入され、手順（２）が選択されている場合には「２」が代入される。完了フラグは、手順番号ごとに代入していき、図１０に示す例では、手順（１）及び手順（２）は、完了しているため「１：完了」が代入され、手順（３）以降は完了していないため「０：未」が代入される。
【００８４】
ステップＳ２５において、第２電子機器１ｂは、グローバル変数に応じた手順表示画面を描画する。例えば、第２電子機器１ｂは、図３に示すような画面を表示部４３に描画する。
【００８５】
＜ステップＳ３の工程について＞
ステップＳ３の工程の詳細について、図１１を参照しながら説明する。
ステップＳ３１において、第２電子機器１ｂは、グローバル変数より手順番号を読み込む。例えば、グローバル変数が「１」の場合には、手順（１）が選択されていることになる。
【００８６】
ステップＳ３２において、第２電子機器１ｂは、手順−仮想オブジェクト関連付けマトリックスを参照し、ステップＳ３１の工程で読み込んだ手順番号に対応するマーカー番号とその優先度を取得する。なお、手順−仮想オブジェクト関連付けマトリックスについては、後述する。また、第２電子機器１ｂは、選択されている手順番号に対応する完了フラグの状態に応じて、参照するテーブルを変えてもよい。
【００８７】
ステップＳ３３において、第２電子機器１ｂは、該当するマーカーの検出処理を実行する。未検出であった場合には、戻り値を「−１」にする。マーカーを一つ検出した場合には、検出したマーカーの番号を戻り値にする。また、複数のマーカーを検出した場合には、ステップＳ３４に進む。
【００８８】
ステップＳ３４において、第２電子機器１ｂは、複数のマーカーの中から優先度の高いマーカーの番号を選択し、選択したマーカーの番号を戻り値にする。
【００８９】
ここで、ステップＳ３３の工程におけるマーカーの検出手順について、図１２を用いて詳述する。なお、以下では、図１３に示すように、監督者側に設置される第３撮像部１１ｃは、主にマーカーを撮像する撮像部１１ｃ１と、主に放送機を撮像する撮像部１１ｃ２とにより構成されており、一方、操作者側に設置される第４撮像部１１ｄは、主にマーカーを撮像する撮像部１１ｄ１と、主に放送機を撮像する撮像部１１ｄ２とにより構成されているものとする。また、図１３に示す例では、監督者側（第１電子機器１ａ）によって該当マーカーが検出されたケースを示している。
【００９０】
ステップＳ３０１において、第２電子機器１ｂは、撮像部１１ｄ２によって該当マーカーを検出したかどうかを判断する。検出した場合には、ステップＳ３０４に進み、未検出の場合には、ステップＳ３０２に進む。
【００９１】
ステップＳ３０２において、第２電子機器１ｂは、撮像部１１ｄ１によって該当マーカーを検出したかどうかを判断する。検出した場合には、ステップＳ３０４に進み、未検出の場合には、ステップＳ３０３に進む。
【００９２】
ステップＳ３０３において、第２電子機器１ｂは、監督者側（第１電子機器１ａ側の撮像部１１ｃ１又は撮像部１１ｃ２）によって該当マーカーを検出できたかどうかを判断する。検出した場合には、ステップＳ３０４に進み、未検出の場合には、戻り値を「−１」にする。
【００９３】
ステップＳ３０４において、第２電子機器１ｂは、マーカー情報を出力する。例えば、第２電子機器１ｂは、撮像部で撮像された画像からマーカーを検出し、登録されている全マーカーと比較し、一致した場合には、「１：検出」とし、一致しなかった場合には、「０：無」として、図１４に示すテーブルに代入する。第２電子機器１ｂは、テーブルを参照して、該当マーカーの有無を判断する。
【００９４】
＜ステップＳ４の工程について＞
ステップＳ４の工程の詳細について、図１５を参照しながら説明する。
ステップＳ４１において、第２電子機器１ｂは、該当マーカーを検出できたかどうかを判断する。検出できたと判断した場合（Ｙｅｓ）には、ステップＳ４２に進み、検出できなかったと判断した場合（Ｎｏ）には、処理を終了する。
【００９５】
ステップＳ４２において、第２電子機器１ｂは、検出したマーカー情報に基づいて、座標変換処理を行う。
ステップＳ４３において、第２電子機器１ｂは、検出したマーカー番号と選択されている手順番号に基づいて、手順−仮想オブジェクト関連付けマトリックスを参照し、表示部４３に表示する仮想（ＡＲ）オブジェクトと表示する座標を取得する。
ステップＳ４４において、第２電子機器１ｂは、ステップＳ４３の工程で取得した座標に基づいて、仮想オブジェクトを表示部４３に表示する処理を行う。
【００９６】
ここで、ステップＳ３２及びステップＳ４３の工程で用いる手順−仮想オブジェクト関連付けマトリックスについて、図１６を参照しながら説明する。
手順−仮想オブジェクト関連付けマトリックスは、手順ごとにテーブル化されている。各テーブルには、各マーカー番号に対して、マーカー優先度と、表示すべき仮想（ＡＲ）オブジェクトの番号と、仮想オブジェクトの表示座標が対応付けられている。なお、一度に、複数のマーカーを使用する場合もあるので、マーカー優先度は同じでもよい。また、同じ仮想オブジェクトを複数箇所に使用する場合もあるので、表示座標は、ひとつのマスに対して、複数個設定することもできる。
なお、上述した手順−仮想オブジェクト関連付けマトリックスは、一例であって、これに限られない。例えば、手順−仮想オブジェクト関連付けマトリックスには、他に、スケール（大きさ）、姿勢等が含まれてもよい。
【００９７】
また、本実施例では、主に、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行う電子機器と通信システムの構成と動作について説明したが、これに限られず、各構成要素を備え、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うための方法、及びプログラムとして構成されてもよい。
【００９８】
さらに、電子機器及び通信システムの機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
【００９９】
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１００】
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【０１０１】
１  電子機器
１ａ  第１電子機器
１ｂ  第２電子機器
２  所定の機器（放送機）
１１  撮像部
１２  撮像画像取得部
１２ａ  第１撮像画像取得部
１２ｂ  第２撮像画像取得部
１３  表示部
１３ａ  第１表示部
１３ｂ  第２表示部
１４  検出部
１４ａ  第１検出部
１４ｂ  第２検出部
１５  位置算出部
１５ａ  第１位置算出部
１５ｂ  第２位置算出部
１６  仮想撮像部配置部
１６ａ  第１仮想撮像部配置部
１６ｂ  第２仮想撮像部配置部
１７  レンダリング部
１７ａ  第１レンダリング部
１７ｂ  第２レンダリング部
１８  重畳部
１８ａ  第１重畳部
１８ｂ  第２重畳部
１９  記憶部
１９ａ  第１記憶部
１９ｂ  第２記憶部
２０  選択部
２０ａ  第１選択部
２０ｂ  第２選択部
２１  読出部
２１ａ  第１読出部
２１ｂ  第２読出部
２２ａ  第１送受信部
２２ｂ  第２送受信部
１００  通信システム
【図１】
2015194975.tif 000005
【図２】
2015194975.tif 000006
【図３】
2015194975.tif 000007
【図４】
2015194975.tif 000008
【図５】
2015194975.tif 000009
【図６】
2015194975.tif 000010
【図７】
2015194975.tif 000011
【図８】
2015194975.tif 000012
【図９】
2015194975.tif 000013
【図１０】
2015194975.tif 000014
【図１１】
2015194975.tif 000015
【図１２】
2015194975.tif 000016
【図１３】
2015194975.tif 000017
【図１４】
2015194975.tif 000018
【図１５】
2015194975.tif 000019
【図１６】
2015194975.tif 000020