(57)【要約】【課題】  ＡＲを利用して、高精度な用途においてもユーザの動作を適切に誘導する。【解決手段】  ガイダンスシステム１において、所定の対象物に対する位置合わせを含むシナリオの実行時に、シナリオ制御装置（シナリオ制御環境２０）が、シナリオに関する情報に当該位置合わせに関する付随情報を含めてスマートデバイス１０に送り、シナリオに関する情報を受け取ったスマートデバイス１０が、センサ１２によって当該シナリオの対象物を測定し、ディスプレイ１４によるガイダンス画面の表示として、上記付随情報とセンサ１２による対象物の測定結果とに基づいて、ディスプレイ１４に映される対象物を位置合わせの適正位置に誘導させる情報を、少なくとも一部を当該対象物に重畳してディスプレイ１４に表示する。【選択図】図１
2020030704.tif 000002
【特許請求の範囲】
【請求項１】
センサ及びディスプレイを有するスマートデバイスと、
前記スマートデバイスを用いた一連の作業を複数のシナリオによって管理し、各前記シナリオに関する情報を前記スマートデバイスに送信するシナリオ制御装置と、
を備え、
前記複数のシナリオのうち所定の対象物に対する位置合わせを含むシナリオの実行時に、
前記シナリオ制御装置は、当該シナリオに関する情報に、前記位置合わせに関する付随情報を含めて前記スマートデバイスに送り、
前記シナリオに関する情報を受け取った前記スマートデバイスは、
前記センサによって前記対象物を測定し、
前記ディスプレイにおけるガイダンス画面表示として、前記付随情報と前記センサによる前記対象物の測定結果とに基づいて、前記ディスプレイに映される前記対象物を前記位置合わせの適正位置に誘導させる情報を、少なくとも一部を当該対象物に重畳して前記ディスプレイに表示する
ことを特徴とするガイダンスシステム。
【請求項２】
前記ガイダンス画面表示には、前記対象物と前記スマートデバイスとの位置関係を客観的視点で示すイメージ画像の表示が含まれる
ことを特徴とする請求項１に記載のガイダンスシステム。
【請求項３】
前記スマートデバイスはカメラをさらに有し、
前記ガイダンス画面表示において、前記ディスプレイを透過して映される前記対象物、または、前記カメラで撮影された前記対象物の実体映像の前記ディスプレイへの表示に対して、前記位置合わせの適正位置を示すガイドが重畳表示される
ことを特徴とする請求項１に記載のガイダンスシステム。
【請求項４】
前記スマートデバイスはスピーカをさらに有し、
前記シナリオが前記対象物に対する前記位置合わせと当該位置合わせ後の次動作とを含む場合に、
当該シナリオにおける前記ガイダンス画面表示において、前記位置合わせ及び前記次動作の作業内容を指示する作業指示情報が、前記ディスプレイに表示され、あるいは前記スピーカから音声出力される
ことを特徴とする請求項１に記載のガイダンスシステム。
【請求項５】
前記スマートデバイスはカメラをさらに有し、
前記ガイダンス画面表示によって前記対象物が前記位置合わせの適正位置に誘導された後、前記次動作の実行によって前記スマートデバイスの前記カメラが前記対象物を撮影した場合に、
前記シナリオ制御装置は、前記スマートデバイスで撮影された前記対象物の撮影データを取得し、当該撮影データに基づいて、次に実行を開始する前記シナリオを判別する
ことを特徴とする請求項４に記載のガイダンスシステム。
【請求項６】
前記スマートデバイスは、
前記シナリオ制御装置から受け取った前記付随情報と前記センサによる前記対象物の測定結果とを含んでなる表示用付随情報を自身の記憶手段に保持し、前記センサによる測定ごとに前記表示用付随情報を更新し、前記ガイダンス画面表示において、前記記憶手段に保持された最新の前記表示用付随情報を表示する
ことを特徴とする請求項１に記載のガイダンスシステム。
【請求項７】
スマートデバイスにガイダンス画面を表示するガイダンスシステムによるガイダンス制御方法であって、
前記ガイダンスシステムは、
センサ及びディスプレイを有する前記スマートデバイスと、
前記スマートデバイスを用いた一連の作業を複数のシナリオによって管理し、各前記シナリオに関する情報を前記スマートデバイスに送信するシナリオ制御装置と、を有し、
前記複数のシナリオのうち所定の対象物に対する位置合わせを含むシナリオの実行時に、
前記シナリオ制御装置が、当該シナリオに関する情報に、前記位置合わせに関する付随情報を含めて前記スマートデバイスに送る情報送出ステップと、
前記情報送出ステップの後に、前記シナリオに関する情報を受け取った前記スマートデバイスが、前記センサによって前記対象物を測定する測定ステップと、
前記測定ステップの後に、前記スマートデバイスが、前記ディスプレイにおけるガイダンス画面表示として、前記情報送出ステップで得た前記付随情報と前記測定ステップで得た前記対象物の測定結果とに基づいて、前記ディスプレイに映される前記対象物を前記位置合わせの適正位置に誘導させる情報を、少なくとも一部を当該対象物に重畳して前記ディスプレイに表示するガイダンス画面表示ステップと、
を備えることを特徴とするガイダンス制御方法。
【請求項８】
前記ガイダンス画面表示ステップで表示される前記ガイダンス画面表示には、前記対象物と前記スマートデバイスとの位置関係を客観的視点で示すイメージ画像の表示が含まれる
ことを特徴とする請求項７に記載のガイダンス制御方法。
【請求項９】
前記スマートデバイスはカメラをさらに有し、
前記ガイダンス画面表示ステップでは、前記ディスプレイを透過して映される前記対象物、または、前記カメラで撮影された前記対象物の実体映像の前記ディスプレイへの表示に対して、前記位置合わせの適正位置を示すガイドが重畳表示される
ことを特徴とする請求項７に記載のガイダンス制御方法。
【請求項１０】
前記スマートデバイスはスピーカをさらに有し、
前記シナリオが前記対象物に対する前記位置合わせと当該位置合わせ後の次動作とを含む場合に、
当該シナリオにおける前記ガイダンス画面表示ステップにおいて、前記位置合わせ及び前記次動作の作業内容を指示する作業指示情報が、前記ディスプレイに表示され、あるいは前記スピーカから音声出力される
ことを特徴とする請求項７に記載のガイダンス制御方法。
【請求項１１】
前記スマートデバイスはカメラをさらに有し、
前記ガイダンス画面表示ステップを経て前記対象物が前記位置合わせの適正位置に誘導された後、前記次動作の実行によって前記スマートデバイスの前記カメラが前記対象物を撮影した場合に、
前記シナリオ制御装置が、前記スマートデバイスで撮影された前記対象物の撮影データを取得し、当該撮影データに基づいて、次に実行を開始する前記シナリオを判別する判別ステップをさらに備える
ことを特徴とする請求項１０に記載のガイダンス制御方法。
【請求項１２】
前記スマートデバイスが、前記情報送出ステップで前記シナリオ制御装置から受け取った前記付随情報と前記測定ステップで測定された前記対象物の測定結果とを含んでなる表示用付随情報を自身の記憶手段に保持し、前記センサによる測定ごとに前記表示用付随情報を更新する表示用付随情報更新ステップと、をさらに備え、
前記ガイダンス画面表示ステップにおいて、前記記憶手段に保持された最新の前記表示用付随情報を前記ガイダンス画面に表示する
ことを特徴とする請求項７に記載のガイダンス制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ガイダンスシステム及びガイダンス制御方法に関し、ＡＲ（拡張現実）を利用してユーザの動作を誘導するガイダンスシステム及びガイダンス制御方法に適用して好適なものである。
【背景技術】
【０００２】
近年、ＡＲ（拡張現実：Augmented Reality）技術を利用したサービスが注目されている。ＡＲ技術では、カメラ等を通して見る現実環境に画像や文字等を重畳表示することにより、視覚的な情報を効果的に提供できるという利点がある。
【０００３】
具体的な利用例としては、点検対象や点検手順が定められた保安作業において、どのような順番でどこを点検すれば良いかといった情報を対象物の撮影画像に重畳表示することによって、保安作業の手順を分かりやすく教示することができる。例えば特許文献１には、現場巡視や保守点検作業の作業効率を高め得る保守点検システムが開示されている。特許文献１に開示された保守点検システムでは、予め用意された機器表示画像に、点検文字情報と携帯情報端末に備えたカメラで撮影した画像データから抽出した点検領域情報とを重畳してプロジェクタから投影表示することによって、明瞭で正確な画像データを機器点検履歴情報として作業員に提供し、作業効率を高めようとしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−００３１９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のＡＲを利用したサービスは、特許文献１に開示された保守点検システムと同様、現実環境の画像（特許文献１における点検領域情報）に、予め用意された画像（同、機器表示画像や点検文字情報）を重畳表示するものが一般的であり、言い換えれば、ユーザインタフェースの一形態として、既存の視覚的情報が片方向で追加されたものに過ぎなかった。したがって、従来の既存サービスでは、リアルタイムで変化する現実環境において高精度な対応が要求される作業等の用途に対して、ＡＲを利用して適切なユーザ支援を行うことは困難であった。
【０００６】
具体的には例えば、保安作業において点検対象の撮影角度や撮影距離が厳密に定められた高精度な作業が含まれる場合、センサデータを反映させて当該作業における撮影位置を正確にサポートできることが好ましいが、このようなセンシング用途にＡＲを効果的に展開した技術は未だ考案されていなかった。一方で、近年は、センサの高精度化やＣＰＵの高性能化等が進んでいることもあり、上記のセンシング用途のように従来では困難であった用途にも、ＡＲの展開が期待されている。
【０００７】
本発明は以上の点を考慮してなされたもので、ＡＲを利用して、高精度な用途においてもユーザの動作を適切に誘導することが可能なガイダンスシステム及びガイダンス制御方法を提案しようとするものである。
【課題を解決するための手段】
【０００８】
かかる課題を解決するため本発明においては、センサ及びディスプレイを有するスマートデバイスと、前記スマートデバイスを用いた一連の作業を複数のシナリオによって管理し、各前記シナリオに関する情報を前記スマートデバイスに送信するシナリオ制御装置と、を備える以下のガイダンスシステムが提供される。本ガイダンスシステムでは、前記複数のシナリオのうち所定の対象物に対する位置合わせを含むシナリオの実行時に、前記シナリオ制御装置は、当該シナリオに関する情報に、前記位置合わせに関する付随情報を含めて前記スマートデバイスに送り、前記シナリオに関する情報を受け取った前記スマートデバイスは、前記センサによって前記対象物を測定し、前記ディスプレイにおけるガイダンス画面表示として、前記付随情報と前記センサによる前記対象物の測定結果とに基づいて、前記ディスプレイに映される前記対象物を前記位置合わせの適正位置に誘導させる情報を、少なくとも一部を当該対象物に重畳して前記ディスプレイに表示することを特徴とする。
【０００９】
また、かかる課題を解決するため本発明においては、スマートデバイスにガイダンス画面を表示するガイダンスシステムによる以下のガイダンス制御方法が提供される。前記ガイダンスシステムは、センサ及びディスプレイを有する前記スマートデバイスと、前記スマートデバイスを用いた一連の作業を複数のシナリオによって管理し、各前記シナリオに関する情報を前記スマートデバイスに送信するシナリオ制御装置と、を有する。そして、本ガイダンス制御方法は、前記複数のシナリオのうち所定の対象物に対する位置合わせを含むシナリオの実行時に、前記シナリオ制御装置が、当該シナリオに関する情報に、前記位置合わせに関する付随情報を含めて前記スマートデバイスに送る情報送出ステップと、前記情報送出ステップの後に、前記シナリオに関する情報を受け取った前記スマートデバイスが、前記センサによって前記対象物を測定する測定ステップと、前記測定ステップの後に、前記スマートデバイスが、前記ディスプレイにおけるガイダンス画面表示として、前記情報送出ステップで得た前記付随情報と前記測定ステップで得た前記対象物の測定結果とに基づいて、前記ディスプレイに映される前記対象物を前記位置合わせの適正位置に誘導させる情報を、少なくとも一部を当該対象物に重畳して前記ディスプレイに表示するガイダンス画面表示ステップと、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ＡＲを利用して、高精度な用途においてもユーザの動作を適切に誘導することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施の形態に係るガイダンスシステムの構成例を示すブロック図である。
【図２】スマートデバイスの機能構成例を示すブロック図である。
【図３】シナリオ制御環境の機能構成例を示すブロック図である。
【図４】データベースに格納されるテーブルデータの具体例を示す図である。
【図５】物体認識までのガイダンス処理の全体概要を示すシーケンス図である。
【図６】物体認識後のガイダンス処理の全体概要を示すシーケンス図である。
【図７】ＡＲ表示準備処理の処理手順例を示すフローチャートである。
【図８】ＡＲ表示準備処理における詳細な処理手順を示すシーケンス図である。
【図９】ＡＲ表示処理の処理手順例を示すフローチャートである。
【図１０】ＡＲ表示処理における詳細な処理手順を示すシーケンス図である。
【図１１】写真撮影処理の処理手順例を示すフローチャートである。
【図１２】写真撮影処理における詳細な処理手順を示すシーケンス図である。
【図１３】次シナリオ判別処理の処理手順例を示すフローチャートである。
【図１４】次シナリオ判別処理における詳細な処理手順を示すシーケンス図である。
【図１５】物体認識までのガイダンス処理のなかで表示されるガイダンス画面の一例を説明するための図である。
【図１６】物体認識後のガイダンス処理のなかで表示されるガイダンス画面の一例を説明するための図（その１）である。
【図１７】物体認識後のガイダンス処理のなかで表示されるガイダンス画面の一例を説明するための図（その２）である。
【図１８】物体認識後のガイダンス処理のなかで表示されるガイダンス画面の一例を説明するための図（その３）である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の一実施の形態を詳述する。
【００１３】
（１）ガイダンスシステムの構成
図１は、本発明の一実施の形態に係るガイダンスシステムの構成例を示すブロック図である。図１に示すガイダンスシステム１は、保安や証跡管理等の一連の作業において、作業の各工程を管理するシナリオに沿って、実体の対象物（被写体）をスマートデバイス１０によって高精度に記録するために、スマートデバイス１０におけるＡＲ（拡張現実：Augmented Reality）表示を利用して、対象物と所定の位置関係になるように（対象物を適正位置に位置合わせできるように）スマートデバイス１０の操作者（以下、ユーザ）を誘導するガイダンスシステムであって、スマートデバイス１０、シナリオ制御環境２０、データベース３０、及びファイルサーバ４０を備えて構成される。
【００１４】
スマートデバイス１０は、ユーザによって携帯（装着）可能なスマートデバイスであって、具体的には例えば、スマートグラスやスマートフォン等を利用することができる。図１に例示したスマートデバイス１０は、ＡＲの表示機能を制御するＡＲ表示機能部１１、各種のセンサデータを取得するセンサ１２、撮影機能を有するカメラ１３、表示機能を有するディスプレイ１４、及び音声出力機能を有するスピーカ１５を備えて構成される。スマートデバイス１０は、ネットワーク５０（主に無線ネットワーク）を介してシナリオ制御環境２０と通信可能に接続される。
【００１５】
なお、本例では、本発明の一実施の形態として、スマートデバイス１０とシナリオ制御環境２０とが別に構成されている場合について説明するが、本発明のガイダンスシステム及びガイダンス制御方法は、このような構成に限定されるものではなく、例えば、スマートデバイス１０の内部に、シナリオ制御環境２０に相当する構成が置かれる等して一体化された構成であってもよい。また、データベース３０やファイルサーバ４０についても同様に、スマートデバイス１０やシナリオ制御環境２０と一体化された構成であってもよい。そして、上記のように一体化された構成間では、ネットワーク５０を介した通信が不要となる。
【００１６】
図２は、スマートデバイスの機能構成例を示すブロック図である。図２に示すように、スマートデバイス１０における機能構成として、ＡＲ表示機能部１１は、外部（シナリオ制御環境２０）との通信を行う通信制御部１１１と、ＡＲ表示機能に関する処理を制御する処理制御部１１２と、ＡＲ表示機能部１１のローカルな記憶部であるローカルフォルダ１１３とを有する。
【００１７】
通信制御部１１１は、例えばスマートデバイス１０に搭載された通信基板であり、処理制御部１１２は、例えばスマートデバイス１０に搭載された制御基板である。後述するスマートデバイス１０による各処理は、主にＡＲ表示機能部１１の処理制御部１１２によって実行され、より具体的には、制御基板に搭載されたＣＰＵ（Central Processing Unit）がメモリに格納されたプログラムを実行する等して実現される。
【００１８】
また、図２には、スマートデバイス１０のセンサ１２の具体例として、周囲の音状況の収集や対象からの音声入力を行うマイク１２１、対象物までの距離（深度）を測定する深度センサ１２２（具体的には例えばＬｉＤＡＲ（Light Detection and Ranging）等）、対象の姿勢や角速度等を測定するジャイロセンサ１２３、及び周囲の光量を測定する光学センサ１２４が備えられている。なお、スマートデバイス１０のセンサ１２は、図２に例示した全ての各種センサを必ずしも備えている必要はなく、また他の種類のセンサ（例えば、対象物の動きを計測する慣性計測装置等）を備えていてもよい。
【００１９】
図３は、シナリオ制御環境の機能構成例を示すブロック図である。シナリオ制御環境２０は、ガイダンスシステム１によるガイダンスの目的（例えば、保安作業において所定対象物の画像データを取得することや、証跡管理のために所定対象物の証跡を記録すること等）に応じて、予め用意された複数のシナリオの実行を制御する機能を有し、例えば、サーバやＰＣ等の計算機によって実現される。
【００２０】
図３に示すように、シナリオ制御環境２０は、機能構成として、外部（スマートデバイス１０）との通信を行う通信制御部２１と、シナリオの選択やシナリオに基づいたＡＲ表示の制御等を行うシナリオ制御処理部２２と、画像ファイルの分析処理及び判別処理を行う判別部２３とを有する。なお、図示はしていないが、シナリオ制御環境２０は、シナリオ制御処理部２２や判別部２３による処理の実行時にデータを一時的に格納する等の用途に用いられる記憶部（ローカルフォルダ）を有してもよい。
【００２１】
また、具体的な処理は後述するが、シナリオ制御環境２０による処理の実行時に、シナリオ制御処理部２２または判別部２３は、必要に応じてデータベース３０またはファイルサーバ４０にアクセスし、所望のデータを参照・取得したり、格納したりすることができる。
【００２２】
データベース３０は、記憶手段の一例であって、本実施の形態では、シナリオ制御環境２０による処理において部分的に利用されることが多いテーブルデータ等が中心に格納される。具体的には例えば、図４に例示するＡＲ表示情報テーブル３１０、付随情報テーブル３２０、及びシナリオ制御情報テーブル３３０は、データベース３０に格納されるとする。また、ファイルサーバ４０は、比較的大容量な記憶手段の一例であって、本実施の形態では、シナリオ制御環境２０データ全体が利用されることが多いオブジェクトファイル（画像ファイル、画像の設定情報等）が中心に格納される。具体的には例えば、スマートデバイス１０にＡＲ表示させるために予め用意された画像データ等はファイルサーバ４０に格納することができ、また、スマートデバイス１０によって撮影された画像データ等もファイルサーバ４０に格納することができる。
【００２３】
なお、データベース３０及びファイルサーバ４０は、本実施の形態に係るガイダンスシステム１における記憶手段の一例であり、本発明においてその区分は特に限定されるものではない。すなわち、本発明においてデータベース３０及びファイルサーバ４０に相当する記憶手段は１つでも３つ以上でもよく、また、それらの実現方法も物理ストレージまたは仮想ストレージの何れかに限定されるものではない。
【００２４】
図４は、データベースに格納されるテーブルデータの具体例を示す図である。
【００２５】
図４（Ａ）に例示したＡＲ表示情報テーブル３１０は、シナリオ制御環境２０によるＡＲ表示情報問合せ時に参照・取得されるＡＲ表示情報のテーブルであって、シナリオの識別子を示すシナリオＩＤ３１１、当該シナリオに対応するオブジェクトファイルの格納場所（ファイルパス）を示すオブジェクトファイルパス３１２、当該シナリオにおける作業指示の内容を示す作業指示情報３１３、及び、当該シナリオにおける付随情報の識別子（付随情報ＩＤ）を示す付随情報ＩＤリスト３１４を備えて構成される。
【００２６】
なお、作業指示情報３１３に記載された情報は、当該シナリオの実行時に、スマートデバイス１０のディスプレイ１４に表示されるガイダンス画面に表示される。ガイダンス画面の具体的な説明は図１５〜図１８を参照しながら後述する。また、付随情報ＩＤリスト３１４に記載された付随情報ＩＤは、図４（Ｂ）に例示する付随情報テーブル３２０の付随情報ＩＤ３２２に記載される付随情報ＩＤと共通する識別子である。
【００２７】
図４（Ｂ）に例示した付随情報テーブル３２０は、シナリオ制御環境２０による付随情報問合せ時に参照・取得される付随情報のテーブルであって、シナリオＩＤ３２１、当該シナリオに対応する付随情報の識別子を示す付随情報ＩＤ３２２、当該付随情報における「現在値」の取得のために用いられるセンサ１２の識別子を示すセンサＩＤ３２３、当該付随情報における「目標値」を示す付随情報目標値３２４、当該付随情報の表示単位を示す付随情報単位３２５、当該付随情報における「誤差範囲」を示す付随情報範囲３２６、当該付随情報の表示においてユーザが付随情報範囲３２６の範囲外にあるとき（超過時／過小時）の表示内容を示す超過時表示情報３２７及び過小時表示情報３２８を備えて構成される。
【００２８】
図４（Ｃ）に例示したシナリオ制御情報テーブル３３０は、シナリオ制御環境２０によるシナリオＩＤ（または、次のシナリオＩＤ）問合せ時に参照・取得されるシナリオ制御情報のテーブルであって、シナリオＩＤ３３１、現在のシナリオから次のシナリオへの分岐判定に用いられる情報を示す分岐判定情報３３２、及び次のシナリオＩＤ３３３を備えて構成される。
【００２９】
なお、上記の各テーブルにおいて、シナリオＩＤ３１１，３２１，３３１及び次のシナリオＩＤ３３３には、予め用意されたシナリオを一意に識別可能な識別子（シナリオＩＤ）が共通して用いられる。また、付随情報ＩＤリスト３１４と付随情報ＩＤ３２２には、付随情報を一意に識別可能な識別子（付随情報ＩＤ）が共通して用いられる。図４に例示したＡＲ表示情報テーブル３１０、付随情報テーブル３２０、及びシナリオ制御情報テーブル３３０の実際の使用例は、後述するガイダンス処理の中で示される。
【００３０】
（２）ガイダンス処理
本実施の形態に係るガイダンスシステム１では、保安や証跡管理等の作業を行おうとする場合に、スマートデバイス１０を携帯（または装着）したユーザが所定の対象物（被写体）をカメラ１３の撮影範囲に収めることによって、ディスプレイ１４に対象物が映される。そして、ディスプレイ１４に映される対象物の位置合わせのために、ディスプレイ１４の表示画面において、ＡＲを利用した「ガイダンス画面」が表示される（スピーカ１５からの音声報知による追加／置換を含む）。そしてこのガイダンス画面の指示に従ってスマートデバイス１０の移動や操作を行うことによって、保安や証跡管理等の作業のシナリオに沿って、対象物（被写体）をスマートデバイス１０によって高精度に記録することができる。このような一連の動作におけるガイダンスシステム１の処理をガイダンス処理と称し、以下に詳しく説明する。
【００３１】
なお、本実施の形態において、上述した「ディスプレイ１４に対象物が映される」とは、対象物の実体そのものがディスプレイ１４を介して視認可能に映されること、及び、対象物を撮影した実体映像がディスプレイ１４の表示画面に表示されて視認可能にされること、の双方の意味を含む。より具体的には、前者は、ディスプレイ１４が透明または半透明である場合に、後述するガイダンス画面において、対象物の実体をディスプレイ１４を透過して映すことに相当する。また、後者は、ディスプレイ１４が非透明である場合に、ガイダンス画面において、カメラ１３で撮影した対象物の実体映像をディスプレイ１４の表示画面に表示することに相当する。ガイダンス画面について具体的に詳述する（３）章では、一例として、後者の場合で説明する。
【００３２】
（２−１）全体概要
まず、ガイダンス処理の全体概要について、シナリオの対象物を認識するまで（物体認識まで）と、認識した後（物体認識後）とに分けて説明する。
【００３３】
図５は、物体認識までのガイダンス処理の全体概要を示すシーケンス図である。なお、図５では、問合せ処理を実線で示し、回答処理を破線で示している。これは、後述する他のシーケンス図でも同様である。
【００３４】
図５によればまず、スマートデバイス１０が、物体認識の開始準備を行う（ステップＳ１１）。次に、スマートデバイス１０は、ＡＲ表示情報問合せとして、物体認識用のシナリオＩＤをネットワーク５０を介してシナリオ制御環境２０に送信する（ステップＳ１２）。
【００３５】
スマートデバイス１０からＡＲ表示情報問合せを受けたシナリオ制御環境２０は、当該問合せで受信した物体認識用のシナリオＩＤに基づいてデータベース３０のＡＲ表示情報テーブル３１０を参照し（ステップＳ１３）、当該シナリオＩＤに対応するＡＲ表示情報を取得する（ステップＳ１４）。
【００３６】
そして、シナリオ制御環境２０は、ステップＳ１４で取得したＡＲ表示情報に関連する付随情報ＩＤが記載されている場合（付随情報ＩＤリスト３１４）には、当該付随情報ＩＤに基づいてデータベース３０の付随情報テーブル３２０を参照し（ステップＳ１５）、当該付随情報ＩＤに対応する付随情報を取得する（ステップＳ１６）。
【００３７】
また、シナリオ制御環境２０は、ステップＳ１４で取得したＡＲ表示情報に含まれるオブジェクトファイルパス３１２に基づいてファイルサーバ４０を参照し（ステップＳ１７）、当該ファイルパスに保持されているオブジェクトファイルを取得する（ステップＳ１８）。
【００３８】
その後、シナリオ制御環境２０は、ステップＳ１４，Ｓ１６，Ｓ１８で取得したＡＲ用データ（ＡＲ表示情報、付随情報、オブジェクトファイル）をネットワーク５０を介してスマートデバイス１０に送信する（ステップＳ１９）。
【００３９】
ステップＳ１９でＡＲ用データを受信したスマートデバイス１０は、受信したＡＲ用データを用いてディスプレイ１４にＡＲ表示（ガイダンス画面の表示）を行うとともに、カメラ１３やセンサ１２を用いて物体認識を開始する。このとき、例えば、カメラ１３で認識した対象物との相対距離をセンサ１２を用いて取得する（ステップＳ２０）。
【００４０】
そして物体認識が終了すると、スマートデバイス１０は、ネットワーク５０を介してシナリオ制御環境２０に次のシナリオＩＤの問合せを行う（ステップＳ２１）。
【００４１】
スマートデバイス１０から次のシナリオＩＤ問合せを受けたシナリオ制御環境２０は、データベース３０のシナリオ制御情報テーブル３３０を参照し（ステップＳ２２）、現在のシナリオＩＤに対応するシナリオ制御情報を取得する（ステップＳ２３）。そして、シナリオ制御環境２０は、ステップＳ２３で取得したシナリオ制御情報に基づいて、次のシナリオＩＤをスマートデバイス１０に送信する(ステップＳ２４)。
【００４２】
ステップＳ２４の処理が完了することにより、物体認識までのガイダンス処理が完了し、物体認識後のシナリオに基づいたガイダンス処理が開始される。
【００４３】
図６は、物体認識後のガイダンス処理の全体概要を示すシーケンス図である。
【００４４】
図６によればまず、スマートデバイス１０が、ＡＲ表示情報問合せとして、先にシナリオ制御環境２０から送信されたシナリオＩＤ（例えば、図５のステップＳ２４参照）をネットワーク５０を介してシナリオ制御環境２０に送信する（ステップＳ３１）。
【００４５】
ステップＳ３１でスマートデバイス１０からＡＲ表示情報問合せを受けたシナリオ制御環境２０がその後行う処理（図６のステップＳ３２〜Ｓ３８）は、図５で説明したステップＳ１３〜Ｓ１９の処理と同じであるため、説明を省略する。ステップＳ３８において、シナリオ制御環境２０は、データベース３０及びファイルサーバ４０から取得したＡＲ用データ（ＡＲ表示情報、付随情報、オブジェクトファイル）をネットワーク５０を介してスマートデバイス１０に送信する。
【００４６】
ステップＳ３８でＡＲ用データを受信したスマートデバイス１０は、受信したＡＲ用データを用いてディスプレイ１４にＡＲ表示（ガイダンス画面の表示）を行って、現在のシナリオにおける対象物との適切な位置関係にユーザ（スマートデバイス１０）を導く。またこのとき、スマートデバイス１０は、センサ１２によって当該対象物に対するセンサデータ値を取得する（ステップＳ３９）。その後、ガイダンスに従って当該対象物との位置関係が適切になったとき、スマートデバイス１０はカメラ１３で当該対象物を撮影し（ステップＳ４０）、撮影データ（写真や動画）をシナリオ制御環境２０に送信する（ステップＳ４１）。
【００４７】
なお、本実施の形態において、スマートデバイス１０からシナリオ制御環境２０への撮影データの送信は、ネットワーク５０を介して直接的に当該撮影データを送信するものでもよいし、間接的に送信するものであってもよい。間接的な送信方法としては例えば、スマートデバイス１０がネットワーク５０を介して撮影データを所定の格納先（例えばファイルサーバ４０やＷＥＢサーバ等）にアップロードし、そのアップロード先のファイルパス（写真ファイルパス）をシナリオ制御環境２０に送信する等がある。この場合、シナリオ制御環境２０は、受信した写真ファイルパスに基づいて格納先にアクセスして撮影データをダウンロードすることによって、当該撮影データを取得することができる。また、前述したように、ガイダンスシステム１の各構成（スマートデバイス１０、シナリオ制御環境２０、ファイルサーバ４０等）が一体化されている場合には、ネットワーク５０を介した通信が不要となるため、スマートデバイス１０で撮影した撮影データを直接、シナリオ制御環境２０で取得することが可能となる。
【００４８】
ステップＳ４１でシナリオの対象物の撮影データを取得したシナリオ制御環境２０は、当該撮影データの画像分析を行い（ステップＳ４２）、画像分析の結果を用いて次のシナリオの判別を行う。具体的には、シナリオ制御環境２０は、データベース３０のシナリオ制御情報テーブル３３０を参照し（ステップＳ４３）、現在のシナリオＩＤに対応するシナリオ制御情報を取得し（ステップＳ４４）、取得したシナリオ制御情報における分岐判定情報３３２に画像分析の結果を適用することによって、次のシナリオＩＤを決定する。そして、シナリオ制御環境２０は、決定した次のシナリオＩＤをネットワーク５０を介してスマートデバイス１０に送信する(ステップＳ４５)。
【００４９】
ステップＳ３１〜ステップＳ４５の処理が完了することにより、ステップＳ３１で指定されたシナリオＩＤに関するガイダンス処理が終了し、その後は、次のシナリオＩＤに関するガイダンス処理が開始される。
【００５０】
以上、図５及び図６を参照しながら、本実施の形態におけるガイダンス処理の全体概要を説明した。これらガイダンス処理のうち、図６のステップＳ３１〜Ｓ３８（図５のステップＳ１３〜Ｓ１９も同様）の処理を「ＡＲ表示準備処理」、図６のステップＳ３８〜Ｓ３９の処理を「ＡＲ表示処理」、図６のステップＳ４０〜Ｓ４１の処理を「写真撮影処理」、図６のステップＳ４１〜Ｓ４５の処理を「次シナリオ判別処理」と称し、以下にガイダンス処理における上記各処理の詳細な処理手順について図面を参照しながら説明する。
【００５１】
（２−２）ＡＲ表示準備処理
図７は、ＡＲ表示準備処理の処理手順例を示すフローチャートである。図７には、ＡＲ表示準備処理におけるシナリオ制御環境２０による処理手順例が示されている。なお、ＡＲ表示準備処理におけるガイダンスシステム１の各構成による詳細な処理手順については、後述する図８のシーケンス図に示される。
【００５２】
図７によれば、まず、シナリオ制御環境２０は、ＡＲ表示情報を取得する（ステップＳ１０１）。このＡＲ表示情報の取得は、図６のステップＳ３２〜Ｓ３３（あるいは図５のステップＳ１３〜Ｓ１４）の処理に相当する。
【００５３】
次に、シナリオ制御環境２０は、ステップＳ１０１で取得したＡＲ表示情報が付随情報を有するか否かを判定する（ステップＳ１０２）。具体的には、当該ＡＲ表示情報について、ＡＲ表示情報テーブル３１０の付随情報ＩＤリスト３１４に付随情報ＩＤが記載されている場合に、付随情報を有すると判定し（ステップＳ１０２のＹＥＳ）、ステップＳ１０３に進む。ステップＳ１０３では、ＡＲ表示情報に記載された付随情報ＩＤに基づいて、データベース３０から付随情報を取得する。その後、ステップＳ１０４に進む。一方、ステップＳ１０２においてＡＲ表示情報の付随情報ＩＤリスト３１４に付随情報ＩＤが記載されていない場合には、付随情報が無いと判定し（ステップＳ１０２のＮＯ）、ステップＳ１０３を飛ばしてステップＳ１０４に進む。
【００５４】
ステップＳ１０４では、シナリオ制御環境２０は、ステップＳ１０１で取得したＡＲ表示情報に記載されたオブジェクトファイルパス３１２に基づいて、ファイルサーバ４０からオブジェクトファイルを取得する。
【００５５】
その後、シナリオ制御環境２０は、ステップＳ１０１〜Ｓ１０４で取得した一式のデータ（ＡＲ表示情報、付随情報、オブジェクトファイル）をＡＲ用データとしてスマートデバイス１０に送信し（ステップＳ１０５）、その後は、後述するＡＲ表示処理が行われる。
【００５６】
図８は、ＡＲ表示準備処理における詳細な処理手順を示すシーケンス図である。
【００５７】
図８によれば、まず、スマートデバイス１０からシナリオ制御環境２０の通信制御部２１にシナリオＩＤが送信される（ステップＳ２０１）。ステップＳ２０１は、図６のステップＳ３１（または図５のステップＳ１２）に示したＡＲ表示情報問合せにおけるシナリオＩＤの送信に相当する。
【００５８】
次に、通信制御部２１は、受信したシナリオＩＤをデコードし（ステップＳ２０２）、シナリオ制御処理部２２に送る（ステップＳ２０３）。
【００５９】
そして、シナリオ制御処理部２２は、ステップＳ２０３で受け取ったシナリオＩＤに基づいてデータベース３０のＡＲ表示情報テーブル３１０を参照し（ステップＳ２０４）、当該シナリオＩＤに対応するＡＲ表示情報を取得する（ステップＳ２０５）。
【００６０】
次に、シナリオ制御処理部２２は、ステップＳ２０５で取得したＡＲ表示情報が付随情報を有しているか否かを判定し（付随情報ＩＤリスト３１４の確認）、付随情報が有る場合には、当該付随情報ＩＤに基づいてデータベース３０の付随情報テーブル３２０を参照し（ステップＳ２０６）、当該付随情報ＩＤに対応する付随情報を取得する（ステップＳ２０７）。
【００６１】
また、シナリオ制御処理部２２は、ステップＳ２０５で取得したＡＲ表示情報に含まれるオブジェクトファイルパス３１２に基づいてファイルサーバ４０を参照し（ステップＳ２０８）、当該ファイルパスに保持されているオブジェクトファイルを取得する（ステップＳ２０９）。
【００６２】
その後、シナリオ制御処理部２２は、ステップＳ２０５，Ｓ２０７，Ｓ２０９で取得した一式の情報（ＡＲ用データ）を通信制御部２１に送り（ステップＳ２１０）、通信制御部２１は、受け取ったＡＲ用データをエンコードし（ステップＳ２１１）、スマートデバイス１０に送信する（ステップＳ２１２）。
【００６３】
以上のようにＡＲ表示準備処理が行われることにより、シナリオ制御環境２０は、スマートデバイス１０においてシナリオに応じたＡＲ表示を行わせるために必要な情報（ＡＲ用データ）を収集し、スマートデバイス１０に送信することができる。
【００６４】
（２−３）ＡＲ表示処理
図９は、ＡＲ表示処理の処理手順例を示すフローチャートである。図９には、ＡＲ表示処理におけるスマートデバイス１０による処理手順例が示されている。なお、ＡＲ表示処理におけるガイダンスシステム１の各構成による詳細な処理手順については、後述する図１０のシーケンス図に示される。
【００６５】
図９によれば、まず、図７のステップＳ１０５におけるＡＲ用データの送信によって、スマートデバイス１０は、シナリオ制御環境２０からＡＲ用データを取得する（ステップＳ１１１）。このＡＲ表示情報の取得は、図６のステップＳ３８（あるいは図５のステップＳ１９）の処理に相当する。
【００６６】
次に、スマートデバイス１０は、ステップＳ１１１で受信したＡＲ用データに含まれるオブジェクトファイルをディスプレイ１４にＡＲ表示する（ステップＳ１１２）。
【００６７】
そして、スマートデバイス１０はステップＳ１１１で受信したＡＲ用データに付随情報が含まれるか否かを判定し（ステップＳ１１３）、付随情報が有ると判定した場合には（ステップＳ１１３のＹＥＳ）、ステップＳ１１４〜Ｓ１１７によるセンサ処理を行う。一方、受信したＡＲ用データに付随情報が無いと判定した場合には（ステップＳ１１３のＮＯ）、ＡＲ表示処理を終了する。
【００６８】
センサ処理ではまず、スマートデバイス１０は、付随情報に基づいてセンサ値を取得する（ステップＳ１１４）。具体的には、付随情報テーブル３２０のセンサＩＤ３２３に記載されたセンサＩＤに対応するセンサ１２を用いて対象物に対するセンシングを実行し、センサ値を取得する。
【００６９】
その後、スマートデバイス１０は、ステップＳ１１４で取得したセンサ値に基づいて、対象物との位置関係が適正位置であるか否かを判定する適正位置判定を行う（ステップＳ１１５）。適正位置判定での判定基準には、付随情報テーブル３２０の付随情報目標値３２４、付随情報単位３２５、及び付随情報範囲３２６を用いる。より具体的には、適正位置判定では、取得したセンサ値が付随情報テーブル３２０の付随情報範囲３２６の範囲内に存在する場合に、適正位置であると判定する。一方、取得したセンサ値が付随情報範囲３２６の範囲外であった場合は、適正位置ではないと判定し、さらに、付随情報範囲３２６に対して超過／過小の何れであるかも判定する。
【００７０】
次に、スマートデバイス１０は、ステップＳ１１４及びステップＳ１１５の結果に基づいて、表示用付随情報を修正する（ステップＳ１１６）。ここで、表示用付随情報とは、ＡＲ用データに含まれる付随情報を基に作成されるローカルデータの付随情報であって、例えば、ローカルフォルダ１１３に保持される。そして、次のステップＳ１１７において、スマートデバイス１０は、ステップＳ１１６で修正した表示用付随情報をディスプレイ１４にＡＲ表示させる（付随情報表示）。本実施の形態では、このようにローカルデータの付随情報（表示用付随情報）を用いることにより、ステップＳ１１４において新たなセンサ値が取得された場合でも、シナリオ制御環境２０と通信することなく、適正位置判定を行い、さらに、更新された最新の表示用付随情報を用いて付随情報のＡＲ表示を実現することができるため、処理遅延の発生を抑制する効果に期待できる。
【００７１】
なお、ステップＳ１１７の付随情報表示では、現在のセンサ値を表示するだけでなく、適正位置判定による判定結果（適正位置、超過／過小による不適正位置）に基づくテキスト表示も行われる。例えば、超過による不適正位置の場合は、付随情報テーブル３２０の超過時表示情報３２７が表示され、過小による不適正位置の場合は、付随情報テーブル３２０の過小時表示情報３２８が表示される。
【００７２】
ステップＳ１１４〜Ｓ１１７のセンサ処理は、ステップＳ１１５の適正位置判定で適正位置と判定されて次段階の写真撮影処理が開始されるまで、センサ値更新間隔（例えば、所定の時間間隔）で繰り返し実行される。
【００７３】
図１０は、ＡＲ表示処理における詳細な処理手順を示すシーケンス図である。
【００７４】
図１０によれば、まず、シナリオ制御環境２０からスマートデバイス１０の通信制御部１１１にＡＲ用データ（ＡＲ表示情報、付随情報、オブジェクトファイル）が送信される（ステップＳ２２１）。ステップＳ２２１は、図６のステップＳ３８に示した処理に相当する。
【００７５】
次に、通信制御部１１１は、受信したＡＲ用データをデコードし（ステップＳ２２２）、処理制御部１１２に送る（ステップＳ２２３）。
【００７６】
そして、処理制御部１１２は、ステップＳ２２３で受け取ったＡＲ用データのうち、オブジェクトファイルをディスプレイ１４に送信し（ステップＳ２２４）、ＡＲ表示させる（ステップＳ２２５）。
【００７７】
次に、処理制御部１１２は、ステップＳ２２３で受け取ったＡＲ用データに付随情報が含まれるか否かを判別し（ステップＳ２２６）、付随情報が有った場合には、図９で説明したようにセンサ処理を実行する。
【００７８】
センサ処理において、まず、処理制御部１１２は、付随情報テーブル３２０のセンサＩＤ３２３に記載されたセンサＩＤに対応するセンサ１２に対して、センサ値の問合せを行う（ステップＳ２２７）。問合せを受けたセンサ１２は、センシングを実行し、その検出結果（センサ値）を処理制御部１１２に返す（ステップＳ２２８）。
【００７９】
次に、処理制御部１１２は、ステップＳ２２８で取得したセンサ値に基づいて、適正位置判定を行う（ステップＳ２２９）。
【００８０】
その後、処理制御部１１２は、表示用付随情報をディスプレイ１４に送信し（ステップＳ２３０）、ディスプレイ１４は、ステップＳ２０５におけるＡＲ表示の表示内容を更新して表示用付随情報をＡＲ表示する（ステップＳ２３１）。図９の説明で前述したように、表示用付随情報のＡＲ表示では、センサ値の表示の他に、適正位置判定の判定結果に応じたテキスト表示も行う事ができる。
【００８１】
ステップＳ２２７〜Ｓ２３１の処理は、次段階の写真撮影処理が開始されるまで、センサ値更新間隔（例えば、所定の時間間隔）で繰り返し実行・更新される。なお、このＡＲ表示処理においてディスプレイ１４にＡＲ表示される画面は、シナリオの対象物と所定の位置関係（適正位置）になるようにスマートデバイス１０のユーザを誘導するガイダンス画面である。その具体例については、図１５〜図１８を参照して後述する。
【００８２】
以上のようにＡＲ表示処理が行われることにより、スマートデバイス１０は、ユーザ（スマートデバイス１０）とシナリオの対象物との位置関係が適正位置になるように、ＡＲ表示を用いたガイダンス画面によってユーザを誘導（案内）することができる。
【００８３】
（２−４）写真撮影処理
図１１は、写真撮影処理の処理手順例を示すフローチャートである。図１１には、写真撮影処理におけるスマートデバイス１０による処理手順例が示されている。なお、写真撮影処理におけるガイダンスシステム１の各構成による詳細な処理手順については、後述する図１２のシーケンス図に示される。
【００８４】
写真撮影処理は、図９のステップＳ１１５の適正位置判定によってユーザ（スマートデバイス１０）が対象物に対して適正位置にある場合に、実行される。また、本例では、写真撮影処理は、ユーザからの音声指示に基づいてスマートデバイス１０が自動実行するものとするが、本実施の形態における写真撮影処理の実現方法はこれに限定されるものではなく、例えば、ユーザ自身がスマートデバイス１０の撮影操作を行うものであってもよい。また、写真撮影処理において動画を撮影するものであってもよい。
【００８５】
図１１によれば、まず、スマートデバイス１０は、対象物の撮影を指示するユーザの音声指示を取得・認識する（ステップＳ１３１）。次に、スマートデバイス１０は、対象物の写真撮影を行う（ステップＳ１３２）。
【００８６】
その後、スマートデバイス１０は、ステップＳ１３２で撮影した写真の撮影データを所定の格納先（例えばファイルサーバ４０）にアップロードする（ステップＳ１３３）。そして、スマートデバイス１０は、アップロード先のファイルパス（写真ファイルパス）をシナリオ制御環境２０に送信し、写真撮影処理を終了する。その後は、シナリオ制御環境２０において、後述する次シナリオ判別処理が行われる。
【００８７】
なお、ステップＳ１３３においてアップロードする撮影データには、撮影時の環境情報（例えばセンサ値等）を含むようにしてもよく、このような環境情報を添えることにより、後述する次シナリオ判別処理のなかで、撮影時の適正位置におけるセンサ値等も合わせてシナリオ制御環境２０に送信することができる。
【００８８】
図１２は、写真撮影処理における詳細な処理手順を示すシーケンス図である。
【００８９】
図１２によれば、まず、スマートデバイス１０において、対象物の撮影を指示するユーザの音声指示がマイク１２１から処理制御部１１２に入力される（ステップＳ２４１）。
【００９０】
ステップＳ２４１では、音声指示の音声データが入力されるので、処理制御部１１２は、音声データに対して音声認識処理を施し（ステップＳ２４２）、認識内容に基づいてカメラ１３に対して写真撮影を指示する（ステップＳ２４３）。ステップＳ２４３の写真撮影指示を受けて、カメラ１３は対象物を撮影し（ステップＳ２４４）、その撮影データを処理制御部１１２に送る（ステップＳ２４５）。なお、ステップＳ２４２における音声認識処理は、様々な公知技術を利用することができる。
【００９１】
次に、処理制御部１１２は、カメラ１３から送られた撮影データをファイルサーバ４０にアップロードし（ステップＳ２４６）、アップロード先のファイルパス（写真ファイルパス）をファイルサーバ４０から受信する（ステップＳ２４７）。
【００９２】
そして、処理制御部１１２は、ステップＳ２４７で受信した写真ファイルパスを通信制御部１１１に送り（ステップＳ２４８）、通信制御部１１１は、当該写真ファイルパスをエンコードし（ステップＳ２４９）、ネットワーク５０を介してシナリオ制御環境２０に送信する（ステップＳ２５０）。
【００９３】
以上のように写真撮影処理が行われることによって、スマートデバイス１０は、適正位置にある対象物を撮影し、その撮影データを示すデータ（本例では、アップロード先のファイルパスだが、撮影データを直接送信する場合は、撮影データそのものとなる）をシナリオ制御環境２０に送信することができる。
【００９４】
（２−５）次シナリオ判別処理
図１３は、次シナリオ判別処理の処理手順例を示すフローチャートである。図１３には、次シナリオ判別処理におけるシナリオ制御環境２０による処理手順例が示されている。なお、次シナリオ判別処理におけるガイダンスシステム１の各構成による詳細な処理手順については、後述する図１４のシーケンス図に示される。
【００９５】
図１３によれば、まず、図１１のステップＳ１３４における写真ファイルパスの送信によって、シナリオ制御環境２０は、スマートデバイス１０から写真ファイルパスを取得する（ステップＳ１４１）。この写真ファイルパスの取得は、図６のステップＳ４１の処理に相当する。
【００９６】
次に、シナリオ制御環境２０はステップＳ１４１で受信した写真ファイルパスに基づいて、所定の格納先（本例ではファイルサーバ４０）から撮影データ（写真ファイル）を取得する（ステップＳ１４２）。なお、ステップＳ１４１〜Ｓ１４２の処理は、図１１に説明したＡＲ表示処理において、撮影データがファイルサーバ４０にアップロードされ、そのアップロード先のファイルパス（写真ファイルパス）がシナリオ制御環境２０に送信された場合の処理を説明するものである。したがって、例えばＡＲ表示処理において撮影データが直接シナリオ制御環境２０に送信されるような場合は、ステップＳ１４１〜Ｓ１４２の代わりに、単に撮影データを取得すればよくなる。
【００９７】
次に、シナリオ制御環境２０は、写真ファイルの画像分析を行うとともに、画像分析の結果を用いて次シナリオの判別を行う（ステップＳ１４３）。画像分析は、様々な公知技術を利用することができる。また、次シナリオの判別は、次に実行すべきシナリオを判別するための処理であって、画像分析の結果から、シナリオ制御情報テーブル３３０の分岐判定情報３３２に対応する情報が抽出される。
【００９８】
そして、シナリオ制御環境２０は、ステップＳ１４３の結果に基づいてデータベース３０のシナリオ制御情報テーブル３３０を参照することにより、次に実行するシナリオのＩＤ（次のシナリオＩＤ）を取得する（ステップＳ１４４）。
【００９９】
そして、シナリオ制御環境２０は、ステップＳ１４４で取得した次のシナリオＩＤをネットワーク５０を介してスマートデバイス１０に送信し（ステップＳ１４５）、次シナリオ判別処理を終了する。その後は、次のシナリオＩＤに基づくガイダンス処理が開始される（例えば、図５のステップＳ１１）。
【０１００】
図１４は、次シナリオ判別処理における詳細な処理手順を示すシーケンス図である。
【０１０１】
図１４によれば、まず、スマートデバイス１０からシナリオ制御環境２０の通信制御部２１に写真ファイルパスが送信される（ステップＳ２５１）。ステップＳ２５１は、前述した図１２におけるステップＳ２５０に相当する。
【０１０２】
通信制御部２１は、受信した写真ファイルパスをデコードし（ステップＳ２５２）、処理制御部１１２に送る（ステップＳ２５３）。そして処理制御部１１２は、写真ファイルパスを判別部２３に転送する（ステップＳ２５４）。
【０１０３】
次に、判別部２３は、当該写真ファイルパスを用いてファイルサーバ４０に写真ファイル（画像ファイル）の問合せを行い（ステップＳ２５５）、当該写真ファイルパスに格納された画像ファイル、すなわち、図１２のステップＳ２４６で格納された撮影データ（写真）をファイルサーバ４０から取得する（ステップＳ２５６）。
【０１０４】
次いで、判別部２３は、ステップＳ２５６で取得した撮影データに対して、画像分析を行い、少なくとも、次シナリオの分岐判定に必要な「所定の情報」を判別・抽出する（ステップＳ２５７）。判別部２３は、その判別結果をシナリオ制御処理部２２に送る（ステップＳ２５８）。
【０１０５】
ここで、次シナリオの分岐判定に必要な「所定の情報」とは、シナリオ制御情報テーブル３３０の分岐判定情報３３２から特定することができる。例えば、図４のシナリオ制御情報テーブル３３０では、シナリオＩＤ「００１」に関して、分岐判定情報３３２に「Ａ，Ｂ」が記載され、分岐判定情報が「Ａ」であった場合には次のシナリオＩＤは「００２Ａ」となり、分岐判定情報が「Ｂ」であった場合には次のシナリオＩＤは「００２Ｂ」となることが示されている。したがって、シナリオＩＤが「００１」である場合の次シナリオ判別処理では、分岐判定情報３３２に記載された「Ａ」または「Ｂ」に相当する情報が、上記「所定の情報」として抽出される。
【０１０６】
なお、本実施の形態では、分岐判定情報３３２にどのような情報を記載するかによって、次のシナリオについて様々な分岐を実現することができる。撮影された対象物における所定領域（例えばランプ）の色について、「所定領域が赤色である」ことを分岐判定情報３３２の情報「Ａ」とし、「所定領域が青色である」ことを分岐判定情報３３２の情報「Ｂ」とすれば、上記ランプの色に応じて次のシナリオを分岐させることができる。また例えば、所定の診断処理を実行するとして、その診断結果（ＯＫ／ＮＧ）に応じて情報「Ａ」，「Ｂ」を設定するといった分岐設定等も可能である。また、分岐数は２つに限定されるものではなく、分岐数や分岐条件を任意に設けてシナリオを設定することができる。
【０１０７】
図１４の説明に戻る。ステップＳ２５８で判別結果を受け取ったシナリオ制御処理部２２は、現在のシナリオＩＤと上記判別結果とに基づいてデータベース３０のシナリオ制御情報テーブル３３０を参照し（ステップＳ２５９）、次のシナリオＩＤを取得する（ステップＳ２６０）。図４のシナリオ制御情報テーブル３３０を用いて具体例を説明すると、現在のシナリオＩＤが「００１」であって、判別結果が「Ａ」であったとすると、次のシナリオＩＤとして「００２Ａ」が決定される。
【０１０８】
その後、シナリオ制御処理部２２は、ステップＳ２６０で取得した次のシナリオＩＤを通信制御部２１に送り（ステップＳ２６１）、通信制御部２１は、受け取った次のシナリオＩＤをエンコードし（ステップＳ２６２）、スマートデバイス１０に送信する（ステップＳ２６３）。
【０１０９】
以上のように次シナリオ判別処理が行われることにより、シナリオ制御環境２０は、スマートデバイス１０において撮影された現シナリオの対象物の撮影データを取得できるとともに、当該撮影データの画像分析の結果から次に実行するシナリオを決定し、スマートデバイス１０に伝えることができる。
【０１１０】
（３）ガイダンス画面
前述したように、本実施の形態に係るガイダンスシステム１では、ユーザに所定の動作（操作）を指示するためにスマートデバイス１０のディスプレイ１４にガイダンス画面がＡＲ表示される。以下では、このガイダンス画面について、具体例を示しながら説明する。
【０１１１】
まず、物体認識までのガイダンス処理で表示されるガイダンス画面について説明する。図５のステップＳ２０等で説明したように、物体認識までのガイダンス処理では、物体認識のシナリオＩＤに基づいて、対象物の物体を認識させるためのガイダンス画面がスマートデバイス１０のディスプレイ１４にＡＲ表示される。
【０１１２】
図１５は、物体認識までのガイダンス処理のなかで表示されるガイダンス画面の一例を説明するための図である。図１５に示したように、ガイダンス画面４００は、画面内に映された対象物（被写体）に、現シナリオにおける対象物の適正位置を重畳表示（ＡＲ表示）する第１の表示画面４１０と、現シナリオにおける作業指示や付随情報をＡＲ表示する第２の表示画面４２０とを有している。
【０１１３】
図１５に示すガイダンス画面４００をより具体的に確認する。第１の表示画面４１０には、対象物が実線で示されている。なお、前述したように、本実施の形態において、「ディスプレイ１４（ガイダンス画面４００，第１の表示画面４１０）内に映される対象物」とは、ディスプレイ１４を透過して対象物の実体が映される場合と、カメラ１３越しの対象物の実体映像（カメラ１３によって撮像された実体映像）がディスプレイ１４の表示画面（ここでは第１の表示画面４１０）に表示される場合と、の双方の意味で捉えることができる。両者は画像処理等の点では相違があるものの、何れの場合も、ユーザがガイダンス画面４００（第１の表示画面４１０）を見た場合に、対象物が映され、その対象物に重畳する態様で適正位置が表示されることに変わりはない。そこで以下では、カメラ１３越しに対象物の実体映像が表示される場合を例として、説明を続ける。
【０１１４】
図１５に示すガイダンス画面４００の具体的な説明を続ける。第１の表示画面４１０には、カメラ１３越しに捉えた対象物の実体映像が、実線で示されている。さらに、現シナリオ（ここでは物体認識のシナリオ）における対象物について、物体認識を行うための位置合わせの適正位置のイメージ（３Ｄガイド）が、破線で重畳表示されている。この３Ｄガイドは、シナリオ制御環境２０から送信されたＡＲ用データ（例えば、図５のステップＳ１９参照）に含まれるオブジェクトファイルを用いることによってＡＲ表示される。
【０１１５】
また、ガイダンス画面４００の第２の表示画面４２０は、現シナリオにおける作業指示の内容がテキスト表示される作業指示表示領域４２１と、現在のユーザ（スマートデバイス１０）と対象物との客観的な位置関係のイメージが示される付随情報表示領域４２２とを備えて構成される。
【０１１６】
作業指示表示領域４２１に表示されるテキストは、シナリオ制御環境２０から送信されたＡＲ用データに含まれるＡＲ表示情報の作業指示情報３１３（図４（Ａ）参照）に記載された情報が表示される。具体的には、図１５の場合、作業指示表示領域４２１に「被写体を３Ｄガイドに合わせ、対象を物体認識させてください」と表示されていることから、ユーザに、第１の表示画面４１０において対象物の実体映像を３Ｄガイドの位置に合わせるように、自身（スマートデバイス１０）の位置を変更する必要があることを案内できる。
【０１１７】
付随情報表示領域４２２に表示される現在のユーザ（スマートデバイス１０）と対象物との客観的な位置関係のイメージは、シナリオ制御環境２０から送信されたＡＲ用データに含まれるオブジェクトファイル及び付随情報と、取得したセンサ値で更新されてローカルフォルダ１１３に保持される表示用付随情報（例えば図９のステップＳ１１６参照）とに基づいて、ＡＲ表示される。具体的には、図１５の場合、付随情報表示領域４２２には、ユーザと対象物との適正な位置関係として、角度が「３０±５°」で距離が「２５±１ｃｍ」という具体的な値が示されており、さらに、ユーザと対象物のイメージ画像も表示されている。これらの付随情報表示によって、ユーザは、対象物との適正な位置関係を視覚的に認識・判断しやすくなる。
【０１１８】
次に、物体認識後のガイダンス処理で表示されるガイダンス画面について説明する。図６のステップＳ３９等で説明したように、物体認識後のガイダンス処理では、現シナリオＩＤに基づいて、対象物を撮影用の適正位置に位置合わせするためのガイダンス画面が、スマートデバイス１０のディスプレイ１４にＡＲ表示される。
【０１１９】
図１６〜図１８は、物体認識後のガイダンス処理のなかで表示されるガイダンス画面の一例を説明するための図（その１〜その３）である。図１６〜図１８に示したガイダンス画面５００，６００，７００は、何れも、カメラ１３越しに捉えた実体映像に、現シナリオにおける対象物の適正位置を重畳表示（ＡＲ表示）する第１の表示画面５１０，６１０，７１０と、現シナリオにおける作業指示や付随情報をＡＲ表示する第２の表示画面５２０，６２０，７２０とを有している。第１の表示画面５１０，６１０，７１０における表示内容は、前述したガイダンス画面４００の第１の表示画面４１０と共通しているため、説明を省略する。一方、第２の表示画面５２０，６２０，７２０には、対象物に対する位置合わせ及び撮影に関する付随情報の表示態様について、異なるバリエーションが示されており、以下、それぞれの第２の表示画面における表示態様について説明する。
【０１２０】
図１６の第２の表示画面５２０の表示態様について説明する。第２の表示画面５２０は、現シナリオにおける作業指示の内容がテキスト表示される作業指示表示領域５２１と、現在のユーザ（スマートデバイス１０）と対象物との客観的な位置関係のイメージが示される付随情報表示領域５２２とを備えて構成される。さらに、付随情報表示領域５２２には、位置合わせのために必要な動作がテキスト表示される付随情報テキスト表示領域５２３が含まれている。
【０１２１】
作業指示表示領域５２１に表示されるテキストは、シナリオ制御環境２０から送信されたＡＲ用データに含まれるＡＲ表示情報の作業指示情報３１３（図４（Ａ）参照）に記載された情報が表示される。具体的には、図１６の場合、作業指示表示領域５２１に「被写体を３Ｄガイドに合わせ、［写真］と音声入力を行い現状の写真を取得してください」と表示されている。この表示内容から、ユーザは、第１の表示画面５１０に表示された対象物の実体映像を３Ｄガイドに位置合わせし、その後、「写真」という音声入力を行う必要があることを認識できる。
【０１２２】
付随情報表示領域５２２に表示される現在のユーザ（スマートデバイス１０）と対象物との客観的な位置関係のイメージは、シナリオ制御環境２０から送信されたＡＲ用データに含まれるオブジェクトファイル及び付随情報と、取得したセンサ値で更新されてローカルフォルダ１１３に保持される表示用付随情報（例えば図９のステップＳ１１６参照）とに基づいて、ＡＲ表示される。
【０１２３】
図１６の場合、ユーザと対象物（被写体）との位置関係に関する数値的な表示は、「［現在値］／［目標値］±［誤差範囲］」の形式で表示されている。具体的には、付随情報表示領域５２２に表示された「１７．５／３０±５°」は、適正位置にある対象物に対するユーザの視角が「３０±５°（すなわち、２５°〜３５°）」と定められているのに対し、現在のユーザの視角が「１７．５°」であり、視角が小さすぎることを意味する。同様に、付随情報表示領域５２２に表示された「２２．８／２５±１ｃｍ」は、適正位置にある対象物までの距離が「２５±１ｃｍ（すなわち、２４ｃｍ〜２６ｃｍ）」と定められているのに対し、現在のユーザから対象物までの距離が「２２．８ｃｍ」であり、近すぎることを意味する。このような付随情報表示領域５２２が行われることによって、位置合わせに関する現状をユーザに正確に伝達することができるため、位置合わせのために必要なユーザの動作を補佐することができる。
【０１２４】
さらに図１６の場合、付随情報テキスト表示領域５２３において「・もう少し離れてください」及び「・もう少し上からみてください」というテキスト表示が行われている。これらのテキスト表示は、付随情報テーブル３２０の超過時表示情報３２７あるいは過小時表示情報３２８に記載された情報であり、センサ１２によって取得された現在値が付随情報範囲から外れている場合に（超過／過小）、状況に応じたテキスト表示が行われる。このような付随情報テキスト表示領域５２３が行われることによって、ユーザが適正位置への位置合わせのために行うべき動作を明確に教示することができ、ユーザの動作をより適切に誘導することができる。
【０１２５】
次に、図１７の第２の表示画面６２０の表示態様について説明する。第２の表示画面６２０は、現シナリオにおける作業指示の内容がテキスト表示される作業指示表示領域６２１と、現在のユーザ（スマートデバイス１０）と対象物との客観的な位置関係のイメージが示される付随情報表示領域６２２とを備えて構成される。このうち、作業指示表示領域６２１の表示内容は、図１６で説明した作業指示表示領域５２１と同じであるため、説明を省略する。
【０１２６】
図１７の付随情報表示領域６２２では、図１６の付随情報表示領域５２２と同様に、ユーザと対象物（被写体）との位置関係に関する数値的な表示が行われている。具体的な数値表示は図１６と同様であり説明を省略する。さらに、図１７では、特徴的な表示態様として、付随情報表示領域６２２において、適正位置への位置合わせのためにユーザが行うべき動作（ユーザの移動先）が、破線で示されたユーザのイメージ画像によって教示されている。
【０１２７】
具体的には、図１７の場合、実線で示されたユーザのイメージ画像よりも左上に破線で示されたユーザのイメージ画像が表示されており、このような破線のイメージ画像から、ユーザは、現在より「もう少し離れ」、「もう少し上から見る」ように誘導される。すなわち、この破線のイメージ画像は、図１６の付随情報テキスト表示領域５２３におけるテキスト表示の内容を画像化したものである。このようなイメージ画像が表示されることにより、ユーザが適正位置への位置合わせのために行うべき動作を視覚的に明快に教示することができ、ユーザの動作をより適切に誘導することができる。
【０１２８】
次に、図１８の第２の表示画面７２０の表示態様について説明する。第２の表示画面７２０は、現シナリオにおける作業指示の内容がテキスト表示される作業指示表示領域７２１と、現在のユーザ（スマートデバイス１０）と対象物との客観的な位置関係のイメージが示される付随情報表示領域７２２とを備えて構成される。このうち、作業指示表示領域７２１の表示内容は、図１６で説明した作業指示表示領域５２１と同じであるため、説明を省略する。
【０１２９】
図１８の付随情報表示領域７２２では、特徴的な表示態様として、前述した図１６の付随情報表示領域６２２や図１７の付随情報表示領域７２２とは異なり、数値的な表示が行われない。その代わりに、適正位置への位置合わせのためにユーザが行うべき動作（ユーザの移動先）が、矢印付きの画像によって表示されている。具体的には、図１８の場合、ユーザから右向きの矢印画像が表示されることによって、対象物に近づく動作が案内され、ユーザの顔の前方で上から下にカーブする向きの矢印画像が表示されることによって、上側から対象物を見る動作が案内される。図１８のような表示態様を採用することにより、ユーザが行うべき動作を簡潔に教示することができるため、ユーザの動作を適切に誘導する効果に期待できる。
【０１３０】
（４）まとめ
以上に説明したように、本実施の形態に係るガイダンスシステム１は、センサ１２及びディスプレイ１４を有するスマートデバイス１０と、スマートデバイス１０を用いた一連の作業を複数のシナリオによって管理するシナリオ制御環境２０とを備えて構成される。このガイダンスシステム１において、複数のシナリオのうち所定の対象物に対する位置合わせを含むシナリオが実行される場合、シナリオ制御環境２０は、当該シナリオに関する情報として、ＡＲ用データ（ＡＲ表示情報、付随情報、オブジェクトファイル）をスマートデバイス１０に送る。そして、ＡＲ用データを受け取ったスマートデバイス１０では、センサ１２によって当該シナリオの対象物を測定し、ディスプレイ１４によるガイダンス画面表示（例えば、ガイダンス画面５００）として、付随情報とセンサ１２による対象物の測定結果とに基づいて、画面に映される対象物（透過して映される対象物の実体、あるいは、カメラ１３によって撮影されて画面に表示される対象物の実体映像）を位置合わせの適正位置に誘導するための情報（適正位置の３Ｄガイド、付随情報、作業指示）を、少なくとも一部を当該対象物に重畳して表示する（第１の表示画面５１０）。
【０１３１】
このようなガイダンスシステム１によれば、シナリオで管理される一連の作業について、ＡＲを利用してユーザの動作を適切に誘導することができる。特に、対象物に対する位置合わせが必要とされるような高精度な用途において、対象物の実体映像を映すディスプレイに、位置合わせに関する付随情報とセンサ測定値とに基づく付随情報表示をＡＲ表示することにより、対象物を適正位置に位置合わせするようにユーザの動作を適切に誘導することができる。
【０１３２】
そして、本実施の形態に係るガイダンスシステム１では、上述したガイダンス画面においてユーザの動作を適切に誘導するために、以下のような様々な工夫がなされている。
【０１３３】
例えば、ガイダンス画面４００の第１の表示画面４１０等に示したように、カメラ１３越しに捉えた対象物の実体映像（あるいは、ディスプレイ１４を透過して映される対象物の実体）に、対象物の適正位置のイメージ（３Ｄガイド）を重畳表示することにより、ユーザに対して、対象物を適正位置に位置合わせするために必要な動作をイメージさせ易くしている。
【０１３４】
また例えば、ガイダンス画面５００の第２の表示画面５２０等に示したように、現シナリオにおける作業指示や付随情報がＡＲ表示されることによって、ユーザに対して、どのような作業が求められているか、あるいは、対象物の現状と適正位置との差異を視覚的に認識できるようにしている。特に、第２の表示画面５２０等においては、現在のユーザ（スマートデバイス１０）と対象物との位置関係を客観的視点で示すイメージ画像が表示されることによって（例えば、付随情報表示領域５２２）、対象物に対する自身の相対位置を客観的に把握することを助け、位置合わせのために必要な動作を理解し易くすることで、ユーザの動作を適切に誘導する効果に期待できる。
【０１３５】
また、図１６〜図１８に例示したように、ガイダンス画面の付随情報表示は、様々な表示態様で実現可能であり、作業の目的やユーザの要求等に応じて幅広い実用性を有している。例えば、より高精度な位置合わせが要求される作業の場合には、付随情報表示領域５２２等のように数値表示を併記することによって、位置合わせの作業効率を高めることができる。また例えば、視角調整のような特殊な動作を誘導する場合には、付随情報テキスト表示領域５２３や付随情報表示領域７２２のように必要な動作を視覚的に教示することによって、ユーザを適切な動作に誘導し易くできる。
【０１３６】
また、第２の表示画面５２０等に表示される付随情報表示の少なくとも一部を、スピーカ１５からの音声出力に置き換え可能なことにより、視角情報だけでなく聴覚情報も用いてユーザの動作を適切に誘導する効果に期待できる。
【０１３７】
なお、図１１や図１２を参照して説明した写真撮影処理において、対象物の撮影を指示するユーザの音声指示（例えば、マイク１２１に「写真」と音声入力すること）を契機として、スマートデバイス１０の処理制御部１１２による自動的な制御によって、対象物の写真撮影を実行できるようにしたが、本実施の形態では、このような写真撮影処理をさらに自動化してもよい。具体的には、ＡＲ表示処理における適正位置判定（例えば図９のステップＳ１１５）において対象物が適正位置にある（位置合わせが完了した）と判定された場合に、ユーザの音声指示を待たずに、スマートデバイス１０の処理制御部１１２が対象物の写真撮影を自動実行するようにしてもよい。このようにすることで、ユーザは、ガイダンス画面による誘導に従って自身（スマートデバイス１０）の位置合わせを行うだけで、当該シナリオの作業を完了させることができるため、一連の作業をより簡易な手順で進めることが可能となる。
【０１３８】
また、従来のＡＲを利用したサービスでは、片方向通信で送られた表示内容がＡＲ表示されるものが一般的であったのに対して、本実施の形態に係るガイダンスシステム１では、スマートデバイス１０におけるＡＲの表示内容を、シナリオ制御環境２０から送られるオブジェクトデータ等のＡＲ用データをそのまま用いるのではなく、センサ１２による測定結果を反映して動的に変化させるとともに、スマートデバイス１０で撮影された対象物の撮影データをシナリオ制御環境２０が取得し、当該撮影データを画像分析／判別することによって、次のシナリオを決定し、決定した次のシナリオに関するＡＲ用データを送信するといったように、双方向通信を利用したＡＲ表示を実現することを特徴の１つとしている。この結果、本実施の形態に係るガイダンスシステム１によれば、上記の従来のサービスでは実現困難であった、高精度なガイダンス画面の提供を可能とし、対象物を適正位置に位置合わせするようにユーザの動作を適切に誘導する効果を高めることができる。
【０１３９】
また、本実施の形態に係るガイダンスシステム１では、上述した双方向通信を利用しながらも、ローカルフォルダ１１３に格納する表示用付随情報を利用することによって、シナリオ実行時のＡＲ表示中には、スマートデバイス１０からシナリオ制御環境２０に通信することなく、センサ１２による測定結果を反映してガイダンス画面におけるＡＲ表示の内容を動的に変更することを可能としており、システム全体における処理負荷を低減させる効果が得られる。
【０１４０】
以上のような本実施の形態に係るガイダンスシステム１は、複数工程がシナリオで管理される一連の作業においてあるシナリオから次のシナリオにユーザの動作を誘導するための技術全般に適用することができる。
【０１４１】
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【０１４２】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【０１４３】
また、図面において制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【０１４４】
１      ガイダンスシステム
１０    スマートデバイス
１１    ＡＲ表示機能部
１２    センサ
１３    カメラ
１４    ディスプレイ
１５    スピーカ
２０    シナリオ制御環境
２１    通信制御部
２２    シナリオ制御処理部
２３    判別部
３０    データベース
４０    ファイルサーバ
１１１  通信制御部
１１２  処理制御部
１１３  ローカルフォルダ
１２１  マイク
１２２  深度センサ
１２３  ジャイロセンサ
１２４  光学センサ
３１０  ＡＲ表示情報テーブル
３１１  シナリオＩＤ
３１２  オブジェクトファイルパス
３１３  作業指示情報
３１４  付随情報ＩＤリスト
３２０  付随情報テーブル
３２１  シナリオＩＤ
３２２  付随情報ＩＤ
３２３  センサＩＤ
３２４  付随情報目標値
３２５  付随情報単位
３２６  付随情報範囲
３２７  超過時表示情報
３２８  過小時表示情報
３３０  シナリオ制御情報テーブル
３３１  シナリオＩＤ
３３２  分岐判定情報
３３３  次のシナリオＩＤ
【図１】
2020030704.tif 000003
【図２】
2020030704.tif 000004
【図３】
2020030704.tif 000005
【図４】
2020030704.tif 000006
【図５】
2020030704.tif 000007
【図６】
2020030704.tif 000008
【図７】
2020030704.tif 000009
【図８】
2020030704.tif 000010
【図９】
2020030704.tif 000011
【図１０】
2020030704.tif 000012
【図１１】
2020030704.tif 000013
【図１２】
2020030704.tif 000014
【図１３】
2020030704.tif 000015
【図１４】
2020030704.tif 000016
【図１５】
2020030704.tif 000017
【図１６】
2020030704.tif 000018
【図１７】
2020030704.tif 000019
【図１８】
2020030704.tif 000020