(57)【要約】  画像表示装置１０の制御部２６は、表示部１４に、対象物品を取り扱うための手順を示す指示画面が表示されている間に、第１のカメラ１６から取得される第１の撮影画像と、第２のカメラ１８から取得される第２の撮影画像と、に基づいて、対象物品に対してユーザが実際に行った操作が、指示画面によって指示された手順に従っているか否かを判断する。制御部２６は、その結果を手順リストに記録し、その手順リストをメモリ２８に記憶させることができる。
2017122274.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着して用いられる画像表示装置であって、
表示部と、
前記ユーザの視界範囲に対応する特定範囲を撮影する第１のカメラと、
前記第１のカメラとは異なる位置に設けられるとともに、前記特定範囲を撮影する第２のカメラと、
前記画像表示装置の姿勢を検出可能なセンサと、
制御部と、
対象物品の取り扱いに関係するマニュアルを記憶するメモリと、
を有しており、
前記制御部は、
前記第１のカメラから取得される第１のキャリブレーション画像と、前記第２のカメラから取得される第２のキャリブレーション画像と、に基づいて、前記画像表示装置の周囲の空間の特徴を特定するための空間情報を特定し、
前記空間情報と、前記第１のカメラから取得される第１の撮影画像と、前記第２のカメラから取得される第２の撮影画像と、前記センサが検出する前記画像表示装置の姿勢と、に基づいて、前記空間内における前記画像表示装置の位置及び姿勢を特定し、
前記特定範囲に前記対象物品が含まれている場合に、前記メモリ内の前記マニュアルに従って、前記対象物品を取り扱うための第１の手順を示す第１のオブジェクト画像を含む第１の指示画面であって、前記第１のオブジェクト画像が前記対象物品に合わせて表示されている前記第１の指示画面を、前記表示部に表示させ、
前記表示部に前記第１の指示画面が表示されている間に、前記第１の撮影画像と、前記第２の撮影画像と、に基づいて、前記特定範囲内の前記対象物品に対して前記ユーザが実際に行った操作が、前記第１の手順に従っているか否かを判断し、
判断の結果を前記メモリに記憶させる、
画像表示装置。
【請求項２】
前記制御部は、
前記操作が前記第１の手順に従っていると判断される場合に、前記メモリ内の前記マニュアルに従って、前記第１の手順の後に実行されるべき第２の手順を示す第２のオブジェクト画像を含む第２の指示画面であって、前記第２のオブジェクト画像が前記対象物品に合わせて表示されている前記第２の指示画面を、前記第１の指示画面に代えて前記表示部に表示させる、
請求項１に記載の画像表示装置。
【請求項３】
前記画像表示装置は、
工具から、前記工具の動作内容に関係する動作情報を受信する受信部をさらに有しており、
前記操作は、前記工具を利用する操作を含み、
前記制御部は、前記表示部に前記第１の指示画面が表示されている間に、前記第１の撮影画像と、前記第２の撮影画像と、前記受信部から取得される前記動作情報と、に基づいて、前記操作が前記第１の手順に従っているか否かを判断する、
請求項１又は２に記載の画像表示装置。
【請求項４】
前記画像表示装置は、
前記メモリに記憶されている前記判断の結果を含む作業情報を外部サーバに送信する送信部をさらに備えている、
請求項１から３のいずれか一項に記載の画像表示装置。
【請求項５】
請求項４に記載の前記画像表示装置によって送信された前記作業情報を記憶する前記外部サーバと通信可能な端末装置のためのコンピュータプログラムであって、
前記端末装置は、表示部と、コンピュータを備え、
前記コンピュータプログラムは、前記コンピュータに、
前記外部サーバと通信を行って前記外部サーバから前記作業情報を受信する処理と、
受信された前記作業情報によって表される閲覧画面を前記表示部に表示させる処理と、
を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書によって開示される技術は、ユーザの頭部に装着して用いられる画像表示装置に関する。
【背景技術】
【０００２】
例えば、特開２０１４−９３０５０号公報（以下、特許文献１という）には、ユーザの頭部に装着して用いられる画像表示装置が開示されている。この種の画像表示装置は、ユーザの視界に対応する範囲の画像（即ち、現実画像）を表示する表示部と、表示部に表示される画像に関連するオブジェクトを表すオブジェクト画像を表示部に表示されている現実画像に合成して表示させるコンピュータと、を備える。このように、人間が知覚する現実世界をコンピュータによって増強及び拡張する技術は、拡張現実（ＡＲ：Augumented Reality）として知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
特許文献１の画像表示装置において、対象物品の物品画像が表示部に表示されている間に、対象物品の取り扱いに関係するマニュアルを示すオブジェクト画像を併せて表示部に表示させることも想定し得る。【０００４】
しかしながら、その場合であっても、画像表示装置は、実際にマニュアルが示す手順に従って対象物品が取り扱われたか否かを判定することができないため、ユーザ等が、マニュアルが示す手順通りに対象物品が取り扱われた否かを確認することはできない。【０００５】
本明細書では、ユーザ等が、マニュアルが示す手順通りに対象物品が取り扱われた否かを確認することができる技術を開示する。【０００６】
本明細書によって開示される画像表示装置は、ユーザの頭部に装着して用いられる。画像表示装置は、表示部と、ユーザの視界範囲に対応する特定範囲を撮影する第１のカメラと、第１のカメラとは異なる位置に設けられるとともに、特定範囲を撮影する第２のカメラと、画像表示装置の姿勢を検出可能なセンサと、制御部と、対象物品の取り扱いに関係するマニュアルを記憶するメモリと、を有している。制御部は、第１のカメラから取得される第１のキャリブレーション画像と、第２のカメラから取得される第２のキャリブレーション画像と、に基づいて、画像表示装置の周囲の空間の特徴を特定するための空間情報を特定し、空間情報と、第１のカメラから取得される第１の撮影画像と、第２のカメラから取得される第２の撮影画像と、センサが検出する画像表示装置の姿勢と、に基づいて、空間内における画像表示装置の位置及び姿勢を特定し、特定範囲に対象物品が含まれている場合に、メモリ内のマニュアルに従って、対象物品を取り扱うための第１の手順を示す第１のオブジェクト画像を含む第１の指示画面であって、第１のオブジェクト画像が対象物品に合わせて表示されている第１の指示画面を、表示部に表示させ、表示部に第１の指示画面が表示されている間に、第１の撮影画像と、第２の撮影画像と、に基づいて、特定範囲内の対象物品に対してユーザが実際に行った操作が、第１の手順に従っているか否かを判断し、判断の結果をメモリに記憶させる。【０００７】
上記の構成によると、制御部は、表示部に第１の指示画面が表示されている間に、第１の撮影画像と、第２の撮影画像と、に基づいて、特定範囲内の対象物品に対してユーザが実際に行った操作が、第１の手順に従っているか否かを判断し、判断の結果をメモリに記憶させる。そのため、ユーザ等は、メモリに記憶された判断の結果を確認することにより、マニュアルが示す手順通りに対象物品が取り扱われた否かを確認することができる。【０００８】
ここで、「第１の撮影画像」は、第１のキャリブレーション画像と同じ画像であっても、異なる画像であってもよい。同様に、「第２の撮影画像」は、第２のキャリブレーション画像と同じ画像であっても、異なる画像であってもよい。ここで、「対象物品の取り扱い」とは、対象物品の組立て、解体、使用、修理等、対象物品を取り扱うための任意の作業を含む。「第１のオブジェクト画像」は、静止画、動画のどちらの画像も含む。【０００９】
なお、上記の画像表示装置を実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを格納するコンピュータ読取可能記録媒体も、新規で有用である。
【図面の簡単な説明】
【００１０】
【図１】通信システムの概要を示す。
【図２】図１の通信システムのブロック図を示す。
【図３】表示装置処理のフローチャートを示す。
【図４】キャリブレーション画面の例を示す。
【図５】リアルタイム処理の例を示す。
【図６】メニューオブジェクト画像の例を示す。
【図７】マニュアル処理の例を示す。
【図８】物品テーブルの例を示す。
【図９】手順リストの例を示す。
【図１０】手順リストの他の例を示す。
【図１１】対象物品の例を示す。
【図１２】指示画面の例（１）を示す。
【図１３】指示画面の例（２）を示す。
【図１４】作業完了後の対象物品の例を示す。
【図１５】第２実施例の画像表示装置の外観を示す。
【００１１】
以下に説明する実施例の主要な特徴を列記しておく。なお、以下に記載する技術要素は、それぞれ独立した技術要素であって、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。【００１２】
（特徴１）制御部は、操作が第１の手順に従っていると判断される場合に、メモリ内のマニュアルに従って、第１の手順の後に実行されるべき第２の手順を示す第２のオブジェクト画像を含む第２の指示画面であって、第２のオブジェクト画像が対象物品に合わせて表示されている第２の指示画面を、第１の指示画面に代えて表示部に表示させてもよい。「第２のオブジェクト画像」は、静止画、動画のどちらの画像も含む。【００１３】
この構成によると、操作が第１の手順に従っていると判断される場合に、第２の指示画面が表示部に表示される。すなわち、制御部は、操作が第１の従っていないと判断される場合に、第２の指示画面を表示部に表示させないようにし得る。そのため、ユーザが、対象物品をマニュアルが示す手順に従って適切に取り扱うことができる可能性が高くなる。【００１４】
（特徴２）画像表示装置は、工具から、工具の動作内容に関係する動作情報を受信する受信部をさらに有していてもよい。操作は、工具を利用する操作を含んでもよい。制御部は、表示部に第１の指示画面が表示されている間に、第１の撮影画像と、第２の撮影画像と、受信部から取得される動作情報と、に基づいて、操作が第１の手順に従っているか否かを判断してもよい。【００１５】
この構成によると、制御部は、第１の撮影画像と第２の撮影画像に加えて、工具から受信部を介して取得される動作情報に基づいて、操作が第１の手順に従っているか否かを判断する。そのため、上記の構成によると、制御部は、操作が第１の手順に従っているか否かをより適切に判断し得る。【００１６】
（特徴３）画像表示装置は、外部サーバに情報を送信するための送信部をさらに備えていてもよい。制御部は、メモリに記憶されている判断の結果を含む作業情報を、送信部を介して外部サーバに送信してもよい。【００１７】
この構成によると、制御部は、メモリに記憶されている判断の結果を含む作業情報を、送信部を介して外部サーバに送信する。これにより、外部サーバには作業情報が蓄積される。外部サーバの管理者等は、外部サーバに蓄積された作業情報を見ることにより、対象物品が適切に取り扱われたか否かを確認することができる。【００１８】
また、本明細書では、上記の画像表示装置によって送信された作業情報を記憶する外部サーバと通信可能な端末装置のためのコンピュータプログラムも開示する。端末装置は、表示部と、コンピュータを備える。コンピュータプログラムは、コンピュータに、外部サーバと通信を行って外部サーバから作業情報を受信する処理と、受信された作業情報によって表される閲覧画面を表示部に表示させる処理と、を実行させる。【００１９】
この構成によると、端末装置のユーザは、表示部に表示された閲覧画面を見ることにより、画像表示装置のユーザによって対象物品が適切に取り扱われたか否かを確認することができる。【００２０】
（第１実施例）
（通信システム２の構成；図１、図２）
図１、図２に示すように、通信システム２は、画像表示装置１０と、工具４０と、サーバ５０と、外部ＰＣ（Personal Computerの略）７０とを備える。画像表示装置１０と、サーバ５０と、外部ＰＣ７０は、インターネット４を介して相互に無線通信（具体的には、Ｗｉ−Ｆｉ通信）を実行可能である（図中の実線矢印参照）。また、画像表示装置１０と工具４０は、相互にＢｌｕｅｔｏｏｔｈ（登録商標）通信（以下では「ＢＴ通信」と呼ぶ）を実行可能である（図中の破線矢印参照）。【００２１】
（画像表示装置１０の構成）
画像表示装置１０は、ユーザの頭部に装着して用いられる画像表示装置（いわゆるヘッドマウントディスプレイ）である。図１に示すように、画像表示装置１０は、支持体１２と、表示部１４ａ、１４ｂと、投影部１５ａ、１５ｂと、第１のカメラ１６と、第２のカメラ１８と、コントロールボックス１９とを備えている。【００２２】
支持体１２は、眼鏡フレーム状の部材である。ユーザは、眼鏡を装着するように支持体１２を装着することによって、画像表示装置１０を頭部に装着することができる。【００２３】
表示部１４ａ、１４ｂは、それぞれ、透光性の表示部材である。ユーザが画像表示装置１０を頭部に装着すると、ユーザの右眼に対向する位置に表示部１４ａが配置され、左眼に対向する位置に表示部１４ｂが配置される。以下、左右の表示部１４ａ、１４ｂを総称して表示部１４と呼ぶ場合がある。【００２４】
投影部１５ａ、１５ｂは、表示部１４ａ、１４ｂに画像を投影する部材である。投影部１５ａ、１５ｂは、表示部１４ａ、１４ｂの側部に設けられている。以下、左右の投影部１５ａ、１５ｂを総称して投影部１５と呼ぶ場合がある。本実施例では、投影部１５は、制御部２６の指示に従って、所定のオブジェクト画像を表示部１４に投影する。これにより、ユーザは、表示部１４越しにユーザが視認可能な現実世界の対象物又は／及び空間の所定の位置に、上記オブジェクト画像が合成されたかの様に、現実世界の対象物又は／及び空間とオブジェクト画像とを見ることができる。以下、本明細書では、制御部２６が、投影部１５に画像の投影を指示することによって、表示部１４に所望の画面を表示させることを説明する場合に、投影部１５の動作の説明を省略し、単に「制御部２６が表示部１４に所望の画像を表示させる」などと表現する場合がある。【００２５】
第１のカメラ１６は、支持体１２のうち、表示部１４ａの上方位置（即ち、ユーザの右眼に対応する位置）に配置されているカメラである。一方、第２のカメラ１８は、支持体１２のうち、表示部１４ｂの上方位置（即ち、ユーザの左眼に対応する位置）に配置されているカメラである。第１のカメラ１６と第２のカメラ１８のそれぞれによって、画像表示装置１０を装着するユーザの視界範囲に対応する範囲（以下では「特定範囲」と呼ぶ）を異なる角度から撮影することができる。【００２６】
コントロールボックス１９は、支持体１２の一部に取り付けられている箱体である。コントロールボックス１９には、画像表示装置１０の制御系統を司る各要素が収容されている。具体的に言うと、図２に示すように、コントロールボックス１９には、センサ２０と、ＢＴインターフェース２２と、Ｗｉ−Ｆｉインターフェース２４と、制御部２６と、メモリ２８とが収容されている。以下では、インターフェースのことを「Ｉ／Ｆ」と記載する。【００２７】
センサ２０は、３軸加速度センサである。センサ２０は、Ｘ，Ｙ，Ｚの３軸の加速度を検出する。センサ２０の検出値を用いて、制御部２６は、画像表示装置１０の姿勢、及び、運動状態を特定することができる。【００２８】
ＢＴＩ／Ｆ２２は、外部の装置（例えば工具４０）とＢＴ通信を実行するためのＩ／Ｆである。【００２９】
Ｗｉ−ＦｉＩ／Ｆ２４は、インターネット４を介して、外部の装置（例えば、サーバ５０）とＷｉ−Ｆｉ通信を実行するためのＩ／Ｆである。【００３０】
制御部２６は、メモリ２８に記憶されているプログラムに従って様々な処理を実行する。制御部２６が実行する処理の内容は後で詳しく説明する。また、制御部２６は、表示部１４、投影部１５、第１のカメラ１６、第２のカメラ１８、センサ２０、ＢＴＩ／Ｆ２２、Ｗｉ−ＦｉＩ／Ｆ２４、及び、メモリ２８と電気的に接続されており、これらの各要素の動作を制御することができる。【００３１】
メモリ２８は、様々なプログラムを記憶している。プログラムは、マニュアルアプリケーションプログラム３０等の各種アプリケーションプログラムを含む。図２では、マニュアルアプリケーションプログラム３０のことを「マニュアルアプリ３０」と表示している。以下では、マニュアルアプリケーションのことを単に「マニュアルアプリ」と呼ぶ場合がある。ここで、「マニュアルアプリ」とは、物品の取り扱い（例えば、組立て、解体、使用、修理等）方法を、現実画像とオブジェクト画像（即ち、仮想画像）とを用いて指示するためのアプリケーションである。制御部２６は、マニュアルアプリ３０に従って、後述のマニュアル処理（図６参照）を実行する。マニュアルアプリ３０は、物品テーブル３２（図８参照）と、マニュアルデータ３４とを含む。物品テーブル３２は、マニュアルアプリ３０に従って取り扱い方法が指示される物品に関するデータを含んでいる。物品テーブル３２の内容は後で詳しく説明する。マニュアルデータ３４は、複数個の物品のそれぞれについて、当該物品の取り扱い方法を説明するマニュアルを含んでいる。さらに、メモリ２８は、後述のマニュアル処理（図６参照）に伴って生成される手順リスト（図８、図９参照）を格納するためのリスト記憶領域３６も有している。また、メモリ２８には、画像表示装置１０に割り当てられたＩＤも記憶されている。図１、図２に示すように、本実施例の画像表示装置１０のＩＤは「Ｄ１」である。【００３２】
図１の例では、１台の画像表示装置１０のみを図示しているが、実際の通信システム２内には複数台の画像表示装置１０が存在していてもよい。その場合、画像表示装置１０毎に異なるＩＤが割り当てられる。【００３３】
（工具４０の構成）
図１に示すように、工具４０は、ユーザが把持して利用するねじ回し用工具（いわゆるドライバー）である。図２に示すように、工具４０は、制御部４２と、メモリ４４と、ＢＴＩ／Ｆ４６とを備えている。【００３４】
ＢＴＩ／Ｆ４６は、外部の装置（例えば画像表示装置１０）とＢＴ通信を実行するためのＩ／Ｆである。制御部４２は、メモリ４４に記憶されているプログラムに従って、工具の動作内容に関係する動作情報を、ＢＴＩ／Ｆ４６を介して画像表示装置１０に送信する処理を実行する。具体的には、制御部４２は、ねじを締める際のトルク値を検出し、検出したトルク値を含む動作情報を、ＢＴＩ／Ｆ４６を介して画像表示装置１０に送信する処理を実行する。メモリ４４は、様々なプログラムを記憶している。【００３５】
図１の例では、１台の工具４０のみを図示しているが、実際の通信システム２内には複数台の工具４０が存在していてもよい。【００３６】
（サーバ５０の構成）
図１、図２のサーバ５０は、画像表示装置１０の管理者（例えば、画像表示装置１０を提供する企業等）によって設置されるサーバである。サーバ５０は、画像表示装置１０のユーザによる物品の取り扱い実績を管理する。サーバ５０は、表示部５２と、操作部５４と、Ｗｉ−ＦｉＩ／Ｆ５６と、制御部５８と、メモリ６０とを備える。【００３７】
表示部５２は、様々な情報を表示可能なディスプレイである。操作部５４は、キーボード及びマウスを備える。サーバ５０のユーザは、操作部５４を操作することによって様々な指示をサーバ５０に入力することができる。Ｗｉ−ＦｉＩ／Ｆ５６は、インターネット４を介して、外部の装置（例えば、画像表示装置１０、外部ＰＣ７０）とＷｉ−Ｆｉ通信を実行するためのＩ／Ｆである。制御部５８は、メモリ６０に記憶されているプログラムに従って様々な処理を実行する。メモリ６０は、様々なプログラムを記憶する。また、メモリ６０は、画像表示装置１０がマニュアル処理（図７参照）を実行することによって画像表示装置１０から受信される作業情報を記憶している。【００３８】
（外部ＰＣ７０の構成）
図１、図２の外部ＰＣ７０は、画像表示装置１０の管理者（例えば、画像表示装置１０を提供する企業等）が使用するＰＣである。外部ＰＣ７０は、サーバ５０にアクセスして、画像表示装置１０のユーザによる物品の取り扱い実績を閲覧するために利用される。外部ＰＣ７０も、サーバ５０と同様に、表示部７１と、操作部７２と、Ｗｉ−ＦｉＩ／Ｆ７３と、制御部７４と、メモリ７５とを備える。【００３９】
表示部７１は、様々な情報を表示可能なディスプレイである。操作部７２は、キーボードを備える。外部ＰＣ７０のユーザは、操作部７２を操作することによって様々な指示をサーバ５０に入力することができる。Ｗｉ−ＦｉＩ／Ｆ７３は、インターネット４を介して、サーバ５０とＷｉ−Ｆｉ通信を実行するためのＩ／Ｆである。制御部７４は、メモリ７５に記憶されているプログラムに従って様々な処理を実行する。メモリ７５は、様々なプログラムを記憶する。本実施例では、特に、メモリ７５は、外部ＰＣ７０がサーバ５０と通信を行い、サーバ５０に記憶された作業情報を閲覧するための閲覧プログラム７６を記憶している。【００４０】
（表示装置処理；図３）
図３を参照して、画像表示装置１０の制御部２６が実行する表示装置処理について説明する。ユーザが画像表示装置１０を自身の頭部に装着し、画像表示装置１０の電源をオンすると、制御部２６は、図３の表示装置処理を開始する。【００４１】
Ｓ１０では、制御部２６は、表示部１４に、所定のキャリブレーション画面を表示する。キャリブレーション画面は、ユーザにキャリブレーションを行わせるための画面である。ここで、「キャリブレーション」は、画像表示装置１０の周囲の空間の特徴を特定するための空間情報（即ちキャリブレーションデータ）を特定するための処理である。また、「画像表示装置１０の周囲の空間の特徴」は、例えば、画像表示装置１０が室内に存在する場合、壁と自機との距離、壁の方向、天井と自機との距離、天井の高さ、床の面積、家具類の位置、家具類との距離等、室内空間を特徴づけるための各種情報を含む。一方、例えば、画像表示装置１０が屋外に存在する場合、「画像表示装置１０の周囲の空間の特徴」は、周囲の目標物との距離等、自機の周囲の空間を特徴づけるための各種情報を含む。【００４２】
図４にキャリブレーション画面の例を示す。図４の例に示すように、キャリブレーション画面には、ポインタＰと、ポインタを視線で追うようにユーザに促すためのメッセージが含まれている。制御部２６は、ユーザがポインタＰを視線で追うことにより、画像表示装置１０の周囲の空間を全て視界に入れられるように、表示部１４内でポインタＰを動かす。【００４３】
続くＳ１２では、制御部２６は、空間情報の特定が完了することを監視する。上記の通り、Ｓ１０で表示部１４にキャリブレーション画面（図４参照）が表示された後に、ユーザがポインタＰを視線で追う動作を行う（即ち、ユーザがポインタＰの動きに合わせて頭部を動かす）ことにより、第１のカメラ１６及び第２のカメラ１８によって周囲の空間の各方向が撮影される。この際、制御部２６は、第１のカメラ１６から、第１のカメラ１６によって撮影された特定範囲（即ち、ユーザの視界範囲に対応する範囲）の画像である第１のキャリブレーション画像を取得するとともに、第２のカメラ１８から、第２のカメラ１８によって撮影された特定範囲の画像である第２のキャリブレーション画像を取得する。制御部２６は、第１のキャリブレーション画像と第２のキャリブレーション画像とに共通する特徴点を特定し、三角測量を行うことによって、特徴点と画像表示装置１０との間の距離を算出することができる。さらに、制御部２６は、ポインタＰの初期位置の座標を基準とする上記特徴点の位置の座標を特定することもできる。制御部２６は、画像表示装置１０の周囲の全方向に存在する複数個の特徴点のそれぞれについて、同様の処理を実行する。制御部２６は、画像表示装置１０の周囲の全方向に存在する複数個の特徴点のそれぞれについて、当該特徴点との距離と当該特徴点の座標を特定した場合、Ｓ１２でＹＥＳと判断してＳ１４に進む。即ち、Ｓ１２における「画像表示装置１０の周囲の空間の特徴を特定するための空間情報」は、各特徴点との距離と各特徴点の座標とを意味する。【００４４】
Ｓ１４では、制御部２６は、リアルタイム処理（図５参照）を開始する。Ｓ１４でリアルタイム処理が開始されると、制御部２６は、画像表示装置１０の電源がオフされるまで、リアルタイム処理を繰り返し実行する。制御部２６は、Ｓ１４でリアルタイム処理を開始すると、Ｓ１６に進む。以下、図５を参照して、リアルタイム処理の内容を説明する。【００４５】
（リアルタイム処理；図５）
図５のＳ３０では、制御部２６は、第１のカメラ１６から、Ｓ３０の時点で第１のカメラ１６によって撮影されている特定範囲の画像である第１の撮影画像を取得するとともに、第２のカメラ１８から、Ｓ３０の時点で第２のカメラ１８によって撮影されている特定範囲の画像である第２の撮影画像とを取得する。即ち、Ｓ３０で取得される第１の撮影画像及び第２の撮影画像は、いずれも、ユーザの現時点の視界範囲に相当するリアルタイムの撮影画像である。【００４６】
続くＳ３２では、制御部２６は、第１の撮影画像と第２の撮影画像とに共通する特定の特徴点と画像表示装置１０との間の距離を算出する。ここで言う「特徴点」は、例えば、空間情報（図３のＳ１２でＹＥＳの場合）に含まれる複数個の特徴点のうちの１つである。特徴点と画像表示装置１０との間の距離は、上記の場合と同様に、第１の撮影画像と第２の撮影画像を用いて三角測量を行うことによって算出される。【００４７】
続くＳ３４では、制御部２６は、センサ２０の検出値に基づいて、この時点での画像表示装置１０の姿勢を算出する。具体的には、制御部２６は、センサ２０の検出値（即ち、Ｘ軸、Ｙ軸、Ｚ軸の各軸方向の加速度）に基づいて、重力方向を０°とした場合のＸ軸、Ｙ軸、Ｚ軸の傾斜角（θｘ、θｙ、θｚ）を算出し、それらの傾斜角に基づいて、Ｓ１０の時点における画像表示装置１０の姿勢（即ち、水平面に対する傾き）を算出する。【００４８】
続くＳ３６では、制御部２６は、図３のＳ１２でＹＥＳの場合に特定された空間情報と、Ｓ３２で算出された特徴点との距離と、Ｓ３４で算出された画像表示装置１０の姿勢と、を用いて、画像表示装置１０が存在する空間内における画像表示装置１０の位置及び姿勢を特定する。【００４９】
Ｓ３６を終えると、制御部２６は、Ｓ３０に戻り、Ｓ３０〜Ｓ３６の各処理を繰り返し実行する。即ち、制御部２６は、Ｓ３０〜Ｓ３６の処理を繰り返し実行することにより、画像表示装置１０が存在する空間内における画像表示装置１０の位置及び姿勢をリアルタイムで特定することができる。【００５０】
（表示装置処理の続き；図３のＳ１６以降）
上記の通り、制御部２６は、図３のＳ１４でリアルタイム処理（図５参照）を開始すると、Ｓ１６に進む。Ｓ１６では、制御部２６は、メインメニューオブジェクトを表すメニューオブジェクト画像を生成し、所定位置に対応付ける。言い換えると、制御部２６は、メニューオブジェクト画像を生成し、所定位置に仮想的に配置する。ここで、「メニューオブジェクト画像を所定位置に仮想的に配置する」とは、特定範囲（即ち、第１のカメラ１６及び第２のカメラ１８の撮像範囲）に所定位置が含まれる場合に、メニューオブジェクト画像が空間内の所定位置に配置された状態の画面が表示部１４に表示されるように、メニューオブジェクト画像を所定位置に対応付けることを意味する。なお、Ｓ１６では、制御部２６は、ユーザの視界の正面の位置を所定位置として指定して、メニューオブジェクト画像を仮想的に配置する。そのため、Ｓ１６の処理の時点では、特定範囲（即ちユーザの視界範囲）に所定位置が含まれる。そのため、図６に示すように、表示部１４には、メニューオブジェクトを示すメニューオブジェクト画像８０が空間内に配置された状態の画面が表示される。本実施例では、表示部１４は透光性のディスプレイであるため、ユーザは、表示部１４越しに視認できる現実の物品（即ち、室内の光景）にメニューオブジェクト画像８０が合わされた態様の表示を見ることができる。【００５１】
図６に示すように、メニューオブジェクト画像８０は、メインメニューを表している。メニューオブジェクト画像８０は、選択可能な６個のアイコン８２〜９２が表示されている。各アイコンは、各アプリケーションに対応している。例えば、アイコン８２はメールアプリを示し、アイコン８４は映画アプリを示し、アイコン８６はブラウザアプリを示し、アイコン８８は写真アプリを示し、アイコン９０はマニュアルアプリを示し、アイコン９２は音楽アプリを示す。ユーザは、特定範囲内で所望のアイコンにタッチするジェスチャーを行うことにより、所望のアイコンに対応するアプリケーションを起動させることができる。【００５２】
続くＳ１８では、制御部２６は、特定範囲内におけるユーザの操作を検出することを監視する。ここで、「特定範囲内におけるユーザの操作」は、ユーザがメニューオブジェクト画像等のオブジェクト画像に対して行うジェスチャー（例えば、画像の移動やサイズ変更を指示するジェスチャー、画像の表示の終了を指示するジェスチャー、アイコンを選択するジェスチャー、画像表示装置１０の電源オフを指示するジェスチャー等）、空間内でのユーザの移動、ユーザの視界方向の変化等、各種の動作を含む。Ｓ１８では、制御部２６は、第１のカメラ１６からの第１の撮影画像、第２のカメラ１８からの第２の撮影画像、及び、センサ２０の検出値に基づいて、特定範囲内でユーザが操作を行ったか否かを判断する。制御部２６は、特定範囲内でユーザが操作を行ったことが検出されると、Ｓ１８でＹＥＳと判断し、Ｓ２０に進む。【００５３】
Ｓ２０では、制御部２６は、ユーザによって行われた操作が、画像表示装置１０の電源オフを指示する所定のジェスチャー（以下では「終了ジェスチャー」と呼ぶ）であるか否かを判断する。制御部２６は、ユーザによって行われた操作が所定の終了ジェスチャーであると判断すると、Ｓ２０でＹＥＳと判断し、Ｓ２４に進み、画像表示装置１０の電源をオフする。この場合、図３の表示装置処理が終了する。この場合、図５のリアルタイム処理も併せて終了する。一方、制御部２６は、ユーザによって行われた操作が所定の終了ジェスチャー以外の操作であると判断すると、Ｓ２０でＮＯと判断し、Ｓ２２に進む。【００５４】
Ｓ２２では、制御部２６は、操作に応じた処理を実行する。例えば、ユーザによって行われた操作が、メニューオブジェクト画像８０（図６参照）の表示位置の移動操作である場合、制御部２６は、ユーザの操作に従って、メニューオブジェクト画像８０の表示位置を変更する。その場合、表示部１４には、変更後の位置にメニューオブジェクト画像８０が配置された状態の画面が表示される。また、例えば、図６に示すように、ユーザによって行われた操作が、メニューオブジェクト画像８０中のマニュアルアプリのアイコン９０を選択する操作（例えば、アイコン９０をタッチする操作）である場合、制御部２６は、ユーザの操作に従って、マニュアルアプリを起動させる。マニュアルアプリが起動すると、制御部２６は、図７のマニュアル処理を開始する。マニュアル処理の内容は後で詳しく説明する。【００５５】
制御部２６は、Ｓ２２を終えると、Ｓ１８に戻り、再びユーザの操作が行われることを監視する。これにより、ユーザが特定範囲内でジェスチャーを行ったり、ユーザが視線の方向を変えたりする操作を行う毎に、制御部２６は、操作に応じて表示部１４に表示されるオブジェクト画像、ガイド画像の表示位置及び表示態様を変更する。制御部２６は、終了ジェスチャーが行われる（Ｓ２０でＹＥＳ）まで、Ｓ１８〜Ｓ２２の各処理を繰り返し実行する。【００５６】
（マニュアル処理；図７）
図７を参照して、画像表示装置１０の制御部２６が実行するマニュアル処理について説明する。上記の通り、ユーザの操作によってマニュアルアプリが起動されると、制御部２６は、マニュアル処理を開始する。【００５７】
Ｓ５０では、制御部２６は、第１のカメラ１６からの第１の撮影画像、及び、第２のカメラ１８からの第２の撮影画像に基づいて、特定範囲内に存在する物品（以下では「対象物品」と呼ぶ場合がある）の特徴を認識する。具体的には、Ｓ５０では、制御部２６は、第１の撮影画像及び第２の撮影画像に含まれている対象物品の画像に基づいて、当該対象物品の特徴（例えば、形状、色、素材等）を認識する。【００５８】
続くＳ５２では、制御部２６は、Ｓ５０で認識された特徴を有する対象物品の物品ＩＤを特定する。具体的には、Ｓ５２では、制御部２６は、Ｓ５０で認識された特徴を有する物品が、メモリ２８内の物品テーブル３２内に含まれるのか否かを判断する。図８に示すように、物品テーブル３２には、物品ＩＤ（例えば「物品Ｐ１」）と、特徴データとが対応付けられた複数の組合せ情報１０２、１０４、１０６等が含まれている。特徴データは、物品ＩＤに対応する物品の形状、素材、色等、当該物品を特徴づけるためのデータを含んでいる。制御部２６は、Ｓ５０で認識された特徴に基づいて、同様の特徴を示す特徴データを含む組合せ情報を特定する。そして、制御部２６は、特定された組合せ情報に含まれる物品ＩＤを特定する。制御部２６は、物品ＩＤを特定すると、Ｓ５４に進む。一方、制御部２６は、Ｓ５２において物品ＩＤを特定できなかった場合（即ち、Ｓ５０で認識された特徴を有する物品が物品テーブル３２に含まれていなかった場合）、マニュアル処理をエラー終了する。【００５９】
例えば、対象物品が、図１１に示す形状であって樹脂製の白色の筐体４００である場合、Ｓ５２では、制御部２６は、筐体４００の特徴と同様の特徴を示す特徴データを含む組合せ情報１０２を特定する。そして、制御部２６は、特定された組合せ情報１０２に含まれる物品ＩＤ「Ｐ１」を特定する。【００６０】
Ｓ５４では、制御部２６は、Ｓ５２で特定された物品ＩＤに対応するマニュアルをマニュアルデータ３４（図２参照）から読み出す。上記の通り、マニュアルデータ３４は、複数個のマニュアルを含んでいる。マニュアルデータ３４内には、物品ＩＤごとに、当該物品ＩＤに対応する物品の取り扱い方法（例えば、組立て方法、解体方法、修理方法等）を説明するためのマニュアルが含まれている。【００６１】
続くＳ５５では、制御部２６は、Ｓ５４に読み出されたマニュアルを用いて、手順リストを生成する。図９、図１０はそれぞれ手順リストの例を示す。【００６２】
図９の手順リスト２００は、Ｓ５２で物品ＩＤ「Ｐ１」（図８の組合せ情報１０２参照）が特定された場合の例である。手順リスト２００は、画像表示装置１０のＩＤ「Ｄ１」、手順リスト２００の作成日時（「2015.Dec.18 10:00」）と、手順リスト２００の最終更新日時（「2015.Dec.18 10:25」）を含む。さらに、手順リスト２００は、物品ＩＤ「Ｐ１」の物品を取り扱うための手順（「蓋をかぶせる」、「ねじをしめる」等）を示す手順欄と、それらの手順に従った操作が行われた否かの結果（「ＯＫ」、「ＮＧ」等）を示す結果欄とが組み合わされた手順表２０２を含む。Ｓ５５で手順リスト２００が作成された時点では、各結果欄には、対応する手順に従った操作が未実行であることを意味する「ＮＧ」が含まれる。【００６３】
図１０の手順リスト３００は、Ｓ５２で物品ＩＤ「Ｐ２」（図８の組合せ情報１０４参照）が特定された場合の例である。手順リスト３００の基本的な構成は図９の手順リスト２００と共通している。手順リスト３００は、物品ＩＤ「Ｐ２」の物品を取り扱うための手順を示す手順欄と、それらの手順が完了したか否かの結果を示す結果欄とが組み合わされた手順表３０２を含んでいる。手順表３０２に含まれる各手順の内容は、図９の手順表２０２に含まれる各手順の内容とは異なっている。【００６４】
図７には示していないが、Ｓ５５で手順リストが生成された後は、制御部２６は、ユーザの操作に応じて、作業完了前であっても、任意のタイミングで、手順リストを表す画面を表示部１４に表示させることができる。【００６５】
続くＳ５６では、制御部２６は、特定範囲内に存在する対象物品の配置方向が、Ｓ５４で読み出されたマニュアルが指定する特定の配置方向と一致しているか否かを判断する。対象物品の配置方向が特定の配置方向と一致している場合、制御部２６は、Ｓ５６でＹＥＳと判断してＳ５８に進む。一方、対象物品の配置方向が特定の配置方向と一致していない場合、制御部２６は、Ｓ５６でＮＯと判断し、Ｓ５７に進む。Ｓ５７では、制御部２６は、表示部１４に、対象物品の配置方向を特定の配置方向に変更すべきであることをユーザに促すためのメッセージを表示する。Ｓ５７を終えると、制御部２６は、Ｓ５６の判断に戻る。【００６６】
Ｓ５８では、制御部２６は、Ｓ５５で作成された手順リストに従って、最初の手順を指示するための指示画面を表示部１４に表示させる。【００６７】
例えば、Ｓ５２で物品ＩＤ「Ｐ１」（図８の組合せ情報１０２参照）が特定された場合、対象物品は、図１１に示す筐体４００である。この場合、図９の手順リスト２００の手順表２０２に示すように、最初の手順は「蓋をかぶせる」である。そのため、図１２に示すように、Ｓ５８では、制御部２６は、特定範囲に対象物品（即ち筐体４００）が存在する場合に、対象物品の物品画像（即ち現実の画像）に、「蓋をかぶせる」手順を説明するためのオブジェクト画像５００が組み込まれている指示画面を表示部１４に表示させる。図１２に示すように、オブジェクト画像５００は、蓋を仮想的に示す画像と、その仮想的な蓋を筐体４００の開口部に被せるように指示するための矢印の画像と、を含む。蓋の画像は、ユーザが視認しやすいように、筐体４００とは異なる色で表示されている。このように、図１２の指示画面は、対象物品である筐体４００の開口部に「蓋をかぶせる」ことを指示するための画面である。【００６８】
次いで、Ｓ６０では、制御部２６は、Ｓ５８で表示された指示画面において指示されている手順（以下では「特定の手順」と呼ぶ場合がある）に従った操作が実際に行われることを監視する。制御部２６は、第１の撮影画像、第２の撮影画像、工具４０から受信される動作情報のうちの少なくとも１つに基づいて、特定の手順に従った操作が行われた否かを判断する。制御部２６は、特定の手順に従った操作が行われたと判断すると、Ｓ６０でＹＥＳと判断してＳ６２に進む。制御部２６は、特定の手順に従った操作が行われていないと判断する間は、Ｓ６０でＹＥＳと判断しない。ここで、制御部２６が「特定の手順に従った操作が行われていない」と判断する場合は、例えば、取り付ける部品が誤っている場合、ねじの締め付けトルク値が所定値より低い場合、誤った操作が実行された場合等、様々な場合を含む。【００６９】
例えば、Ｓ５８において図１２の指示画面が表示された場合（即ち、筐体４００の開口部に「蓋をかぶせる」ことが指示されている場合）、Ｓ６０では、制御部２６は、筐体４００の開口部に蓋（図１３の符号６００参照）が実際に被せられることを監視する。ユーザは、図１２の指示画面を見ながら、筐体４００の開口部に現実の蓋を被せることができる。制御部２６は、第１の撮影画像及び第２の撮影画像に基づいて、指示画面で指示している通りに筐体４００の開口部に蓋が実際に被せられたと判断すると、Ｓ６０でＹＥＳと判断し、Ｓ６２に進む。【００７０】
Ｓ６２では、制御部２６は、手順リストを更新する。即ち、制御部２６は、Ｓ５８の指示画面で指示された手順に従った操作が行われたことを、Ｓ５５で作成された手順リストに記録する。【００７１】
例えば、Ｓ５８において図１２の指示画面が表示された場合（即ち、筐体４００の開口部に「蓋をかぶせる」ことが指示されている場合）、Ｓ６２では、制御部２６は、手順リスト２００（図９）の手順表２０２のうち、「蓋をかぶせる」手順に対応する結果を「ＮＧ」から「ＯＫ」に変更する。さらに、制御部２６は、最終更新日時を更新する。【００７２】
続くＳ６４では、制御部２６は、全ての手順が完了した否かを判断する。具体的には、制御部２６は、Ｓ５５で作成された手順リストが示す全ての手順が完了したか（即ち、結果欄に「ＯＫ」が含まれているか）を判断する。制御部２６は、Ｓ５５で作成された手順リストが示す全ての手順が完了している場合、Ｓ６４でＹＥＳと判断し、Ｓ６６に進む。一方、制御部２６は、Ｓ６４の時点で、Ｓ５５で作成された手順リストが示す全ての手順が完了していない場合、Ｓ６４でＮＯと判断し、Ｓ５８に戻る。この場合、制御部２６は、Ｓ６４でＹＥＳと判断するまで、Ｓ５８〜Ｓ６２の各処理を繰り返し実行する。【００７３】
具体例に沿って詳しく説明する。例えば、Ｓ６２において、手順リスト２００（図９）の手順表２０２のうち、「蓋をかぶせる」手順に対応する結果が「ＮＧ」から「ＯＫ」に変更された場合、Ｓ６４の時点では、手順リスト２００が示す全ての手順はまだ完了していない。そのため、制御部２６は、Ｓ６４でＮＯと判断し、Ｓ５８に戻る。２回目のＳ５８では、制御部２６は、手順リスト２００（図９参照）に基づいて、「蓋をかぶせる」手順の次の手順である「ねじをしめる」手順を説明するための指示画面（図１３参照）を表示部１４に表示させる。図１３に示すように、この指示画面では、対象物品（この場合、筐体４００と蓋６００）の物品画像に、ねじ孔Ｈ１〜Ｈ６を強調表示するためのオブジェクト画像７００と、各ねじ孔Ｈ１〜Ｈ６に螺入されるべきねじを指示するためのオブジェクト画像８００とが組み込まれて表示されている。オブジェクト画像７００は、各ねじ孔Ｈ１〜Ｈ６を判別できるように、「Ｈ１」〜「Ｈ６」の文字と共に表示される。オブジェクト画像８００は、ねじの種類（ねじＡ、ねじＢ）を判別できるように、「Ａ」又は「Ｂ」の文字とともに表示される。【００７４】
この場合、続く２回目のＳ６０では、制御部２６は、各ねじ孔Ｈ１〜Ｈ６にねじが実際に螺入されることを監視する。ユーザは、図１３の指示画面を見ながら、工具４０を用いて、各ねじ孔Ｈ１〜Ｈ６に現実のねじを螺入することができる。この際、ユーザは、各ねじ孔Ｈ１〜Ｈ６に適合する種類のねじ（ねじＡ又はねじＢ）を螺入する。この例では、ねじ孔Ｈ１、Ｈ２、Ｈ５、Ｈ６にはねじＡが適合し、ねじ孔Ｈ３、Ｈ４にはねじＢが適合する。この際、工具４０は、ユーザがねじを締める際のトルク値を検出し、検出したトルク値を含む動作情報を、ＢＴＩ／Ｆ４６を介して画像表示装置１０に送信する。制御部２６は、ＢＴＩ／Ｆ２２を介して、動作情報を受信する。制御部２６は、第１の撮影画像、第２の撮影画像、及び、動作情報に基づいて、各ねじ孔Ｈ１〜Ｈ６に、所定の締め付けトルク値でねじが正しく螺入されたか否かを判断する。制御部２６は、第１の撮影画像、第２の撮影画像、及び、動作情報に基づいて、各ねじ孔Ｈ１〜Ｈ６に、所定の締め付けトルクでねじが正しく螺入されたと判断すると、Ｓ６０でＹＥＳと判断し、Ｓ６２に進む。この場合、図１４に示すように、筐体４００に蓋６００がかぶせられ、６本のねじ９００によってねじ止めされた対象物品が完成する。【００７５】
この場合、続く２回目のＳ６２では、制御部２６は、手順リスト２００（図９）の手順表２０２のうち、「ねじをしめる」手順に対応する各結果を「ＮＧ」から「ＯＫ」に変更する。図９の手順表２０２では、ねじ孔ごとに結果欄が設けられているため、制御部２６は、各結果欄の結果を「ＮＧ」から「ＯＫ」に変更する。また、制御部２６は、最終更新日時を更新する。これにより、図９に示すように、手順表２０２のすべての結果欄に「ＯＫ」が記録された手順リスト２００が完成する。この場合、制御部２６は、続く２回目のＳ６４でＹＥＳと判断し、Ｓ６６に進む。【００７６】
Ｓ６６では、制御部２６は、完成した手順リストをメモリ２８のリスト記憶領域３６に記憶させる。【００７７】
続くＳ６８では、制御部２６は、リスト記憶領域３６に記憶させた手順リストを含む作業情報を生成し、Ｗｉ−ＦｉＩ／Ｆ２４を介して、サーバ５０に送信する。作業情報は、手順リストに加え、様々な情報（例えば、送信日時等）を含む。Ｓ６８を終えると、制御部２６は、図７のマニュアル処理を終了する。【００７８】
なお、図７には示していないが、Ｓ５５で手順リストが生成された後であって、Ｓ６４でＹＥＳと判断される前（即ち、全ての手順が完了する前）に、ユーザが特定範囲内で所定の終了操作を行ったり、対象物品を特定範囲外に移動させる等して作業を中断させたりする場合がある。そのような場合、制御部２６は、Ｓ５５〜Ｓ６４のどの処理を実行中であっても、処理を中断して強制的にＳ６６に進む。この場合、Ｓ６６では、制御部２６は、この時点における手順リストをメモリ２８のリスト記憶領域３６に記憶させる。例えば、制御部２６は、図１０の手順リスト３００のように、結果欄に「ＮＧ」が含まれている手順リストをリスト記憶領域３６に記憶させる。そして、Ｓ６８では、制御部２６は、リスト記憶領域３６に記憶させた手順リストを含む作業情報を生成し、Ｗｉ−ＦｉＩ／Ｆ２４を介して、サーバ５０に送信する。そして、制御部２６は、図７のマニュアル処理を終了する。【００７９】
上記の通り、図７のマニュアル処理が実行されることにより、メモリ２８のリスト記憶領域３６に手順リストが記憶される。画像表示装置１０のユーザは、特定範囲内で、リスト記憶領域３６内の手順リストを閲覧するための操作を行うことができる。その場合、制御部２６は、ユーザによって指定された手順リストをリスト記憶領域３６から読み出し、手順リストを表す画面を表示部１４に表示させることができる。ユーザは、表示部１４に表示された手順リストを見ることにより、対象物品が適切に取り扱われたか否かを確認することができる。【００８０】
（サーバ５０の制御部５８の処理）
続いて、サーバ５０の制御部５８が実行する処理について説明する。上記の通り、画像表示装置１０の制御部２６がマニュアル処理（図７参照）を実行することにより、画像表示装置１０からサーバ５０に作業情報が送信される。サーバ５０の制御部５８は、Ｗｉ−ＦｉＩ／Ｆ５６を介して、作業情報を受信する。制御部５８は、受信した作業情報をメモリ６０に記憶させる。【００８１】
また、サーバ５０のユーザは、操作部５４を操作することによって、メモリ６０内の作業情報を閲覧するための閲覧要求をサーバ５０に入力することができる。閲覧要求が入力されると、制御部５８は、閲覧要求によって指定された作業情報をメモリ６０から読み出し、作業情報によって表される画面を表示部５２に表示させる。この場合、作業情報によって表される画面は、手順リスト（図９、図１０参照）と同様の情報を含む。【００８２】
これにより、サーバ５０のユーザは、表示部５２に表示された画面を見ることにより、画像表示装置１０のユーザによって対象物品が適切に取り扱われたか否かを確認することができる。【００８３】
また、外部ＰＣ７０のユーザは、操作部７２を操作して、サーバ５０内の作業情報を閲覧するための操作を外部ＰＣ７０に入力することができる。その場合、外部ＰＣ７０の制御部７４は、メモリ６０内の作業情報を閲覧するための要求信号をＷｉ−ＦｉＩ／Ｆ７３を介してサーバ５０に送信することができる。この場合、制御部５８は、Ｗｉ−ＦｉＩ／Ｆ５６を介して、要求信号を受信する。そして、制御部５８は、要求信号によって指定された作業情報をメモリ６０から読み出し、読み出された作業情報を、Ｗｉ−ＦｉＩ／Ｆ５６を介して外部ＰＣ７０に送信する。【００８４】
外部ＰＣ７０の制御部７４は、Ｗｉ−ＦｉＩ／Ｆ７３を介して作業情報を受信する。そして、制御部７４は、受信された作業情報によって表される閲覧画面を表示部７１に表示させることができる。この場合も、作業情報によって表される閲覧画面は、手順リスト（図９、図１０参照）と同様の情報を含む。これにより、外部ＰＣ７０のユーザも、表示部７１に表示された閲覧画面を見ることにより、画像表示装置１０のユーザによって対象物品が適切に取り扱われたか否かを確認することができる。【００８５】
（本実施例の効果）
以上、本実施例の通信システム２の構成、動作について説明した。上記の通り、本実施例では、画像表示装置１０の制御部２６は、表示部１４に指示画面（例えば図１２参照）が表示されている間に、第１の撮影画像と、第２の撮影画像と、に基づいて、特定範囲内の対象物品に対してユーザが実際に行った操作が、指示画面によって指示された手順に従っているか否かを判断する（図７のＳ６０）。制御部２６は、その結果を手順リストに記録し、メモリ２８に記憶させることができる（Ｓ６６）。そのため、画像表示装置１０のユーザ等は、メモリ２８に記憶された手順リストを閲覧することにより、マニュアルが示す手順通りに対象物品が取り扱われた否かを確認することができる。【００８６】
本実施例では、画像表示装置１０の制御部２６は、指示画面（図１２参照）で指示されている特定の手順に従った操作が行われると（Ｓ６０でＹＥＳ）、特定の手順の次の手順を指示するための指示画面（図１３参照）を表示部１４に表示させる。即ち、制御部２６は、特定の手順が完了していないと判断される場合には（Ｓ６０でＮＯ）、次の手順の実行を指示するための指示画面を表示部１４に表示させない。そのため、画像表示装置１０のユーザが、対象物品をマニュアルが示す手順に従って適切に取り扱うことができる可能性が高くなる。【００８７】
また、本実施例では、画像表示装置１０の制御部２６は、ＢＴＩ／Ｆ２２を介して、工具４０から、ユーザがねじを締める際のトルク値を含む動作情報を受信する。そのため、制御部２６は、第１の撮影画像と第２の撮影画像に加えて、工具４０から受信される動作情報に基づいて、各ねじ孔Ｈ１〜Ｈ６に、所定の締め付けトルク値でねじが正しく螺入されたか否かを判断する（Ｓ６０）。そのため、制御部２６は、各ねじ孔Ｈ１〜Ｈ６に、所定の締め付けトルクでねじが正しく螺入されたか否かを適切に判断し得る。【００８８】
また、本実施例では、画像表示装置１０の制御部２６は、リスト記憶領域３６に記憶させた手順リストを含む作業情報を生成し、Ｗｉ−ＦｉＩ／Ｆ２４を介して、サーバ５０に送信する（Ｓ６８）。これにより、サーバ５０には作業情報が蓄積される。サーバ５０のユーザ、外部ＰＣ７０のユーザ等は、サーバ５０に蓄積された作業情報に従って表示される画面を見ることにより、対象物品が適切に取り扱われたか否かを確認することができる。【００８９】
（対応関係）
図９の手順表２０２中の「蓋をかぶせる」手順が「第１の手順」の一例である。図１２のオブジェクト画像５００が「第１のオブジェクト画像」の一例である。図１２の指示画面が「第１の指示画面」の一例である。図９の手順表２０２中の「ねじをしめる」手順が「第２の手順」の一例である。図１３のオブジェクト画像７００、８００が「第２のオブジェクト画像」の一例である。図１３の指示画面が「第２の指示画面」の一例である。ＢＴＩ／Ｆ２２が「受信部」の一例である。Ｗｉ−ＦｉＩ／Ｆ２４が「送信部」の一例である。【００９０】
（画像表示装置の第２実施例）
図１５を参照して、第２実施例の画像表示装置１０１０について、第１実施例と異なる点を中心に説明する。本実施例では、表示部１０１４が遮光性のディスプレイであって、ユーザが画像表示装置１０１０を装着した際に、ユーザの視界を遮るものである点において、第１実施例とは異なる。その他の構成要素は第１実施例とほぼ同様である。【００９１】
上記の通り、本実施例では、表示部１０１４が遮光性のディスプレイであるため、画像表示装置１０１０の電源がオンされると、制御部２６は、ユーザの右眼に対向する領域に第１の撮影画像（即ち、第１のカメラ１６の撮影画像）を表示させ、ユーザの左眼に対向する領域に第２の撮影画像（即ち、第２のカメラ１８の撮影画像）を表示させる。そして、例えば、特定範囲にメニューオブジェクト画像８０の配置位置が含まれる場合に、制御部２６は、第１の撮影画像及び第２の撮影画像に、メニューオブジェクト画像８０を合成した画面を表示部１０１４に表示させる。【００９２】
以上、実施例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、以下の変形例を採用してもよい。【００９３】
（変形例１）上記の第２実施例では、制御部２６は、ユーザの右眼に対向する領域に第１の撮影画像を表示させ、ユーザの左眼に対向する領域に第２の撮影画像を表示させる。これに限られず、制御部２６は、表示部１０１４に、第１の撮影画像と第２の撮影画像のうちの一方のみを表示してもよい。また、制御部２６は、表示部１０１４に、第１の撮影画像と第２の撮影画像とを合成した画像を表示してもよい。【００９４】
（変形例２）上記の各実施例では、図３のＳ１８において、制御部２６は、特定範囲内におけるユーザの操作を検出することを監視するが、ここに言う「ユーザの操作」は、ユーザがメニューオブジェクト画像等のオブジェクト画像に対して行うジェスチャー、空間内でのユーザの移動、ユーザの視界方向の変化等に限られず、ユーザが入力手段（入力キー等）を介して入力する操作を含んでもよい。その場合、画像表示装置１０、１０１０は入力手段をさらに有していてもよい。【００９５】
（変形例３）上記の各実施例では、制御部２６は、キャリブレーションを実行した後に（図３のＳ１０、Ｓ１２でＹＥＳ）、リアルタイム処理（Ｓ１４）を開始する。これに限られず、制御部２６は、キャリブレーションの実行とともにリアルタイム処理を開始してもよい。この場合、「第１のキャリブレーション画像」と「第１の撮影画像」が同一の画像であってもよいし、「第２のキャリブレーション画像」と「第２の撮影画像」が同一の画像であってもよい。【００９６】
（変形例４）上記の各実施例では、画像表示装置１０、１０１０は、いずれも、略眼鏡状の支持枠を有しており、眼鏡を装着するようにユーザの頭部に装着可能なものである。これに限られず、画像表示装置は、ユーザの頭部に装着可能であれば、帽子状、ヘルメット状等、任意の支持枠を有していてもよい。【００９７】
（変形例５）画像表示装置は、視力矯正、目の保護等の用途のために一般的に使用されているアイウェア（眼鏡、サングラス等）に、第１のカメラ１６、第２のカメラ１８、及び、コントロールボックス１９を装着することによって形成されてもよい。その場合、アイウェアのレンズ部分が表示部として利用されてもよい。【００９８】
（変形例６）上記の各実施例では、制御部２６は、第１の撮影画像及び第２の撮影画像に基づいて対象物品の特徴を認識し（図７のＳ５０）、次いで、認識された特徴を有する対象物品の物品ＩＤを、物品テーブル３２（図８参照）に基づいて特定する（Ｓ５２）。制御部２６が対象物品の物品ＩＤを特定する手法は、これには限られず、任意の手法を採り得る。例えば、対象物品に物品ＩＤが記録された情報コードを予め付しておき、制御部２６が、第１の撮影画像及び第２の撮影画像に含まれている情報コードをデコードすることによって、物品ＩＤが特定されてもよい。【００９９】
（変形例７）工具４０は、ユーザが把持して利用するねじ回し用工具（いわゆるドライバー）に限られず、他の任意の種類の工具（例えば、スパナ、ノギス等）であってもよい。その場合も、工具４０は、動作情報を画像表示装置１０に送信可能であればよい。【０１００】
（変形例８）上記の各実施例では、メニューオブジェクト画像８０（図６）、オブジェクト画像５００、７００、８００（図１２、図１３）の各種オブジェクト画像はいずれも静止画像として表示されている。これに限られず、各種オブジェクト画像は動画（即ち、少なくとも一部がアニメーション動作する画像）として表示されてもよい。【０１０１】
（変形例９）上記の各実施例では、制御部２６は、特定の手順が完了していないと判断される場合には（図７のＳ６０でＮＯ）、特定の手順を指示するための指示画面（即ち、オブジェクト画像を含む画面）を継続して表示させる。これに限られず、制御部２６は、特定の手順が完了していないと判断される場合であっても、所定条件が満たされる場合（例えば、指示画面の表示開始から所定時間が経過した場合、特定の手順のうちの少なくとも一部の操作が完了した場合）に、指示画面の表示を終了させるようにしてもよい。この変形例も、制御部２６が「指示画面を表示部に表示させる」ことの一例である。【０１０２】
（変形例１０）上記の各実施例では、図７のＳ６０において、制御部２６は、特定の手順が示す操作が実際に行われる（即ち、完了する）ことを監視する。これに限られず、図７のＳ６０において、制御部２６は、特定の手順が示す操作が完了したか否かに加え、特定の手順が示す操作の作業段階（例えば、未作業、作業中、完了等）がどの段階にあるのかを併せて判断してもよい。【０１０３】
（変形例１１）上記の各実施例では、手順リスト２００、３００（図９、図１０）中の手順表２０２、３０２は、物品ＩＤ「Ｐ１」の物品を取り扱うための手順（「蓋をかぶせる」、「ねじをしめる」等）を示す手順欄と、それらの手順に従った操作が行われた否かの結果（「ＯＫ」、「ＮＧ」等）を示す結果欄とが組み合わされている。手順表２０２、３０２は、手順欄、結果欄に加え、備考欄がさらに組み合わされていてもよい。備考欄には、例えば、結果が「ＮＧ」である場合における理由等、各種情報が記録されていてもよい。その場合、図７のＳ６０で、制御部２６は、特定の手順が示す操作が完了していないと判断する場合において、特定の手順が示す操作が完了していないと判断する理由（例えば、螺入されるべきねじが周囲に存在しない、ねじを締める際のトルクが所定値に満たない、等）を併せて判断するようにしてもよい。その場合、制御部２６は、手順表２０２、３０２の備考欄に、特定の手順が示す操作が完了していないと判断する理由を記録するようにしてもよい。この変形例では、図７のＳ６８で生成される作業情報は、備考欄に記録された情報をさらに含んでもよい。【０１０４】
（変形例１２）上記の各実施例では、制御部２６は、特定の手順が完了していないと判断される場合には（図７のＳ６０でＮＯ）、次の手順の実行を指示するための指示画面を表示部１４に表示させない。これに限られず、制御部２６は、特定の手順が完了する前であっても、ユーザの操作に応じて、次の手順の実行を指示するための指示画面を表示部１４に表示させてもよい。また、制御部２６は、特定の手順の実行を指示するための指示画面が表示部１４に表示されている間であっても、ユーザの操作に応じて、既に完了した以前の手順の指示画面を再表示させてもよい。【０１０５】
（変形例１３）マニュアルによって示される対象物品の取り扱い方法に示される複数の手順の中には、スキップ可能な手順（即ち、完了しなくても対象物品の取り扱いに影響を及ぼさない手順）が含まれていてもよい。スキップ可能な手順は、例えば、「作業と作業の間に周囲を清掃する」、「対象物品の表面に装飾用のステッカーを貼付する」等、付随的な手順が含まれる。この場合、制御部２６は、スキップ可能な手順を指示するための指示画面を表示部１４に表示している間に、スキップ可能な手順が完了する前であっても、ユーザの操作に応じて、次の手順の実行を指示するための指示画面を表示部１４に表示させてもよい。【０１０６】
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【図１】
2017122274.tif 000003
【図２】
2017122274.tif 000004
【図３】
2017122274.tif 000005
【図４】
2017122274.tif 000006
【図５】
2017122274.tif 000007
【図６】
2017122274.tif 000008
【図７】
2017122274.tif 000009
【図８】
2017122274.tif 000010
【図９】
2017122274.tif 000011
【図１０】
2017122274.tif 000012
【図１１】
2017122274.tif 000013
【図１２】
2017122274.tif 000014
【図１３】
2017122274.tif 000015
【図１４】
2017122274.tif 000016
【図１５】
2017122274.tif 000017
【国際調査報告】
2017122274.tif 000018
2017122274.tif 000019
2017122274.tif 000020
2017122274.tif 000021