(57)【要約】【課題】機器を使用するユーザにとって有用な情報を適切なタイミングで表示することのできる案内情報表示装置を提供する。【解決手段】案内情報表示装置としてのヘッドマウントディスプレイ装置３０は表示部３１と、カメラ部４７と、ユーザの特定行動（たとえば、外部メモリを手に持って注視する行動）を検出する行動検出部５４を有し、特定行動を検出した後、カメラ部４７で特定の操作対象機器（たとえば、複合機）が撮影されたとき、その特定行動と撮影された操作対象機器との組み合わせに対応する案内情報（操作対象機器における外部メモリの装着方法や外部メモリを使用する機能に関する案内情報）を表示部に表示する。また操作対象機器から外部メモリの接続Ｉ／Ｆ部の位置や現時点の使用状況に関する情報を取得して案内表示する。【選択図】図４
2014093036.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
カメラ部と、
ユーザの特定行動を検出する行動検出部と、
前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
を有する
ことを特徴とする案内情報表示装置。
【請求項２】
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応した案内情報であって前記操作対象機器の状態または撮影された箇所に応じた案内情報を前記表示部に表示させる
ことを特徴とする請求項１に記載の案内情報表示装置。
【請求項３】
前記行動検出部は、前記カメラ部によって撮影された画像から前記特定行動を検出する
ことを特徴とする請求項１または２に記載の案内情報表示装置。
【請求項４】
前記特定行動は、前記操作対象機器の操作部に対する特定の入力操作である
ことを特徴とする請求項１乃至３のいずれか１つに記載の案内情報表示装置。
【請求項５】
前記特定行動は、前記ユーザの特定のジェスチャーである
ことを特徴とする請求項３に記載の案内情報表示装置。
【請求項６】
前記行動検出部は、音声検出機能を備え、前記特定行動として特定の音声情報を前記音声検出機能によって検出する
ことを特徴とする請求項１または２に記載の案内情報表示装置。
【請求項７】
通信部を備え、
前記制御部は、前記通信部を使用して前記操作対象機器の状態に関する情報を取得する
ことを特徴とする請求項２に記載の案内情報表示装置。
【請求項８】
前記制御部は、前記カメラ部によって撮影された前記操作対象機器の画像から前記操作対象機器の状態を認識する
ことを特徴とする請求項２に記載の案内情報表示装置。
【請求項９】
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、外部メモリをユーザが持つまたは注視する行動と外部メモリの接続Ｉ／Ｆ部を備えた操作対象機器の組み合わせである場合に、前記通信部を使用して前記操作対象機器の前記接続Ｉ／Ｆ部に関する情報を取得し、この取得した情報に応じた案内情報を前記表示部に表示させる
ことを特徴とする請求項７に記載の案内情報表示装置。
【請求項１０】
前記制御部は、前記通信部を使用して前記接続Ｉ／Ｆ部の状況を示す情報を取得し、ユーザが持ったまたは注視した前記外部メモリを接続して使用可能な接続Ｉ／Ｆ部に関する情報を前記案内情報として前記表示部に表示させる
ことを特徴とする請求項９に記載の案内情報表示装置。
【請求項１１】
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、白紙の用紙をユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせである場合に、前記白紙の用紙のサイズに対応した給紙トレイの位置を、前記案内情報として前記表示部に表示させる
ことを特徴とする請求項３に記載の案内情報表示装置。
【請求項１２】
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、両面原稿をユーザが持つまたは注視する行動と両面原稿を光学的に読み取る機能を備えた読取装置の組み合わせである場合に、両面読み取りの設定に関する案内情報を前記表示部に表示させる
ことを特徴とする請求項３に記載の案内情報表示装置。
【請求項１３】
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、原稿をユーザが持つまたは注視する行動と両面原稿を光学的に読み取る機能を備えた読取装置の組み合わせである場合であって、片面／両面について、前記原稿と、前記読取装置での原稿の読み取り設定とが不一致の場合にのみ、前記読み取り設定の切り替えに関する案内情報を前記表示部に表示させる
ことを特徴とする請求項３または１２に記載の案内情報表示装置。
【請求項１４】
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、レターヘッド用紙をユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせであり、かつ撮影された箇所が前記画像形成装置の給紙トレイである場合に、その給紙トレイへの前記レターヘッド用紙の正しいセットの仕方に関する案内情報を前記表示部に表示させる
ことを特徴とする請求項２を引用する請求項３に記載の案内情報表示装置。
【請求項１５】
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、原稿を光学的に読み取る機能を備えた読み取り装置のプラテンガラス上に２枚の原稿を順に並置しようとする行動と前記読み取り装置の組み合わせである場合に、前記特定行動の検出時に前記カメラ部によって撮影された１枚目の原稿の向きに応じて、該１枚目の原稿と２枚目の原稿の天地を一致させるための前記２枚目の原稿のセットの仕方を前記案内情報として前記表示部に表示させる
ことを特徴とする請求項３に記載の案内情報表示装置。
【請求項１６】
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、ステープラーまたはやクリップをユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせである場合に、前記画像形成装置で用紙を綴じることが可能か否かを判断し、可能と判断した場合は、前記画像形成装置の綴じる機能に関する案内情報を前記表示部に表示させる
ことを特徴とする請求項３に記載の案内情報表示装置。
【請求項１７】
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、穴あけ用のパンチをユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせである場合に、前記画像形成装置で用紙に穴をあけることが可能か否かを判断し、可能と判断した場合は、前記画像形成装置の穴あけ機能に関する案内情報を前記表示部に表示させる
ことを特徴とする請求項３に記載の案内情報表示装置。
【請求項１８】
前記表示部は、外界の様子にハーフミラーで画像を重ね合わせる方式のヘッドマウントディスプレイであり、
前記カメラ部は、前記ヘッドマウントディスプレイに設けられている
ことを特徴とする請求項１乃至１７のいずれか１つに記載の案内情報表示装置。
【請求項１９】
前記制御部は、前記表示部に前記案内情報を前記操作対象機器の実画像に重ねて表示させる
ことを特徴とする請求項１乃至１８のいずれか１つに記載の案内情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機器を使用するユーザに案内情報を表示する案内情報表示装置に関する。
【背景技術】
【０００２】
ヘッドマウントディスプレイにカメラを搭載し、このカメラが撮影している画像からユーザが注視している対象物を特定し、該対象物に関連した情報をリアルタイムにディスプレイ表示する表示装置が各種提案されている。
【０００３】
たとえば、下記特許文献１には、利用者の頭部の姿勢が変化しても、利用者が注視している対象物を精度よく特定できるように、頭部の姿勢および視線方向の検出結果と視界同調カメラの画像情報とから、注視対象物を特定して関連情報を表示する眼鏡型表示装置が開示されている。
【０００４】
また、下記特許文献２には、装置の組み立て作業を支援する作業支援システムにおいて、次の作業に係る部品をマニュアルから特定し、その部品の画像をヘッドマウントディスプレイに表示し、その後、作業者が手に取った部品を検出し、その部品が不適切な場合に警告表示を行うことが開示されている。
【０００５】
下記特許文献３には、ユーザの位置を検出するＧＰＳ受信機（位置検出手段）と、ユーザの視線上の物体を認識する視線検知センサ（認識手段）とを備え、ＧＰＳ受信機（位置検出手段）で検出された位置と視線検知センサ（認識手段）によって認識した物体とに関連する付加情報をユーザに伝達する眼鏡型表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−００８２９０号公報
【特許文献２】特開２０１０−２１１６２３号公報
【特許文献３】特開２００５−３７１８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の眼鏡型表示装置による関連情報の表示は、ユーザが注視している対象物を特定し、その特定した対象物に関連する情報を表示する。
【０００８】
しかし、その対象物が何らかの機器や装置で使用される物である場合には、対象物を注視しただけで関連情報を表示すると、適切な情報を表示できないことがある。
【０００９】
たとえば、ユーザが注視した対象物を所定の機器で使用する際の案内情報等は、その対象物をその機器で実際に使用するときに必要になるので、ユーザがその対象物を注視した段階で情報を表示しても、時期が不適切で有効でないことがある。
【００１０】
また、ユーザの注視した対象物を利用可能な機器が複数種類ある場合には、対象物が特定されただけではユーザに提供すべき情報を確定できない。また、同じ機器に対しても、その機器の状態に応じてユーザに提供すべき適切な情報が変化することもある。
【００１１】
なお、ユーザの注視した対象物に基づいて情報を表示する場合に限らず、ユーザの意図を推定可能な何らかの行動を検出し、これに関連する情報を提供するような場合にも、同様の問題が生じる。
【００１２】
本発明は、上記の問題を解決しようとするものであり、機器を使用するユーザにとって有用な情報を適切なタイミングで表示することのできる案内情報表示装置を提供することを目的としている。
【課題を解決するための手段】
【００１３】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
【００１４】
［１］表示部と、
カメラ部と、
ユーザの特定行動を検出する行動検出部と、
前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
を有する
ことを特徴とする案内情報表示装置。
【００１５】
上記発明では、特定行動が検出され、かつ、カメラ部で特定の操作対象機器が撮影されたとき、検出された特定行動と撮影された操作対象機器との組み合わせに対応する案内情報が表示部に表示される。
【００１６】
［２］前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応した案内情報であって前記操作対象機器の状態または撮影された箇所に応じた案内情報を前記表示部に表示させる
ことを特徴とする［１］に記載の案内情報表示装置。
【００１７】
上記発明では、検出された特定行動と、撮影された操作対象機器の状態あるいは撮影された箇所とに応じた案内情報が提供される。これにより、検出された特定行動が同一であっても、撮影された操作対象機器の状態や撮影された箇所に応じて異なる案内情報が表示される。
【００１８】
［３］前記行動検出部は、前記カメラ部によって撮影された画像から前記特定行動を検出する
ことを特徴とする［１］または［２］に記載の案内情報表示装置。
【００１９】
［４］前記特定行動は、前記操作対象機器の操作部に対する特定の入力操作である
ことを特徴とする［１］乃至［３］のいずれか１つに記載の案内情報表示装置。
【００２０】
上記発明では、操作対象機器の操作部に対する特定のキー入力は、たとえば、カメラ部で撮影された画像を解析して検出する、あるいは、操作対象機器と通信してキー入力の内容を取得する。
【００２１】
［５］前記特定行動は、前記ユーザの特定のジェスチャーである
ことを特徴とする［３］に記載の案内情報表示装置。
【００２２】
上記発明では、ユーザが何らかの対象物を手に持つ行動やその対象物を持って何かのアクションを行う、といったジェスチャーが特定行動として検出される。
【００２３】
［６］前記行動検出部は、音声検出機能を備え、前記特定行動として特定の音声情報を前記音声検出機能によって検出する
ことを特徴とする［１］または［２］に記載の案内情報表示装置。
【００２４】
上記発明では、案内情報表示装置は、ユーザの発した音声情報から、ユーザの意図を認識する。
【００２５】
［７］通信部を備え、
前記制御部は、前記通信部を使用して前記操作対象機器の状態に関する情報を取得する
ことを特徴とする［２］に記載の案内情報表示装置。
【００２６】
［８］前記制御部は、前記カメラ部によって撮影された前記操作対象機器の画像から前記操作対象機器の状態を認識する
ことを特徴とする［２］に記載の案内情報表示装置。
【００２７】
［９］前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、外部メモリをユーザが持つまたは注視する行動と外部メモリの接続Ｉ／Ｆ部を備えた操作対象機器の組み合わせである場合に、前記通信部を使用して前記操作対象機器の前記接続Ｉ／Ｆ部に関する情報を取得し、この取得した情報に応じた案内情報を前記表示部に表示させる
ことを特徴とする［７］に記載の案内情報表示装置。
【００２８】
上記発明では、案内情報表示装置は、外部メモリをユーザが持つまたは注視する（じっと見る）特定行動が検出され、カメラ部によって外部メモリの接続Ｉ／Ｆ部を備えた操作対象機器が撮影された場合に、その撮影された操作対象機器と通信して、外部メモリの接続Ｉ／Ｆ部に関する情報、たとえば、接続Ｉ／Ｆ部の位置や使用状況を示す情報を取得し、この取得した情報に応じた案内情報を提供する。
【００２９】
［１０］前記制御部は、前記通信部を使用して前記接続Ｉ／Ｆ部の状況を示す情報を取得し、ユーザが持ったまたは注視した前記外部メモリを接続して使用可能な接続Ｉ／Ｆ部に関する情報を前記案内情報として前記表示部に表示させる
ことを特徴とする［９］に記載の案内情報表示装置。
【００３０】
上記発明では、たとえば、接続Ｉ／Ｆ部が複数ある場合に、空いている接続Ｉ／Ｆ部の位置等が案内表示される。
【００３１】
［１１］前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、白紙の用紙をユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせである場合に、前記白紙の用紙のサイズに対応した給紙トレイの位置を、前記案内情報として前記表示部に表示させる
ことを特徴とする［３］に記載の案内情報表示装置。
【００３２】
上記発明では、白紙の用紙をユーザが持つまたは注視する特定行動が検出され、カメラ部によって画像形成装置が撮影された場合に、白紙の用紙のサイズに適合する給紙トレイの位置が案内情報として表示される。
【００３３】
［１２］前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、両面原稿をユーザが持つまたは注視する行動と両面原稿を光学的に読み取る機能を備えた読取装置の組み合わせである場合に、両面読み取りの設定に関する案内情報を前記表示部に表示させる
ことを特徴とする［３］に記載の案内情報表示装置。
【００３４】
上記発明では、両面原稿をユーザが持つまたは注視する行動が特定行動として検出され、両面原稿を光学的に読み取る機能を備えた読取装置が撮影された場合に、両面読み取りの設定に関する案内情報が表示される。
【００３５】
［１３］前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、原稿をユーザが持つまたは注視する行動と両面原稿を光学的に読み取る機能を備えた読取装置の組み合わせである場合であって、片面／両面について、前記原稿と、前記読取装置での原稿の読み取り設定とが不一致の場合にのみ、前記読み取り設定の切り替えに関する案内情報を前記表示部に表示させる
ことを特徴とする［３］または［１２］に記載の案内情報表示装置。
【００３６】
上記発明では、片面／両面について、ユーザが持ったまたは注視した原稿と、読取装置での原稿の読み取り設定とが不一致の場合にのみ、読み取り設定の切り替えに関する案内情報が表示される。
【００３７】
［１４］前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、レターヘッド用紙をユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせであり、かつ撮影された箇所が前記画像形成装置の給紙トレイである場合に、その給紙トレイへの前記レターヘッド用紙の正しいセットの仕方に関する案内情報を前記表示部に表示させる
ことを特徴とする［２］を引用する［３］に記載の案内情報表示装置。
【００３８】
上記発明では、レターヘッド用紙をユーザが持つまたは注視する行動が特定行動として検出され、用紙に画像を印刷する機能を備えた画像形成装置の給紙トレイが撮影された場合に、その給紙トレイへのそのレターヘッド用紙の正しいセットの仕方が案内表示される。
【００３９】
［１５］前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、原稿を光学的に読み取る機能を備えた読み取り装置のプラテンガラス上に２枚の原稿を順に並置しようとする行動と前記読み取り装置の組み合わせである場合に、前記特定行動の検出時に前記カメラ部によって撮影された１枚目の原稿の向きに応じて、該１枚目の原稿と２枚目の原稿の天地を一致させるための前記２枚目の原稿のセットの仕方を前記案内情報として前記表示部に表示させる
ことを特徴とする［３］に記載の案内情報表示装置。
【００４０】
上記発明では、案内情報表示装置は、プラテンガラス上に２枚の原稿を順に並置しようとする特定行動が検出された場合に、その検出中にカメラ部によって撮影された画像からプラテンガラス上にセットされた１枚目の原稿の向きを特定し、該１枚目の原稿と２枚目の原稿の天地を一致させるための２枚目の原稿のセットの仕方を案内表示する。
【００４１】
［１６］前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、ステープラーまたはやクリップをユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせである場合に、前記画像形成装置で用紙を綴じることが可能か否かを判断し、可能と判断した場合は、前記画像形成装置の綴じる機能に関する案内情報を前記表示部に表示させる
ことを特徴とする［３］に記載の案内情報表示装置。
【００４２】
上記発明では、案内情報表示装置は、ステープラーまたはやクリップをユーザが持つまたは注視する行動が特定行動として検出され、用紙に画像を印刷する機能を備えた画像形成装置が撮影された場合に、その画像形成装置で用紙を綴じることが可能か否かを判断し、可能と判断した場合は、その画像形成装置の綴じる機能に関する案内情報を表示する。
【００４３】
［１７］前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、穴あけ用のパンチをユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせである場合に、前記画像形成装置で用紙に穴をあけることが可能か否かを判断し、可能と判断した場合は、前記画像形成装置の穴あけ機能に関する案内情報を前記表示部に表示させる
ことを特徴とする［３］に記載の案内情報表示装置。
【００４４】
上記発明では、案内情報表示装置は、穴あけ用のパンチをユーザが持つまたは注視する行動が特定行動として検出され、用紙に画像を印刷する機能を備えた画像形成装置が撮影された場合に、その画像形成装置で穴あけが可能か否かを判断し、可能と判断した場合は、その画像形成装置の穴あけ機能に関する案内情報を表示する。
【００４５】
［１８］前記表示部は、外界の様子にハーフミラーで画像を重ね合わせる方式のヘッドマウントディスプレイであり、
前記カメラ部は、前記ヘッドマウントディスプレイに設けられている
ことを特徴とする［１］乃至［１７］のいずれか１つに記載の案内情報表示装置。
【００４６】
［１９］前記制御部は、前記表示部に前記案内情報を前記操作対象機器の実画像に重ねて表示させる
ことを特徴とする［１］乃至［１８］のいずれか１つに記載の案内情報表示装置。
【００４７】
上記発明では、操作対象機器の実画像（カメラ部で撮影されて表示部に表示された操作対象機器の画像もしくはハーフミラーを通して見える実物の操作対象機器）に重ねて案内情報が表示される。好ましくは、操作対象機器の位置や向きに位置合わせして案内情報が表示される。
【発明の効果】
【００４８】
本発明に係る案内情報表示装置によれば、機器を使用するユーザにとって有用な情報を適切なタイミングで表示することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施の形態に係る案内情報表示装置が使用される情報システムの構成を示す図である。
【図２】操作対象機器の１つである画像処理装置の概略構成を示すブロック図である。
【図３】本発明の実施の形態に係る案内情報表示装置としてのヘッドマウントディスプレイ装置の概略構成（外観）を示す図である。
【図４】ヘッドマウントディスプレイ装置の構成を示すブロック図である。
【図５】本発明の実施の形態に係る案内情報表示装置としての携帯端末の概略構成を示すブロック図である。
【図６】ヘッドマウントディスプレイ装置の装着者がＵＳＢメモリを手に持ってこれを注視した後、画像処理装置を見た場合における案内情報の表示例を示す図である。
【図７】ヘッドマウントディスプレイ装置の装着者が白紙の用紙束を手に持ってこれを注視した後、画像処理装置を見た場合における案内情報の表示例を示す図である。
【図８】ヘッドマウントディスプレイ装置の装着者がＡ４サイズの白紙の用紙束を手に持ってこれを注視した後、画像処理装置を見た場合であって、Ａ４サイズの用紙が手差しトレイにセットされる場合の案内情報の表示例を示す図である。
【図９】ヘッドマウントディスプレイ装置の装着者が印字された原稿束を手に持ってこれを注視した後、画像処理装置の操作パネルを見た場合における案内情報の表示例を示す図である。
【図１０】ヘッドマウントディスプレイ装置の装着者が印字された原稿束を手に持ってこれを注視した後、画像処理装置の操作パネルを見た場合における案内情報の表示例を示す図である。
【図１１】ヘッドマウントディスプレイ装置の装着者がレターヘッド用紙を持ってこれを注視した後、画像処理装置の給紙トレイを見た場合における案内情報の表示例を示す図である。
【図１２】ヘッドマウントディスプレイ装置が行う処理の全体を示す流れ図である。
【図１３】撮影画像対応処理（図１２のステップＳ１０３）の詳細を示す流れ図である。
【図１４】図１３の続きを示す流れ図である。
【図１５】図１３の続きを示す流れ図である。
【図１６】キー入力対応処理（図１２のステップＳ１０４）の詳細を示す流れ図である。
【図１７】図１６の続きを示す流れ図である。
【図１８】音声入力対応処理（図１２のステップＳ１０５）の詳細を示す流れ図である。
【発明を実施するための形態】
【００５０】
以下、図面に基づき本発明の実施の形態を説明する。
【００５１】
図１は、本発明の第１の実施の形態に係る案内情報表示装置が使用される情報システム３の構成を示している。情報システム３は、画像処理装置１０、画像読取装置４、ＰＣ（パーソナルコンピュータ）６などの操作対象機器と、これらの利用や操作に係る案内情報をユーザに提供する案内情報表示装置としてのヘッドマウントディスプレイ（ＨＭＤ）装置３０と、同じく案内情報表示装置としての携帯端末６０とをＬＡＮ（Local Area Network）などのネットワーク２に接続して構成される。ＬＡＮは有線でも無線でもよい。操作対象機器の種類や数や案内情報表示装置の種類や数は図１に例示したものに限定されない。案内情報表示装置はヘッドマウントディスプレイ装置３０と携帯端末６０のいずれか一方でもかまわない。
【００５２】
画像処理装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワーク２を通じて送信したりするスキャン機能、ＰＣ６などからネットワーク２を通じて受信した印刷データに係る画像を記録紙上に形成して印刷出力するプリンタ機能、ファクシミリ手順に従って画像データを送受信するファクシミリ機能などを備えた、所謂、複合機（ＭＦＰ）である。画像処理装置１０は、用紙に画像を印刷する機能を備えた画像形成装置としての機能を有する。
【００５３】
画像読取装置４は、原稿を光学的に読み取って対応する画像データを出力する装置（所謂、スキャナ）である。ＰＣ６は、各種のアプリケーションプログラムに基づいて動作するパーソナルコンピュータである。画像処理装置１０、画像読取装置４、ＰＣ６はいずれもＵＳＢ（Universal Serial Bus）メモリなどの外部メモリの接続Ｉ／Ｆ（Interface）部を備えている。
【００５４】
ヘッドマウントディスプレイ装置３０および携帯端末６０は、無線でネットワーク２と接続される。ヘッドマウントディスプレイ装置３０および携帯端末６０は、表示部と、カメラ部と、ユーザの特定行動を検出する行動検出部とを備えており、ユーザの意図を示す特定行動が検出され、かつカメラ部で特定の操作対象機器が撮影されたとき、その検出された特定行動と撮影された操作対象機器との組み合わせに対応する案内情報を表示部に表示する機能を備えている。
【００５５】
ヘッドマウントディスプレイ装置３０のカメラ部は、ユーザの視線のある方向を撮影する。携帯端末６０ではユーザが操作対象機器のガイド情報を欲しいときにその操作対象機器をユーザが携帯端末６０のカメラ部６６によって撮影するものとする。検出される特定行動は、原稿束や白紙の用紙をユーザが手に持っている、原稿束や白紙の用紙をユーザが注視する（じっと見る）、ＵＳＢメモリなど着脱可能な外部メモリをユーザが手に持っている、ＵＳＢメモリなど着脱可能な外部メモリをユーザが注視する、など予め定められたユーザの行動（特定のジェスチャー）である。例えば、ＵＳＢメモリを注視するという行動は、ユーザがＵＳＢメモリを使用して何らかの作業を行うつもりであるが、ユーザの両手がふさがっている場合（例えば、他の物を持っている場合や、他の装置（例えばＰＤＡ等）を操作している場合）に取られる。
【００５６】
たとえば、ヘッドマウントディスプレイ装置３０は、ユーザが原稿を手に取る行動をカメラ部の画像から検出し、その次にカメラ部で画像読取装置４が撮影されたとき、このユーザはこの原稿を画像読取装置４で読み取るであろうと判断し、画像読取装置４で原稿を読み取るための案内情報を当該ヘッドマウントディスプレイ装置３０の表示部に表示する、といった動作を行う。
【００５７】
図２は、画像処理装置１０の概略構成を示すブロック図である。画像処理装置１０は、当該画像処理装置１０の動作を統括的に制御するＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、不揮発メモリ１４、ハードディスク装置１５、自動原稿搬送部（ＡＤＦ：Auto Document Feeder）１６、認証部１７と、複数の接続Ｉ／Ｆ部１８、操作部２０、表示部２１、ネットワーク通信部２２、無線通信部２３、画像読取部２４、画像処理部２５、プリンタ部２６、ファクシミリ通信部２７などが接続されている。
【００５８】
ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像処理装置１０の各機能が実現される。
【００５９】
ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。
【００６０】
不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。ハードディスク装置１５は大容量不揮発の記憶装置であり、印刷データ、画像データなどのほか各種のプログラムやデータが記憶される。
【００６１】
画像読取部２４は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部２４は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。
【００６２】
自動原稿搬送部１６は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部２４の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。また、原稿の表裏を自動的に反転させる機能を有し、これにより原稿の両面自動読み取りを可能にする。
【００６３】
画像読取部２４は、プラテンガラス上に載置された原稿を読み取る機能と、自動原稿搬送部１６によって搬送される原稿を順次読み取る機能を備えている。最大でＡ３サイズの原稿まで読み取り可能であり、プラテンガラス上に原稿を載置して読み取る場合には、Ａ４原稿を２枚
並置して一度に読み取ることも可能になっている。
【００６４】
認証部１７は、画像処理装置１０を使用するユーザを認証する。認証方法は、パスワード、指紋、静脈など任意でよい。
【００６５】
接続Ｉ／Ｆ部１８は、外部メモリが着脱可能に接続される接続口であり、複数設けてある。接続される外部メモリの種類には、ＵＳＢメモリ、ＣＦ（CompactFlash(登録商標)）、ＳＤ（Secure Digital）メモリカードなどがある。
【００６６】
操作部２０と表示部２１はユーザからジョブ投入などの操作を受ける操作パネルを構成する。表示部２１は、液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）などで構成され、各種の操作画面、設定画面などを表示する機能を果たす。操作部２０は、スタートボタンなどの各種操作スイッチと、表示部２１の物理的画面上に設けられたタッチパネルとを備えている。タッチパネルは、表示部２１の物理的画面がタッチペンや指などで接触操作された座標位置を検出する。
【００６７】
ネットワーク通信部２２は、ＬＡＮなどのネットワーク２を通じてＰＣ６や他のサーバなどの外部装置と通信する機能を果たす。ネットワーク通信部２２は、無線ＬＡＮの機能も有する。
【００６８】
無線通信部２３は、ヘッドマウントディスプレイ装置３０や携帯端末６０と無線通信する機能を果たす。無線通信部２３の通信可能距離は数ｍ程度で十分であり、通信方式には各種の近距離無線通信方式を採用することができる。ヘッドマウントディスプレイ装置３０や携帯端末６０との無線通信はネットワーク通信部２２を使用した無線ＬＡＮで行われてもよい。
【００６９】
画像処理部２５は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。
【００７０】
プリンタ部２６は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。プリンタ部２６は、複数の給紙トレイおよび手差しトレイを有し、選択された給紙トレイまたは手差しトレイから用紙を繰り出して印刷する。プリンタ部２６は、両面印刷機能を備える。
【００７１】
ファクシミリ通信部２７は、ファクシミリ機能を備えた外部装置と電話回線を通じて画像データを送受信する機能を果たす。
【００７２】
図３は、ヘッドマウントディスプレイ装置３０の概略構成を示している。ヘッドマウントディスプレイ装置３０は、眼鏡に類似した形を成しており、人の頭に装着されて使用される。本例のヘッドマウントディスプレイ装置３０は、外の様子にハーフミラーで画像を重ね合わせる方式（所謂、光透過型）を採用している。
【００７３】
ヘッドマウントディスプレイ装置３０は、装着時に装着者の左右の目の前にそれぞれ配置される表示部３１と、左右の表示部３１をそれらの間で繋ぐブリッジ３２と、ブリッジ３２で連結された左右の表示部３１の両脇から同一方向に延びて装着者の耳に引っ掛けられるツル３３などを備えている。
【００７４】
また、表示部３１の両脇には、制御回路、投影部４６、カメラ部４７などを含む基幹部３４が設けられている。また各表示部３１の前方に位置するようにハーフミラー３５が、左右の基幹部３４から延びる支持腕に支持されている。
【００７５】
ハーフミラー３５は前方から表示部３１に向けて入射する光Ｌ１に対して４５度の角度で傾斜して設けてあり、基幹部３４の投影部４６は、画像（拡張現実感情報の画像光Ｌ２とする）をハーフミラー３５に向けて投影する。ハーフミラー３５は透明基板（ガラス基板）に、反射膜（金属膜と誘電体膜）をコーティングして構成されている。ハーフミラー３５は、たとえば、透過と反射の光量比が１：１になっている。
【００７６】
ヘッドマウントディスプレイ装置３０の装着者の目は、外光Ｌ１と画像光Ｌ２とが１：１の割合で合成された光が表示部３１を通じて入射する。すなわち、ヘッドマウントディスプレイ装置３０の装着者は、外の様子と投影部４６が投影した画像とを半々の透過率で重ね合わせた様子を見る。
【００７７】
図４は、ヘッドマウントディスプレイ装置３０の構成を示すブロック図である。ヘッドマウントディスプレイ装置３０は、制御部としてのＣＰＵ４１にバスを介してＲＯＭ４２、ＲＡＭ４３、不揮発メモリ４４、方位センサー部４５、投影部４６、カメラ部４７、無線通信部４８、操作部４９、表示部３１、ネットワーク通信部５１、画像処理部５２、音声検出部５３、行動検出部５４などを接続して構成される。
【００７８】
ＣＰＵ４１はＲＯＭ４２に格納されているプログラムに従ってヘッドマウントディスプレイ装置３０の動作を制御する。ＲＯＭ４２にはプログラムや固定データが記憶されている。ＲＡＭ４３はＣＰＵ４１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ４４には、各種の設定情報が記憶される。
【００７９】
方位センサー部４５は、ヘッドマウントディスプレイ装置３０の向きや姿勢およびその変化を検出する。方位センサー部４５は、複数の地磁気センサと、複数の加速度センサを組み合わせて構成される。方位センサー部４５は、ヘッドマウントディスプレイ装置３０を装着している操作者の姿勢や操作者が向いている方向や角度（これらは、カメラ部４７が撮影している方向や向きと一致）を検出したり、ヘッドマウントディスプレイ装置３０が傾けられたりした場合の動作の向きや速さを検出したりして、その検出結果をＣＰＵ４１へ通知する。ＣＰＵ４１は、方位センサー部４５からの通知に基づいて、ヘッドマウントディスプレイ装置３０を装着している操作者の姿勢、角度、傾けられたりした動作の向きや速さを認識する。
【００８０】
投影部４６は前述したように、投影対象の画像（拡張現実感情報の画像光Ｌ２とする）をハーフミラー３５に向けて投影する。
【００８１】
カメラ部４７は、ヘッドマウントディスプレイ装置３０の前方を撮影する。より詳細には、装着者が前方を見たときの視野とほぼ同じ範囲を撮影する。カメラ部４７は、左右の基幹部３４にそれぞれ設けられてもよいし、いずれか一方のみに設けられてもよい。カメラ部４７は動画を撮影し、たとえば、毎秒３０フレームの画像を取り込む。
【００８２】
操作部４９は基幹部３４等に設けられたスイッチ等であり、投影画像の明るさなどの調整に使用される。
【００８３】
ネットワーク通信部５１は、無線ＬＡＮを含むネットワーク２を通じて画像処理装置１０などの操作対象機器や他の外部装置との間でデータを通信する機能を果たす。無線通信部４８は近くの操作対象機器（画像処理装置１０など）と近距離無線通信する機能を果たす。
【００８４】
画像処理部５２は、投影部４６からハーフミラー３５を介して表示部３１へ投影する画像の拡大・縮小、変形などを行う。
【００８５】
音声検出部５３は、操作者の音声等を検出する。行動検出部５４は、カメラ部４７の撮影した画像や音声検出部５３の検出した音声などからユーザ（ヘッドマウントディスプレイ装置３０を装着している操作者）が予め定めた特定の行動をとったか否かを判断して、特定行動を検出する。行動検出部５４の機能はＣＰＵ４１が果たしてもよい。
【００８６】
図５は、携帯端末６０の概略構成を示している。携帯端末６０は、ＣＰＵ６１にバスを介してＲＯＭ６２、ＲＡＭ６３、不揮発メモリ６４、方位センサー部６５、カメラ部６６、音声検出部６７、操作部６８、表示部６９、ネットワーク通信部７０、画像処理部７１、無線通信部７２、行動検出部７３などを接続して構成される。
【００８７】
ＣＰＵ６１はＲＯＭ６２に格納されているプログラムに従って携帯端末６０の動作を制御する。ＲＯＭ６２にはプログラムや固定データが記憶されている。ＲＡＭ６３はＣＰＵ６１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ６４には、各種の設定情報が記憶される。
【００８８】
方位センサー部６５は、携帯端末６０の向きや姿勢、およびそれらの変化を検出する。方位センサー部６５はヘッドマウントディスプレイ装置３０の方位センサー部４５と同様の構成である。カメラ部６６は携帯端末６０の裏面側に設けられて携帯端末６０の裏面が臨む方向を撮影する。カメラ部６６は動画を撮影でき、たとえば、毎秒３０フレームの画像を取り込む。
【００８９】
表示部６９は液晶ディスプレイなどで構成される。操作部６８は表示部６９の物理的画面上に設けられたタッチパネルなどで構成される。
【００９０】
ネットワーク通信部７０は、無線ＬＡＮを含むネットワーク２を通じて画像処理装置１０などの操作対象機器や他の外部装置との間でデータを通信する機能を果たす。無線通信部７２は近くの操作対象機器（画像処理装置１０など）と近距離無線通信する機能を果たす。
【００９１】
画像処理部７１は、画像データに対して、回転、拡大縮小、変形など各種の処理を施す。
【００９２】
音声検出部６７は、当該携帯端末６０を所持するユーザの音声等を検出する。行動検出部７３は、カメラ部６６の撮影した画像や音声検出部６７の検出した音声などからユーザが特定行動をとったか否かを判断して、特定行動を検出する。行動検出部７３の機能はＣＰＵ６１が果たしてもよい。
【００９３】
次に、案内情報表示装置の１つであるヘッドマウントディスプレイ装置３０における各種の案内情報の表示例を説明する。
【００９４】
図６は、ヘッドマウントディスプレイ装置３０の装着者がＵＳＢメモリを手に持ってこれを注視した後、画像処理装置１０を見た場合（カメラ部４７によって画像処理装置１０が撮影された場合）における案内情報の表示例を示している。なお、図６から図１１では、左側の表示部３１には、ユーザが見ている現実像を示し、右側の表示部３１には、現実像に投影部４６から投影した画像（案内情報）をハーフミラー３５によって重ね合わせた合成像を示す。
【００９５】
ユーザがＵＳＢメモリを注視したとき（同図（ａ））、ヘッドマウントディスプレイ装置３０はカメラ部４７の撮影している画像を解析して、「ＵＳＢメモリを手に持って注視した」というユーザの特定行動を検出する。そして、「ＵＳＢメモリを検出しました」との案内情報を現実像（実画像）に重ねて表示する。この段階では、ＵＳＢメモリを使いたいというユーザの意図が認識される。
【００９６】
続いて同図（ｂ）に示すように、ユーザが操作対象機器である画像処理装置１０を注視したとき、ヘッドマウントディスプレイ装置３０は、カメラ部４７の撮影している画像からユーザが画像処理装置１０を見たという事実を検出する。そして、「ＵＳＢメモリを手に持って注視する」という特定行動と、その後に撮影された画像処理装置１０との組み合わせから、このユーザはＵＳＢメモリを使用してその撮影された画像処理装置１０で何らかの作業を行うであろうとの意図を認識し、この組み合わせに対応した案内情報を表示する。
【００９７】
ここでは、ＵＳＢメモリの接続に関連する画像処理装置１０の状態を示す情報を画像処理装置１０と通信して取得し、該情報やユーザが見ている画像処理装置１０の箇所・位置に応じた案内情報を表示する。具体的には、画像処理装置１０と通信して、接続Ｉ／Ｆ部１８が設けられている位置の情報、ＵＳＢメモリに対応した接続Ｉ／Ｆ部１８の箇所や空き状況（使用／未使用）に係る情報を取得する。
【００９８】
同図（ｂ）に示すように、ユーザの見た箇所（カメラ部４７で撮影している箇所）が画像処理装置１０の正面の場合には、次にユーザは接続Ｉ／Ｆ部１８の場所を探すであろうと推定できるので、ヘッドマウントディスプレイ装置３０は、画像処理装置１０の本体の右側面に接続Ｉ／Ｆ部１８があることを示す案内情報を現実像に重ねて表示する。詳細には、画像を解析して、表示部３１の現実像における画像処理装置１０の位置や向きを特定し、案内情報が現実像に対して適切な位置に重ね合わさるように、案内情報の表示位置や表示サイズを調整して合成表示する。
【００９９】
その後、同図（ｃ）に示すように、ユーザが画像処理装置１０の右側に回って右側面を見たとき（カメラ部４７で画像処理装置１０の右側面が撮影されたとき）、次にユーザはＵＳＢメモリをどの接続Ｉ／Ｆ部１８に挿着すべきかを調べるであろう、と推定できる。そこで、ヘッドマウントディスプレイ装置３０は、複数設けられている接続Ｉ／Ｆ部１８のうち、どの接続口（接続Ｉ／Ｆ部１８）にＵＳＢメモリを装着して使用可能であるかを示す案内情報を現実像に重ねて表示する。同図（ｃ）に示す例では、接続可能なＵＳＢポートが１個あることを示すメッセージと、各接続口の現実像に重ね合わせて、それぞれの接続口にＵＳＢメモリを接続できるか否かを示すメッセージを表示している。
【０１００】
図７は、ヘッドマウントディスプレイ装置３０の装着者が白紙の用紙束を手に持ってこれを注視した後、画像処理装置１０を見た場合における案内情報の表示例を示している。
【０１０１】
ユーザが白紙の用紙束を注視したとき（同図（ａ））、ヘッドマウントディスプレイ装置３０はカメラ部４７の撮影している画像を解析して、ユーザが白紙の用紙束を持ったという特定行動を検出すると共に、その用紙サイズを検出する。そして、「白紙の用紙束（Ａ４サイズ）を検出しました」との案内情報を現実像に重ねて表示する。この段階では、白紙の用紙束を何かに使いたいというユーザの意図が認識される。
【０１０２】
続いて同図（ｂ）に示すように、ユーザが操作対象機器である画像処理装置１０を注視したとき、カメラ部４７の撮影している画像からユーザが画像処理装置１０を注視したという事実を検出する。そして「白紙の用紙束を注視した」という特定行動と、その後に撮影された画像処理装置１０（用紙に画像を印刷する機能を有する装置）との組み合わせから、ヘッドマウントディスプレイ装置３０は、このユーザは白紙の用紙束を画像処理装置１０の給紙トレイにセットするであろうとの意図を認識し、この組み合わせに対応した案内情報を表示する。
【０１０３】
ここでは、画像処理装置１０と通信して、給紙トレイの位置の情報、各給紙トレイに収納すべき用紙サイズ、各給紙トレイの用紙残量などの情報を取得する。そしてヘッドマウントディスプレイ装置３０は、ユーザが手に持った白紙の束の用紙サイズ（Ａ４）に対応する給紙トレイの位置やその給紙トレイの用紙残量などを示す案内情報を現実像に重ねて表示する。
【０１０４】
図８は、ヘッドマウントディスプレイ装置３０の装着者がＡ４サイズの白紙の用紙束を手に持ってこれを注視した後、画像処理装置１０を見た場合であって、Ａ４サイズの用紙が手差しトレイにセットされる場合の案内情報の表示例を示している。
【０１０５】
ユーザが白紙の用紙束を注視したとき（同図（ａ））、ヘッドマウントディスプレイ装置３０はカメラ部４７の撮影している画像を解析して、ユーザが白紙の用紙束を持ったという特定行動を検出すると共に、その用紙サイズを検出する。そして、「白紙の用紙束（Ａ４サイズ）を検出しました」との案内情報を現実像に重ねて表示する。この段階では、白紙の用紙束を何かに使いたいというユーザの意図が認識される。
【０１０６】
続いて同図（ｂ）に示すように、ユーザが操作対象機器である画像処理装置１０を注視したとき、カメラ部４７の撮影している画像からユーザが画像処理装置１０を注視したという事実を検出する。そして「白紙の用紙束を注視した」という特定行動と、その後に撮影された画像処理装置１０との組み合わせから、ヘッドマウントディスプレイ装置３０は、このユーザは白紙の用紙束を画像処理装置１０の給紙トレイにセットするであろうとの意図を認識し、この組み合わせに対応した案内情報を表示する。
【０１０７】
ここでは、画像処理装置１０と通信して、給紙トレイや手差しトレイの位置の情報、各給紙トレイに収納すべき用紙サイズ、各給紙トレイの用紙残量などの情報を取得する。そして、各給紙トレイにはＡ４サイズ以外の用紙がセットされているという情報を画像処理装置１０から取得したものとする。この場合、ヘッドマウントディスプレイ装置３０は、ユーザが手に持っているＡ４サイズの白紙の束は手差しトレイにセットすべきと判断する。しかし、同図（ｂ）に示すように、ユーザの見ている箇所（カメラ部４７で撮影している箇所）は画像処理装置１０の正面なので、手差しトレイの場所をユーザに案内すべきと判断する。そして、Ａ４サイズの白紙の用紙は手差しトレイにセットすべきであることおよび手差しトレイの位置を示す案内情報を現実像に重ねて表示する。
【０１０８】
その後、同図（ｃ）に示すように、ユーザが画像処理装置１０の右側に回って画像処理装置１０の右側面を見たとき（カメラ部４７で画像処理装置１０の右側面が撮影されたとき）、ヘッドマウントディスプレイ装置３０は、手差しトレイを開くように促すメッセージと、この現実像（画像処理装置１０の右側面）における手差しトレイの位置を指し示す案内情報を現実像に重ねて表示する。
【０１０９】
図９、図１０は、ヘッドマウントディスプレイ装置３０の装着者が印字された原稿束を手に持ってこれを注視した後、画像処理装置１０の操作パネルを見た場合における案内情報の表示例を示している。ユーザが原稿束を注視したとき（同図（ａ））、ヘッドマウントディスプレイ装置３０はカメラ部４７の撮影している画像を解析して、「印字された原稿束を手に持って注視した」というユーザの特定行動を検出すると共に、その原稿のサイズを検出する。そして、「印字された原稿束を検出しました」との案内情報を現実像に重ねて表示する。
【０１１０】
続いて同図（ｂ）に示すように、カメラ部４７の撮影している画像から、ユーザが手に持った原稿束の用紙の裏面にも印刷されていることが確認できたとき、「印字された原稿束は両面に印字されています」との案内情報を現実像に重ねて表示する。
【０１１１】
その後、操作対象機器である画像処理装置１０の操作パネルをユーザが注視したとき、ヘッドマウントディスプレイ装置３０は、カメラ部４７の撮影している画像からユーザが画像処理装置１０の操作パネルにおいてコピーの設定画面を注視したという事実を検出する。そして、「両面原稿を手に持った」という特定行動と、その後に撮影された画像処理装置１０およびその撮影箇所（操作パネルのコピー設定画面）の組み合わせに対応した案内情報として、図１０に示すように、コピーモードの印刷設定を両面印刷に切り替えることを推奨する案内情報を、現実像に重ねて表示する。ここでは、両面印刷に切り替えるための操作釦の箇所も案内表示している。
【０１１２】
なお、コピーの設定では、原稿に関する片面／両面の設定と、用紙への印刷に関する片面／両面の設定とがあるので、案内情報では、その両者について両面設定に切り替えることを推奨してもよいし、少なくとも原稿に関してのみ両面設定に切り替えることを推奨してもよい。また、撮影箇所が操作パネルに表示された、スキャンモード（たとえば、Scan to HDD（Scam to Box））などの設定画面の場合には、原稿の読み取り設定を両面設定に切り替える旨の案内情報が表示される、もしくは、原稿の読み取り設定が自動的に両面に設定される。
【０１１３】
図１１は、ヘッドマウントディスプレイ装置３０の装着者がレターヘッド用紙を持ってこれを注視した後、画像処理装置１０の給紙トレイを見た場合における案内情報の表示例を示している。ユーザがレターヘッド用紙を手に持って注視したとき（同図（ａ））、ヘッドマウントディスプレイ装置３０はカメラ部４７の撮影している画像を解析して、ユーザが「レターヘッド用紙を持って注視した」という特定行動を検出すると共に、その用紙サイズを検出する。そして、「レターヘッド用紙（Ａ４サイズ）を検出しました」との案内情報を現実像に重ねて表示する。
【０１１４】
続いて同図（ｂ）に示すように、ユーザが操作対象機器である画像処理装置１０の給紙トレイを引き出したとき、カメラ部４７の撮影している画像からユーザが画像処理装置１０の給紙トレイを引き出したという事実を検出する。そして「レターヘッド用紙を持った」という特定行動と、その後に撮影された画像処理装置１０およびその箇所（給紙トレイ）との組み合わせから、ヘッドマウントディスプレイ装置３０は、このユーザはレターヘッド用紙をこの給紙トレイにセットするであろうとの意図を認識し、この組み合わせに対応した案内情報を表示する。
【０１１５】
ここでは、用紙上のレターヘッドの印字されている位置および向きからこの給紙トレイにどのような向きでレターヘッド用紙をセットすべきかを判断し、その正しい向き（セットの仕方）を示す案内情報を現実像に重ねて表示する。ここでは、正しい向きのレターヘッド用紙の画像を、現実像の給紙カセットに重ね合わせて表示している。なお、レターヘッドはロゴなどの印字情報としての画像や文字を指し、レターヘッド用紙はレターヘッドの印字された用紙を指す。
【０１１６】
このほか、以下のような動作も行う。
【０１１７】
たとえば、外部メモリを装着後に、ユーザが印字された用紙（原稿）を手に持って注視している特定行動を検出した場合、または、外部メモリの装着後に、ユーザが原稿を画像読取部２４（ＡＤＦやプラテンガラス上）にセットしたことを検出した場合に、スキャンto外部メモリ機能に関する案内情報を表示する。
【０１１８】
また、ユーザが原稿（用紙）を手に持っていないことが検出され、画像読取部２４（ＡＤＦやプラテンガラス上）に原稿（用紙）が未セットである事実が検出された場合に、現在の処理モード（印刷モード／送信モード／ボックスモードなど）で、外部メモリを利用した機能（印刷モード：ダイレクトプリント）に関する案内情報を表示するようにしてもよい。
【０１１９】
検出された特定行動が、原稿を光学的に読み取る機能を備えた読取装置（画像処理装置１０または画像読取装置４）のプラテンガラス上に２枚の原稿を順に並置しようとする行動であり、カメラ部４７によって撮影された操作対象機器が原稿の読取装置である場合に、上記特定行動の検出時にカメラ部４７によって撮影された１枚目の原稿の向きに応じて、該１枚目の原稿と２枚目の原稿の天地を一致させるための２枚目の原稿のセットの仕方を、案内情報として表示する。
【０１２０】
たとえば、カメラ部４７による撮影画像から、１枚目の原稿をユーザが手に持ったときの原稿の天地を判定（原稿内容から判定）し、その原稿がプラテンガラス上に裏返して載置されたときの天地方向を記憶する。次に、プラテンカバーを開いたままでユーザが２枚目の原稿を手に持ったとき、その２枚目の原稿の天地を判定する。その後、その２枚目の原稿がプラテンガラス上に裏返して載置されたとき、その原稿の天地方向が１枚目の原稿の天地方向と一致するか否かを判断し、不一致の場合には、天地方向が逆であって天地を反転して原稿を載置し直すべきことを示す案内情報を、現実像に重ね合わせて表示する。
【０１２１】
また、検出された特定行動とカメラ部４７によって撮影された操作対象機器との組み合わせが、ステープラーまたはやクリップをユーザが持つという特定行動と、用紙に画像を印刷する機能を備えた画像処理装置１０の組み合わせである場合に、その画像処理装置１０と通信して綴じ機能に関する情報を取得して、その画像処理装置１０で用紙を綴じることが可能か否かを判断する。そして、画像処理装置１０で用紙を綴じることが可能と判断した場合は、画像処理装置１０の綴じる機能に関する案内情報を表示する。
【０１２２】
たとえば、ユーザがステープラーを持った後、画像処理装置１０の正面を見た段階で、その画像処理装置１０に用紙をステープルで綴じる綴じ機能があることを示す案内情報を表示し、その後、ユーザが画像処理装置１０の操作パネルを見たとき、綴じ機能を設定するための操作案内を表示する。
【０１２３】
また、検出された特定行動とカメラ部４７によって撮影された操作対象機器との組み合わせが、穴あけ用のパンチをユーザが持つという特定行動と、用紙に画像を印刷する機能を備えた画像処理装置１０の組み合わせである場合に、その画像処理装置１０と通信してパンチ機能に関する情報を取得し、その画像処理装置１０で用紙に穴あけが可能か否かを判断する。そして、可能と判断した場合は、画像処理装置１０のパンチ機能に関する案内情報を表示する。
【０１２４】
たとえば、ユーザが穴あけ用のパンチを持った後、画像処理装置１０の正面を見た段階で、その画像処理装置１０にパンチ機能があることを示す案内情報を表示する。その後、ユーザが画像処理装置１０の操作パネルを見たとき、パンチ機能を設定するための操作案内を表示する。
【０１２５】
特定行動の検出は、操作対象機器への何らかのキー入力であってもよい。あるいは、音声検出部５３によって検出されるユーザによる特定の音声情報（メッセージ）の発話でもよい。
【０１２６】
キー入力を特定行動とする場合の例としては、たとえば、ユーザがＵＳＢメモリを持つという特定行動に代えて、ユーザがＵＳＢメモリなどの外部メモリを使用する機能の選択操作を操作パネルから入力したことを特定行動として検出する。その後、カメラ部４７の撮影画像から操作対象機器が画像処理装置１０であることを認識したとき、外部メモリの接続Ｉ／Ｆ部１８の位置やそれぞれの接続Ｉ／Ｆ部１８の使用・未使用に関する情報を画像処理装置１０から取得して、図６（ｂ）、（ｃ）のような案内情報を表示する。
【０１２７】
外部メモリを使用する機能には、たとえば、読み取った原稿の画像データファイルを外部メモリに保存する「スキャンto外部メモリ機能」、外部メモリに保存されているファイルを印刷する「ダイレクトプリント機能」などがある。
【０１２８】
また、電話回線を利用する機能、たとえば、Ｇ３ファクシミリ送信機能の選択操作をユーザが操作パネルから入力したことを特定行動として検出し、かつ、カメラ部４７の撮影画像から操作対象機器がファクシミリ送信機能を備えた画像処理装置１０等であることを認識したとき、電話線の接続状況や現在の電話回線の使用状態などに関する情報を画像処理装置１０から取得して、現在の画像処理装置１０の状況に応じたファクシミリ送信に関する案内情報を表示する。たとえば、電話線が電話回線の接続Ｉ／Ｆ部１８に接続されていない場合にはその旨の警告を表示する。
【０１２９】
一方、ネットワーク通信を利用する機能、たとえば、インターネットファクシミリの送信機能の選択操作をユーザが操作パネルから入力したことを特定行動として検出し、かつ、カメラ部４７の撮影画像から操作対象機器がインターネットファクシミリ機能を備えた画像処理装置１０等であることを認識したとき、ネットワーク回線が接続Ｉ／Ｆ部１８に接続されているか等の情報を画像処理装置１０から取得して、現在の画像処理装置１０の状況に応じたインターネットファクシミリ送信に関する案内情報を表示する。たとえば、インターネット回線が接続Ｉ／Ｆ部１８に接続されていない場合にはその旨の警告を表示する。
【０１３０】
特定の音声情報の検出により、上記のキー入力操作と同様のユーザの意図を認識して案内情報を表示してもよい。たとえば、「Ｇ３ファクシミリ送信を選択」といった音声情報の入力を先ほどの機能釦の選択と同様に扱って動作すればよい。
【０１３１】
ヘッドマウントディスプレイ装置３０では現実像に案内情報を重ねて表示するが、案内情報表示装置が携帯端末６０の場合には、カメラ部６６が撮影している画像に案内情報を重ねあわせて表示する。たとえば、カメラ部６６で撮影されて表示部６９に表示されている操作対象機器の画像（実画像）に重ねて案内情報を、位置合わせやサイズ調整して、表示する。
【０１３２】
次に、案内情報表示装置であるヘッドマウントディスプレイ装置３０の動作を流れ図に基づいて説明する。なお、案内情報表示装置である携帯端末６０についても同様の動作となる。
【０１３３】
図１２は、ヘッドマウントディスプレイ装置３０が行う処理の全体を示す流れ図である。ヘッドマウントディスプレイ装置３０のＣＰＵ４１は、行動検出部５４が予め定めた特定行動を検出したか否かを監視し（ステップＳ１０１；Ｎｏ）、特定行動が検出されたら（ステップＳ１０１；Ｙｅｓ）、その特定行動の検出タイプを判別する（ステップＳ１０２）。検出された特定行動がカメラ画像から特定される特定行動の場合は（ステップＳ１０２；カメラ画像）、撮影画像からユーザの意図を解析して案内情報を表示する撮影画像対応処理を実行する（ステップＳ１０３）。特定行動の検出に使用した画像を第１の画像とする。
【０１３４】
検出された特定行動がキー入力から特定される特定行動の場合は（ステップＳ１０２；キー入力）、キー入力からユーザの意図を解析して案内情報を表示するキー入力対応処理を実行する（ステップＳ１０４）。検出された特定行動が音声情報から特定される特定行動の場合は（ステップＳ１０２；音声入力）、入力された音声情報からユーザの意図を解析して案内情報を表示する音声入力対応処理を実行する（ステップＳ１０５）。
【０１３５】
図１３、図１４、図１５は、撮影画像対応処理（図１２のステップＳ１０３）の詳細を示す流れ図である。ヘッドマウントディスプレイ装置３０のＣＰＵ４１はカメラ部４７によって撮影された第１の画像を解析し（ステップＳ１１１）、撮影対象物（注視対象物）を特定して（ステップＳ１１２）、それが何かを認識する（ステップＳ１１３）。たとえば、ＵＳＢメモリ、白紙の用紙など、ユーザが注視したものを撮影対象物として認識する。そして、その撮影対象物に係る情報（動画像、静止画像、名称など）を記憶する（ステップＳ１１４）。
【０１３６】
次に、操作対象機器がカメラ部４７によって撮影されたら（ステップＳ１１５；Ｙｅｓ）、先ほどの撮影対象物の種類を識別する（ステップＳ１１６）。撮影対象物（ユーザが手に取って注視したもの又はユーザが手に持たずに顔を近づける等してじっと見たもの）が外部メモリならば（ステップＳ１１７）、外部メモリとＳ１１５で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。すなわち、Ｓ１１５で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器における接続Ｉ／Ｆ部の位置や使用・未使用に関する情報を取得し（ステップＳ１１８）、外部メモリの接続Ｉ／Ｆ部の位置や空き状況に関する案内情報を表示して（ステップＳ１１９）、本処理を終了する。
【０１３７】
撮影対象物（ユーザが手に取って注視したもの又はユーザが手に持たずに顔を近づける等してじっと見たもの）が白紙の用紙ならば（ステップＳ１２０）、白紙の用紙とＳ１１５で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
【０１３８】
すなわち、Ｓ１１５で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器から各給紙トレイの位置、収納すべき用紙サイズに関する情報を取得する（ステップＳ１２１）。そして、白紙の用紙のサイズに一致する給紙トレイの有無および場所を確認する（ステップＳ１２２）。収納すべき用紙サイズが白紙の用紙サイズと一致する給紙トレイがあれば（ステップＳ１２３；Ｙｅｓ）、その一致した給紙トレイを示す案内情報を、撮影されている操作対象機器の現実像に重ね合わせて表示して（ステップＳ１２４）、本処理を終了する。
【０１３９】
収納すべき用紙サイズが白紙の用紙サイズと一致する給紙トレイがなければ（ステップＳ１２３；Ｎｏ）、手差しトレイに用紙をセットすべきことや、手差しトレイの位置に関する案内情報を、撮影されている操作対象機器の現実像に重ね合わせる等して表示し（ステップＳ１２５）、本処理を終了する。
【０１４０】
撮影対象物（ユーザが手に取って注視したもの又はユーザが手に持たずに顔を近づける等してじっと見たもの）が印字された用紙ならば（ステップＳ１２６）、印字された用紙とＳ１１５で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。詳細には、撮影された箇所が給紙トレイか否かを判断し（図１４、ステップＳ１２７）、給紙トレイならば（ステップＳ１２７；Ｙｅｓ）、印字された用紙はレターヘッド用紙であると判断する（ステップＳ１２８）。そして、撮影された給紙トレイに対するこのレターヘッド用紙の正しいセット方向に関する案内情報を、撮影されている給紙トレイの現実像に重ね合わせて表示して（ステップＳ１２９）、本処理を終了する。
【０１４１】
撮影された箇所が操作対象機器の画像読取部ならば（ステップＳ１３０；Ｙｅｓ）、その操作対象機器と通信して、あるいはその操作対象機器の操作パネルが撮影された場合は画像を解析して、現在のその操作対象機器における原稿の読取設定に関する情報を取得する（ステップＳ１３１）。次に、第１の画像あるいはその後に撮影された画像から、印字された用紙が両面原稿か否かを判断し（ステップＳ１３２）、両面原稿であれば（ステップＳ１３２；Ｙｅｓ）、印字された用紙（両面原稿）と、操作対象機器における原稿の読取設定とが一致するか否かを調べる（ステップＳ１３３）。不一致の場合は（ステップＳ１３３；Ｎｏ）、両面読取（あるいは両面印刷）設定への切り替え操作を案内表示し（ステップＳ１３４、ステップＳ１３７へ移行する。一致する場合は（ステップＳ１３３；Ｙｅｓ）、案内表示を行わずに、ステップＳ１３７へ移行する。
【０１４２】
片面原稿であれば（ステップＳ１３２；Ｎｏ）、印字された用紙（片面原稿）と、操作対象機器における原稿の読取設定とが一致するか否かを調べる（ステップＳ１３５）。不一致の場合は（ステップＳ１３５；Ｎｏ）、片面読取（あるいは片面印刷）設定への切り替え操作を案内表示し（ステップＳ１３６）、ステップＳ１３７へ移行する。一致する場合は（ステップＳ１３５；Ｙｅｓ）、案内表示を行わずに、ステップＳ１３７へ移行する。
【０１４３】
ステップＳ１３７では、その後に撮影された画像から画像読取部に次の原稿がセットされたか否かを判断し、次の原稿がセットされたら（ステップＳ１３７；Ｙｅｓ）、ステップＳ１３０に戻って処理を継続する。
【０１４４】
次の原稿がセットされない場合は（ステップＳ１３７；Ｎｏ）、プラテンガラス上に複数枚の原稿がセットされたか否かを撮影画像から判断し（ステップＳ１３８）、セットされなければ（ステップＳ１３８；Ｎｏ）、本処理を終了する。
【０１４５】
プラテンガラス上に複数枚の原稿がセットされた場合は（ステップＳ１３８；Ｙｅｓ）、セットされた複数枚の原稿の天地が一致しているか否かを判断し（ステップＳ１３９）、一致していれば（ステップＳ１３９；Ｙｅｓ）、本処理を終了する。一致していなければ（ステップＳ１３９；Ｎｏ）、天地が一致するように原稿のセット方向を案内表示して（ステップＳ１４０）本処理を終了する。
【０１４６】
撮影対象物（ユーザが手に取って注視したもの又はユーザが手に持たずに顔を近づける等してじっと見たもの）がステープラーならば（図１３、ステップＳ１４２）、ステープラーとＳ１１５で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
【０１４７】
すなわち、Ｓ１１５で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器から綴じ機能に関する情報を取得する（図１５、ステップＳ１４３）。その操作対象機器に綴じ機能がなければ（ステップＳ１４４；Ｎｏ）、本処理を終了する。一方、その操作対象機器が綴じ機能を有する場合は（ステップＳ１４４；Ｙｅｓ）、その操作対象機器で綴じ機能を使用するための操作の案内情報を表示して（ステップＳ１４５）、本処理を終了する。
【０１４８】
撮影対象物（ユーザが手に取って注視したもの又はユーザが手に持たずに顔を近づける等してじっと見たもの）がパンチならば（図１３、ステップＳ１５０）、パンチとＳ１１５で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
【０１４９】
すなわち、Ｓ１１５で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器からパンチ機能に関する情報を取得する（図１５、ステップＳ１５１）。その操作対象機器にパンチ機能がなければ（ステップＳ１５２；Ｎｏ）、本処理を終了する。一方、その操作対象機器がパンチ機能を有する場合は（ステップＳ１５２；Ｙｅｓ）、その操作対象機器でパンチ機能を使用するための操作の案内情報を表示して（ステップＳ１５３）、本処理を終了する。
【０１５０】
図１６、図１７は、キー入力対応処理（図１２のステップＳ１０４）の詳細を示す流れ図である。ＣＰＵ４１はカメラ部４７によって撮影された第１の画像からキー入力の内容を解析し（ステップＳ２０１）、そのキー入力の内容、たとえば、機器の機能を選択する機能釦が操作された場合に、その機能釦の内容を認識して記憶する（ステップＳ２０２）。キー入力の内容は、操作対象機器から通信により取得してもよい。
【０１５１】
次に、操作対象機器がカメラ部４７によって撮影されたら（ステップＳ２０３；Ｙｅｓ）、先ほどのキー入力の種類を識別する（ステップＳ２０４）。キー入力の内容が外部メモリを利用する機能釦ならば（ステップＳ２０５）、その機能釦とＳ２０３で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
【０１５２】
すなわち、Ｓ２０３で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器における外部メモリの接続Ｉ／Ｆ部の位置や使用・未使用に関する情報を取得し（ステップＳ２０６）、外部メモリの接続Ｉ／Ｆ部の位置や空き状況に関する案内情報を表示して（ステップＳ２０７）、本処理を終了する。外部メモリを利用する機能釦としては、たとえば、スキャンto外部メモリ機能やダイレクトプリント機能の機能釦がある。
【０１５３】
キー入力の内容が電話回線を利用する機能釦、たとえば、Ｇ３ファクシミリ送信を選択する機能釦ならば（ステップＳ２０８）、その機能釦とＳ２０３で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。すなわち、Ｓ２０３で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器から電話回線の接続状況、電話回線の接続Ｉ／Ｆ部の情報などを取得する（ステップＳ２０９）。
【０１５４】
そしてこの情報を元に、たとえば、電話回線の接続Ｉ／Ｆ部に電話線が接続されているか否かを判断する（ステップＳ２１０）。接続されていれば（ステップＳ２１０；Ｙｅｓ）、電話回線を利用した機能が利用可能である旨を撮影されている操作対象機器の現実像に重ね合わせて表示して（ステップＳ２１１）、本処理を終了する。電話回線の接続Ｉ／Ｆ部に電話線が接続されていない場合は（ステップＳ２１０；Ｎｏ）、電話線が電話回線の接続Ｉ／Ｆ部に接続されていない旨および電話回線の接続Ｉ／Ｆ部の位置などの案内情報を表示して（ステップＳ２１２）、本処理を終了する。
【０１５５】
キー入力の内容がネットワーク回線を利用する機能釦、たとえば、インターネットファクシミリの送信を選択する機能釦ならば（ステップＳ２１３）、その機能釦とＳ２０３で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
【０１５６】
すなわち、Ｓ２０３で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器からネットワーク回線の接続状況、ネットワーク回線の接続Ｉ／Ｆ部の情報などを取得する（図１７、ステップＳ２１４）。そしてこの情報を元に、たとえば、接続Ｉ／Ｆ部にネットワーク回線が接続されているか否かを判断する（ステップＳ２１５）。接続されていれば（ステップＳ２１５；Ｙｅｓ）、ネットワーク回線を利用した機能が利用可能である旨を撮影されている操作対象機器の現実像に重ね合わせて表示して（ステップＳ２１６）、本処理を終了する。
【０１５７】
接続Ｉ／Ｆ部にネットワーク回線が接続されていない場合は（ステップＳ２１５；Ｎｏ）、ネットワーク回線が接続Ｉ／Ｆ部に接続されていない旨、およびネットワーク回線の接続Ｉ／Ｆ部の位置などに関する案内情報を表示して（ステップＳ２１７）、本処理を終了する。
【０１５８】
キー入力の内容がその他の機能釦（図１６、ステップＳ２１８）であれば、案内表示を行うことなく処理を終了する。
【０１５９】
図１８は、音声入力対応処理（図１２のステップＳ１０５）の詳細を示す流れ図である。ＣＰＵ４１は、音声検出部５３によって検出された音声情報を解析し（ステップＳ３０１）、その解析結果（音声情報の内容）、たとえば、機能釦を選択する音声指示が入力された場合にその指示内容を認識して記憶する（ステップＳ３０２）。
【０１６０】
次に、操作対象機器がカメラ部４７によって撮影されたら（ステップＳ３０３；Ｙｅｓ）、先ほどの音声情報の内容の種類を識別する（ステップＳ３０４）。音声情報の内容が外部メモリを利用する機能釦を選択する指示ならば（ステップＳ３０５）、その機能釦とＳ３０３で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
【０１６１】
すなわち、Ｓ３０３で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器における外部メモリの接続Ｉ／Ｆ部の位置や使用・未使用に関する情報を取得し（ステップＳ３０６）、外部メモリの接続Ｉ／Ｆ部の位置や空き状況に関する案内情報を表示して（ステップＳ３０７）、本処理を終了する。
【０１６２】
音声情報の内容が電話回線を利用する機能釦（たとえば、Ｇ３ファクシミリ送信の機能釦）を選択する指示ならば（ステップＳ３０８）、その機能釦とＳ３０３で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
【０１６３】
すなわち、Ｓ３０３で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器から電話回線の接続状況、電話回線の接続Ｉ／Ｆ部の情報などを取得する（ステップＳ３０９）。そしてこの情報を元に、たとえば、電話回線の接続Ｉ／Ｆ部に電話線が接続されているか否かを判断する（ステップＳ３１０）。
【０１６４】
接続されていれば（ステップＳ３１０；Ｙｅｓ）、電話回線を利用した機能が利用可能である旨を撮影されている操作対象機器の現実像に重ね合わせて表示して（ステップＳ３１１）、本処理を終了する。電話回線の接続Ｉ／Ｆ部に電話線が接続されていない場合は（ステップＳ３１０；Ｎｏ）、電話線が電話回線の接続Ｉ／Ｆ部に接続されていない旨および電話回線の接続Ｉ／Ｆ部の位置などの案内情報を表示して（ステップＳ３１２）、本処理を終了する。
【０１６５】
音声情報の内容がネットワーク回線を利用する機能釦（たとえば、インターネットファクシミリ送信の機能釦）を選択する指示ならば（図１８、ステップＳ３１３）、その機能釦とＳ３０３で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
【０１６６】
すなわち、Ｓ３０３で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器からネットワーク回線の接続状況、ネットワーク回線の接続Ｉ／Ｆ部の情報などを取得する（図１７、ステップＳ２１４）。そしてこの情報を元に、たとえば、接続Ｉ／Ｆ部にネットワーク回線が接続されているか否かを判断する（ステップＳ２１５）。
【０１６７】
接続されていれば（ステップＳ２１５；Ｙｅｓ）、ネットワーク回線を利用した機能が利用可能である旨を撮影されている操作対象機器の現実像に重ね合わせて表示して（ステップＳ２１６）、本処理を終了する。接続Ｉ／Ｆ部にネットワーク回線が接続されていない場合は（ステップＳ２１５；Ｎｏ）、ネットワーク回線が接続Ｉ／Ｆ部に接続されていない旨、およびネットワーク回線の接続Ｉ／Ｆ部の位置などに関する案内情報を表示して（ステップＳ２１７）、本処理を終了する。
【０１６８】
音声情報の内容がその他の機能釦（図１８、ステップＳ３１４）の選択指示等であれば、案内表示を行うことなく処理を終了する。
【０１６９】
このように、本発明に係る案内情報表示装置（ヘッドマウントディスプレイ装置３０や携帯端末６０）では、ユーザの特定行動を検出してユーザの意図を認識し、かつ、カメラ部で操作対象機器が撮影された際に、その検出された特定行動と撮影された操作対象機器との組み合わせに対応する案内情報をユーザに提供するので、適切な案内情報を適切なタイミングでユーザに提供することができる。
【０１７０】
また、検出された特定行動に関連する情報を、撮影された操作対象機器と通信して取得し、この取得した情報に基づいて案内情報を表示するので、現在の操作対象機器の状態に合致した案内情報を適用することができる。
【０１７１】
また、検出された特定行動と、撮影された操作対象機器の箇所（部位）との組み合わせに対応した案内情報を表示するので、より細かくユーザの意図を特定して、その意図に対応した適切な案内情報を提供することができる。
【０１７２】
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【０１７３】
実施の形態では、画像処理装置１０が操作対象機器として撮影された場合の動作を例に説明したが、他の操作対象機器が撮影された場合には、その操作対象機器と検出された特定行動との組み合わせに対応した案内情報が表示される。すなわち、検出された特定行動が同一であっても、表示される案内情報は、撮影された操作対象機器に応じて切り替えられる。たとえば、外部メモリを手に持って注視する特定行動が検出された後に撮影された操作対象機器がＰＣ６の場合には、ＰＣ６における外部メモリの接続Ｉ／Ｆ部に関する案内情報が表示される。
【０１７４】
また、両面原稿を手に持って注視する特定行動が検出された後、自動両面読み取り機能のない画像読取装置４が操作対象機器として撮影された場合には、原稿を裏返して手動で両面原稿を読み取るための操作の案内情報や、両面原稿の自動読取機能を有する他の機器（たとえば、画像処理装置１０）で作業を行うことを推奨する案内情報を表示するなどしてもよい。
【０１７５】
実施の形態では、操作対象機器として画像処理装置１０、画像読取装置４、ＰＣ６を例に説明したが、操作対象機器は他の機器であってもかまわない。なお、操作対象機器は特定の一の機器に限定されていてもよい。たとえば、案内情報を表示する対象機器は画像処理装置１０のみに限定されていてもよい。この場合、特定行動が検出されたのち、画像処理装置１０が撮影されたタイミングで、その特定行動に関連付けされている案内情報が表示されるので、適切なタイミングで案内情報を提供することができる。また、この際、画像処理装置１０の撮影された箇所や画像処理装置１０の状況に応じて表示する案内情報を切り替えることで、より有効な情報をユーザに提供することができる。
【０１７６】
実施の形態では、外の様子にハーフミラー３５で画像を重ね合わせる方式のヘッドマウントディスプレイ装置３０を採用したが、装着すると外の様子を見ることができず、映し出される画像のみが見える、ＶＲ（Virtual Reality）型のヘッドマウントディスプレイであってもよい。この場合は携帯端末６０と同様にカメラ画像に案内情報を合成した画像を表示すればよい。
【符号の説明】
【０１７７】
２…ネットワーク
３…情報システム
４…画像読取装置
６…ＰＣ
１０…画像処理装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置（ＨＤＤ）
１６…自動原稿搬送部（ＡＤＦ）
１７…認証部
１８…接続Ｉ／Ｆ部
２０…操作部
２１…表示部
２２…ネットワーク通信部
２３…無線通信部
２４…画像読取部
２５…画像処理部
２６…プリンタ部
２７…ファクシミリ通信部
３０…ヘッドマウントディスプレイ装置（案内情報表示装置）
３１…表示部
３２…ブリッジ
３３…ツル
３４…基幹部
３５…ハーフミラー
４１…ＣＰＵ
４２…ＲＯＭ
４３…ＲＡＭ
４４…不揮発メモリ
４５…方位センサー部
４６…投影部
４７…カメラ部
４８…無線通信部
４９…操作部
５１…ネットワーク通信部
５２…画像処理部
５３…音声検出部
５４…行動検出部
６０…携帯端末（案内情報表示装置）
６１…ＣＰＵ
６２…ＲＯＭ
６３…ＲＡＭ
６４…不揮発メモリ
６５…方位センサー部
６６…カメラ部
６７…音声検出部
６８…操作部
６９…表示部
７０…ネットワーク通信部
７１…画像処理部
７２…無線通信部
７３…行動検出部
Ｌ１…外光
Ｌ２…画像光
【図１】
2014093036.tif 000003
【図２】
2014093036.tif 000004
【図３】
2014093036.tif 000005
【図４】
2014093036.tif 000006
【図５】
2014093036.tif 000007
【図６】
2014093036.tif 000008
【図７】
2014093036.tif 000009
【図９】
2014093036.tif 000010
【図１１】
2014093036.tif 000011
【図１２】
2014093036.tif 000012
【図１３】
2014093036.tif 000013
【図１４】
2014093036.tif 000014
【図１５】
2014093036.tif 000015
【図１６】
2014093036.tif 000016
【図１７】
2014093036.tif 000017
【図１８】
2014093036.tif 000018
【図８】
2014093036.tif 000019
【図１０】
2014093036.tif 000020