(57)【要約】【課題】ユーザが表示装置に表示された電子文書を閲覧しつつ電子機器を操作する際、何度も電子文書を見直す必要がないようにする。【解決手段】撮像制御部７０２は電子機器を構成する構成要素の画像を構成要素画像として取得する。画像解析部７０５は所定のキーワードに対応する構成要素が構成要素画像に存在するか否かを判定し、表示制御部７０３は、画像解析部によってキーワードに対応する画像データが示す画像が構成要素画像に存在すると判定されると、所定のキーワードと所定のキーワードに対応する構成要素とを強調して表示装置に表示する。【選択図】図７
2013254243.tif 000002
【特許請求の範囲】
【請求項１】
電子機器に関連する電子文書を表示可能な電子文書表示装置であって、
前記電子機器を撮像可能な撮像手段と、
前記電子文書と前記撮像手段による撮像によって得られた撮像画像とを表示する表示手段と、
前記表示手段によって表示される前記電子文書に含まれる所定のキーワードに対応する前記電子機器の構成要素が前記撮像画像に含まれているか否かを判定する判定手段と、
前記判定手段によって前記所定のキーワードに対応する前記電子機器の構成要素が前記撮像画像に含まれていると判定された場合に、前記所定のキーワードと前記所定のキーワードに対応する前記電子機器の構成要素とを強調して表示するように前記表示手段を制御する制御手段とを備えることを特徴とする電子文書表示装置。
【請求項２】
前記制御手段は、前記所定のキーワードと前記所定のキーワードに対応する前記電子機器の構成要素とを関連付けるガイド情報を表示することで、前記所定のキーワードと前記所定のキーワードに対応する前記電子機器の構成要素とを強調して表示するように前記表示手段を制御することを特徴とする請求項１に記載の電子文書表示装置。
【請求項３】
前記ガイド情報は、前記所定のキーワードの表示位置と前記所定のキーワードに対応する前記電子機器の構成要素の表示位置とを結び付ける情報であることを特徴とする請求項２に記載の電子文書表示装置。
【請求項４】
前記所定のキーワードに対応する画像データを記憶する記憶手段をさらに備え、
前記判定手段は、前記所定のキーワードに対応する画像データが前記撮像画像に含まれている場合に、前記所定のキーワードに対応する前記電子機器の構成要素が前記撮像画像に含まれていると判定することを特徴とする請求項１乃至３のいずれか１項に記載の電子文書表示装置。
【請求項５】
前記判定手段は、テンプレートマッチングによって前記所定のキーワードに対応する画像データが前記撮像画像に含まれているか否かを判定することを特徴とする請求項４に記載の電子文書表示装置。
【請求項６】
前記電子文書は複数のページで構成され、
前記表示手段によって表示される前記電子文書のページが変更される場合に、前記判定手段よる判定が行われることを特徴とする請求項１乃至５のいずれか１項に記載の電子文書表示装置。
【請求項７】
前記電子機器の構成要素は、少なくとも前記電子機器の操作を行うための操作ボタンを含むことを特徴とする請求項１乃至６のいずれか１項に記載の電子文書表示装置。
【請求項８】
前記電子文書は、前記電子機器のマニュアルであることを特徴とする請求項１乃至７のいずれか１項に記載の電子文書表示装置。
【請求項９】
電子機器に関連する電子文書の表示方法であって、
前記電子機器を撮像する撮像ステップと、
前記電子文書と前記撮像ステップで得られた撮像画像とを表示部に表示する表示ステップと、
前記表示ステップで表示された前記電子文書に含まれる所定のキーワードに対応する前記電子機器の構成要素が前記撮像画像に含まれているか否かを判定する判定ステップと、
前記判定ステップで前記所定のキーワードに対応する前記電子機器の構成要素が前記撮像画像に含まれていると判定された場合に、前記所定のキーワードと前記所定のキーワードに対応する前記電子機器の構成要素とを強調して表示するように制御する制御ステップとを有することを特徴とする電子文書の表示方法。
【請求項１０】
請求項９に記載の電子文書の表示方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子文書表示装置、電子文書の表示方法、およびプログラムに関し、特に、電子機器などにおける電子文書を表示するための手法に関する。
【背景技術】
【０００２】
一般に、電子機器に関するマニュアル文書は、冊子として電子機器に同梱されてユーザに配布されるか又は電子文書としてユーザに配布されている。マニュアル文書が電子文書としてユーザに配布される場合には、ユーザがマニュアル文書を整理・保管し、さらに、マニュアル文書を検索する時間を軽減する必要がある。
【０００３】
例えば、マニュアル文書をＰＤＦフォーマットなどに変換し、ＰＤＦフォーマットのファイルをメモリに格納するとともに、メモリにおけるファイルの位置および電子機器に関するデータをデータベースとして格納して、インターネットを介して入力された検索条件からデータベースを検索し、検索結果をインターネットを介してユーザに伝送するようにしたものがある（特許文献１参照）。ここでは、検索結果のうち少なくとも１つが指定されると、ＰＤＦファイルおよびデータがユーザに伝送されて表示される。
【０００４】
さらに、ホストコンピュータに電子機器に係るマニュアル文書をマニュアル情報として記憶し、携帯端末において、マニュアル情報に接続するためのアドレスをコード化した２次元コードを表示する銘板３１の２次元コードを撮影して通信ネットワークを介してマニュアル情報に接続し、マニュアル情報を携帯端末に表示するようにしたものがある（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１８９７３０号公報
【特許文献２】特開２００７−１９３６０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１および２に記載の手法では、電子機器に関するマニュアル文書は、ディスプレイなどの表示装置を備える電子機器（例えば、パーソナルコンピュータ又は携帯端末）において閲覧しなければならない。このため、ユーザは表示装置に表示されたマニュアル文書、つまり、電子文書を閲覧しつつ、電子機器の操作を行う必要があり、表示装置に表示されたマニュアル文書および電子機器の双方を、何度も交互に見比べることが多くなる。
【０００７】
特に、電子機器の操作についてマニュアル文書で調べつつ電子機器を操作する際には、マニュアル文書の内容が電子機器のいずれの部分の操作を記載しているかを確認して操作を行う必要がある。このため、ユーザは何度もマニュアル文書と電子機器とを交互に見比べることになって、ユーザにとっては電子機器の操作を行うことが極めて煩雑となってしまう。
【０００８】
そこで、本発明の目的は、ユーザが表示装置に表示された電子文書を閲覧しつつ電子機器を操作する場合においても、何度も電子文書を見直す必要がない電子文書表示装置、電子文書の表示方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明による電子文書表示装置は、電子機器に関連する電子文書を表示可能な電子文書表示装置であって、前記電子機器を撮像可能な撮像手段と、前記電子文書と前記撮像手段による撮像によって得られた撮像画像とを表示する表示手段と、前記表示手段によって表示される前記電子文書に含まれる所定のキーワードに対応する前記電子機器の構成要素が前記撮像画像に含まれているか否かを判定する判定手段と、前記判定手段によって前記所定のキーワードに対応する前記電子機器の構成要素が前記撮像画像に含まれていると判定された場合に、前記所定のキーワードと前記所定のキーワードに対応する前記電子機器の構成要素とを強調して表示するように前記表示手段を制御する制御手段とを備えることを特徴とする。
【００１０】
本発明による電子文書の表示方法は、電子機器に関連する電子文書の表示方法であって、前記電子機器を撮像する撮像ステップと、前記電子文書と前記撮像ステップで得られた撮像画像とを表示部に表示する表示ステップと、前記表示ステップで表示された前記電子文書に含まれる所定のキーワードに対応する前記電子機器の構成要素が前記撮像画像に含まれているか否かを判定する判定ステップと、前記判定ステップで前記所定のキーワードに対応する前記電子機器の構成要素が前記撮像画像に含まれていると判定された場合に、前記所定のキーワードと前記所定のキーワードに対応する前記電子機器の構成要素とを強調して表示するように制御する制御ステップとを有することを特徴とする。
【００１１】
本発明によるプログラムは、上記の電子文書の表示方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１２】
本発明によれば、ユーザが表示装置に表示された電子文書を閲覧しつつ電子機器を操作する場合においても、何度も電子文書を見直す必要がなく、ユーザは容易に電子文書に応じて電子機器を操作することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態による電子文書表示システムを概略的に示すブロック図である。
【図２】図１に示す電子機器である複写機のハードウェア構成の一例を示すブロック図である。
【図３】図２に示すハードウェアキーを説明するための図である。
【図４】図２に示す電子機器を操作する際のソフトウェアの構成についてその一例を示すブロック図である。
【図５】図４に示すソフトウェアの動作を説明するためフローチャートである。
【図６】図１に示す端末装置のハードウェア構成の一例を示すブロック図である。
【図７】図６に示すＣＰＵで動作するソフトウェアの構成についてその一例を示すブロック図である。
【図８】図７に示すソフトウェアによって行われる合成画像の表示動作を説明するためのフローチャートである。
【図９】図７に示す画像解析部における画像解析処理を説明するためのフローチャートである。
【図１０】図６に示すＲＡＭに格納されたキーワードおよび当該キーワードに関連付けられた画像に係るテーブルの一例を説明するための図である。
【図１１】図７に示す表示制御部で生成されたオーバーレイ画像の一例を示す図である。
【図１２】電子機器である複写機が撮像された際に端末装置に表示される画像の一例を示す図であり、（ａ）はオーバーレイ画像を示す図、（ｂ）は重畳画像を示す図である。
【図１３】図３に示すハードウェアキーが撮像された際に端末装置に表示される画像の一例を示す図であり、（ａ）はオーバーレイ画像を示す図、（ｂ）は重畳画像を示す図である。
【図１４】本発明の第２の実施形態による電子文書表示システムを概略的に示すブロック図である。
【図１５】図１４に示す電子機器のハードウェア構成の一例を示すブロック図である。
【図１６】図１５に示す電子機器を操作する際のソフトウェアの構成についてその一例を示すブロック図である。
【図１７】本発明の第２の実施形態による端末装置のＣＰＵで動作するソフトウェアの構成についてその一例を示すブロック図である。
【図１８】図１７で説明したＵＩコンポーネントの階層構造、ＵＩコンポーネントの画像、マニュアル文書における検索領域、およびキーワード・テンプレートテーブルの関係を示す図である。
【図１９】図１６に示す表示制御部で生成される画像の一例を説明するための図であり、（ａ）はディスプレイに表示されるＵＩ画面のレイアウトを示す図、  （ｂ）は合成画像を示す図、（ｃ）は重畳画像を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態による電子文書表示システムの一例について図面を参照して説明する。なお、以下の説明では、電子文書を閲覧して操作する電子機器として複写機を例にして説明するが、他の電子機器においても同様にして本発明を適用することができる。
【００１５】
［第１の実施形態］
図１は、本発明の第１の実施形態による電子文書表示システムを概略的に示すブロック図である。
【００１６】
電子機器１００は、例えば、ＬＣＤなどのディスプレイ（表示部）およびハードウェアキーを備える複写機である。なお、電子機器１００は複写機に限らず、プリンタやＰＣであっても良い。また、端末装置１０１はタブレット端末であり、電子機器１００のマニュアルなどの電子文書を表示可能な電子文書表示装置として用いられる。端末装置１０１はＬＣＤなどのタッチパネルを備えるディスプレイと、ＣＣＤなどを備えるカメラとを有している。そして、端末装置１０１のディスプレイに電子機器１００に関連する電子文書、例えば、電子機器１００のマニュアル文書が表示される。
【００１７】
ユーザは端末装置１０１を操作して、電子機器１００に関するマニュアル文書をディスプレイに表示する。また、端末装置１０１にはカメラが備えられており、このカメラによって電子機器１００を撮像可能である。ユーザがカメラを操作して、電子機器１００を撮像すると、端末装置１０１は、マニュアル文書およびカメラによる撮像の結果得られた撮像画像（構成要素画像ともいう）を、後述するように、加工してディスプレイに表示する。
【００１８】
図２は、図１に示す電子機器１００である複写機のハードウェア構成の一例を示すブロック図である。
【００１９】
電子機器１００は、ＣＰＵ２０１を備えており、ＣＰＵ２０１はＲＯＭ２０２に格納された各種プログラムを実行する。ＲＡＭ２０３には各種データが格納される。また、ＲＡＭ２０３は、ＣＰＵ２０１におけるプログラム実行に必要なワーキングメモリとしても用いられる。ネットワークＩＦ（インタフェース）２０４は外部コンピュータなどの外部機器（図示せず）とネットワークを介して通信を行う際に用いられる。
【００２０】
ハードウェアキー２０５は、ユーザが電子機器１００に関する各種パラメータおよびジョブの実行を指示する際に用いられる。なお、ハードウェアキー２０５については後述する。ディスプレイ２０６には電子機器１００に関する各種ステータスなどが表示される。スキャナ２０７は原稿上の画像を読み取って画像データを得る。プリンタ２０８は、スキャナ２０７による読み取りの結果得られた画像データに応じて記録用紙に画像を印刷する。なお、上記の各ハードウェアはバス２００によって相互に接続されている。
【００２１】
図３は、図２に示すハードウェアキー２０５を説明するための図である。
【００２２】
図３に示すように、ハードウェアキー２０５には各種のボタンが備えられている。電源ボタン３０１は電子機器１００の電源を投入するためのボタンである。スタートボタン３０２は各種ジョブの実行開始を指示するためのボタンである。ストップボタン３０３は実行中の各種ジョブの中断を指示するためのボタンである。テンキー３０４は各種の数値を入力するためのボタンである。設定ボタン３０５は、電子機器１００に対して各種設定を行うためのモードに移行するためのボタンである。リセットボタン３０６は各種設定をデフォルト値に戻すためのボタンである。
【００２３】
ユーザはハードウェアキー２０５を操作して電子機器１００に対して各種の操作指令を行う。例えば、原稿を複写する場合には、ユーザはスキャナ２０７に備えられた原稿台（図示せず）に原稿を裁置した後、複写する部数を、テンキー３０４を用いて入力する。その後、スタートボタン３０２が押されると、電子機器１００ではスキャナ２０７によって原稿を光学的に走査して原稿上の画像を読み込んで画像テータを得る。そして、画像データはＲＡＭ２０３に一旦格納される。
【００２４】
プリンタ２０８は画像データに応じて指定された部数分の記録用紙に画像を印刷する。なお、電子機器１００ではネットワークＩＦ２０４を介して印刷データ（画像データ）を受信して、当該印刷データに応じて印刷ジョブを行うことができる。
【００２５】
ネットワーク経由で印刷ジョブを行う際には、ハードウェアキー２０５は通常用いられない。なお、ネットワーク経由における印刷ジョブで参照される電子機器１００の各種デフォルト設定（例えば、綴じ代の位置および大きさ）は、ハードウェアキー２０５を用いて行われる。
【００２６】
図４は、図２に示す電子機器１００を操作する際のソフトウェアの構成についてその一例を示すブロック図である。なお、図示のソフトウェアは、図２に示すＣＰＵ２０１上で動作する。
【００２７】
ネットワーク制御部４０１は、ネットワークＩＦ２０４を制御するためのソフトウェアモジュールであり、外部コンピュータとの通信を行うためのものである。操作受付部４０２は、ハードウェアキー２０５の入力状況を検知して、入力された情報を他のソフトウェアモジュールに通知するためのソフトウェアモジュールである。
【００２８】
ジョブ制御部４０３は発生したジョブを、電子機器１００に備えられたハードウェアを駆動して実行するソフトウェアモジュールである。ＵＩ（ユーザインタフェース）制御部４０４は、電子機器１００における各種設定およびその実行のためのユーザインタフェースを制御するためのソフトウェアモジュールである。ＵＩ表示部４０５は、ＵＩ制御部４０４によって決定された画面をディスプレイ２０６に表示するためのソフトウェアモジュールである。
【００２９】
図５は、図４に示すソフトウェアの動作を説明するためフローチャートである。なお、ここでは、ハードウェアキー２０５の操作によるジョブの開始について説明する。
【００３０】
操作受付部４０２はハードウェアキー２０５の操作があったか否かを監視する（ステップＳ５０１）。ハードウェアキー２０５の操作を検知しないと（ステップＳ５０１において、ＹＥＳ）、操作受付部４０２は待機する。ハードウェアキー２０５の操作を検知すると（ステップＳ５０１において、ＹＥＳ）、操作受付部４０２はハードウェアキー２０５の操作に対応する操作情報をＵＩ制御部４０４に送信する。
【００３１】
ＵＩ制御部４０４は操作情報とＵＩ制御部４０４のステータスとに応じてディスプレイ２０６に表示する画像を更新する（ステップＳ５０２）。続いて、ＵＩ制御部４０４は操作情報とＵＩ制御部のステータスとに基づいて、ジョブの実行を開始するか否かを判定する（ステップＳ５０３）。ジョブを実行しないと判定すると（ステップＳ５０３において、ＮＯ）、処理はステップＳ５０１に戻る。
【００３２】
一方、ジョブを実行すると判定すると（ステップＳ５０３において、ＹＥＳ）、ＵＩ制御部４０４は、操作情報とＵＩ制御部４０４のステータスとに応じたジョブの実行をジョブ制御部４０３に依頼する。ジョブ制御部４０３は、ＵＩ制御部４０４から依頼されたジョブを、スキャナ２０７およびプリンタ２０８を制御して実行する（ステップＳ５０４）。そして、ジョブ制御部４０３は処理を終了する。
【００３３】
図６は、図１に示す端末装置１０１のハードウェア構成の一例を示すブロック図である。
【００３４】
端末装置１０１はＣＰＵ６０１を有しており、ＣＰＵ６０１はＲＯＭ６０２に格納された各種プログラムを実行する。また、ＲＡＭ６０３（記憶手段）には各種データが格納される。ＲＡＭ６０３は、ＣＰＵ６０１によるプログラム実行に必要なワーキングメモリとしても用いられる。
【００３５】
ディスプレイ６０４にはＣＰＵ６０１で動作するプログラムによって指示された画面が表示される。また、ディスプレイ６０４はタッチパネル６０５とともにユーザの操作を受け付ける入力装置としても用いられる。カメラ６０６は端末装置１０１の周辺の風景および物体を撮像するために用いられる。ネットワークＩＦ６０７は外部のネットワーク機器（図示せず）とネットワークを介して通信を行うために用いられる。
【００３６】
図７は、図６に示すＣＰＵ６０１で動作するソフトウェアの構成についてその一例を示すブロック図である。
【００３７】
ネットワーク制御部７０１は、ネットワークＩＦ６０７を制御して電子機器１００に関するマニュアル文書などを外部のサーバ（図示せず）から受信してＲＡＭ６０３に格納するためのソフトウェアモジュールである。撮像制御部７０２は、カメラ６０６を制御して撮像画像をＲＡＭ６０３に格納するためのソフトウェアモジュールである。
【００３８】
マニュアル表示制御部７０３は、ＲＡＭ６０３に格納されたマニュアル文書を解析してディスプレイ６０４に表示するための画像（マニュアル画像）を生成する。また、マニュアル表示制御部７０３はタッチパネル６０５の状態を監視して、マニュアル文書の表示形式を変更する。ここで、マニュアル文書の表示形式とは、例えば、ディスプレイ６０４に表示されるマニュアル文書のページ番号およびその拡大率をいう。
【００３９】
キーワード検索部７０４は、ＲＡＭ６０３に格納されたマニュアル文書から特定のキーワード（所定のキーワード）を検索するソフトウェアモジュールである。画像解析部７０５は、撮像制御部７０２によってＲＡＭ６０３に格納された撮像画像を画像解析して、特定の形状物体を撮像画像から検索するためのソフトウェアモジュールである。
【００４０】
表示制御部７０６は、マニュアル画像と撮像画像とを、キーワード検索部７０４によるキーワード検索結果および画像解析部７０５による画像解析結果に応じて合成する。そして、表示制御部７０６は合成された画像をディスプレイ６０４に表示する。
【００４１】
図８は、図７に示すソフトウェアによって行われる合成画像の表示動作を説明するためのフローチャートである。
【００４２】
まず、マニュアル表示制御部７０３は、ディスプレイ６０４に表示するマニュアル文書をＲＡＭ６０３から選択する（ステップＳ８０１）。ディスプレイ６０４に表示するマニュアル文書を選択する際には、例えば、撮像制御部７０２によって得られた撮像画像に基づいてマニュアル文書がＲＡＭ６０３から選択される。または、ユーザ操作に応じてマニュアル表示制御部７０３はＲＡＭ６０３に格納されたマニュアル文書一覧をディスプレイ６０４に表示して、タッチパネル６０５よるタッチ操作で指定されたマニュアル文書を選択するようにしてもよい。本実施形態では、マニュアル文書一覧からユーザが電子機器１００のマニュアル文書を選択する。
【００４３】
なお、マニュアル文書がＲＡＭ２０３に存在しない場合には、マニュアル表示制御部７０３はネットワーク制御部７０１によって外部サーバからマニュアル文書を受信してＲＡＭ２０３に格納する。
【００４４】
続いて、マニュアル表示制御部７０３はディスプレイ６０４に表示するマニュアル文書のページを決定する（ステップＳ８０２）。マニュアル文書のページを決定する際には、マニュアル表示制御部７０３は、現在表示されているページおよびタッチパネル６０５のタッチ操作に応じて、表示すべきページを決定する。
【００４５】
複数のページを有するマニュアル文書（電子文書）において、例えば、マニュアル表示制御部７０３は最初に表示するページをマニュアル文書の最初のページとする。そして、マニュアル表示制御部７０３はタッチパネル６０５のタッチ操作（座標情報）に応じて、当該座標情報が右方向に順次変化した（つまり、ユーザが右向きにタッチパネル６０５をなぞった）場合には表示するページを進める。一方、マニュアル表示制御部７０３はタッチパネル６０５の座標情報に応じて、座標情報が左方向に順次変化した（つまり、ユーザが左向きにタッチパネルをなぞった）場合には表示するページを戻す。
【００４６】
マニュアル表示制御部７０３は、上述のようにして決定されたページに対応する画像を生成してＲＡＭ６０３に格納する。また、マニュアル表示制御部７０３は上述のように決定されたページをキーワード検索部７０４に通知する。
【００４７】
次に、キーワード検索部７０４は、ステップＳ８０２で決定されたページに存在するキーワードを検索して、当該キーワードの画像における描画位置を取得する（ステップＳ８０３）。ここで、キーワードとは、マニュアル文書に記載された電子機器１００の部品および部分を表す文字列のことをいう。当該文字列は予め設定され、検索対象であるキーワードはマニュアル文書毎に定められる。
【００４８】
また、これらのキーワードには画像データが関連付けられている。これらのキーワードおよび関連付けられた画像データはＲＡＭ６０３に格納されるが、ネットワーク制御部７０１によってマニュアル文書を受信した際に、同時にキーワードである文字列および関連付けられた画像データを受信してＲＡＭ６０３に格納することが望ましい。
【００４９】
なお、図示の例では、マニュアル文書は、例えば、ＰＤＦドキュメントなどのファイルとしてＲＡＭ６０３に格納される。ＰＤＦドキュメントであれば、任意のページ範囲におけるキーワードの検索、そして、当該キーワードが画像に表示される出現位置（描画位置）の計算を容易に行うことができる。
【００５０】
キーワード検索部７０４は、検索の結果得られたキーワードを画像解析部７０５に通知する。さらに、キーワード検索部７０４はマニュアル文書を示す画像におけるキーワードの出現位置をキーワードともに表示制御部７０６に通知する。
【００５１】
続いて、画像解析部７０５は撮像制御部７０２を制御して、カメラ６０６によって電子機器１００を撮像してその撮像画像を得て、ＲＡＭ６０３に格納する（ステップＳ８０４）。そして、画像解析部７０５は撮像画像を画像解析して、キーワードに関連付けられた画像データが示す画像と類似する類似領域を検索する。つまり、画像解析部７０５は、キーワードに関連付けられた画像が撮像画像に存在するかを検索する（ステップＳ８０５）。なお、画像解析部７０５における画像解析処理については後述する。
【００５２】
ステップＳ８０５による検索の結果、撮像画像にキーワードに関連付けられた画像との類似領域が見つかると、画像解析部７０５は撮像画像においてキーワードに関連付けられた画像との類似領域（出現領域）を表示制御部７０６に通知する。さらに、画像解析部７０５は検索の際に用いたキーワードを表示制御部７０６に通知する。
【００５３】
表示制御部７０６はマニュアル文書に係る画像および撮像画像を合成して合成画像とする。そして、表示制御部７０６はステップＳ８０５で検索したキーワードの位置情報とステップＳ８０５で検索した類似領域とを可視化したキーワード情報を、合成画像に含めてディスプレイ６０４に表示する（ステップＳ８０６）。なお、表示制御部７０６における表示処理については後述する。
【００５４】
続いて、マニュアル表示制御部７０３はタッチパネル６０５のタッチ操作に基づいてマニュアル文書の表示を終了するか否かを判定する（ステップＳ８０７）。ここでは、マニュアル表示制御部７０３はディスプレイ６０４にマニュアル表示の終了を指示するための終了ボタンを表示する。そして、タッチパネル６０５おいて終了ボタンが操作されると、マニュアル表示制御部７０３はマニュアル文書の表示を終了すると判定する。
【００５５】
マニュアル文書の表示を終了しないと判定すると（ステップＳ８０７において、ＮＯ）、マニュアル表示制御部７０３は、マニュアル文書において現在表示しているページの変更が必要か否かを判定する（ステップＳ８０８）。ここでは、マニュアル表示制御部７０３は、前述のように、タッチパネル６０５のタッチ操作に応じて表示するページを変更する必要があるか否かを判定する。
【００５６】
マニュアル表示制御部７０３によって表示するページに変更がないと判定されると（ステップＳ８０８において、ＮＯ）、処理はステップＳ８０４に戻る。つまり、カメラ６０６で撮像された撮像画像を合成した合成画像が連続的にディスプレイ６０４に表示されることになる。一方、マニュアル表示制御部７０３によって表示するページに変更があると判定されると（ステップＳ８０８において、ＹＥＳ）、処理はステップＳ８０２に戻る。
【００５７】
マニュアル文書の表示を終了すると判定すると（ステップＳ８０７において、ＹＥＳ）、マニュアル表示制御部７０３は、当該ソフトウェアを終了するか否か判定する（ステップＳ８０９）。ここでは、マニュアル表示制御部７０３はディスプレイ６０４にアプリケーションの終了を通知するためのアプリ終了ボタンを表示する。そして、アプリ終了ボタンが操作されると、マニュアル表示制御部７０３はソフトウェア（アプリケーション）を終了すると判定する。
【００５８】
マニュアル表示制御部７０３によってアプリケーションを終了しないと判定されると（ステップＳ８０９において、ＮＯ）、処理はステップＳ８０１に戻る。一方、マニュアル表示制御部７０３によってアプリケーションを終了すると判定されると（ステップＳ８０９において、ＹＥＳ）、表示処理は終了する。
【００５９】
図９は、図７に示す画像解析部７０５における画像解析処理を説明するためのフローチャートである。
【００６０】
なお、ここでは、画像解析部７０５は、画像解析処理として、正規相関法を用いたテンプレートマッチングによって撮像画像からキーワードに関連付けられた画像の検出を行うものとする。また、画像の検索を高速に行うため、キーワードに関連付けられた画像は、輝度信号のみを含む画像とする。以下キーワードに関連付けられた画像をテンプレートと呼ぶ。
【００６１】
まず、画像解析部７０５は、検索対象となるテンプレートを決定する（ステップＳ９０１）。続いて、画像解析部７０５は、撮像画像の部分領域である検索領域を決定する（ステップＳ９０２）。この検索領域は撮像画像における位置、幅、および高さのパラメータで表される。
【００６２】
検索領域の幅および高さを決定するに当たっては、端末装置１０１に備えられたカメラ６０６で電子機器１００のハードウェアキーを視覚的に認識可能な限界距離で撮像した際に、撮像画像における大きさを推定することによって決定される。例えば、遠方方向の限界距離で撮像した際にテンプレートが示す電子機器１００の部分における撮像画像の横方向の割合を１０％であるとする。また、近傍方向の限界距離で撮像した際にテンプレートが示す電子機器１００の部分における撮像画像の横方向の割合が５０％であるとする。この場合、検索領域の幅は撮像画像の１０％から５０％の間の値となる。検索領域は、撮像画像における位置が撮像画像全体を網羅するように順次選択される。
【００６３】
続いて、画像解析席部７０５は検索領域の画像を輝度信号のみを含む画像（以下輝度画像と呼ぶ）に変換した後、テンプレートと同一のサイズとなるように輝度画像を変倍する（ステップＳ９０３）。そして、画像解析部７０５は、変倍された輝度画像とテンプレートとに応じて評価式の演算を行う（ステップＳ９０４）。ここで、評価式は正規化相互相関である。
【００６４】
次に、画像解析部７０５は、全ての検索領域に対して評価式の演算が終了したか否かを判定する（ステップＳ９０５）。全ての検索領域に対する評価式の演算が終了していないと（ステップＳ９０５において、ＮＯ）、画像解析部７０５はステップＳ９０１の処理に戻る。一方、全ての検索領域に対する評価式の演算が終了すると（ステップＳ９０５において、ＹＥＳ）、画像解析部７０５は評価式に基づいて、撮像画像においてテンプレートが示す電子機器１００の一部が出現する出現領域を決定する（ステップＳ９０６）。
【００６５】
ステップＳ９０６においては、画像解析部７０５は、全ての検索領域における評価式の結果が予め定められた閾値以下であると、テンプレートが示す電子機器１００の一部が出現する出現領域がないとする。一方、評価式の結果が閾値を超える検索領域が複数存在する場合には、画像解析部７０５は最も類似度が高い（つまり、正規化相互相関において演算結果が１に近い）領域を出現領域とする。
【００６６】
次に、画像解析部７０５は全てのテンプレートについて処理が終了したか否かを判定する（ステップＳ９０７）。全てのテンプレートについて処理が終了していないと（ステップＳ９０７において、ＮＯ）、画像解析部７０５はステップＳ９０１の処理に戻る。全てのテンプレートについて処理が終了すると（ステップＳ９０７において、ＹＥＳ）、画像解析部７０５は画像解析処理を終了する。
【００６７】
上述の例では、画像解析処理として、単純なテンプレートマッチングによる検索を用いたが、検索精度を上げるためには、例えば、Ｈａａｒ−ｌｉｋｅ特徴分類手法、ＥＯＨ／ＨＯＧ特徴量又はＥｄｇｅｌｅｔ特徴量を用いた物体検出による検索を用いるようにしてもよい。なお、この場合、テンプレートはそれぞれの手法に応じた特徴量に置き換わることになる。
【００６８】
図１０は、図６に示すＲＡＭ６０３に格納されたキーワードおよび当該キーワードに関連付けられた画像に係るテーブルの一例を説明するための図である。
【００６９】
図示のテーブル（以下、キーワード・テンプレートテーブルと呼ぶ）１０００は、キーワード欄１００１、ヘッダ欄１００２、及び画像（アドレス）欄を有している。キーワード欄１００１にはキーワードとして、マニュアル文書から文字検索される対象の文字列が格納される。ヘッダ欄１００２にはキーワードに関連付けられた画像（テンプレート）のヘッダ情報が格納され、ここにはそのサイズ又は大きさなどの情報が記載される。
【００７０】
アドレス欄１００３には、テンプレートとなる画像の実体を指し示すポインタが格納される。キーワード検索部７０４および画像解析部７０５はキーワード・テンプレートテーブル１０００に記載のキーワードおよびテンプレートを参照して検索を行う。
【００７１】
ここで、図７に示す表示制御部７０６の動作について詳細に説明する。
【００７２】
表示制御部７０６は、ＲＡＭ６０３に格納された撮像画像およびマニュアル画像をそれぞれ予め指定された領域にオーバーレイした画像（オーバーレイ画像）を生成する。さらに、表示制御部７０６は、キーワード検索部７０４および画像解析部７０５で得られたキーワードおよび類似領域の出現領域を表すグラフィックスをオーバーレイ画像に重畳して重畳画像とする。そして、表示制御部７０６は重畳画像をディスプレイ６０４に表示する。
【００７３】
図１１は、図７に示す表示制御部７０６で生成されたオーバーレイ画像の一例を示す図である。
【００７４】
図示のように、オーバーレイ画像１１００は、撮像画像がオーバーレイされる撮像画像領域１１０１（第１の表示領域）およびマニュアル画像がオーバーレイされるマニュアル画像領域１１０２（第２の表示領域）を有している。
【００７５】
図１２は、電子機器である複写機が撮像された際に端末装置に表示される画像の一例を示す図である。そして、図１２（ａ）はオーバーレイ画像を示す図であり、図１２（ｂ）は重畳画像を示す図である。
【００７６】
図１２（ａ）に示すオーバーレイ画像１２００において、撮像画像領域１２０１には電子機器の全体像が表示され、マニュアル画像領域１２０２には、マニュアル画像として基本的なコピーに関する文書が表示されている。
【００７７】
このオーバーレイ画像１２００にキーワードおよび出現領域を重畳して重畳画像１２１０が生成されると、図１２（ｂ）に示すように、重畳画像１２１０には、キーワードを示すグラフィックス１２１１が表示され、さらに、キーワードに対応する電子機器１００の構成要素（図１２（ｂ）ではフィーダー）を示すグラフィックス１２１２が表示される。図示の例では、これらのグラフィックス１２１１および１２１２は矩形枠で強調表示されるため、ユーザはフィーダーが電子機器１００のどこにあるかを容易に把握することができる。
【００７８】
加えて本実施形態では、キーワードとキーワードに対応する電子機器１００の構成要素とを関連付けるガイド情報が表示される。図１２（ｂ）では、ガイド情報としてグラフィックス１２１３が表示される。グラフィックス１２１３は、キーワードの表示位置とキーワードに対応する電子機器１００の構成要素の表示位置とを矢印で結びつけて表示するための情報である。
【００７９】
なお、表示制御部７０６は、テンプレートによる画像検索が失敗したキーワードの出現場所についてはグラフィックスの重畳を行わない。
【００８０】
図１３は、図３に示すハードウェアキー２０５が撮像された際に端末装置に表示される画像の一例を示す図である。そして、図１３（ａ）はオーバーレイ画像を示す図であり、図１３（ｂ）は重畳画像を示す図である。
【００８１】
図１３（ａ）に示すオーバーレイ画像１３００において、撮像画像領域１３０１にはハードウェアキー２０５が表示され、マニュアル画像領域１３０２には、マニュアル画像として基本的なコピーに関する文書が表示されている。
【００８２】
このオーバーレイ画像１３００にキーワードおよび出現領域を重畳して重畳画像１３１０が生成されると、図１３（ｂ）に示すように、重畳画像１３１０には、キーワードを示すグラフィックス１３１１が表示され、さらに、キーワードに対応する電子機器１００の構成要素（図１３（ｂ）ではテンキー３０４とスタートボタン３０２などの操作ボタン）を示すグラフィックス１３１２が表示される。図示の例では、これらのグラフィックス１３１１および１３１２は矩形枠で強調表示されるため、ユーザはテンキー３０４とスタートボタン３０２が電子機器１００のどこにあるかを容易に把握することができる。
【００８３】
加えて、図１３（ｂ）では、ガイド情報としてグラフィックス１３１３が表示される。グラフィックス１３１３は、キーワードの表示位置とキーワードに対応する電子機器１００の構成要素の表示位置とを矢印で結びつけて表示するための情報である。
【００８４】
なお、図１２および図１３に示す例では、ディスプレイ６０４に表示するマニュアル文書のページ数を１ページとしているが、複数のページを表示するようにしてもよい。この場合には、キーワード検索７０４は表示するページの範囲からキーワードを検出する。そして、キーワード検索部７０４は表示するページの範囲に相当するマニュアル画像を生成することになる。
【００８５】
このように、本発明の第１の実施形態では、端末装置にマニュアル文書および電子機器である複写機の少なくとも一部の撮影画像を表示して、マニュアル文書におけるキーワードと撮影画像におけるキーワードの出現領域とを対応付けて表示するようにしたので、ユーザは端末装置に表示されたマニュアル文書を閲覧しつつ容易に電子機器である複写機の操作を行うことができる。つまり、ユーザは電子機器である複写機とマニュアル文書とを何度も見直すことなく、端末装置を見るだけで容易に電子機器の操作を行うことができる。
【００８６】
なお、第１の実施形態では、キーワード検索部７０４で検索されたキーワードに関連するテンプレートのみを、画像解析部７０５における検索対象とするようにしたので、一般的にキーワードによる検索は画像解析部７０５における画像解析処理に比べて高速であることを考慮すると、画像解析部７０５における無駄な処理を防止することができる。
【００８７】
［第２の実施形態］
次に、本発明の第２の実施形態による電子文書表示システムの一例について説明する。
【００８８】
図１４は、本発明の第２の実施形態による電子文書表示システムを概略的に示すブロック図である。
【００８９】
電子機器１４００はマニュアル文書を表示する対象の電子機器、つまり、マニュアル文書を閲覧して操作する電子機器である。図示の電子機器１４００は、例えば、複写機である。また、端末装置１４０１は、電子文書表示装置として用いられる。そして、電子機器１４００と端末装置１４０１とはネットワーク１４０２を介して接続されており、端末装置１０１のディスプレイに電子機器１００に関するマニュアル文書が表示される。
【００９０】
図１５は、図１４に示す電子機器１４００のハードウェア構成の一例を示すブロック図である。なお、図１４において、図２に示す構成要素と同一の構成要素については同一の参照番号を付して説明を省略する。
【００９１】
図示の電子機器１４００はタッチパネル１５０５を有しており、このタッチパネル１５０５はディスプレイ２０６上に配置される。そして、タッチパネル１５０５のタッチ操作に応じて、ディスプレイ２０６に表示されたユーザインタフェース画面に対する操作が受け付けられる。
【００９２】
ユーザはハードウェアキー２０５又はタッチパネル１５０５を操作することによって、電子機器１４００に操作指令を与える。第２の実施形態における電子機器１４００では、ユーザはディスプレイ２０６に表示された各種情報に応じてタッチパネル１５０５を操作することによって、操作性の高いユーザインタフェースを提供することができる。
【００９３】
図１６は、図１５に示す電子機器を操作する際のソフトウェアの構成についてその一例を示すブロック図である。なお、図１６において、図４に示すソフトウェア構成と同一の構成要素には同一の参照番号を付して、説明を省略する。また、図示のソフトウェアは図１５に示すＣＰＵ２０１上で動作する。
【００９４】
操作受付部１６０１は、図４で説明した操作受付部４０１と同様にハードウェアキー２０５の操作を検知するとともに、タッチパネル１５０５におけるタッチ操作を検知する。さらに、操作受付部１６０１は端末装置１４０１から送信されたコマンドを、ネットワーク制御部４０１を介して受信し、当該コマンドがハードウェアキー２０５のいずれの操作に対応するかを検知する。
【００９５】
ＵＩ制御部１６０２は、ディスプレイ２０６にユーザインタフェース（ＵＩ）画面表示して、タッチパネル１５０５上におけるＵＩ画面のタッチ操作に応じた制御を行う。ＵＩ制御部１６０２は、ＵＩ画面を構成するＵＩコンポーネントを階層構造で管理する。ここで、ＵＩコンポーネントとは、ＵＩ画面を構成するウィンドウ、ボタン、リスト、およびチェックボックスなどのことをいう。
【００９６】
各ウィンドウには、複数のＵＩコンポーネントを包含することができる。また、ＵＩコンポーネントは別々のウィンドウで共有することができる。ユーザが１つのＵＩコンポーネントを操作した場合において、当該操作時点におけるＵＩ制御部１６０２のステータスに応じて、いずれのウィンドウに属するＵＩコンポーネントが操作されたかをＵＩ制御部１６０２は判定することができる。つまり、ＵＩ制御部１６０２は、コピージョブを制御するための画面（ウィンドウ）における“開始”ボタンと、ファックスジョブを制御するための画面における“開始”ボタンとを区別することができる。
【００９７】
なお、ＵＩ制御部１６０２で生成されたＵＩ画面はＲＡＭ２０３に一旦格納されて、ＵＩ表示部４０５によってディスプレイ２０６に表示される。
【００９８】
ＵＩ画面通知部１６０３は、ＵＩ制御部１６０２のステータスを、ネットワーク制御部４０１を介して端末装置１４０１に通知する。また、ＵＩ画面通知部１６０３は端末装置１４０１から受信したコマンドを解析して、その解析内容をＵＩ制御部１６０２に通知する。ここで、この解析内容は、操作受付部１６０１がタッチパネル１５０５によるタッチ操作を検知した時に際にＵＩ制御部１６０２に通知する内容と同一である。
【００９９】
ＵＩ遠隔操作部１６０４はＲＡＭ２０３に格納された画像を端末装置１４０１に送信する。ＵＩ遠隔操作部１６０４の動作については後述する。
【０１００】
端末装置１４０１のハードウェア構成は図６に示すハードウェア構成と同一であるが、ここでは、カメラ６０６は用いられない。つまり、端末装置１４０１は図６に示すハードウェア構成におけるカメラ６０６を備える必要はない。
【０１０１】
図１７は、本発明の第２の実施形態による端末装置のＣＰＵで動作するソフトウェアの構成についてその一例を示すブロック図である。なお、図１７において、図７に示すソフトウェア構成と同一の構成要素には同一の参照番号を付して、説明を省略する。
【０１０２】
遠隔操作制御部１７０１は、電子機器１４００で動作するＵＩ遠隔操作部１６０４から受信した画像をＲＡＭ６０３に格納して、その旨を画像解析部７０５に通知する。また、遠隔操作制御部１７０１は表示制御部１７０３から受信したコマンドを電子機器１４００で動作するＵＩ遠隔操作部１６０４に送信する。
【０１０３】
キーワード検索部１７０２は、電子機器１４００で動作するＵＩ画面通知部１６０３から送信されたＵＩ制御部１６０２のステータスで制限される範囲においてキーワード検索を行う。つまり、キーワード検索部１７０２は、ＵＩ制御部１６０２のステータス毎に定義される電子マニュアル文書の範囲に、マニュアル表示制御部７０３から通知されたページが含まれる場合に、図７で説明したキーワード検索部７０４と同様のキーワード検索を行う。
【０１０４】
例えば、電子機器１４００においてコピージョブを制御するためのＵＩ画面が表示されている場合に、マニュアル表示制御部６０３がファックスに関するページを選択した際には、キーワード検索部１７０２はキーワード検索を行わない。この場合には、当然画像解析部７０５は画像解析を行わない。
【０１０５】
表示制御部１７０３は、ＲＡＭに６０３に格納された画像、マニュアル表示制御部７０３が生成したマニュアル画像、およびハードウェアキー２０５をエミュレートするための画像を合成した合成画像を生成する。さらに、表示制御部１７０３は、マニュアル画像におけるキーワードの出現位置、類似領域の出現領域、およびこれらの関係を表すグラフィックスを合成画像に重畳して重畳画像とする。
【０１０６】
表示制御部１７０３は、マニュアル表示制御部７０３によって表示されるマニュアル文書に基づいて、ＲＡＭ６０３に格納された複数のハードウェアキーをエミュレートした画像から表示すべき画像を選択する。つまり、表示制御部１７０３は、表示されるマニュアル文書に応じて、表示すべきハードウェアキーを変更する。
【０１０７】
また、タッチパネル６０５のタッチ操作（入力座標）が、電子機器１４００が送信した画像を表示した領域である場合には、表示制御部１７０３は、遠隔操作制御部１７０１に対してコマンドを送信する。この際、表示制御部１７０３によって検知した入力座標は、電子機器１４００が送信した画像の座標に補正されてコマンドに付与される。
【０１０８】
加えて、表示制御部１７０３は、表示制御部１７０３が表示したハードウェアキーに関して操作があったと判定すると、操作受付部１６０１に当該ハードウェアキーが操作された旨を示すコマンドを送信する。
【０１０９】
端末装置１４０１は、ＵＩ遠隔操作部１６０４からディスプレイ２０６に表示される画像を受信する。端末装置１４０１は、受信した画像をディスプレイ６０４に表示する。さらに、端末装置１４０１は遠隔操作部１６０４から受信した画像が表示される領域に対するタッチパネル６０５のタッチ操作を検出すると、当該タッチ操作に関する情報を電子機器１４００に通知する。この際、タッチパネル６０５で検知された位置情報はＵＩ遠隔操作部１６０４から受信した画像の表示位置に合わせて補正される。
【０１１０】
当該位置情報は、ＵＩ遠隔操作制御部１６０４にコマンドとして通知される。ＵＩ遠隔操作制御部１６０４は受信したコマンドを解析してＵＩ制御部１６０２に位置情報を通知する。これによって、ユーザはタッチパネル１５０５をタッチ操作する際と同様にして、タッチパネル６０５に対してタッチ操作を行うことができる。
【０１１１】
図１８は、図１７で説明したＵＩコンポーネントの階層構造１８０１、ＵＩコンポーネントの画像１８０２、マニュアル文書における検索領域１８０３、およびキーワード・テンプレートテーブル１８０４の関係を示す図である。
【０１１２】
図１８に示す例では、階層構造１８０１にはコピーウィンドウおよびファックスウィンドウが存在する。また、階層構造１８０１において、開始ボタンが操作されると、キーワード・テンプレートテーブル１８０４からキーワード「開始」に対応する画像（アドレス）が選択される。検索領域１８０３にはステータスとして「ファックスウィンドウ」および「コピーウィンドウ」が規定され、「ファックスウィンドウ」および「コピーウィンドウ」にはそれぞれ開始ページおよび終了ページが設定されている。
【０１１３】
マニュアル文書における検索領域１８０３およびキーワード・テンプレートテーブル１８０４はＲＡＭ６０３に格納されるマニュアル文書毎に定義される。ここでは、ＵＩ制御部１６０２のステータスは、ＵＩコンポーネントの階層構造の最上位のＵＩコンポーネント（ルートとなるウィンドウ）とされる。
【０１１４】
また、例えば、キーワード検索部１７０２によって参照されるＵＩ制御部１６０２のステータス毎に定義されるマニュアル文書の範囲は、マニュアル文書の開始ページおよび終了ページで表される。なお、マニュアル文書の開始ページおよび終了ページ以外でマニュアル文書の範囲を表すようにしてもよい。
【０１１５】
図１９は、図１６に示す表示制御部１７０３で生成される画像の一例を説明するための図である。そして、図１９（ａ）はディスプレイ６０４に表示されるＵＩ画面のレイアウトを示す図であり、図１９（ｂ）は合成画像を示す図である。また、図１９（ｃ）は重畳画像を示す図である。
【０１１６】
図１９（ａ）において、画面１９００は、第１の領域１９０１、第２の領域１９０２、および第３の領域１９０３に分割されている。第１の領域１９０１には電子機器１４００が送信した画像が表示される。第２の領域１９０２にはマニュアル画像が表示される。第３の領域１９０３には電子機器１４００のハードウェアキー２０５をエミュレートするための画像が表示される。
【０１１７】
図１９（ｂ）において、画像１９１０は、遠隔操作制御部１７０１がコピージョブを制御するための画像１９１１を受信して、マニュアル表示制御部７０３がファックスに関するページを選択した際に、表示制御部１７０３によって生成される。この際、キーワード検索部１７０２は、ＵＩ画面通知部１６０３からコピージョブを制御するためのＵＩ画面を表示するステータスを受信する。よって、キーワード検索部１７０２はキーワード検索を行なわず、画像解析部７０５も画像解析を行わない。
【０１１８】
図１９（ｃ）において、画像１９２０は、遠隔操作制御部１７０１がファックスジョブを制御するための画像１９２１を受信して、マニュアル表示制御部７０３がファックスに関するページを選択した際に、表示制御部１７０３によって形成される。この際には、キーワード検索部１７０２は、ＵＩ画面通知部１６０３からファックスジョブを制御するためのＵＩ画面を表示するステータスを受信する。よって、キーワード検索部１７０２はキーワード検索を行い、画像解析部７０５は画像解析を行う。
【０１１９】
なお、第１の実施形態と同様に、表示制御部１７０３は受信した情報に応じて、図１９（ｂ）に示す合成画像１９１０にグラフィックス１９２２〜１９２４を重畳する。ここで、グラフィックス１９２２はキーワード検索部１７０２によって検索されたキーワードの出現位置を示す。また、グラフィックス１９２３は画像解析部７０５によって解析された画像領域を示す。そして、グラフィックス１９２４はキーワード検索部７０４および画像解析部７０５から送信されたキーワードが一致する領域の関係を示している。
【０１２０】
このように、本発明の第２の実施形態では、複写機などの電子機器に備えられたタッチパネル付きのディスプレイに表示されるＵＩ画面を、ＵＩ画像としてネットワークを介して端末装置に伝送して、ＵＩ画像とマニュアル画像とを合成して合成画像とする。そして、端末装置に表示されたＵＩ画面を用いて電子機器を操作する。
【０１２１】
以上にように、本発明の第２の実施形態では、電子機器１４００がＵＩ画面通知部１６０３を備えるとともに、端末装置１４０１がマニュアル表示制御部を備えて、互いに異なる画面で同一のＵＩコンポーネントを用いる場合においても、端末装置に表されたマニュアル文書に対応したＵＩコンポーネントのみ検索することができる。
【０１２２】
さらに、本発明の第２の実施形態では、電子機器１４００にＵＩ遠隔操作制御部１６０４が備えられているので、端末装置１４０１に表示されたＵＩ画面を操作すれば、電子機器１４００を制御することができる。
【０１２３】
また、本発明の第２の実施形態では、ＵＩ制御部１６０２のステータス毎に定義されるマニュアル文書の範囲、キーワード・テンプレートテーブル、およびハードウェアキーをエミュレートするための画像がマニュアル文書毎に定義されてＲＡＭ６０３に格納される。そして、これらの情報は外部から転送することもができるので、新規な電子機器への対応およびマニュアル文書の改訂を簡単に行うことができる。その結果、マニュアル表示システムの管理を軽減することができる。
【０１２４】
上述の説明から明らかなように、図７に示す例においては、カメラおよび撮像制御部７０２が撮像手段として機能する。また、画像解析部７０５は判定手段として機能し、表示制御部７０６は制御手段として機能する。
【０１２５】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１２６】
例えば、上記の実施の形態の機能を表示方法として、この表示方法を電子文書表示装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを電子文書表示装置が備えるコンピュータに実行させるようにしてもよい。なお、このプログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１２７】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１２８】
４０１，７０１  ネットワーク制御部
４０２  操作受付部
４０３  ジョブ制御部
４０４  ＵＩ制御部
４０５  ＵＩ表示部
７０２  撮像制御部
７０３  マニュアル表示制御部
７０４  キーワード検索部
７０５  画像解析部
７０６  表示制御部
【図１】
2013254243.tif 000003
【図２】
2013254243.tif 000004
【図３】
2013254243.tif 000005
【図４】
2013254243.tif 000006
【図５】
2013254243.tif 000007
【図６】
2013254243.tif 000008
【図７】
2013254243.tif 000009
【図８】
2013254243.tif 000010
【図９】
2013254243.tif 000011
【図１０】
2013254243.tif 000012
【図１１】
2013254243.tif 000013
【図１２】
2013254243.tif 000014
【図１３】
2013254243.tif 000015
【図１４】
2013254243.tif 000016
【図１５】
2013254243.tif 000017
【図１６】
2013254243.tif 000018
【図１７】
2013254243.tif 000019
【図１８】
2013254243.tif 000020
【図１９】
2013254243.tif 000021