(57)【要約】【課題】ユーザが気になる被操作製品の部位の撮像の度に、その被操作製品の部位の取り扱いに関するユーザへのガイダンス情報を適応的に提示し、ユーザの被操作製品の取り扱い時の利便性を向上する。【解決手段】情報提示プログラムは、ユーザの被操作装置を撮像可能な撮像部を含むスマートフォンに、撮像された被操作装置の撮像画像に基づいて、その撮像画像に映る被操作装置の部位に関する特徴情報を抽出するステップと、メモリから、被操作装置が実行可能な少なくとも１つの機能、又は被操作装置の本体の特徴を示す参照用データを読み出し、参照用データと抽出された特徴情報とを比較するステップと、抽出された特徴情報と参照用データとが一致したと判断した場合に、メモリから、特徴情報に対応するユーザへのガイダンス情報を読み出し、ユーザへのガイダンス情報を被操作装置の撮像画像に重畳してスマートフォンが備える表示部に表示するステップと、を実行させる。【選択図】図６
2019128739.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの被操作装置を撮像可能な撮像部を含むコンピュータに、
前記撮像部により撮像された前記被操作装置の撮像画像に基づいて、その撮像画像に映る前記被操作装置の部位に関する特徴情報を抽出するステップと、
前記コンピュータが備えるメモリから、前記被操作装置が実行可能な少なくとも１つの機能、又は前記被操作装置の本体の特徴を示す参照用データを読み出し、前記参照用データと前記抽出された特徴情報とを比較するステップと、
前記抽出された特徴情報と前記参照用データとが一致したと判断した場合に、前記メモリから、前記特徴情報に対応する前記ユーザへのガイダンス情報を読み出し、前記ユーザへのガイダンス情報を前記コンピュータが備える表示部に表示するステップと、を実行させるための、
情報提示プログラム。
【請求項２】
前記特徴情報を抽出するステップは、
前記表示部に表示されたメニュー画面に関する情報を、前記被操作装置の部位に関する特徴情報として抽出するステップを有する、
請求項１に記載の情報提示プログラム。
【請求項３】
前記特徴情報を抽出するステップは、
前記ユーザの操作により前記メニュー画面が切り替えられる度に、切り替え後のメニュー画面に関する情報を、前記被操作装置の部位に関する特徴情報として抽出するステップを有する、
請求項２に記載の情報提示プログラム。
【請求項４】
前記表示部に表示するステップは、
前記被操作装置の部位の操作説明のテキストデータを、前記ユーザへのガイダンス情報として表示するステップを有する、
請求項１に記載の情報提示プログラム。
【請求項５】
前記表示部に表示するステップは、
前記被操作装置の部位の操作説明を支援する画像データを、前記ユーザへのガイダンス情報として表示するステップを有する、
請求項１に記載の情報提示プログラム。
【請求項６】
前記表示部に表示するステップは、
前記被操作装置の部位の操作説明を支援する動画データを、前記ユーザへのガイダンス情報として表示するステップを有する、
請求項１に記載の情報提示プログラム。
【請求項７】
前記表示部に表示するステップは、
前記被操作装置の撮像画像に前記被操作装置の他の部位が映っていると判断された場合に、前記表示部に表示された前記ユーザへのガイダンス情報を非表示するステップを有する、
請求項１に記載の情報提示プログラム。
【請求項８】
ユーザの被操作装置を撮像可能な撮像部を含む情報提示装置における情報提示方法であって、
前記撮像部により撮像された前記被操作装置の撮像画像に基づいて、その撮像画像に映る前記被操作装置の部位に関する特徴情報を抽出するステップと、
前記情報提示装置が備えるメモリから、前記被操作装置が実行可能な少なくとも１つの機能、又は前記被操作装置の本体の特徴を示す参照用データを読み出し、前記参照用データと前記抽出された特徴情報とを比較するステップと、
前記抽出された特徴情報と前記参照用データとが一致したと判断した場合に、前記メモリから、前記特徴情報に対応する前記ユーザへのガイダンス情報を読み出し、前記ユーザへのガイダンス情報を前記被操作装置の撮像画像に重畳して前記情報提示装置が備える表示部に表示するステップと、を備える、
情報提示方法。
【請求項９】
ユーザの被操作装置と、
前記被操作装置を撮像可能な撮像部とメモリと表示部とを含む情報提示装置と、を含み、
前記情報提示装置は、
前記撮像部により撮像された前記被操作装置の撮像画像に基づいて、その撮像画像に映る前記被操作装置の部位に関する特徴情報を抽出し、
前記メモリから、前記被操作装置が実行可能な少なくとも１つの機能、又は前記被操作装置の本体の特徴を示す参照用データを読み出し、前記参照用データと前記抽出された特徴情報とを比較し、
前記抽出された特徴情報と前記参照用データとが一致したと判断した場合に、前記メモリから、前記特徴情報に対応する前記ユーザへのガイダンス情報を読み出し、前記ユーザへのガイダンス情報を前記被操作装置の撮像画像に重畳して前記表示部に表示する、
情報提示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像画像に映る被写体に応じた情報を提示する情報提示プログラム、情報提示方法及び情報提示システムに関する。
【背景技術】
【０００２】
特許文献１には、対象機器とヘルプ情報を提供するサーバ装置と携帯通信端末とがネットワークに接続されたヘルプ情報提供システムが開示されている。対象機器は、機器ＩＤと状態コードとをサーバ装置に送信する。携帯通信端末は、対象機器を撮像した撮像画像データから対象機器に貼付されたマーカーの画像を抽出し、マーカーの画像から対象機器の機器ＩＤと面コードとを取得してサーバ装置に送信する。サーバ装置は、対象機器から送信された機器ＩＤ及び状態コードと、携帯通信端末から送信された機器ＩＤ及び面コードとに基づいて、対象機器の状態に対応する固有のヘルプ情報を携帯通信端末に送信する。携帯通信端末は、送信されたヘルプ情報と撮像画像データとを合成し、ヘルプ情報提供画像データを生成して表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１９８７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の構成では、携帯通信端末は対象機器の筐体に貼付されているマーカーを含むように撮像する事が求められ、かつ、サーバ装置から提供されるヘルプ情報は対象機器の現在の状態（例えば、障害発生）に特化した情報であった。従って、特許文献１では、サーバ装置は、ユーザがマーカーの貼付されていない対象機器（言い換えると、被操作製品）を取り扱う際、被操作製品の有する複数の機能のうちユーザが気になって都度選択した機能の詳細情報を提供するガイダンス情報、もしくはユーザが被操作製品に対して実行を失念している作業の有無をガイドするためのガイダンス情報を携帯通信端末に提供する事はできなかった。このため、ユーザが被操作製品を取り扱う上での利便性が劣化するという課題があった。
【０００５】
本開示は、上述した従来の状況に鑑みて案出され、ユーザが気になる被操作製品の部位の撮像の度に、その被操作製品の部位の取り扱いに関するユーザへのガイダンス情報を適応的に提示し、ユーザの被操作製品の取り扱い時の利便性を向上する情報提示プログラム、情報提示方法及び情報提示システムを提供する事を目的とする。
【課題を解決するための手段】
【０００６】
本開示は、ユーザの被操作装置を撮像可能な撮像部を含むコンピュータに、前記撮像部により撮像された前記被操作装置の撮像画像に基づいて、その撮像画像に映る前記被操作装置の部位に関する特徴情報を抽出するステップと、前記コンピュータが備えるメモリから、前記被操作装置が実行可能な少なくとも１つの機能、又は前記被操作装置の本体の特徴を示す参照用データを読み出し、前記参照用データと前記抽出された特徴情報とを比較するステップと、前記抽出された特徴情報と前記参照用データとが一致したと判断した場合に、前記メモリから、前記特徴情報に対応する前記ユーザへのガイダンス情報を読み出し、前記ユーザへのガイダンス情報を前記コンピュータが備える表示部に表示するステップと、を実行させるための、情報提示プログラムを提供する。
【０００７】
また、本開示は、ユーザの被操作装置を撮像可能な撮像部を含む情報提示装置における情報提示方法であって、前記撮像部により撮像された前記被操作装置の撮像画像に基づいて、その撮像画像に映る前記被操作装置の部位に関する特徴情報を抽出するステップと、前記情報提示装置が備えるメモリから、前記被操作装置が実行可能な少なくとも１つの機能、又は前記被操作装置の本体の特徴を示す参照用データを読み出し、前記参照用データと前記抽出された特徴情報とを比較するステップと、前記抽出された特徴情報と前記参照用データとが一致したと判断した場合に、前記メモリから、前記特徴情報に対応する前記ユーザへのガイダンス情報を読み出し、前記ユーザへのガイダンス情報を前記情報提示装置が備える表示部に表示するステップと、を備える、情報提示方法を提供する。
【０００８】
また、本開示は、ユーザの被操作装置と、前記被操作装置を撮像可能な撮像部とメモリと表示部とを含む情報提示装置と、を含み、前記情報提示装置は、前記撮像部により撮像された前記被操作装置の撮像画像に基づいて、その撮像画像に映る前記被操作装置の部位に関する特徴情報を抽出し、前記メモリから、前記被操作装置が実行可能な少なくとも１つの機能、又は前記被操作装置の本体の特徴を示す参照用データを読み出し、前記参照用データと前記抽出された特徴情報とを比較し、前記抽出された特徴情報と前記参照用データとが一致したと判断した場合に、前記メモリから、前記特徴情報に対応する前記ユーザへのガイダンス情報を読み出し、前記ユーザへのガイダンス情報を前記表示部に表示する、情報提示システムを提供する。
【発明の効果】
【０００９】
本開示によれば、ユーザが気になる被操作製品の部位の撮像の度に、その被操作製品の部位の取り扱いに関するユーザへのガイダンス情報を適応的に提示でき、ユーザの被操作製品の取り扱い時の利便性を向上できる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係る情報提示システムの構成例を示すシステム構成図
【図２】実施の形態１に係る電話機の外観の一例を示す図
【図３】実施の形態１に係る電話機の内部構成の一例を示すブロック図
【図４】実施の形態１に係るスマートフォンの内部構成の一例を示すブロック図
【図５】記憶部に格納される参照用データテーブル並びに操作説明データテーブルの一例を示す図
【図６】実施の形態１に係るスマートフォンに表示されるガイダンス情報の一例を示す図
【図７】実施の形態１に係る電話機のタッチパネルディスプレイに表示される各種のメニューとそのメニューに対応するガイダンス情報との一例を示す図
【図８】実施の形態１に係る電話機のタッチパネルディスプレイに表示される各種のメニューとそのメニューに対応するガイダンス情報との一例を示す図
【図９】実施の形態１に係るスマートフォンにおける操作説明提示処理の動作手順の一例を詳細に説明するフローチャート
【図１０】実施の形態１の変形例に係るスマートフォンに表示されるガイダンス情報の一例を示す図
【図１１】実施の形態２に係る電話機のタッチパネルディスプレイに表示される各種のメニューの表示用画面の遷移例を示す図
【図１２】実施の形態２に係る電話機のタッチパネルディスプレイに表示される各種のメニューの表示用画面の遷移例を示す図
【図１３】記憶部に格納される操作履歴データテーブル並びに関連操作データテーブルの一例を示す図
【図１４】実施の形態２に係るスマートフォンに表示されるガイダンス情報の一例を示す図
【図１５】実施の形態２に係るスマートフォンにおける階層情報提示処理の動作手順、並びに電話機に対するユーザの操作の順序の一例を詳細に説明するフローチャート
【発明を実施するための形態】
【００１１】
（実施の形態１の内容に至る経緯）
上述した特許文献１の構成では、携帯通信端末は対象機器の筐体に貼付されているマーカーを含むように撮像する事が求められ、かつ、サーバ装置から提供されるヘルプ情報は対象機器の現在の状態（例えば、障害発生）に特化した情報であった。従って、特許文献１では、サーバ装置は、ユーザがマーカーの貼付されていない対象機器（言い換えると、被操作製品）を取り扱う際、被操作製品の有する複数の機能のうちユーザが気になって都度選択した機能の詳細情報を提供するガイダンス情報、もしくはユーザが被操作製品に対して実行を失念している作業の有無をガイドするためのガイダンス情報を携帯通信端末に提供する事はできなかった。このため、ユーザが被操作製品を取り扱う上での利便性が劣化するという課題があった。
【００１２】
そこで、以下の実施の形態１では、ユーザが気になる被操作製品の部位の撮像の度に、その被操作製品の部位の取り扱いに関するユーザへのガイダンス情報を適応的に提示し、ユーザの被操作製品の取り扱い時の利便性を向上する情報提示プログラム、情報提示方法及び情報提示システムの例を説明する。
【００１３】
以下、適宜図面を参照しながら、本開示に係る情報提示プログラム、情報提示方法及び情報提示システムを具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定する事は意図されていない。
【００１４】
（実施の形態１）
実施の形態１では、ユーザの被操作装置としてオフィス等で使用されるビジネスフォン（いわゆる、電話機）を例示し、この電話機に設けられたタッチパネルディスプレイに表示されたメニュー画面において表示される電話機の機能を教示する操作説明データを、ユーザの情報提示装置（例えば、スマートフォン）に表示する情報提示システムの例を説明する。
【００１５】
図１は、実施の形態１に係る情報提示システム１００の構成例を示すシステム構成図である。情報提示システム１００は、ネットワークＮＷに接続された構内交換機１０と、電話機３０と、スマートフォン５０とを含む構成である。ネットワークＮＷは、例えば、公衆交換電話網であるＰＳＴＮ（Public Switched Telephone Network）もしくはＩＰ（Internet Protocol）電話におけるＷＡＮ（Wide Area Network）である。
【００１６】
構内交換機１０は、いわゆるＰＢＸ（Private Branch eXchange）であり、ネットワークＮＷに多数の構内電話機（例えば、電話機３０）を接続する電話交換機である。構内交換機１０の構成の詳細な説明は省略する。
【００１７】
被操作装置の一例としての電話機３０は、オフィス等でユーザにより使用可能に設置され、構内交換機１０を介して、ＰＳＴＮもしくはＷＡＮ等のネットワークＮＷ（いわゆる、公衆電話網）に接続する。電話機３０の本体は、例えばユーザのデスク等の被載置面に沿って載置されたスタンドから傾斜して配置される。なお、電話機３０の本体は、ユーザのデスク等の被載置面に沿って略平行に配置されてもよい。電話機３０は、ユーザの操作に基づいて、ユーザの通話相手が用いる他の電話機（図示略）に対して発呼したり、ユーザの通話相手が用いる他の電話機（図示略）からの着信に応じたりする。電話機３０の外観や構成については、図２や図３を参照して後述する。
【００１８】
情報提示装置の一例としてのスマートフォン５０は、情報提示プログラムの一例としての操作アシスタントアプリケーション（以下、「操作アシスタントアプリ」と略記する）が実行可能に予めインストールされ、ユーザにより携帯可能に使用されるコンピュータである。スマートフォン５０は、電話機３０を撮像可能な撮像部５０９（図４参照）を含む。スマートフォン５０の構成については、図４を参照して後述する。なお、実施の形態１において、情報提示装置はスマートフォン５０に限定されず、例えばカメラ機能を有し、ユーザにより携帯可能に使用されるデバイスでよい。このデバイスとしては、例えばタブレット端末やカメラ付きパソコン等のコンピュータが含まれる。
【００１９】
図２は、実施の形態１に係る電話機３０の外観の一例を示す図である。図３は、実施の形態１に係る電話機３０の内部構成の一例を示すブロック図である。電話機３０は、電話機３０の本体の図２紙面左側にハンドセットＨＳが載置され、図２紙面右上側にタッチパネルディスプレイ３５を有し、図２紙面右下側に主に操作部３８を有する。なお、電話機３０の本体の図２紙面右下側に１つ又は複数のＬＥＤ３７が配置されてもよい。
【００２０】
電話機３０は、電源部３１と、通信インターフェース３２と、メモリ３３と、プロセッサ３４と、タッチパネルディスプレイ３５と、ハンドセットＨＳと、フッキング検出部３６と、マイクＭＣ１と、スピーカＳＰ１と、ＬＥＤ（Light Emitting Diode）３７と、操作部３８とを含む構成である。図３の電話機３０の構成において、通信インターフェースを便宜的に「通信Ｉ／Ｆ」と記載している。
【００２１】
電源部３１は、電話機３０の各部に必要な電源を供給する。電源部３１は、例えば、バッテリ（図示略）を内蔵して電話機３０の各部に必要な電源を供給してもよいし、外部からＡＣ（Alternating Current：交流）又はＤＣ（Direct Current：直流）の電力を入力し、その入力された電力に基づいて電話機３０の各部に必要な電源を供給してもよい。
【００２２】
通信インターフェース３２は、例えば構内交換機１０との間のデータもしくは情報を含む各種の信号の送受信に関する通信インターフェースとしての役割を有する。通信インターフェース３２は、例えば、ユーザの通話相手が用いる他の電話機に発呼する時の信号を構内交換機１０に送出したり、ユーザの通話相手が用いる他の電話機からの着信があった事を示す信号を構内交換機１０から受信（取得）してプロセッサ３４に渡したりする。なお、プロセッサ３４は、着信があった事を示す信号に基づいて、ＬＥＤ３７を点滅させることで、着信があった事をユーザに報知してよい。
【００２３】
メモリ３３は、例えばＲＡＭ（Random Access Memory）とＲＯＭ（Read Only Memory）とを用いて構成され、電話機３０の動作の実行に必要なプログラムやデータ、更には、動作中に生成されたデータ又は情報を一時的に保持する。ＲＡＭは、例えば電話機３０の動作時に使用されるワークメモリである。ＲＯＭは、例えば電話機３０を制御するためのプログラム及びデータを予め記憶して保持する。
【００２４】
メモリ３３は、電話機３０において使用可能な複数の機能（例えば、電話機３０の日付設定機能、電話機３０の時間設定機能）を呼び出すために予め定義付けられたメニュー階層情報（図示略）を保持している。メニュー階層情報とは、電話機３０において使用可能なそれぞれの機能を実行するために、その機能を実行するための表示用画面がプロセッサ３４により呼び出されるまでの順序（言い換えると、最上位の階層の機能（例えば、後述するアイドル画面）から目的の機能を実行するための表示用画面に辿り着くまでの階層関係）を定義付けた情報である。電話機３０において使用可能な機能に定義付けられた階層の詳細については、図８及び図９を参照して後述する。従って、電話機３０において使用可能なそれぞれの機能を実行するための表示用画面は、上述したメニュー階層情報に基づいて、タッチパネルディスプレイ３５に表示されるアイドル画面（言い換えると、最上位の階層に対応する機能）から、ユーザの１回又は複数回のタップ操作に応じて呼び出されてタッチパネルディスプレイ３５に表示される。
【００２５】
プロセッサ３４は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）もしくはＦＰＧＡ（Field Programmable Gate Array）を用いて構成される。プロセッサ３４は、電話機３０の動作を司るコントローラとして機能し、電話機３０の各部の動作を全体的に統括するための制御処理、電話機３０の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。プロセッサ３４は、メモリ３３に記憶されたプログラム及びデータに従って動作する。プロセッサ３４は、動作時にメモリ３３を使用し、プロセッサ３４が生成又は取得したデータ又は情報をメモリ３３に一時的に保存してもよい。
【００２６】
タッチパネルディスプレイ３５は、ユーザのタッチやタップ等の操作を検出可能な検出デバイス（例えば、タッチパネル）を有したディスプレイである。タッチパネルディスプレイ３５は、プロセッサ３４から渡された各種の表示用画面（例えば、アイドル画面や、それぞれの機能の実行時に表示される表示用画面）のデータを取得すると、その表示用画面を表示する。
【００２７】
ハンドセットＨＳは、いわゆる受話器であり、ユーザが発呼する時や着信に応じる時にユーザにより把持される。
【００２８】
フッキング検出部３６は、ハンドセットＨＳのオフフック状態の有無を検出する回路である。フッキング検出部３６は、ユーザがハンドセットＨＳを把持した状態で電話機３０の本体からハンドセットＨＳを離脱させた時には、オフフック状態を検出してプロセッサ３４にその旨の信号を送出する。一方、フッキング検出部３６は、ユーザがハンドセットＨＳを把持した状態で電話機３０の本体にハンドセットＨＳを載置させた時には、オンフック状態（つまり、オフフック状態の解除）を検出してプロセッサ３４にその旨の信号を送出する。
【００２９】
マイクＭＣ１は、電話機３０の本体に設けられ、例えばハンズフリー通話の際にユーザの発した音声を収音し、その収音された音声の信号をプロセッサ３４に出力する。
【００３０】
スピーカＳＰ１は、電話機３０の本体に設けられ、例えばハンズフリー通話の際に他の電話機（図示略）のマイクにより収音された通話相手の音声をプロセッサ３４から取得して音声出力する。また、スピーカＳＰ１は、電話機３０の機能の使用時において鳴動するように予め設定されている既定音声をプロセッサ３４から取得して出力する。
【００３１】
ＬＥＤ３７は、電話機３０の本体に設けられ、プロセッサ３４からの信号に従って、電話機３０の状態（例えば、着信がある状態、未既読の音声メッセージを預かっている状態、不在着信がある状態）を報知するために点灯もしくは点滅する。
【００３２】
操作部３８は、電話機３０の本体に設けられ、ユーザの操作により押下される各種のボタン（例えば、数字ボタン、メニューボタン、設定ボタン、リダイアルボタン、保留ボタン、キャンセルボタン）により構成される。操作部３８の該当するボタンが押下された事
の信号はプロセッサ３４に入力される。プロセッサ３４は、操作部３８のボタンの押下に伴って、電話機３０の機能を実行するための表示用画面を生成してタッチパネルディスプレイ３５に表示する。
【００３３】
図４は、実施の形態１に係るスマートフォン５０の内部構成の一例を示すブロック図である。スマートフォン５０は、撮像部５０９と、制御部５０６と、記憶部５０４と、表示／操作部（例えばタッチパネル）５０３とを含む構成である。スマートフォン５０は、例えばユーザにより携帯可能に所持され、ユーザが電話機３０のタッチパネルディスプレイ３５に表示されたメニュー（例えば、アイドル画面）又は機能のいずれかについてその内容を確認したいと考えている場合に、ユーザの操作に基づいて、その電話機３０のタッチパネルディスプレイ３５（部位の一例）を撮像する。
【００３４】
撮像部５０９は、可視光を受光可能なレンズ（図示略）と、その可視光に基づく撮像画像を撮像可能なイメージセンサ（図示略）と、イメージセンサの出力に基づいて撮像画像を生成する信号処理部（図示略）とを含む構成である。撮像部５０９は、スマートフォン５０の電源がオンであって操作アシスタントアプリが起動している間では、撮像部５０９の被写体（例えば、電話機３０のタッチパネルディスプレイ３５）を常時撮像し、その被写体（例えば、タッチパネルディスプレイ３５）の撮像画像を常時制御部５０６に送出してよい。
【００３５】
表示部の一例としての表示／操作部５０３は、表示部及び操作部が一体化された表示入力部（例えば、タッチパネルディスプレイ）であり、撮像部５０９により撮像された撮像画像やアイコン等のデータもしくは情報を表示する。表示／操作部５０３は、撮像部５０９により撮像された撮像画像に映る電話機３０の部位（例えば、タッチパネルディスプレイ３５に表示される機能の表示用画面）の内容を教示する操作説明データ（例えば、後述する説明用文章のデータ）を制御部５０６から取得して表示する。
【００３６】
記憶部５０４は、例えばＲＡＭ及びＲＯＭを用いて構成され、スマートフォン５０の動作に必要なプログラム及びデータをＲＯＭで保持するとともに、制御部５０６におけるプログラム及びデータを用いた各種の処理実行時にＲＡＭにデータ又は情報を一時的に保持する。また、記憶部５０４は、参照用データテーブルＲＥＦ１並びに操作説明データテーブルＥＸＰ１を記憶して格納している（図５参照）。
【００３７】
図５は、記憶部５０４に格納される参照用データテーブルＲＥＦ１並びに操作説明データテーブルＥＸＰ１の一例を示す図である。参照用データテーブルＲＥＦ１は、参照用データの識別番号（ＩＤ：Identification）と参照用データの実体であるテキストデータとを対応付けて格納する。実施の形態１において、参照用データとは、例えば電話機３０において使用可能な複数の機能のそれぞれを識別可能なテキストデータであり、具体的には、それぞれ対応する機能の内容を特徴付ける機能名と機能の特徴的な内容を指し示すキーワードとを含む。操作説明データテーブルＥＸＰ１は、参照用データの識別番号（ＩＤ）と電話機３０の機能の内容を具体的に教示した操作説明データの実体（例えば、説明用文章（テキスト）のデータ、説明用イラスト（画像）のデータ、又は説明用動画のデータ）又はその保存先に関する情報とを対応付けて格納する。
【００３８】
例えば、参照用データテーブルＲＥＦ１は、ＩＤ「１０１１」の参照用データとして「ｋｅｙ  ｔｏｎｅ、ｏｎ、ｏｆｆ、…」を格納し、ＩＤ「１０１２」の参照用データとして「ｄａｔｅ  ｆｏｒｍａｔ、ＤＤ、ＭＭ、ＹＹＹＹ、…」を格納する。つまり、ＩＤ「１０１１」の参照用データによれば、「ｋｅｙ  ｔｏｎｅ」（つまり、操作部３８のボタンの押下時に鳴動する電子音）の鳴動のオン又はオフを設定するための機能の内容を教示するデータが登録されている。同様に、ＩＤ「１０１２」の参照用データによれば、「ｄａｔｅ  ｆｏｒｍａｔ」（つまり、タッチパネルディスプレイ３５に表示される日付）の表記形式（フォーマット）を設定するための機能の内容を教示するデータが登録されている。
【００３９】
操作説明データテーブルＥＸＰ１は、ＩＤ「１０１１」に対応付けられた「ｋｅｙ  ｔｏｎｅ」の機能の内容を具体的に教示するための操作説明データの実体又はその保存先に関する情報、ＩＤ「１０１２」に対応付けられた「ｄａｔｅ  ｆｏｒｍａｔ」の機能の内容を具体的に教示するための操作説明データの実体又はその保存先に関する情報等を格納する。
【００４０】
スマートフォン５０は、撮像部５０９により撮像された撮像画像に基づく画像処理（例えば、文字認識処理）を行い、その文字認識処理によって得られた認識結果（以下、「画像比較用データ」という）と一致する参照用データが存在するかどうかを判断する。スマートフォン５０は、撮像部５０９により撮像された撮像画像に対応する画像比較用データが参照用データと一致したと判断した場合には、記憶部５０４の操作説明データテーブルＥＸＰ１を参照し、その一致した参照用データのＩＤに対応する操作説明データを記憶部５０４から読み出す。スマートフォン５０は、表示／操作部５０３に表示されている撮像画像に、その操作説明データ（例えばテキストデータ）を重畳して表示する（図６参照）。
【００４１】
図６は、実施の形態１に係るスマートフォン５０に表示されるガイダンス情報の第１例を示す図である。図６において、スマートフォン５０に表示されるガイダンス情報の第１例は、後述する操作説明データＥＰ１である。図６の紙面右側に示される拡大図ＥｘＣＰ１は、説明を分かり易くするために、スマートフォン５０に表示された合成画像ＳＰＭ１（後述参照）の拡大図を示す。
【００４２】
図６の説明の前提として、ユーザは、電話機３０のタッチパネルディスプレイ３５に表示されたアイドル画面ＩＤＷ１がどのような画面であるかを正確に理解していなく、そのアイドル画面ＩＤＷ１がどのような画面であるかを知りたいと考えている。図６に示すように、スマートフォン５０は、ユーザの操作により、ユーザの被操作装置である電話機３０のタッチパネルディスプレイ３５に表示されたアイドル画面ＩＤＷ１を撮像すると、そのアイドル画面ＩＤＷ１の撮像画像を表示／操作部５０３上に表示する。
【００４３】
スマートフォン５０は、その撮像画像に映る電話機３０の部位（例えば、アイドル画面ＩＤＷ１）に関する特徴情報として、そのアイドル画面ＩＤＷ１の撮像画像に映っている文字列を画像処理（例えば、公知の画像認識処理）によって取得する。スマートフォン５０は、その取得された文字列と一致する参照用データが存在するかどうかを調べるために参照用データテーブルＲＥＦ１を検索する。スマートフォン５０は、アイドル画面ＩＤＷ１の撮像画像の文字認識処理によって抽出された文字列と一致する参照用データが存在すると判断した場合には、その参照用データの識別番号（ＩＤ）と同一のＩＤに対応して登録された操作説明データＥＰ１を、操作説明データテーブルＥＸＰ１を参照して取得する。スマートフォン５０は、取得された操作説明データＥＰ１を、表示／操作部５０３に表示されている撮像画像に重畳した合成画像ＳＰＭ１を生成して表示／操作部５０３に表示する。
【００４４】
これにより、スマートフォン５０のユーザは、自分が分かっていない電話機３０の機能がある場合に、その分かっていない電話機３０の機能を実行可能な画面をタッチパネルディスプレイ３５に表示してスマートフォン５０で撮像するという簡易な操作によって、その機能を実行可能な画面の説明用文章等のガイダンス情報を、まるで背景画像のように表示されている撮像画像の内容と関連性を持たせた上で、視覚的かつ直感的にスマートフォン５０を介して把握できる。つまり、情報提示システム１００は、ユーザのスマートフォン５０の簡単な操作によって、電話機３０を使用する際のユーザの利便性を的確に向上できる。
【００４５】
なお、実施の形態１において、スマートフォン５０は、操作説明データテーブルＥＸＰ１を参照して取得できた操作説明データＥＰ１を、表示／操作部５０３に表示されている撮像画像に重畳せず、その撮像画像から表示内容を切り替えるように表示／操作部５０３に表示してもよい。これにより、ユーザは、例えば背景画像のように表示されている撮像画像により操作説明データＥＰ１の内容の視認性が遮られずに、操作説明データＥＰ１の内容を簡易かつ迅速に確認できる。
【００４６】
操作説明データＥＰ１は、スマートフォン５０により撮像された撮像画像に映るアイドル画面ＩＤＷ１がどのような画面であってどのような操作が可能であるかをユーザ等に具体的に教示するための説明文章を含むテキストデータである。この操作説明データＥＰ１は、撮像画像の文字認識処理に基づいて抽出された画像比較用データと一致した参照用データの識別番号（ＩＤ）に基づいて、操作説明データテーブルＥＸＰ１の参照により得られる。
【００４７】
また、スマートフォン５０は、携帯電話網通信プロトコル制御部５０２と、携帯電話網通信インターフェース部５０１とを有し、例えば３Ｇ（第３世代移動通信システム）、４Ｇ（第４世代移動通信システム）、あるいは５Ｇ（第５世代移動通信システム）のいずれの無線通信方式を用いて、携帯電話網（図示略）に接続された他の携帯電話機やスマートフォンと無線接続し、画像、音声、映像などの送受信に関する無線通信を行う。
【００４８】
また、スマートフォン５０は、音声バス５１５と、音声入出力制御部５０５と、スピーカ５１３と、マイク５１２とを有し、外部に対して音声の入出力を行う。
【００４９】
また、スマートフォン５０は、無線ＬＡＮ制御部５０７と、無線ＬＡＮ通信Ｉ／Ｆ部５０８とを有し、無線ＬＡＮで接続されたルータ（図示略）を介して接続されたカメラ（図示略）等と画像、音声、映像などのデータの送受信を行う。
【００５０】
また、スマートフォン５０は、ＵＳＢ通信Ｉ／Ｆ部５１１を有し、ＵＳＢ（Universal Serial Bus）規格のインターフェースを有する機器やメモリ等とデータを送受信する。
【００５１】
二次電池５５０は、スマートフォン５０の各部に必要な電力を供給する。二次電池５５０は、ニッケル水素バッテリ、リチウムイオン電池、鉛バッテリ等の充電可能な電池である。
【００５２】
図７及び図８は、実施の形態１に係る電話機３０のタッチパネルディスプレイ３５に表示される各種のメニューとそのメニューに対応するガイダンス情報との一例を示す図である。図７の紙面左上には、電話機３０のタッチパネルディスプレイ３５に表示されたアイドル画面ＷＤ１が示されている。このアイドル画面ＷＤ１は、電話機３０において実行可能な複数の機能のそれぞれに定義付けられた階層（言い換えると、その機能の呼び出し順序）の中で、最上位の階層に位置づけられる（言い換えると、最初に呼び出される機能の表示用画面である）。つまり、アイドル画面ＷＤ１は、ユーザの操作に基づいていずれの機能も実行されていない状態に電話機３０のタッチパネルディスプレイ３５に表示されるホーム画面又はトップ画面と言える。
【００５３】
スマートフォン５０は、このアイドル画面ＷＤ１が撮像部５０９により撮像された場合には、このアイドル画面ＷＤ１の撮像画像に対応するユーザへのガイダンス情報として、操作説明データＥＰ１１を、記憶部５０４の操作説明データテーブルＥＸＰ１から取得する。操作説明データＥＰ１１は、例えば、タッチパネルディスプレイ３５に表示されているアイドル画面ＷＤ１内で表示されている機能（例えば、「Ｆｕｃｔｉｏｎ」、「Ｐｈｏｎｅｂｏｏｋ」、「Ｃａｌｌ  Ｈｉｓｔｒｏｙ」、…）とは別の機能（例えば、アイドル画面ＷＤ２に表示される、「Ｎｅｔｗｏｒｋ  Ｃａｍｅｒａ」、「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」、「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」、…）の内容を説明するための説明用文章である。なお、操作説明データＥＰ１１の内容は、タッチパネルディスプレイ３５に表示されているアイドル画面ＷＤ１内で表示されている機能の内容を説明するための説明用文章（即ち、操作説明データＥＰ１２の内容と同一の内容）であってもよい。スマートフォン５０は、表示／操作部５０３により表示されているアイドル画面ＷＤ１の撮像画像（言い換えると、撮像部５０９により撮像されたアイドル画面ＷＤ１の撮像画像）に、上述した操作説明データＥＰ１１を重畳した合成画像を生成して表示／操作部５０３に表示する。
【００５４】
図７の紙面右上には、アイドル画面ＷＤ１に表示された「＞」アイコンＩＣ１のユーザの操作（例えばタップ）に基づいて電話機３０のタッチパネルディスプレイ３５に表示されたアイドル画面ＷＤ２が示されている。なお、アイドル画面ＷＤ２に表示された「＜」アイコンＩＣ２のユーザの操作によりタップされると、プロセッサ３４により、電話機３０のタッチパネルディスプレイ３５に表示されていたアイドル画面ＷＤ２がアイドル画面ＷＤ１に切り替えられる（つまり、表示用画面が遷移する）。
【００５５】
スマートフォン５０は、このアイドル画面ＷＤ２が撮像部５０９により撮像された場合には、このアイドル画面ＷＤ２の撮像画像に対応するユーザへのガイダンス情報として、操作説明データＥＰ１２を、記憶部５０４の操作説明データテーブルＥＸＰ１から取得する。操作説明データＥＰ１２は、例えば、タッチパネルディスプレイ３５に表示されているアイドル画面ＷＤ２内で表示されている機能（例えば、アイドル画面ＷＤ２に表示される、「Ｎｅｔｗｏｒｋ  Ｃａｍｅｒａ」、「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」、「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」、…）とは別の機能（例えば、アイドル画面ＷＤ１に表示される、「Ｆｕｃｔｉｏｎ」、「Ｐｈｏｎｅｂｏｏｋ」、「Ｃａｌｌ  Ｈｉｓｔｒｏｙ」、…）の内容を説明するための説明用文章である。なお、操作説明データＥＰ１２の内容は、タッチパネルディスプレイ３５に表示されているアイドル画面ＷＤ２内で表示されている機能の内容を説明するための説明用文章（即ち、操作説明データＥＰ１１の内容と同一の内容）であってもよい。スマートフォン５０は、表示／操作部５０３により表示されているアイドル画面ＷＤ２の撮像画像（言い換えると、撮像部５０９により撮像されたアイドル画面ＷＤ２の撮像画像）に、上述した操作説明データＥＰ１２を重畳した合成画像を生成して表示／操作部５０３に表示する。
【００５６】
図８の紙面左上最上段には、アイドル画面ＷＤ２に表示された「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」アイコンＩＣ３のユーザの操作（例えばタップ）に基づいて電話機３０のタッチパネルディスプレイ３５に表示された「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３が示されている。また、「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３の紙面右下側に表示された矢印アイコンＩＣ４のユーザの操作によりタップされると、プロセッサ３４により、電話機３０のタッチパネルディスプレイ３５に表示されていた「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３が別の「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ４に切り替えられる（つまり、表示用画面が遷移する）。「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３，ＷＤ４に表示される機能のそれぞれのメニュー階層情報では、全て「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」の階層より１つ下の同じ階層を有するように定義付けされている。
【００５７】
なお、「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３，ＷＤ４のそれぞれの紙面左下側に表示された矢印アイコンＩＣ５がユーザの操作によりタップされると、プロセッサ３４により、電話機３０のタッチパネルディスプレイ３５に表示されていた「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３，ＷＤ４のそれぞれがアイドル画面ＷＤ２に切り替えられる（つまり、表示用画面が遷移する）。
【００５８】
スマートフォン５０は、この「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３，ＷＤ４のいずれかが撮像部５０９により撮像された場合には、この「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３，ＷＤ４のいずれかの撮像画像に対応するユーザへのガイダンス情報として、操作説明データＥＰ１３を、記憶部５０４の操作説明データテーブルＥＸＰ１から取得する。スマートフォン５０は、表示／操作部５０３により表示されている「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３，ＷＤ４のいずれかの撮像画像（言い換えると、撮像部５０９により撮像された「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３，ＷＤ４のいずれかの撮像画像）に、上述した操作説明データＥＰ１３を重畳した合成画像を生成して表示／操作部５０３に表示する。
【００５９】
図８の紙面右には、「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ４に表示された「Ｋｅｙ  Ｔｏｎｅ」アイコンＩＣ６のユーザの操作（例えばタップ）に基づいて電話機３０のタッチパネルディスプレイ３５に表示された「Ｋｅｙ  Ｔｏｎｅ」画面ＷＤ５が示されている。なお、「Ｋｅｙ  Ｔｏｎｅ」画面ＷＤ５の「Ｃａｎｃｅｌ」アイコンＩＣ７又は「ＯＫ」アイコンＩＣ８のユーザの操作によりタップされると、プロセッサ３４により、電話機３０のタッチパネルディスプレイ３５に表示されていた「Ｋｅｙ  Ｔｏｎｅ」画面ＷＤ５が「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ４に切り替えられる（つまり、表示用画面が遷移する）。
【００６０】
スマートフォン５０は、この「Ｋｅｙ  Ｔｏｎｅ」画面ＷＤ５が撮像部５０９により撮像された場合には、この「Ｋｅｙ  Ｔｏｎｅ」画面ＷＤ５の撮像画像に対応するユーザへのガイダンス情報として、操作説明データＥＰ１４を、記憶部５０４の操作説明データテーブルＥＸＰ１から取得する。スマートフォン５０は、表示／操作部５０３により表示されている「Ｋｅｙ  Ｔｏｎｅ」画面ＷＤ５の撮像画像（言い換えると、撮像部５０９により撮像された「Ｋｅｙ  Ｔｏｎｅ」画面ＷＤ５の撮像画像）に、上述した操作説明データＥＰ１４を重畳した合成画像を生成して表示／操作部５０３に表示する。
【００６１】
次に、実施の形態１に係る情報提示システム１００において、スマートフォン５０における操作説明提示処理の動作手順について、図９を参照して説明する。図９は、実施の形態１に係るスマートフォン５０における操作説明提示処理の動作手順の一例を詳細に説明するフローチャートである。実施の形態１に係る情報提示プログラムは、コンピュータであるスマートフォン５０に、図９に示す操作説明提示処理を実行させるためのプログラムである。言い換えると、スマートフォン５０の制御部５０６が情報提示プログラムを読み込んで実行する事で、制御部５０６によって操作説明提示処理が実行される。情報提示プログラムは、例えば記憶部５０４のＲＯＭ（図示略）に記憶される。
【００６２】
図９において、ユーザの操作により、上述した情報提示プログラムの一例としての操作アシスタントアプリが起動する（Ｓ１）。ユーザは、電話機３０において実行可能な複数の機能のうち理解していない機能（言い換えると、知りたいと考えている機能）を実行する時の表示用画面をタッチパネルディスプレイ３５に表示するように操作を行う。スマートフォン５０は、ユーザの操作により、タッチパネルディスプレイ３５に表示された画面（つまり、ユーザが理解していない機能を実行する時の表示用画面）を撮像部５０９において撮像する（Ｓ２）。
【００６３】
スマートフォン５０は、ステップＳ２において撮像部５０９により撮像されたタッチパネルディスプレイ３５の撮像画像に基づく画像処理（例えば、撮像画像に映る文字列を認識するための文字認識処理）を行い、撮像画像を画像比較用データに変換する（Ｓ３）。つまり、ステップＳ３では、スマートフォン５０は、ステップＳ２において撮像された撮像画像と記憶部５０４に記憶される参照用データテーブルＲＥＦ１内の参照用データとを比較し易くするために、その撮像画像に映る文字列（テキスト）を認識し、その認識結果の文字列を画像比較用データ（つまり、テキストデータ）として出力する。
【００６４】
スマートフォン５０は、記憶部５０４に保存されている参照用データテーブルＲＥＦ１を参照し、ステップＳ３において生成された画像比較用データが、参照用データテーブルＲＥＦ１内の参照用データと一致するかどうかを判断する（Ｓ４）。参照用データテーブルＲＥＦ１内の参照用データと一致する画像比較用データが得られない場合には（Ｓ４、ＮＯ）、スマートフォン５０の処理はステップＳ２に戻る。つまり、参照用データテーブルＲＥＦ１内の参照用データと一致する画像比較用データが得られるまで、スマートフォン５０はステップＳ２，Ｓ３，Ｓ４の各処理を繰り返して実行する。
【００６５】
一方、スマートフォン５０は、ステップＳ３において生成された画像比較用データが、参照用データテーブルＲＥＦ１内の参照用データと一致したと判断した場合には（Ｓ４、ＹＥＳ）、記憶部５０４の操作説明データテーブルＥＸＰ１を参照し、その一致した参照用データのＩＤに対応する操作説明データを記憶部５０４から読み出す。スマートフォン５０は、表示／操作部５０３に表示されている撮像画像に、その操作説明データ（例えば説明用文章のデータ、説明用イラストのデータ、もしくは説明用動画のデータ）を重畳した合成画像を生成して表示する（Ｓ５）。なお、ステップＳ５において、上述したように、スマートフォン５０は、操作説明データを重畳しないで、そのまま表示／操作部５０３に表示してもよい。
【００６６】
ステップＳ５の後、スマートフォン５０は、ユーザの操作に基づいて、他の被写体（つまり、ステップＳ２において撮像された対象となった被写体とは異なる別の被写体）を撮像したかどうかを判断する（Ｓ６）。ステップＳ６の判断は、例えば、制御部５０６が撮像部５０９から入力された撮像画像のデータを画像処理し、ステップＳ２において撮像された撮像画像のデータと同一であったかどうかを判断する事で実現可能となる。言い換えると、ユーザの操作により、撮像部５０９がステップＳ２において撮像された対象となった被写体を撮像できなくなる程度にその被写体からスマートフォン５０が離れた位置に移動した場合又は単に撮像部５０９が他の被写体を撮像した場合には、スマートフォン５０は、ステップＳ６における他の被写体を撮像したと判断する。
【００６７】
スマートフォン５０は、ステップＳ２において撮像された対象となった被写体とは異なる別の被写体を撮像していない場合には（Ｓ６、ＮＯ）、ユーザの操作又は所定の設定情報に従い、ステップＳ１において起動された操作アシスタントアプリが終了したかどうかを判断する（Ｓ７）。操作アシスタントアプリが終了した場合には（Ｓ７、ＹＥＳ）、図９に示す操作説明提示処理は終了する。一方、操作アシスタントアプリが終了していない場合には（Ｓ７、ＮＯ）、スマートフォン５０の処理はステップＳ２に戻り、操作アシスタントアプリが終了するまでスマートフォン５０はステップＳ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ７，Ｓ８の処理を必要に応じて繰り返して実行する。
【００６８】
また、スマートフォン５０は、ステップＳ２において撮像された対象となった被写体とは異なる別の被写体を撮像した場合には（Ｓ６、ＹＥＳ）、ステップＳ５において表示／操作部５０３に重畳された操作説明データの表示を解除（つまり、説明用文章のデータ、説明用イラストのデータ、もしくは説明用動画のデータを非表示）する（Ｓ８）。これにより、ユーザは、スマートフォン５０の表示／操作部５０３に表示された操作説明データのこれ以上の表示が不要となった場合に、スマートフォン５０の撮像部５０９に他の被写体を撮像させるという簡易な操作（例えば、スマートフォン５０を移動させる操作）により、不要な操作説明データの表示を中断でき、表示／操作部５０３の視認性を向上できる。この時には、スマートフォン５０は、例えばステップＳ２において撮像された時の撮像画像のデータを表示／操作部５０３に表示する。この後、スマートフォン５０の処理はステップＳ２に戻る。
【００６９】
なお、図９に示す操作説明提示処理において、ステップＳ６，Ｓ８の処理は省略されてもよい。この場合には、スマートフォン５０は、操作アシスタントアプリの終了がされず、ユーザが次に気になる電話機３０の機能（別の被写体の一例）に対応する操作説明データを取得した場合には、その操作説明データを、現在表示／操作部５０３に表示されている操作説明データから切り替えて更新するように表示する。
【００７０】
以上により、実施の形態１に係る情報提示システム１００では、情報提示プログラムの一例としての操作アシスタントアプリは、ユーザの被操作装置（例えば、電話機３０）を撮像可能な撮像部５０９を含むコンピュータであるスマートフォン５０に、撮像部５０９により撮像された電話機３０の撮像画像に基づいて、その撮像画像に映る電話機３０の部位（例えば、タッチパネルディスプレイ３５に表示された機能を実行する時の表示用画面）に関する特徴情報の一例としての画像比較用データを抽出する。操作アシスタントアプリは、スマートフォン５０が備えるメモリの一例としての記憶部５０４から、電話機３０が実行可能な少なくとも１つの機能の内容を特徴付ける参照用データを格納する参照用データテーブルＲＥＦ１を読み出し、その参照用データと抽出された画像比較用データとを比較する。操作アシスタントアプリは、抽出された画像比較用データと参照用データとが一致したと判断した場合に、記憶部５０４から、画像比較用データに対応するユーザへのガイダンス情報（例えば、説明用文章のデータ、説明用イラストのデータ、説明用動画のデータ）を読み出し、ユーザへのガイダンス情報を電話機３０の撮像画像に重畳してスマートフォン５０が備える表示／操作部５０３に表示する。なお、操作アシスタントアプリは、ユーザへのガイダンス情報を、電話機３０の撮像画像に重畳しないでそのまま表示／操作部５０３に表示してよい。
【００７１】
これにより、スマートフォン５０にインストールされた操作アシスタントアプリは、ユーザが気になる被操作製品（例えば、電話機３０）の部位の撮像の度に、その電話機３０の部位の取り扱い（例えば、電話機３０のタッチパネルディスプレイ３５に表示された機能を実行する時の表示用画面）の内容を具体的に教示するユーザへのガイダンス情報を適応的に提示できるので、ユーザの電話機３０の取り扱い時の利便性を向上できる。
【００７２】
また、操作アシスタントアプリは、表示／操作部５０３に表示された電話機３０のメニュー画面に関する情報を、電話機３０の部位に関する特徴情報として抽出する。これにより、スマートフォン５０にインストールされた操作アシスタントアプリは、ユーザが気になる電話機３０のメニュー画面（例えば、ユーザが気になる電話機３０の機能を実行する時の表示用画面）の内容を具体的に教示するガイダンス情報を表示／操作部５０３において表示でき、ユーザの電話機３０の使用時における利便性を的確に向上できる。
【００７３】
また、操作アシスタントアプリは、ユーザの操作により、例えば電話機３０のタッチパネルディスプレイ３５に表示されるメニュー画面が切り替えられる度に（言い換えると、ユーザの電話機３０に対する操作に応じて、表示／操作部５０３に表示された電話機３０のメニュー画面が切り替えられる度に）、切り替え後のメニュー画面に関する情報を、電話機３０の部位に関する特徴情報として抽出する。これにより、スマートフォン５０にインストールされた操作アシスタントアプリは、ユーザが気になる電話機３０のメニュー画面（例えば、その画面で実行可能な機能）が複数ある場合でも、ユーザの操作によってそれぞれのメニュー画面をタッチパネルディスプレイ３５に表示される度に、撮像部５０９により都度撮像されたメニュー画面の撮像画像に基づいて、そのメニュー画面（例えば、その画面で実行可能な機能）の内容に関するガイダンス情報を表示／操作部５０３において表示でき、ユーザの電話機３０の使用時における利便性を一層的確に向上できる。
【００７４】
また、操作アシスタントアプリは、電話機３０の部位（例えばタッチパネルディスプレイ３５に表示された画面）の内容を示す操作説明のテキストデータを、ユーザへのガイダンス情報として表示する。これにより、スマートフォン５０にインストールされた操作アシスタントアプリは、ユーザが気になる電話機３０のメニュー画面（例えば、その画面で実行可能な機能）の内容を解説した説明用文章（つまり、テキストデータ）を表示／操作部５０３において表示できるので、ガイダンス情報の表示時の処理負荷を軽減できる。
【００７５】
また、操作アシスタントアプリは、電話機３０の撮像画像に電話機３０の他の部位（言い換えると、他の被写体）が映っていると判断された場合には、表示／操作部５０３に表示されたユーザへのガイダンス情報を非表示する。これにより、ユーザは、スマートフォン５０の表示／操作部５０３に表示された操作説明データのこれ以上の表示が不要となった場合に、スマートフォン５０の撮像部５０９に他の被写体を撮像させるという簡易な操作（例えば、スマートフォン５０を移動させる操作）により、不要な操作説明データの表示を中断でき、表示／操作部５０３の視認性を向上できる。
【００７６】
（実施の形態１の変形例）
上述した実施の形態１では、ユーザの被操作装置として電話機３０を例示し、スマートフォン５０が表示／操作部５０３に表示する操作説明データとして、電話機３０の機能に対応する説明用文章のデータ（つまり、テキストデータ）を例示して説明した。
【００７７】
実施の形態１の変形例では、ユーザの被操作装置としてレコーダの筐体を例示し、スマートフォン５０は、上述した説明用文章のデータでなく、レコーダの筐体でユーザが実行し損ねている作業を具体的に指し示すための説明用画像もしくは説明用動画のデータを表示する例を説明する（図１０参照）。
【００７８】
なお、実施の形態１の変形例に係る情報提示システム１００の構成は上述した実施の形態１に係る情報提示システム１００の構成と同一であり、同一の符号を付与して説明を簡略化又は省略し、異なる内容について説明する。
【００７９】
図１０は、実施の形態１の変形例に係るスマートフォン５０に表示されるガイダンス情報の第２例を示す図である。図１０において、スマートフォン５０に表示されるガイダンス情報の第２例は、後述する操作説明データＥＰ２，ＥＰ３，ＥＰ４である。図１０の紙面右側に示される拡大図ＥｘＣＰ２は、説明を分かり易くするために、スマートフォン５０に表示された合成画像ＳＰＭ２（後述参照）の拡大図を示す。
【００８０】
図１０の説明の前提として、ユーザは、レコーダ４０の本体（筐体）に行うべき作業として３つの部位Ｎ１，Ｎ２，Ｎ３に何か作業をしないといけないが、その作業（例えば、３つの部位Ｎ１，Ｎ２，Ｎ３に螺子止めがされていない事）に気付いていないとする。図１０に示すように、スマートフォン５０は、ユーザの操作により、ユーザの被操作装置であるレコーダ４０の本体（例えば、本体の背面側）を撮像すると、その本体の撮像画像を表示／操作部５０３上に表示する。
【００８１】
スマートフォン５０は、その撮像画像に映るレコーダ４０の本体の部位Ｎ１，Ｎ２，Ｎ３に関する特徴情報として、それぞれの部位Ｎ１，Ｎ２，Ｎ３に螺子止めが施されるべきであるという参照用データを、実施の形態１の変形例に係る参照用データとして記憶部５０４の参照用データテーブルＲＥＦ１から取得する。実施の形態１の変形例において、記憶部５０４内の参照用データテーブルＲＥＦ１には、上述した実施の形態１に係る参照用データの他に、例えばレコーダ４０の本体の部位Ｎ１，Ｎ２，Ｎ３に関する特徴情報として、それぞれの部位Ｎ１，Ｎ２，Ｎ３に螺子止めが施されるべきであるという情報が参照用データの一例として予め登録される。
【００８２】
スマートフォン５０は、撮像部５０９により撮像されたレコーダ４０の本体の撮像画像を画像解析し、その画像解析の結果、実際のレコーダ４０の本体の３つの部位Ｎ１，Ｎ２，Ｎ３において上述した参照用データが満たされたかどうか（つまり、レコーダ４０の本体の３つの部位Ｎ１，Ｎ２，Ｎ３に螺子止めが施されたかどうか）を判断する。スマートフォン５０は、実際のレコーダ４０の本体の３つの部位Ｎ１，Ｎ２，Ｎ３において参照用データが満たされていない（つまり、レコーダ４０の本体の３つの部位Ｎ１，Ｎ２，Ｎ３に螺子止めが施されていない）と判断した場合には、例えばその参照用データの識別番号（ＩＤ）に対応する操作説明データＥＰ２，ＥＰ３，ＥＰ４を、記憶部５０４内の操作説明データテーブルＥＸＰ１から取得する。スマートフォン５０は、その取得された操作説明データＥＰ２，ＥＰ３，ＥＰ４を、撮像部５０９により撮像された撮像画像（例えば、レコーダ４０の本体の部位Ｎ１，Ｎ２，Ｎ３のそれぞれの箇所）に重畳した合成画像ＳＰＭ２を生成して表示／操作部５０３に表示する。
【００８３】
これにより、スマートフォン５０のユーザは、自分が行わないといけないと分かっていながら実行できていないレコーダ４０の本体に対する作業がある場合に、そのレコーダ４０の本体をスマートフォン５０で撮像するという簡易な操作によって、その作業を具体的にユーザに教示して作業を促してくれる説明用画像もしくは説明用動画等のガイダンス情報を視覚的かつ直感的にスマートフォン５０を介して把握できる。つまり、情報提示システム１００は、ユーザのスマートフォン５０の簡単な操作によって、レコーダ４０の本体に対して実行するべき作業を失念している場合に、その作業を具体的かつ直感的に教示するので、ユーザの作業を効果的に支援できる。
【００８４】
なお、上述した実施の形態１と同様に、スマートフォン５０は、操作説明データＥＰ２，ＥＰ３，ＥＰ４を撮像画像に重畳せずにその撮像画像から表示内容を切り替えるように表示／操作部５０３に表示してもよい。これにより、ユーザは、例えば背景画像のように表示されている撮像画像により操作説明データＥＰ２，ＥＰ３，ＥＰ４の内容の視認性が遮られずに、操作説明データＥＰ２，ＥＰ３，ＥＰ４の内容を簡易かつ迅速に確認できる。
【００８５】
操作説明データＥＰ２，ＥＰ３，ＥＰ４は、例えばドライバー及び螺子のイラスト（画像）を表示する事で、ユーザにそれぞれの部位Ｎ１，Ｎ２，Ｎ３に螺子止めを促すための説明用画像である。なお、操作説明データＥＰ２，ＥＰ３，ＥＰ４は、ドライバーが螺子を回転させるためのアニメーション等の動画を表示する事で、ユーザにそれぞれの部位Ｎ１，Ｎ２，Ｎ３に螺子止めを促すための説明用動画でもよい。
【００８６】
このように、実施の形態１の変形例では、操作アシスタントアプリは、レコーダ４０の本体の部位Ｎ１，Ｎ２，Ｎ３に対して行うべきであった作業の操作説明を支援する画像データの一例としての説明用画像のデータを、ユーザへのガイダンス情報として表示する。これにより、スマートフォン５０にインストールされた操作アシスタントアプリは、ユーザの操作によってレコーダ４０の本体を撮像するという簡易な操作により、その作業の内容を具体的にユーザに教示して作業を促す説明用画像を、視覚的かつ直感的にユーザに対して提示でき、ユーザの作業の効率性を向上できる。なお、スマートフォン５０にインストールされた操作アシスタントアプリは、説明用画像のデータを半透明にして表示してもよい。これにより、スマートフォン５０にインストールされた操作アシスタントアプリは、背景画像として表示／操作部５０３にされている被写体の撮像画像の視認性を劣化させないで、説明用画像のデータをユーザに分かり易く提示可能となる。
【００８７】
また、実施の形態１の変形例では、操作アシスタントアプリは、レコーダ４０の本体の部位Ｎ１，Ｎ２、Ｎ３に対して行うべきであった作業の操作説明を支援する動画データの一例としての説明用動画のデータを、ユーザへのガイダンス情報として表示する。これにより、スマートフォン５０にインストールされた操作アシスタントアプリは、ユーザの操作によってレコーダ４０の本体を撮像するという簡易な操作により、その作業の内容を具体的にユーザに教示して作業を促す説明用動画を、説明用画像に比べてより視覚的かつ直感的にユーザに対して提示でき、ユーザの作業の効率性を一層向上できる。なお、スマートフォン５０にインストールされた操作アシスタントアプリは、説明用動画のデータを半透明にして表示してもよい。これにより、スマートフォン５０にインストールされた操作アシスタントアプリは、背景画像として表示／操作部５０３にされている被写体の撮像画像の視認性を劣化させないで、説明用動画のデータをユーザに分かり易く提示可能となる。
【００８８】
（実施の形態２の内容に至る経緯）
上述した特許文献１の構成では、携帯通信端末は対象機器の筐体に貼付されているマーカーを含むように撮像する事が求められ、かつ、サーバ装置から提供されるヘルプ情報は対象機器の現在の状態（例えば、障害発生）に特化した情報であった。従って、特許文献１では、サーバ装置は、ユーザがマーカーの貼付されていない対象機器（言い換えると、被操作製品）の機能の使用時に誤操作によって他の異なる機能に対応する表示用画面を表示させてしまった場合に、どの表示用画面を表示すれば良いかをユーザに示唆するためのガイダンス情報を携帯通信端末に提供できなかった。このため、ユーザが被操作製品を取り扱う上での利便性が劣化するという課題があった。
【００８９】
（実施の形態２）
実施の形態２では、ユーザが被操作製品の機能の使用時に自身の意図に合わない操作によって他の異なる機能に対応する表示用画面を表示させた際、ユーザが本来実行しようとしていた機能に対応する表示用画面の表示方法をユーザに示唆するためのガイダンス情報を迅速に予測して提示し、ユーザの被操作製品の取り扱い時の利便性を向上する情報提示プログラム、情報提示方法及び情報提示システムの例を説明する。
【００９０】
なお、実施の形態２に係る情報提示システム１００の構成は上述した実施の形態１やその変形例に係る情報提示システム１００の構成と同一であり、同一の符号を付与して説明を簡略化又は省略し、異なる内容について説明する。
【００９１】
図１１及び図１２は、実施の形態２に係る電話機３０のタッチパネルディスプレイ３５に表示される各種のメニューの表示用画面の遷移例を示す図である。実施の形態１でも説明したように、電話機３０の機能の最上位の階層には、電話機３０の機能としてタッチパネルディスプレイ３５に表示される表示用画面として最初に呼び出されて表示されるアイドル画面ＷＤ１が位置づけられる。図１１及び図１２では、アイドル画面ＷＤ１の図示は省略されており、アイドル画面ＷＤ１の説明は、実施の形態１の図７に対応する説明を援用可能である。
【００９２】
先ず、ユーザの操作（例えばタップ）により、アイドル画面ＷＤ２（図７参照）が電話機３０のタッチパネルディスプレイ３５に表示されたとする。図１１に示すように、電話機３０のプロセッサ３４は、アイドル画面ＷＤ２内の「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」アイコンＩＣ３がユーザの操作によりタップされると、そのタップを検出し、アイドル画面ＷＤ２の１つ下の階層に位置づけられる機能「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」の表示用画面である「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３をタッチパネルディスプレイ３５に表示する。
【００９３】
プロセッサ３４は、「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３内の「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」アイコンがユーザの操作によりタップされると、そのタップを検出し、機能「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」の更に１つ下の階層に位置づけられる機能「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」の表示用画面である「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」画面ＷＤ６をタッチパネルディスプレイ３５に表示する。なお、「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３の紙面左下側に表示された矢印アイコンＩＣ５がユーザの操作によりタップされると、プロセッサ３４は、そのタップを検出し、機能「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」の更に１つ上の階層に位置づけられるアイドル画面ＷＤ２をタッチパネルディスプレイ３５に表示する。
【００９４】
プロセッサ３４は、「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」画面ＷＤ６の「Ｄａｔｅ  Ｆｏｒｍａｔ」アイコンがユーザの操作によりタップされると、そのタップを検出し、機能「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」の更に１つ下の階層に位置づけられる機能「Ｄａｔｅ  Ｆｏｒｍａｔ」の表示用画面である「Ｄａｔｅ  Ｆｏｒｍａｔ」画面ＷＤ７をタッチパネルディスプレイ３５に表示する。なお、「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」画面ＷＤ６の紙面左下側に表示された矢印アイコンＩＣ５がユーザの操作によりタップされると、プロセッサ３４は、そのタップを検出し、機能「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」の更に１つ上の階層に位置づけられる機能「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」の表示用画面である「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３をタッチパネルディスプレイ３５に表示する。
【００９５】
「Ｄａｔｅ  Ｆｏｒｍａｔ」画面ＷＤ７には、例えば、日付の表示形式が欧州スタイルの「ＤＤ−ＭＭ−ＹＹＹＹ」（つまり、日−月−年）の形式と、北米スタイルの「ＭＭ−ＤＤ−ＹＹＹＹ」（つまり、月−日−年）の形式とが選択可能に表示される。また、「Ｄａｔｅ  Ｆｏｒｍａｔ」画面ＷＤ７には、確定を示す「ＯＫ」アイコンＩＣ１０と、中止を示す「Ｃａｎｃｅｌ」アイコンＩＣ１１とが選択可能に表示される。
【００９６】
一方、プロセッサ３４は、「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」画面ＷＤ６の紙面右下側に表示された矢印アイコンＩＣ９がユーザの操作によりタップされると、そのタップを検出し、「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」画面ＷＤ６内の機能とは異なる別の機能のアイコンを含む「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」画面ＷＤ８をタッチパネルディスプレイ３５に表示する。なお、「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」画面ＷＤ８の紙面右上側に表示された矢印アイコンＩＣ１２がユーザの操作によりタップされると、プロセッサ３４は、そのタップを検出し、「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」画面ＷＤ８内の機能とは異なる別の機能のアイコンを含む「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」画面ＷＤ６をタッチパネルディスプレイ３５に表示する。
【００９７】
プロセッサ３４は、「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」画面ＷＤ８の「Ｔｉｍｅ  Ｆｏｒｍａｔ」アイコンがユーザの操作によりタップされると、そのタップを検出し、機能「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」の更に１つ下の階層に位置づけられる機能「Ｔｉｍｅ  Ｆｏｒｍａｔ」の表示用画面である「Ｔｉｍｅ  Ｆｏｒｍａｔ」画面ＷＤ９をタッチパネルディスプレイ３５に表示する。なお、「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」画面ＷＤ８の紙面左下側に表示された矢印アイコンＩＣ５がユーザの操作によりタップされると、プロセッサ３４は、そのタップを検出し、機能「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ」の更に１つ上の階層に位置づけられる機能「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」の表示用画面である「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ３をタッチパネルディスプレイ３５に表示する。
【００９８】
「Ｔｉｍｅ  Ｆｏｒｍａｔ」画面ＷＤ９には、例えば、時刻の表示形式が１２時間制の形式と、２４時間制の形式とが選択可能に表示される。また、「Ｔｉｍｅ  Ｆｏｒｍａｔ」画面ＷＤ９には、確定を示す「ＯＫ」アイコンＩＣ１３と、中止を示す「Ｃａｎｃｅｌ」アイコンＩＣ１４とが選択可能に表示される。
【００９９】
また、図１２に示すように、電話機３０のプロセッサ３４は、アイドル画面ＷＤ２内の「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」アイコンがユーザの操作によりタップされると、そのタップを検出し、アイドル画面ＷＤ２の１つ下の階層に位置づけられる機能「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」の表示用画面である「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ１０をタッチパネルディスプレイ３５に表示する。
【０１００】
プロセッサ３４は、「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ１０内の「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」アイコンがユーザの操作によりタップされると、そのタップを検出し、機能「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」の更に１つ下の階層に位置づけられる機能「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」の表示用画面である「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ１１をタッチパネルディスプレイ３５に表示する。なお、「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ１０の紙面左下側に表示された矢印アイコンＩＣ５がユーザの操作によりタップされると、プロセッサ３４は、そのタップを検出し、機能「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」の更に１つ上の階層に位置づけられるアイドル画面ＷＤ２をタッチパネルディスプレイ３５に表示する。
【０１０１】
プロセッサ３４は、「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ１１の「Ｓｅｔ  Ｔｉｍｅ  ＆  Ｄａｔｅ」アイコンがユーザの操作によりタップされると、そのタップを検出し、機能「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」の更に１つ下の階層に位置づけられる機能「Ｓｅｔ  Ｔｉｍｅ  ＆  Ｄａｔｅ」の表示用画面である「Ｓｅｔ  Ｔｉｍｅ  ＆  Ｄａｔｅ」画面ＷＤ１２をタッチパネルディスプレイ３５に表示する。なお、「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ１１の紙面左下側に表示された矢印アイコンＩＣ５がユーザの操作によりタップされると、プロセッサ３４は、そのタップを検出し、機能「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」の更に１つ上の階層に位置づけられる機能「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」の表示用画面である「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ１０をタッチパネルディスプレイ３５に表示する。
【０１０２】
プロセッサ３４は、「Ｓｅｔ  Ｔｉｍｅ  ＆  Ｄａｔｅ」画面ＷＤ１２の「Ｄａｔｅ」アイコンがユーザの操作によりタップされると、そのタップを検出し、機能「Ｓｅｔ  Ｔｉｍｅ  ＆  Ｄａｔｅ」の更に１つ下の階層に位置づけられる機能「Ｄａｔｅ」の表示用画面である「Ｅｎｔｅｒ  ＤＤ−ＭＭ−ＹＹ」画面ＷＤ１３をタッチパネルディスプレイ３５に表示する。なお、「Ｓｅｔ  Ｔｉｍｅ  ＆  Ｄａｔｅ」画面ＷＤ１２の紙面左下側に表示された矢印アイコンＩＣ５がユーザの操作によりタップされると、プロセッサ３４は、そのタップを検出し、機能「Ｓｅｔ  Ｔｉｍｅ  ＆  Ｄａｔｅ」の更に１つ上の階層に位置づけられる機能「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」の表示用画面である「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ」画面ＷＤ１１をタッチパネルディスプレイ３５に表示する。
【０１０３】
「Ｅｎｔｅｒ  ＤＤ−ＭＭ−ＹＹ」画面ＷＤ１３には、例えば、日、月、年の順番に数字の選択が可能に表示されるとともに、確定を示す「ＯＫ」アイコンＩＣ１５と、中止を示す「Ｃａｎｃｅｌ」アイコンＩＣ１６とが選択可能に表示される。
【０１０４】
一方、プロセッサ３４は、「Ｓｅｔ  Ｔｉｍｅ  ＆  Ｄａｔｅ」画面ＷＤ１２の「Ｔｉｍｅ」アイコンがユーザの操作によりタップされると、そのタップを検出し、機能「Ｓｅｔ  Ｔｉｍｅ  ＆  Ｄａｔｅ」の更に１つ下の階層に位置づけられる機能「Ｔｉｍｅ」の表示用画面である「Ｅｎｔｅｒ  Ｔｉｍｅ」画面ＷＤ１４をタッチパネルディスプレイ３５に表示する。
【０１０５】
「Ｅｎｔｅｒ  Ｔｉｍｅ」画面ＷＤ１４には、例えば、午前（ＡＭ）又は午後（ＰＭ）、時、分の順番に文字や数字の選択が可能に表示されるとともに、確定を示す「ＯＫ」アイコンＩＣ１７と、中止を示す「Ｃａｎｃｅｌ」アイコンＩＣ１８とが選択可能に表示される。
【０１０６】
図１３は、記憶部５０４に格納される操作履歴データテーブルＨＳＴ１並びに関連操作データテーブルＲＬＳ１の一例を示す図である。操作履歴データテーブルＨＳＴ１は、ユーザが電話機３０の目的とする機能を実行するまでに行った一連の操作情報（つまり、操作履歴）を操作履歴ごとに保持したデータテーブルである。操作履歴データテーブルＨＳＴ１を構成する１行のレコードは、例えば、操作履歴の番号と、日付、開始時刻、終了時刻、及び操作履歴を含む。但し、レコードを構成する情報はこれらに限定されないことは言うまでもない。ユーザの操作により、スマートフォン５０の操作アシスタントアプリが起動されると、撮像部５０９によってユーザが行った操作の内容が動画として撮像される。制御部５０６は、撮像部５０９により撮像された撮像データ（例えば、動画データ）を解析することで、ユーザが電話機３０のタッチパネルディスプレイ３５にどのような順序でどのような画面を表示させたかを認識する。
【０１０７】
例えば、Ｎｏ．「１」のレコードによれば、「２０１８年１月１１日」の「１０：００」にユーザの操作が開始され、「１０：０５」にユーザの操作が終了され、ユーザの操作によって、「アイドル画面」→「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ画面」→「Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ画面」→「Ｄａｔｅ  Ｆｏｒｍａｔ画面」の順に表示されたことが分かる。
【０１０８】
また例えば、Ｎｏ．「２」のレコードによれば、「２０１８年１月１２日」の「１７：５０」にユーザの操作が開始され、「１８：１０」にユーザの操作が終了され、ユーザの操作によって、「アイドル画面」→「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ画面」→「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ画面」→「Ｓｅｔ  Ｔｉｍｅ  ＆  Ｄａｔｅ画面」→「Ｔｉｍｅ画面」の順に表示されたことが分かる。
【０１０９】
次に、関連操作データテーブルＲＬＳ１は、ユーザが電話機３０の機能を使用するための操作中にユーザの意図に合わない操作（例えば、「Ｃａｎｃｅｌ」アイコンがタップ）されたことがスマートフォン５０により検出された場合に、その検出前のユーザの操作履歴の中で選択された操作と関連性のある別の操作に関する情報を登録したデータテーブルである。関連操作データテーブルＲＬＳ１を構成する１行のレコードは、例えば、グループ名ごとに設けられ、グループ名と、グループ名を含む１つ以上の機能の表示用画面の画面情報と、それぞれの画面情報に対応したメニュー階層情報とを含む。但し、レコードを構成する情報はこれらに限定されないことは言うまでもない。
【０１１０】
例えば、Ｎｏ．「１」のレコードはグループ名「Ｔｉｍｅ」に対応する。グループ名「Ｔｉｍｅ」を含む機能（具体的には、機能「Ｔｉｍｅ」と機能「Ｔｉｍｅ  Ｆｏｒｍａｔ」）の表示用画面の画面情報は、「Ｔｉｍｅ」と「Ｔｉｍｅ  Ｆｏｒｍａｔ」である。画面情報「Ｔｉｍｅ」に対応する機能「Ｔｉｍｅ」を実行するためにタッチパネルディスプレイ３５に表示されるべき順序を示すメニュー階層情報は、「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ  −  Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ  −Ｓｅｔ  Ｔｉｍｅ  ＆  Ｄａｔｅ  Ｔｉｍｅ」である。また、画面情報「Ｔｉｍｅ」に対応する機能「Ｔｉｍｅ  Ｆｏｒｍａｔ」を実行するためにタッチパネルディスプレイ３５に表示されるべき順序を示すメニュー階層情報は、「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ  −  Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ  −Ｔｉｍｅ  Ｆｏｒｍａｔ」である。
【０１１１】
また例えば、Ｎｏ．「２」のレコードはグループ名「Ｄａｔｅ」に対応する。グループ名「Ｄａｔｅ」を含む機能（具体的には、機能「Ｄａｔｅ」と機能「Ｄａｔｅ  Ｆｏｒｍａｔ」）の表示用画面の画面情報は、「Ｄａｔｅ」と「Ｄａｔｅ  Ｆｏｒｍａｔ」である。画面情報「Ｄａｔｅ」に対応する機能「Ｄａｔｅ」を実行するためにタッチパネルディスプレイ３５に表示されるべき順序を示すメニュー階層情報は、「Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ  −  Ｓｙｓｔｅｍ  Ｓｅｔｔｉｎｇｓ  −Ｓｅｔ  Ｔｉｍｅ  ＆  Ｄａｔｅ  Ｄａｔｅ」である。また、画面情報「Ｄａｔｅ  Ｆｏｒｍａｔ」に対応する機能「Ｄａｔｅ  Ｆｏｒｍａｔ」を実行するためにタッチパネルディスプレイ３５に表示されるべき順序を示すメニュー階層情報は、「Ｂａｓｉｃ  Ｓｅｔｔｉｎｇｓ  −  Ｄｉｓｐｌａｙ  Ｏｐｔｉｏｎ  −Ｄａｔｅ  Ｆｏｒｍａｔ」である。
【０１１２】
図１４は、実施の形態２に係るスマートフォン５０に表示されるガイダンス情報の一例を示す図である。図１４において、スマートフォン５０に表示されるガイダンス情報の一例は、後述するメニュー階層情報ＥＰ５である。図１４の紙面右側に示される拡大図ＥｘＣＰ３は、説明を分かり易くするために、スマートフォン５０に表示された合成画像ＳＰＭ３（後述参照）の拡大図を示す。
【０１１３】
図１４の説明の前提として、ユーザの操作により、実施の形態２に係る情報提示プログラムの一例としての操作アシスタントアプリが起動すると、スマートフォン５０は、撮像部５０９により、被写体（例えば、ユーザの電話機３０のタッチパネルディスプレイ３５に対する操作）の様子の動画を撮像する。
【０１１４】
図１４において、操作アシスタントアプリが起動した後、ユーザは、電話機３０のタッチパネルディスプレイ３５に対して各種の操作を行い、その操作中に、電話機３０のタッチパネルディスプレイ３５に表示された「Ｓｅｔ  Ｔｉｍｅ  ＆  Ｄａｔｅ」画面（図１２参照）より１つ下の階層に対応する「Ｅｎｔｅｒ  Ｔｉｍｅ」画面又は「Ｅｎｔｅｒ  ＤＤ−ＭＭ−ＹＹ」画面において、自己の意図に合わない操作（例えば、「Ｃａｎｃｅｌ」アイコンのタップ）を行ったとする。
【０１１５】
スマートフォン５０は、撮像部５０９により撮像された撮像データ（例えば、ユーザのタッチパネルディスプレイ３５に対する一連の操作内容を示す動画データ）に基づいて、ユーザの意図に合わない操作（例えば、「Ｃａｎｃｅｌ」アイコンのタップ）が行われたことを検出したとする。この場合、スマートフォン５０は、図１３に示す操作履歴データテーブルＨＳＴ１及び関連操作データテーブルＲＬＳ１に基づいて、「Ｃａｎｃｅｌ」アイコンのタップの操作の対象となった表示用画面（例えば、「Ｅｎｔｅｒ  Ｔｉｍｅ」画面又は「Ｅｎｔｅｒ  ＤＤ−ＭＭ−ＹＹ」画面）に対応する電話機３０の機能と関連する別の異なる機能の表示用画面を呼び出すためのヒントを示唆するメニュー階層情報ＥＰ５を取得する。スマートフォン５０は、この取得されたメニュー階層情報ＥＰ５を、例えば電話機３０のアイドル画面に重畳した合成画像ＳＰＭ３を生成して表示／操作部５０３に表示する。
【０１１６】
メニュー階層情報ＥＰ５は、ユーザにより「Ｃａｎｃｅｌ」アイコンがタップされた「Ｅｎｔｅｒ  Ｔｉｍｅ」画面又は「Ｅｎｔｅｒ  ＤＤ−ＭＭ−ＹＹ」画面に対応する電話機３０の機能と関連する別の異なる機能の表示用画面を呼び出すためのヒントを示唆する。具体的には、メニュー階層情報ＥＰ５は、「Ｅｎｔｅｒ  Ｔｉｍｅ」画面の画面情報を有するグループ名（例えば、グループ名「Ｔｉｍｅ」）に属する他の画面情報（例えば、「Ｔｉｍｅ  Ｆｏｒｍａｔ」画面の画面情報）に対応するメニュー階層情報と、「Ｅｎｔｅｒ  ＤＤ−ＭＭ−ＹＹ」画面の画面情報を有するグループ名（例えば、グループ名「Ｄａｔｅ」）に属する他の画面情報（例えば、「Ｄａｔｅ  Ｆｏｒｍａｔ」画面の画面情報）に対応するメニュー階層情報とを含む。
【０１１７】
図１５は、実施の形態２に係るスマートフォン５０における階層情報提示処理の動作手順、並びに電話機３０に対するユーザの操作の順序の一例を詳細に説明するフローチャートである。実施の形態２に係る情報提示プログラムは、コンピュータであるスマートフォン５０に、図１５に示す階層情報提示処理を実行させるためのプログラムである。言い換えると、スマートフォン５０の制御部５０６が情報提示プログラムを読み込んで実行する事で、制御部５０６によって階層情報提示処理が実行される。情報提示プログラムは、例えば記憶部５０４のＲＯＭ（図示略）に記憶される。
【０１１８】
図１５では、スマートフォン５０が実行する階層情報提示処理と、ユーザが電話機３０のタッチパネルディスプレイ３５に対して実行する操作（言い換えると、ユーザの操作に対する電話機３０の処理）との時系列的な順序が分かり易くなるように、並列して示されている。図１５の説明を分かり易くするために、ユーザの意図に合わない操作として、図１２を参照して説明したように、アイドル画面から複数階層下の日付（つまり、年月日）を設定するための操作を例示する。また、図１５の説明において、図９の説明と同一の処理については同一のステップ番号を付与して説明を簡略化又は省略し、異なる内容について説明する。
【０１１９】
図１５において、ユーザの操作により、上述した情報提示プログラムの一例としての操作アシスタントアプリが起動する（Ｓ１）。スマートフォン５０は、撮像部５０９により、被写体（例えば、ユーザの電話機３０のタッチパネルディスプレイ３５に対する操作）の様子の動画を撮像する（Ｓ２Ａ）。スマートフォン５０は、撮像部５０９により撮像された動画のデータ（撮像データの一例）に基づいて、撮像動画を解析する（Ｓ３Ａ）。
【０１２０】
つまり、ユーザの操作により、電話機３０は、タッチパネルディスプレイ３５にアイドル画面（図１７参照）を表示する（Ｔ１）。電話機３０は、ユーザの操作により、アイドル画面内での別の機能を表示するための「＞」アイコンがタップされると（Ｔ２）、該当する表示用画面（図７参照）をタッチパネルディスプレイ３５に表示する。電話機３０は、ユーザの操作により、ステップＴ２の操作により表示された表示用画面に対して「Ｓｙｓｔｅｍ  Ｓｅｔｉｎｇｓ」アイコンがタップされると（Ｔ３）、該当する表示用画面（図１２参照）をタッチパネルディスプレイ３５に表示する。電話機３０は、ユーザの操作により、ステップＴ３の操作により表示された表示用画面に対して「Ｓｙｓｔｅｍ  Ｓｅｔｉｎｇｓ」アイコンがタップされると（Ｔ４）、該当する表示用画面（図１２参照）をタッチパネルディスプレイ３５に表示する。電話機３０は、ユーザの操作により、ステップＴ４の操作により表示された表示用画面に対して「Ｓｅｔ  Ｔｉｍｅ  ＆  Ｄａｔｅ」アイコンがタップされると（Ｔ５）、該当する表示用画面（図１２参照）をタッチパネルディスプレイ３５に表示する。電話機３０は、ユーザの操作により、ステップＴ５の操作により表示された表示用画面に対して「Ｄａｔｅ」アイコンがタップされると（Ｔ６）、該当する表示用画面（図１２参照）をタッチパネルディスプレイ３５に表示する。ユーザは、ステップＴ６の後、自分が使用したいと考えていた機能の表示用画面がタッチパネルディスプレイ３５に表示されていない事に気付き、つまり、自己の意図に合わない操作をした事に気付き、ステップＴ６において表示された表示用画面（例えば、「Ｅｎｔｅｒ  ＤＤ−ＭＭ−ＹＹ」画面ＷＤ１３参照）の「Ｃａｎｃｅｌ」アイコンＩＣ１５をタップしたとする（Ｔ７）。これによって、ユーザの電話機３０のタッチパネルディスプレイ３５に対する一連の操作（つまり、ステップＴ１〜Ｔ７）は終了したとする。
【０１２１】
スマートフォン５０は、ステップＴ１〜Ｔ７までのユーザの一連の操作を撮像した動画のデータに基づいて、ユーザの操作が終了したかどうかを判定する（Ｓ４Ａ）。スマートフォン５０は、ユーザの操作が終了したかどうかを、例えば、動画中にユーザの操作がなくなった状態（例えば、ユーザの手がタッチパネルディスプレイ３５から離れた事が検出された状態）から一定時間以上経過したかどうかで判定可能である。
【０１２２】
スマートフォン５０は、ユーザの操作が終了していないと判定した場合には（Ｓ４、ＮＯ）、ユーザの操作が終了したと判定するまで、ステップＳ２Ａ，Ｓ３Ａのそれぞれの処理を繰り返す。一方、スマートフォン５０は、ユーザの操作が終了したと判定した場合には（Ｓ４Ａ、ＹＥＳ）、ステップＳ３Ａの解析により得られたユーザの一連の操作（Ｔ１〜Ｔ７参照）に基づく操作情報を操作履歴として生成して蓄積する（Ｓ１１）。
【０１２３】
スマートフォン５０は、ユーザの一連の操作の最終の操作が無効であったかどうか（言い換えると、ユーザの最終の操作がユーザの意図に合わない操作であったかどうか）を判定する（Ｓ１２）。スマートフォン５０は、ユーザの一連の操作の最終の操作が無効であったかどうかを、例えば「Ｃａｎｃｅｌ」アイコンがユーザの操作によりタップされたかどうかで判定可能である。ユーザの一連の操作の最終の操作が無効ではないと判定された場合には（Ｓ１２、ＮＯ）、スマートフォン５０の処理はステップＳ２Ａに戻る。
【０１２４】
一方、スマートフォン５０は、ユーザの一連の操作の最終の操作が無効であったと判定した場合には（Ｓ１２、ＹＥＳ）、記憶部５０４に記憶される関連操作データテーブルＲＬＳ１を参照し、ユーザの操作に該当する可能性のある機能に対応するメニュー階層情報を取得する（Ｓ１３）。スマートフォン５０は、ステップＳ１３において取得されたメニュー階層情報を、文章（テキストデータ）、画像（イラストデータ）又は動画の形式で表示／操作部５０３に表示するか、表示／操作部５０３の表示内容を更新する（Ｓ５Ａ）。
【０１２５】
ステップＳ５Ａの後、スマートフォン５０は、ユーザの操作又は所定の設定情報に従い、ステップＳ１において起動された操作アシスタントアプリが終了したかどうかを判断する（Ｓ７）。操作アシスタントアプリが終了した場合には（Ｓ７、ＹＥＳ）、図９に示す階層情報提示処理は終了する。一方、操作アシスタントアプリが終了していない場合には（Ｓ７、ＮＯ）、スマートフォン５０の処理はステップＳ２Ａに戻り、操作アシスタントアプリが終了するまでスマートフォン５０はステップＳ２Ａ，Ｓ３Ａ，Ｓ４Ａ，Ｓ１１，Ｓ１２，Ｓ１３，Ｓ５Ａ，Ｓ７の処理を必要に応じて繰り返して実行する。
【０１２６】
以上により、実施の形態２に係る情報提示システム１００では、情報提示プログラムの一例としての操作アシスタントアプリは、ユーザの被操作装置（例えば、電話機３０）を撮像可能な撮像部５０９を含むコンピュータであるスマートフォン５０に、ユーザの電話機３０の機能を使用するための操作中に撮像部５０９により撮像された撮像動画に基づいて、ユーザの操作情報を解析する。操作アシスタントアプリは、ユーザの操作情報の中からユーザの意図に合わない操作があった旨の操作情報が検出された場合に、ユーザの操作情報に基づいて、機能の使用に関する少なくとも１つのユーザへのガイダンス情報を、スマートフォン５０が備えメモリの一例としての記憶部５０４から取得する。操作アシスタントアプリは、少なくとも１つのユーザへのガイダンス情報をスマートフォン５０が備える表示／操作部５０３に表示する。
【０１２７】
これにより、スマートフォン５０にインストールされた操作アシスタントアプリは、ユーザが電話機３０の機能の使用時に自身の意図に合わない操作によって他の異なる機能に対応する表示用画面を表示させた際、ユーザが本来実行しようとしていた機能に対応する表示用画面の表示方法をユーザに示唆するためのガイダンス情報（例えば、メニュー階層情報ＥＰ５）を迅速に予測して提示できる。従って、スマートフォン５０にインストールされた操作アシスタントアプリは、ユーザの被操作製品の取り扱い時の利便性を向上できる。
【０１２８】
また、スマートフォン５０にインストールされた操作アシスタントアプリは、表示／操作部５０３に表示された電話機３０のメニュー画面（言い換えると、電話機３０の機能の実行時に表示される表示用画面）に対してユーザが実行した操作に関する情報を、ユーザの操作情報として解析する。これにより、スマートフォン５０にインストールされた操作アシスタントアプリは、ユーザが実行しようとしている電話機３０のメニュー画面（言い換えると、電話機３０の機能の実行時に表示される表示用画面）を表示させるための操作内容を解析でき、ユーザの操作内容を具体的かつ効率的に取得できる。
【０１２９】
また、スマートフォン５０にインストールされた操作アシスタントアプリは、ユーザの操作情報に含まれる機能の特徴的用語（例えば、機能の表示用画面の名称）と対応するガイダンス情報（例えば、メニュー階層情報）とが対応付けられた関連操作データテーブルＲＬＳ１を格納する記憶部５０４から、機能の使用に関する少なくとも１つのユーザへのガイダンス情報を取得する。これにより、スマートフォン５０にインストールされた操作アシスタントアプリは、ユーザに対し、ユーザが実行しようとしている機能に対応する表示用画面を、どのような順番でどのような操作を行えば良いかの示唆を具体的かつ直接的に表示／操作部５０３に提示できる。
【０１３０】
また、スマートフォン５０にインストールされた操作アシスタントアプリは、ガイダンス情報（例えば、メニュー階層情報）をテキストデータの形式で表示する。これにより、スマートフォン５０にインストールされた操作アシスタントアプリは、ユーザが気になる電話機３０の機能を実行する時の表示用画面への操作手順の内容を解説したテキストデータを表示／操作部５０３において表示でき、表示時の処理負荷を軽減できる。
【０１３１】
また、スマートフォン５０にインストールされた操作アシスタントアプリは、ガイダンス情報（例えば、メニュー階層情報）を画像データの形式で表示する。これにより、スマートフォン５０にインストールされた操作アシスタントアプリは、ユーザが気になる電話機３０の機能を実行する時の表示用画面への操作手順の内容を画像によって解説した内容を表示／操作部５０３において表示でき、ユーザの操作の効率性を向上できる。
【０１３２】
また、スマートフォン５０にインストールされた操作アシスタントアプリは、ガイダンス情報（例えば、メニュー階層情報）を動画データの形式で表示する。これにより、スマートフォン５０にインストールされた操作アシスタントアプリは、ユーザが気になる電話機３０の機能を実行する時の表示用画面への操作手順の内容を動画によって画像に比べてより分かり易く解説した内容を表示／操作部５０３において表示でき、ユーザの操作の効率性を向上できる。
【０１３３】
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得る事は明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【０１３４】
本開示は、ユーザが被操作製品の機能の使用時に誤操作によって他の異なる機能に対応する表示用画面を表示させた際、ユーザが本来実行しようとしていた機能に対応する表示用画面の表示方法をユーザに示唆するためのガイダンス情報を迅速に予測して提示し、ユーザの被操作製品の取り扱い時の利便性を向上する情報提示プログラム、情報提示方法及び情報提示システムとして有用である。
【符号の説明】
【０１３５】
１０  構内交換機
３０  電話機
３１  電源部
３２  通信インターフェース
３３  メモリ
３４  プロセッサ
３５  タッチパネルディスプレイ
３６  フッキング検出部
３７  ＬＥＤ
３８  操作部
５０  スマートフォン
１００  情報提示システム
５０１  携帯電話網通信インターフェース部
５０２  携帯電話網通信プロトコル制御部
５０３  表示／操作部
５０４  記憶部
５０６  制御部
５０７  無線ＬＡＮ制御部
５０８  無線ＬＡＮ通信インターフェース部
５０９  撮像部
５１１  ＵＳＢ通信インターフェース部
５１２、ＭＣ１  マイク
５１３、ＳＰ１  スピーカ
５１５  音声バス
５５０  二次電池
ＨＳ  ハンドセット
ＮＷ  ネットワーク
【図１】
2019128739.tif 000003
【図２】
2019128739.tif 000004
【図３】
2019128739.tif 000005
【図４】
2019128739.tif 000006
【図５】
2019128739.tif 000007
【図６】
2019128739.tif 000008
【図７】
2019128739.tif 000009
【図８】
2019128739.tif 000010
【図９】
2019128739.tif 000011
【図１０】
2019128739.tif 000012
【図１１】
2019128739.tif 000013
【図１２】
2019128739.tif 000014
【図１３】
2019128739.tif 000015
【図１４】
2019128739.tif 000016
【図１５】
2019128739.tif 000017