(57)【要約】【課題】撮影画像から対象物が認識された場合に当該対象物に関する情報に基づく画像を表示する場合において、撮影画像から当該対象物が認識されない場合であっても、ユーザが、当該対象物に関する情報を確認できるようにする。【解決手段】認識部２６は、撮影部２２が撮影している撮影画像に対象物が表されていることを認識する。認識部２６が対象物を認識する場合、制御部３０は、対象物に関する対象物情報に基づく画像が撮影画像に付加された第１画像を表示部に表示させる。認識部２６が対象物を認識しない場合、制御部３０は、第１画像とは異なる第２画像であって対象物情報に基づく画像を含む第２画像を表示部に表示させる。【選択図】図２
2020155816.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段と、
前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、
前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段と、
を有する情報処理装置。
【請求項２】
前記制御手段は、前記認識手段が前記対象物を認識する場合、前記第１画像を前記表示手段に表示させ、前記認識手段が前記対象物を認識した後、前記認識手段が前記対象物を認識しなくなった場合、前記第２画像を前記表示手段に表示させる、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第２画像は、前記撮影手段が撮影している前記撮影画像とは異なる画像であって前記対象物を表す画像に、前記対象物情報に基づく画像が付加された画像である、
ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
【請求項４】
前記第１画像を記憶する記憶手段を更に有し、
前記第２画像は、前記記憶手段に記憶されている前記第１画像である、
ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
【請求項５】
前記制御手段は、前記第１画像が前記表示手段に表示された時点から予め定められた時間が経過するまでは前記第２画像を前記表示手段に表示させない、
ことを特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置。
【請求項６】
前記認識手段が前記対象物を認識した後、前記認識手段が前記対象物を認識しない状態が予め定められた時間以上続いた場合、前記制御手段は、前記第２画像を前記表示手段に表示させる、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項７】
前記認識手段が前記対象物を認識しない状態で当該情報処理装置が静止している場合、前記制御手段は、前記第２画像を前記表示手段に表示させる、
ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置。
【請求項８】
前記制御手段は、当該情報処理装置が動いた場合、前記撮影画像を前記表示手段に表示させる、
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記制御手段は、前記第２画像を前記撮影画像と共に前記表示手段に表示させる、
ことを特徴とする請求項１から請求項８のいずれか一項に記載の情報処理装置。
【請求項１０】
前記制御手段は、更に、前記撮影画像の表示と前記第２画像の表示とを切り替えるための画像を前記表示手段に表示させる、
ことを特徴とする請求項１から請求項８のいずれか一項に記載の情報処理装置。
【請求項１１】
前記制御手段は、更に、前記第２画像が前記表示手段に表示されている場合に、前記第２画像を前記第１画像に切り替えることをユーザに促すための情報を前記表示手段に表示させる、
ことを特徴とする請求項１から請求項８のいずれか一項に記載の情報処理装置。
【請求項１２】
情報処理装置と外部装置とを含み、
前記情報処理装置は、
撮影手段と、
画像を表示手段に表示させる制御手段と、
を有し、
前記外部装置は、
前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、
前記対象物に関する対象物情報に基づく画像を前記撮影画像に付加することで第１画像を生成し、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を生成する生成手段と、
を有し、
前記制御手段は、前記認識手段が前記対象物を認識する場合、前記第１画像を前記表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第２画像を前記表示手段に表示させる、
情報処理システム。
【請求項１３】
コンピュータを、
撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段、
前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム及びプログラムに関する。
【背景技術】
【０００２】
機器等の対象物が撮影され、撮影画像から当該対象物が認識された場合に、撮影画像が表示されると共に、当該対象物に関する情報に基づく画像が撮影画像に付加されて表示されることがある。例えば、ＡＲ（Augmented Reality）技術を用いることで、そのような表示が行われる場合がある。
【０００３】
特許文献１には、画像形成装置の撮影画像に基づいて撮影箇所を判断し、通知すべき事象が生じている指定箇所が当該撮影箇所に含まれている場合、当該指定箇所に対応する第１の表示情報を携帯端末に送信し、当該指定箇所が当該撮影箇所に含まれていない場合、当該指定箇所への案内情報を当該携帯端末に送信する情報処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１５６８７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、撮影画像から対象物が認識された場合に、当該対象物に関する情報に基づく画像を撮影画像に付加して表示する技術においては、撮影画像から当該対象物が認識されない場合、当該対象物に関する情報に基づく画像は表示されず、ユーザは、当該対象物に関する情報を確認することができない。
【０００６】
本発明の目的は、撮影画像から対象物が認識された場合に当該対象物に関する情報に基づく画像を表示する場合において、撮影画像から当該対象物が認識されない場合であっても、ユーザが、当該対象物に関する情報を確認できるようにすることにある。
【課題を解決するための手段】
【０００７】
請求項１に係る発明は、撮影手段と、前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段と、を有する情報処理装置である。
【０００８】
請求項２に係る発明は、前記制御手段は、前記認識手段が前記対象物を認識する場合、前記第１画像を前記表示手段に表示させ、前記認識手段が前記対象物を認識した後、前記認識手段が前記対象物を認識しなくなった場合、前記第２画像を前記表示手段に表示させる、ことを特徴とする請求項１に記載の情報処理装置である。
【０００９】
請求項３に係る発明は、前記第２画像は、前記撮影手段が撮影している前記撮影画像とは異なる画像であって前記対象物を表す画像に、前記対象物情報に基づく画像が付加された画像である、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。
【００１０】
請求項４に係る発明は、前記第１画像を記憶する記憶手段を更に有し、前記第２画像は、前記記憶手段に記憶されている前記第１画像である、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。
【００１１】
請求項５に係る発明は、前記制御手段は、前記第１画像が前記表示手段に表示された時点から予め定められた時間が経過するまでは前記第２画像を前記表示手段に表示させない、ことを特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置である。
【００１２】
請求項６に係る発明は、前記認識手段が前記対象物を認識した後、前記認識手段が前記対象物を認識しない状態が予め定められた時間以上続いた場合、前記制御手段は、前記第２画像を前記表示手段に表示させる、ことを特徴とする請求項２に記載の情報処理装置である。
【００１３】
請求項７に係る発明は、前記認識手段が前記対象物を認識しない状態で当該情報処理装置が静止している場合、前記制御手段は、前記第２画像を前記表示手段に表示させる、ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置である。
【００１４】
請求項８に係る発明は、前記制御手段は、当該情報処理装置が動いた場合、前記撮影画像を前記表示手段に表示させる、ことを特徴とする請求項７に記載の情報処理装置である。
【００１５】
請求項９に係る発明は、前記制御手段は、前記第２画像を前記撮影画像と共に前記表示手段に表示させる、ことを特徴とする請求項１から請求項８のいずれか一項に記載の情報処理装置である。
【００１６】
請求項１０に係る発明は、前記制御手段は、更に、前記撮影画像の表示と前記第２画像の表示とを切り替えるための画像を前記表示手段に表示させる、ことを特徴とする請求項１から請求項８のいずれか一項に記載の情報処理装置である。
【００１７】
請求項１１に係る発明は、前記制御手段は、更に、前記第２画像が前記表示手段に表示されている場合に、前記第２画像を前記第１画像に切り替えることをユーザに促すための情報を前記表示手段に表示させる、ことを特徴とする請求項１から請求項８のいずれか一項に記載の情報処理装置である。
【００１８】
請求項１２に係る発明は、情報処理装置と外部装置とを含み、前記情報処理装置は、撮影手段と、画像を表示手段に表示させる制御手段と、を有し、前記外部装置は、前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、前記対象物に関する対象物情報に基づく画像を前記撮影画像に付加することで第１画像を生成し、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を生成する生成手段と、を有し、前記制御手段は、前記認識手段が前記対象物を認識する場合、前記第１画像を前記表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第２画像を前記表示手段に表示させる、情報処理システムである。
【００１９】
請求項１３に係る発明は、コンピュータを、撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段、前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段、として機能させるプログラムである。
【発明の効果】
【００２０】
請求項１，１２，１３に係る発明によれば、撮影画像から対象物が認識された場合に当該対象物に関する情報に基づく画像を表示する場合において、撮影画像から当該対象物が認識されない場合であっても、ユーザが、当該対象物に関する情報を確認することができる。
【００２１】
請求項２に係る発明によれば、撮影画像から対象物が認識された場合に当該対象物に関する情報に基づく画像を表示する場合において、撮影画像から当該対象物が認識されなくなった場合であっても、ユーザが、引き続き、当該対象物に関する情報を確認することができる。
【００２２】
請求項３に係る発明によれば、撮影画像から対象物が認識されない場合であっても、ユーザは、撮影画像とは異なる画像によって、当該対象物に関する情報を確認することができる。
【００２３】
請求項４に係る発明によれば、撮影画像から対象物が認識されない場合であっても、ユーザは、記憶手段に記憶されている第１画像によって、当該対象物に関する情報を確認することができる。
【００２４】
請求項５，６に係る発明によれば、撮影画像から対象物が一時的に認識されなくなった場合は、第２画像は表示されない。
【００２５】
請求項７に係る発明によれば、情報処理装置が静止している状況に適した画像を表示することができる。
【００２６】
請求項８に係る発明によれば、情報処理装置が動いた状況に適した画像を表示することができる。
【００２７】
請求項９に係る発明によれば、ユーザは、対象物に関する情報を確認しつつ撮影画像を確認することができる。
【００２８】
請求項１０に係る発明によれば、ユーザの希望する画像を表示することができる。
【００２９】
請求項１１に係る発明によれば、対象物が認識されるように当該対象物を撮影することを、ユーザに促すことができる。
【図面の簡単な説明】
【００３０】
【図１】本実施形態に係る情報処理システムの構成を示すブロック図である。
【図２】本実施形態に係る端末装置の構成を示すブロック図である。
【図３】端末装置と画像形成装置とを模式的に示す図である。
【図４】第１画像データの構造を示す図である。
【図５】撮影画像の表示例を示す図である。
【図６】第１画像の表示例を示す図である。
【図７】撮影画像の表示例を示す図である。
【図８】第２画像データの構造を示す図である。
【図９】第２画像の表示例を示す図である。
【図１０】端末装置による処理を示すフローチャートを示す図である。
【図１１】変形例１に係る処理を示すフローチャートを示す図である。
【図１２】第１画像又は第２画像の表示条件を示す図である。
【図１３】第２画像と撮影画像との表示例を示す図である。
【図１４】撮影画像の表示例を示す図である。
【図１５】第２画像の表示例を示す図である。
【図１６】撮影画像の表示例を示す図である。
【図１７】第１推奨情報の表示例を示す図である。
【図１８】第２推奨情報の表示例を示す図である。
【図１９】変形例６に係る処理を示すフローチャートを示す図である。
【図２０】変形例７に係る情報処理システムの構成を示すブロック図である。
【図２１】変形例７に係るサーバの構成を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、図１を参照して、本発明の実施形態に係る情報処理システムについて説明する。図１には、本実施形態に係る情報処理システムの構成の一例が示されている。
【００３２】
本実施形態に係る情報処理システムは、情報処理装置の一例である端末装置１０を含む。端末装置１０は、例えば、パーソナルコンピュータ（以下、「ＰＣ」と称する）、タブレットＰＣ、スマートフォン又は携帯電話等の装置である。一例として、端末装置１０は、タブレットＰＣやスマートフォンや携帯電話等の携帯型端末装置である。
【００３３】
対象物１２は、情報の取得の対象となる物体である。後述するように、対象物１２は、端末装置１０によって撮影される。対象物１２は、端末装置１０によって撮影され得る物体であればよい。例えば、対象物１２は、物理的に空間の一部を占める有体物である。具体的には、対象物１２は、機器、家具、自動車又は建造物等である。もちろん、これら以外の物体が対象物１２であってもよい。機器は、例えば、電子機器、情報機器、映像機器、音響機器又は家電機器等と称されている物体である。例えば、情報を処理する機器や、通信機能を有する機器等が、対象物１２の一例に相当する。また、対象物１２は、端末装置１０と通信して情報を送受信することが可能な機器であってもよい。家具は、例えば、椅子やテーブルやソファ等である。建造物は、例えば、家屋や店舗等である。また、対象物１２は、表示装置に表示された画像や、用紙等に記載された文字や図形や、空間上に描写された３次元画像等であってもよい。
【００３４】
図１に示す例では、端末装置１０と対象物１２は、通信経路Ｎに接続されて、他の装置と通信することができる。もちろん、端末装置１０と対象物１２は、通信経路Ｎに接続されていなくてもよい。なお、複数の対象物１２が通信経路Ｎに接続されてもよい。通信経路Ｎは、例えば、ＬＡＮ（Local Area Network）等のネットワークやインターネット等である。通信経路Ｎは、有線通信によって構築されてもよいし、Ｗｉ−Ｆｉ（登録商標）等の無線通信によって構築されてもよい。また、端末装置１０と対象物１２は、通信経路Ｎを介さずに、近距離無線通信等によって他の装置と直接的に通信してもよい。近距離無線通信として、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＲＦＩＤやＮＦＣ等が用いられる。
【００３５】
情報管理データベース１４は、各対象物１２の対象物情報を管理する装置である。端末装置１０は、通信経路Ｎを介して、又は、近距離無線通信等によって、情報管理データベース１４から対象物情報を取得してもよい。情報管理データベース１４が対象物１２に設けられて、端末装置１０は、対象物１２から対象物情報を取得してもよい。また、情報管理データベース１４は用いられなくてもよい。この場合、端末装置１０は、情報管理データベース１４以外のサーバ等の外部装置から対象物情報を取得してもよい。また、対象物情報の全部又は一部が、端末装置１０に記憶されていてもよい。
【００３６】
対象物情報は、対象物１２に関する情報である。対象物情報は、対象物１２の状態に応じて変化する情報であってもよいし、対象物１２の状態に応じて変化しない情報であってもよい。
【００３７】
対象物１２の状態は、例えば、対象物１２の外観の状態であってもよいし、対象物１２の内部の状態（つまり外側からは見えない状態）であってもよいし、外観と内部の両方の状態であってもよい。対象物１２の状態に応じて変化する情報は、外観や内部の状態に応じて変化する情報である。例えば、対象物１２としての機器の外観の状態は、当該機器に設けられているカバーの開閉である。カバーの開閉に応じて対象物情報が変化する。当該機器の内部の状態は、当該機器にて発生しているエラーの有無である。エラーの有無に応じて対象物情報が変化する。対象物１２の状態の変化は、対象物１２を撮影しているユーザの操作によってもたらされてもよい。例えば、上記のカバーがユーザによって開閉されてもよい。
【００３８】
対象物１２の状態に応じて変化しない情報は、例えば、対象物１２に対応付けられている固有の情報等である。例えば、対象物１２を識別するための識別情報や、対象物１２が設置されている場所を示す設置場所情報等が、固有の情報の一例に相当する。識別情報は、例えば、対象物１２の名称やＩＤやＩＰアドレスやＭＡＣアドレス等である。設置場所情報は、対象物１２が設置されているフロアを示す情報や、そのフロア内において対象物１２が設置されている位置を示す情報や、対象物１２が設置されている住所を示す情報や、ＧＰＳ（Global Positioning System）によって得られた座標情報等である。
【００３９】
対象物情報は、例えば、上記の識別情報、上記の設置場所情報、対象物１２の種類を示す種類情報、対象物１２の状態を示す状態情報、及び、対象物１２の構成を示す構成情報等を含む。設置場所情報、種類情報、状態情報及び構成情報の中の一部の情報が、対象物情報に含まれてもよい。また、対象物１２によっては、対象物１２によって提供されているサービスの内容を示す情報や、対象物１２の価格を示す情報等が、対象物情報に含まれてもよい。
【００４０】
以下、図２を参照して、端末装置１０の構成について詳しく説明する。図２には、端末装置１０の構成の一例が示されている。
【００４１】
通信部１６は通信インターフェースであり、他の装置に情報を送信する機能、及び、他の装置から情報を受信する機能を有する。通信部１６は、無線通信機能を有していてもよいし、有線通信機能を有していてもよい。
【００４２】
ＵＩ部１８はユーザインターフェース部であり、表示部と操作部とを含む。表示部は、液晶ディスプレイ等の表示装置である。操作部は、キーボードやマウス等の入力装置である。ＵＩ部１８は、表示部と操作部とを兼ね備えたタッチパネル等であってもよい。また、ＵＩ部１８は、スピーカ等の音声出力部を含んでいてもよい。
【００４３】
記憶部２０は、情報を記憶する１又は複数の記憶領域である。各記憶領域は、例えば、端末装置１０に設けられている１又は複数の記憶装置（例えばハードディスクドライブやメモリ等の物理ドライブ）によって構成されている。
【００４４】
撮影部２２は、カメラ等の撮影装置であり、撮影することで撮影画像データを生成するように構成されている。撮影画像データは、静止画像データであってもよいし、動画像データあってもよい。
【００４５】
特定部２４は、対象物情報の取得の対象である対象物１２を特定するように構成されている。特定部２４は、後述する認識部２６によって認識された対象物１２を、対象物情報の取得の対象である対象物１２として特定してもよいし、ユーザによって指定された対象物１２を、対象物情報の取得の対象である対象物１２として特定してもよい。例えば、ＵＩ部１８の表示部に対象物１２の識別情報の一覧が表示され、その一覧の中から、対象物情報の取得の対象である対象物１２がユーザによって指定されてもよい。また、ユーザがＵＩ部１８を用いて対象物１２の識別情報を入力した場合、特定部２４は、当該識別情報を有する対象物１２を、対象物情報の取得の対象である対象物１２として特定してもよい。特定部２４は、対象物情報の取得の対象である対象物１２の識別情報を、後述する取得部２８に出力する。例えば、認識部２６によって対象物１２が認識された場合、当該対象物１２の識別情報が取得され、特定部２４は、当該識別情報を取得部２８に出力する。また、ユーザが対象物１２を指定した場合、特定部２４は、ユーザによって指定された対象物１２の識別情報を取得部２８に出力する。ユーザが識別情報を入力した場合、特定部２４はユーザによって入力された識別情報を取得部２８に出力する。
【００４６】
認識部２６は、撮影部２２による撮影によって生成された撮影画像データに表されている対象物１２を認識するように構成されている。認識部２６は、撮影部２２が現に撮影している撮影画像データを用いて対象物１２を認識する。対象物１２の認識に用いられる撮影画像データは、例えば動画像データである。認識部２６は、対象物１２を認識することで、当該対象物１２の識別情報を取得する。
【００４７】
認識部２６は、例えば公知の画像認識技術を用いることで対象物１２を認識する。画像認識技術として、例えば、マーカレス型認識技術やマーカ型認識技術が用いられる。
【００４８】
マーカレス型認識技術は、例えば、画像データ同士のマッチングによって、対象物１２を認識する技術である。例えば、対象物１２の全体、一部又は特徴部分を表す画像データが、当該対象物１２の識別情報に対応付けられて、端末装置１０やサーバ等の外部装置等に記憶されている。認識部２６は、撮影部２２が現に撮影している撮影画像データと、端末装置１０や外部装置等に記憶されている画像データとの間でマッチングを行うことで、当該撮影画像データに表されている対象物１２を認識し、当該画像データに対応付けられている識別情報を取得する。認識部２６は、撮影画像データから抽出された特徴を用いてマッチングを行ってもよい。
【００４９】
マーカ型認識技術は、対象物１２に予め設けられたマーカを用いて対象物１２を認識する技術である。マーカは、対象物１２の識別情報を読み取ることが可能な部材である。マーカは、例えば、識別情報がコード化された情報（例えばバーコードや２次元コード等）を表す部材であってもよいし、コード化されていない識別情報を表す部材であってもよい。マーカが撮影部２２によって撮影されると、認識部２６は、マーカを表す画像データから識別情報を取得して対象物１２を認識する。例えば２次元コードが撮影部２２によって撮影された場合、認識部２６は、当該２次元コードをデコードすることで識別情報を取得して対象物１２を認識する。
【００５０】
取得部２８は、特定部２４によって特定された対象物１２の対象物情報を取得するように構成されている。より詳しく説明すると、取得部２８は、特定部２４から取得部２８に出力された識別情報を含む対象物情報を取得する。取得部２８は、対象物情報を情報管理データベース１４から取得してもよいし、対象物１２から取得してもよいし、サーバ等の外部装置から取得してもよい。対象物情報の全部又は一部が記憶部２０に記憶されている場合、取得部２８は、記憶部２０から対象物情報の全部又は一部を取得してもよい。取得部２８は、撮影画像データに基づいて対象物１２の外観の変化を認識し、その変化を示す状態情報を撮影画像データから取得してもよい。例えば、対象物１２が通信機能を有していない場合、取得部２８は、撮影画像データから状態情報を取得してもよい。
【００５１】
制御部３０は、端末装置１０の各部の動作を制御するように構成されている。例えば、制御部３０は、各種の情報をＵＩ部１８の表示部に表示させる。
【００５２】
例えば、制御部３０は、撮影部２２が現に撮影している撮影画像データに基づく撮影画像を、ＵＩ部１８の表示部に表示させる。撮影部２２が、動画像データである撮影画像データを撮影している場合、制御部３０は、撮影によって動画像データが生成され次第、当該動画像データに基づく動画像をＵＩ部１８の表示部に表示させる。
【００５３】
制御部３０は、拡張現実（ＡＲ）技術によって、各種の情報をＵＩ部１８の表示部に表示させてもよい。
【００５４】
例えば、制御部３０は、認識部２６が対象物１２を認識する場合、第１画像データに基づく第１画像をＵＩ部１８の表示部に表示させ、認識部２６が対象物１２を認識しない場合、第２画像データに基づく第２画像をＵＩ部１８の表示部に表示させる。
【００５５】
第１画像データは、取得部２８によって取得された対象物情報に基づく画像データが、撮影部２２が現に撮影している撮影画像データに付加された画像データである。
【００５６】
第２画像データは、第１画像データとは異なる画像データであって、当該対象物情報に基づく画像データを含む画像データである。第２画像データは、例えば、撮影部２２が現に撮影している撮影画像データとは異なる画像データであって対象物１２を表す画像データに、対象物情報に基づく画像データが付加された画像データである。
【００５７】
以下、対象物情報に基づく画像データを、「付加画像データ」と称することとする。また、撮影部２２が現に撮影している撮影画像データとは異なる画像データであって対象物１２を表す画像データを、「代替画像データ」と称することとする。
【００５８】
代替画像データは、例えば、対象物１２を模式的に表す画像データであってもよいし、対象物１２の固有の構成が反映された画像データであってもよいし、対象物１２の固有の構成が反映されていない汎用の画像データであってもよい。また、代替画像データは、２次元画像データであってもよいし、３次元画像データであってもよい。代替画像データは、例えば、対象物１２毎に予め生成され、対象物１２の識別情報に対応付けられて、記憶部２０、情報管理データベース１４又は外部装置に記憶されている。また、代替画像データは、対象物１２の種類毎に予め生成され、対象物１２の種類情報に対応付けられて、記憶部２０、情報管理データベース１４又は外部装置に記憶されてもよい。また、撮影画像データが対象物１２の識別情報に対応付けられて記憶されている場合には、当該対象物１２の代替画像データは、記憶部２０に記憶されている当該撮影画像データであってもよい。また、第１画像データが記憶部２０に記憶されている場合、第２画像データは、記憶部２０に記憶されている第１画像データであってもよい。
【００５９】
認識部２６が対象物１２を認識した後、認識部２６が当該対象物１２を認識しなくなった場合、制御部３０は、当該対象物１２についての第２画像データに基づく第２画像をＵＩ部１８の表示部に表示させてもよい。
【００６０】
付加画像データは、例えば、対象物情報に含まれる全部又は一部の情報を表す画像データや、対象物情報が加工されることで生成された画像データ等である。例えば、制御部３０が、対象物情報に基づいて付加画像データを生成する。
【００６１】
付加画像データは、対象物情報に含まれる識別情報を表す画像データであってもよいし、対象物情報に含まれる状態情報を表す画像データであってもよいし、対象物情報に含まれる構成情報を表す画像データであってもよい。具体的には、機器である対象物１２にて発生したエラーを示すメッセージを表す画像データや、そのエラーを解消するための方法を表す画像データや、対象物１２の名称を表す画像データや、対象物１２の値段を表す画像データ等が、付加画像データの一例に相当する。もちろん、付加画像データは、これら以外の情報であって対象物情報に含まれる情報を表す画像データであってもよい。
【００６２】
画像の付加は、例えば画像の重畳である。第１画像データに基づく第１画像は、例えば、撮影部２２が現に撮影している撮影画像データに基づく撮影画像上に、付加画像データに基づく付加画像が重畳された画像であってもよい。認識部２６が対象物１２を認識する場合、制御部３０は、撮影部２２が現に撮影している撮影画像データに基づく撮影画像をＵＩ部１８の表示部に表示させ、付加画像を当該撮影画像上に重畳してＵＩ部１８の表示部に表示させる。
【００６３】
第２画像データに基づく第２画像は、例えば、代替画像データに基づく代替画像上に付付加画像が重畳された画像であってもよい。認識部２６が対象物１２を認識しない場合、制御部３０は、代替画像データに基づく代替画像をＵＩ部１８の表示部に表示させ、当該代替画像上に付加画像を重畳してＵＩ部１８の表示部に表示させる。
【００６４】
もちろん、画像の重畳は、画像の付加の一例に過ぎない。例えば、撮影画像上に付加画像が重畳されずに、撮影画像に並んで付加画像が表示されてもよい。同様に、代替画像上に付加画像が重畳されずに、代替画像に並んで付加画像が表示されてもよい。
【００６５】
以下、端末装置１０による処理について更に詳しく説明する。図３には、端末装置１０と、対象物１２の一例である画像形成装置１２Ａとが模式的に示されている。画像形成装置１２Ａは、機器の一例であり、プリント機能、スキャン機能、コピー機能及びファクシミリ機能の中の少なくとも１つの画像形成機能を有する装置である。
【００６６】
図４には、第１画像データの構造の一例が示されている。第１画像データ３２は、例えば、撮影画像データ３４と、対象物情報に基づいて生成された付加画像データ３６とを含む。撮影画像データ３４は、撮影部２２が現に撮影している画像データである。対象物情報は、取得部２８によって取得された情報である。
【００６７】
ユーザが、端末装置１０の撮影部２２によって画像形成装置１２Ａを撮影すると、画像形成装置１２Ａと、画像形成装置１２Ａの周囲の光景（例えば背景等）とを表す撮影画像データ３４が生成される。撮影画像データ３４には、画像形成装置１２Ａを表す対象物画像３８が表されている。なお、周囲の光景を表す画像の図示は省略されている。
【００６８】
図４に示す例では、付加画像データ３６は、画像形成装置１２Ａの状態を示す文字列と、画像形成装置１２Ａを指し示す矢印とを表す画像データである。例えば、画像形成装置１２Ａにて用紙詰まりのエラーが発生しており、対象物情報には、そのエラーの発生を示す状態情報が含まれている。矢印は、エラーの発生箇所を指し示してもよい。また、エラーをリカバリーする方法をユーザに伝えるためのアニメーションや文字列が、付加画像データ３６に含まれてもよい。制御部３０は、対象物情報に基づいて付加画像データ３６を生成する。対象物情報に、付加画像データ３６が含まれていてもよい。この場合、制御部３０は、付加画像データ３６を生成せずに、対象物情報に含まれている付加画像データ３６を用いることで、第１画像データに基づく第１画像をＵＩ部１８の表示部に表示させる。
【００６９】
図５には、撮影画像の表示例が示されている。制御部３０は、撮影画像データ３４に基づく撮影画像をＵＩ部１８の表示部に表示させる。表示部の画面４０には、その撮影画像が表示される。撮影画像は、例えば、撮影部２２が現に撮影している動画像である。撮影部２２の画角に、つまり、撮影部２２によって撮影される範囲に、画像形成装置１２Ａが含まれているため、撮影画像には、画像形成装置１２Ａを表す対象物画像３８が表されている。この場面では、取得部２８によって対象物情報が取得されていないため、付加画像データ３６に基づく付加画像は表示されていない。
【００７０】
取得部２８が、画像形成装置１２Ａの対象物情報を取得し、認識部２６が、画像形成装置１２Ａを認識している場合、制御部３０は、第１画像データ３２に基づく第１画像をＵＩ部１８の表示部に表示させる。
【００７１】
例えば、認識部２６は、撮影部２２が現に撮影している撮影画像データに基づいて、画像形成装置１２Ａを認識し、画像形成装置１２Ａの識別情報を取得する。特定部２４は、認識部２６によって認識された画像形成装置１２Ａを、対象物情報の取得の対象としての対象物１２として特定し、画像形成装置１２Ａの識別情報を取得部２８に出力する。取得部２８は、当該識別情報に対応付けられている対象物情報を、情報管理データベース１４、画像形成装置１２Ａ、外部装置、又は、記憶部２０から取得する。制御部３０は、取得部２８によって取得された対象物情報に基づいて付加画像データを生成する。そして、制御部３０は、撮影画像データに付加画像データが付加された第１画像データに基づく第１画像をＵＩ部１８の表示部に表示させる。なお、ユーザが、画像形成装置１２Ａの識別情報を入力することで、画像形成装置１２Ａが、対象物情報の取得の対象としての対象物１２として特定されてもよい。
【００７２】
図６には、第１画像の表示例が示されている。画面４０には、対象物画像３８を含む撮影画像と、付加画像データ３６に基づく付加画像４２とが表示されている。付加画像４２は、撮影画像に付加されて表示されている。例えば、付加画像４２は、撮影画像に重畳されて表示されている。付加画像４２は、対象物画像３８に重ならないように、対象物画像３８の周囲に表示されてもよいし、対象物画像３８に重なって表示されてもよい。例えば、ＡＲ技術によって、撮影画像と付加画像とを含む第１画像が表示される。
【００７３】
例えば、認識部２６が画像形成装置１２Ａを認識し得る程度に、画像形成装置１２Ａが撮影部２２の画角に含まれて、撮影画像データ３４に画像形成装置１２Ａが表されている場合、認識部２６によって画像形成装置１２Ａが認識される。そして、第１画像が表示される。
【００７４】
認識部２６が画像形成装置１２Ａを認識し得る程度に、画像形成装置１２Ａが撮影部２２の画角に含まれていない場合、認識部２６は画像形成装置１２Ａを認識しない。例えば、画像形成装置１２Ａの一部のみが撮影部２２の画角に含まれており、図７に示すように、画面４０に表示されている撮影画像には、その一部の画像４４のみが含まれている。この一部の画像４４のみからでは認識部２６が画像形成装置１２Ａを認識しない場合、制御部３０は、第２画像データに基づく第２画像をＵＩ部１８の表示部に表示させる。
【００７５】
例えば、図６に示すように認識部２６が画像形成装置１２Ａを認識した後、図７に示すように認識部２６が画像形成装置１２Ａを認識しなくなった場合、制御部３０は、第１画像に代えて第２画像をＵＩ部１８の表示部に表示させる。
【００７６】
制御部３０は、画像形成装置１２Ａの識別情報に対応付けられている代替画像データを、記憶部２０、情報管理データベース１４又は外部装置から取得する。別の例として、制御部３０は、画像形成装置１２Ａの種類情報に対応付けられている代替画像データを取得してもよい。次に、制御部３０は、当該代替画像データに付加画像データを付加することで第２画像データを生成し、当該第２画像データに基づく第２画像をＵＩ部１８の表示部に表示させる。
【００７７】
図８には、第２画像データの構造の一例が示されている。第２画像データ４６は、例えば、代替画像データ４８と付加画像データ３６とを含む。代替画像データ４８は、例えば、画像形成装置１２Ａを模式的に表す２次元画像データ又は３次元画像データであってもよいし、過去に画像形成装置１２Ａを撮影することで生成された画像データであってもよいし、汎用の画像データであってもよいし、単純な図形（例えば矩形や円や楕円等）のデータであってもよい。例えば、図４に示されている対象物画像３８のデータが記憶部２０に記憶されている場合、代替画像データ４８は、その対象物画像３８のデータであってもよい。
【００７８】
図９には、第２画像の表示例が示されている。画面４０には、代替画像データ４８に基づく代替画像５０と、付加画像データ３６に基づく付加画像４２とが表示されている。付加画像４２は、代替画像５０に付加されて表示されている。例えば、付加画像４２は、代替画像５０に重ならないように、代替画像５０の周囲に表示されてもよいし、代替画像５０に重なって表示されてもよい。
【００７９】
なお、第１画像又は第２画像が表示されているときに、対象物情報が示す状態（例えばエラー）が解消された場合、制御部３０は、付加画像４２を非表示にしてもよい。
【００８０】
以下、図１０を参照して、端末装置１０による処理の流れについて説明する。図１０には、端末装置１０による処理を示すフローチャートが示されている。
【００８１】
まず、取得部２８は、画像形成装置１２Ａの対象物情報を取得する（Ｓ０１）。例えば、ユーザがＵＩ部１８を用いて、対象物情報の取得対象の対象物１２として画像形成装置１２Ａを指定した場合、特定部２４は、画像形成装置１２Ａを対象物情報の取得対象の対象物１２として特定する。また、特定部２４は、認識部２６によって認識された画像形成装置１２Ａを、対象物情報の取得対象の対象物１２として特定してもよい。取得部２８は、このようにして特定された画像形成装置１２Ａの対象物情報を取得する。
【００８２】
例えば、情報管理データベース１４が、ＭＩＢ（Management Information Base）として画像形成装置１２Ａに設けられており、取得部２８は、画像形成装置１２Ａに設けられている情報管理データベース１４から対象物情報を取得する。具体的には、通信部１６は、通信経路Ｎを介して画像形成装置１２Ａと通信する。その通信に用いられる、画像形成装置１２Ａのアドレス情報（例えばＩＰアドレス等）は、ユーザによって入力されてもよいし、近距離無線通信によって画像形成装置１２Ａから取得されてもよいし、記憶部２０に予め記憶されていてもよい。取得部２８は、通信部１６によって確立された通信によって、対象物情報を情報管理データベース１４から取得する。例えば、その通信においては、ＳＮＭＰ（Simple Network Management Protocol）等が用いられる。画像形成装置１２Ａの対象物情報には、例えば、識別情報、種類情報、状態情報、及び、構成情報等が含まれる。画像形成装置１２Ａにて用紙詰まりのエラーが発生している場合、状態情報には、用紙詰まりのエラーを示す情報が含まれている。画像形成装置１２Ａにトナー切れのエラーが発生している場合、状態情報には、トナー切れのエラーを示す情報が含まれている。このような情報が、画像形成装置１２Ａ等の機器からＭＩＢに送信されてＭＩＢにて管理される。構成情報には、例えば、オプショントレイの個数等を示す情報が含まれている。
【００８３】
なお、取得部２８は、サーバ等の外部装置から対象物情報を取得してもよいし、撮影画像データから取得してもよいし、記憶部２０から取得してもよい。
【００８４】
次に、ユーザは、端末装置１０の撮影部２２によって撮影する（Ｓ０２）。この撮影によって撮影画像データが生成され、撮影画像データに基づく撮影画像がＵＩ部１８の表示部に表示される。例えば、図５に示されている撮影画像や、図７に示されている撮影画像等が表示される。
【００８５】
なお、取得部２８が対象物情報を取得する前に、ユーザは撮影部２２によって撮影してもよい。この場合において、認識部２６が撮影画像データに基づいて画像形成装置１２Ａを認識した場合、特定部２４は、認識された画像形成装置１２Ａを、対象物情報の取得の対象である対象物１２として特定してもよい。
【００８６】
認識部２６が、撮影部２２が現に撮影している撮影画像データから画像形成装置１２Ａを認識した場合（Ｓ０３，Ｙｅｓ）、制御部３０は、取得部２８によって取得された対象物情報に基づいて、付加画像データを生成する（Ｓ０４）。制御部３０は、撮影部２２が現に撮影している撮影画像データに付加画像データを付加して、第１画像データに基づく第１画像をＵＩ部１８の表示部に表示させる（Ｓ０５）。例えば、図６に示されている第１画像が表示される。例えば、用紙詰まりが発生している箇所を指し示す矢印の画像が表示されてもよいし、カバーが閉まる様子を表すアニメーションが表示されてもよい。
【００８７】
認識部２６が、撮影部２２が現に撮影している撮影画像データから画像形成装置１２Ａを認識しない場合（Ｓ０３，Ｎｏ）、制御部３０は、取得部２８によって取得された対象物情報に基づいて、付加画像データを生成する（Ｓ０６）。制御部３０は、画像形成装置１２Ａに対応付けられている代替画像データに付加画像データを付加して、第２画像データに基づく第２画像をＵＩ部１８の表示部に表示させる（Ｓ０７）。例えば、図９に示されている第２画像が表示される。これにより、画像形成装置１２Ａが認識されていない場合であっても、ユーザは、画像形成装置１２Ａに関する対象物情報を確認することができる。
【００８８】
第２画像が表示されているときに、認識部２６が画像形成装置１２Ａを認識した場合、制御部３０は、第２画像に代えて第１画像をＵＩ部１８の表示部に表示させてもよい。
【００８９】
また、認識部２６が画像形成装置１２Ａを認識し、第１画像が表示された後に、認識部２６が画像形成装置１２Ａを認識しなくなった場合、制御部３０は、第１画像に代えて第２画像をＵＩ部１８の表示部に表示させてもよい。これにより、画像形成装置１２Ａが認識されなくなった場合であっても、ユーザは、引き続き、画像形成装置１２Ａに関する対象物情報を確認することができる。
【００９０】
制御部３０は、第１画像又は第２画像を表示すると共に、又は、第１画像及び第２画像を表示せずに、対象物情報に含まれる情報を音声としてＵＩ部１８の音声出力部から発生させてもよい。例えば、エラーの発生を示す情報や、エラーをリカバリーするための方法を示す情報が、音声として、音声出力部から発せられてもよい。
【００９１】
また、制御部３０は、画像形成装置１２Ａの状態に応じて、音声の出力又は第２画像の表示のいずれかを実行してもよい。例えば、画像形成装置１２Ａにて発生したエラーが簡易なものである場合、制御部３０は、対象物情報に含まれる情報を音声としてＵＩ部１８の音声出力部から発生させる。画像形成装置１２Ａにて発生したエラーが複雑である場合、制御部３０は、第２画像をＵＩ部１８の表示部に表示させる。複数の作業を実行すべき場合には、制御部３０は、作業毎に、作業内容に応じて、音声の出力又は第２画像の表示のいずれかを実行してもよい。
【００９２】
認識部２６が画像形成装置１２Ａを認識しない場合、制御部３０は、記憶部２０に予め記憶されている、画像形成装置１２Ａの状態に応じたエラーメッセージ等を、ＵＩ部１８の表示部に表示させてもよい。エラーメッセージ等が表示されているときに、認識部２６が画像形成装置１２Ａを認識した場合、制御部３０は、エラーメッセージ等に代えて第１画像をＵＩ部１８の表示部に表示させる。なお、エラーメッセージ等が、音声として発せられてもよい。
【００９３】
なお、制御部３０は、撮影部２２が撮影した撮影画像に画像形成装置１２Ａが表されている場合、第１画像をＵＩ部１８の表示部に表示させ、撮影画像に画像形成装置１２Ａが表された後、撮影画像に画像形成装置１２Ａが表されなくなった場合、第２画像をＵＩ部１８の表示部に表示させてもよい。制御部３０は、例えば、認識部２６が画像形成装置１２Ａを認識し得る程度に画像形成装置１２Ａが撮影画像に表されている場合、第１画像を表示部に表示させ、認識部２６が画像形成装置１２Ａを認識し得る程度に画像形成装置１２Ａが撮影画像に表されていない場合、第２画像をＵＩ部に表示させる。これにより、画像形成装置１２Ａが撮影画像に表されなくなった場合であっても、ユーザは、引き続き、画像形成装置１２Ａに関する対象物情報を確認することができる。
【００９４】
（変形例１）
以下、図１１を参照して、変形例１に係る処理について説明する。図１１には、変形例１に係る処理を示すフローチャートが示されている。
【００９５】
図１１中のステップＳ１０からステップＳ１４の処理は、図１０中のステップＳ０１からステップＳ０５の処理と同じ処理であるため、ステップＳ１０からステップＳ１４の処理の説明を省略し、ステップＳ１５以降の処理について説明する。
【００９６】
制御部３０は、第１画像データを記憶部２０に記憶させる（Ｓ１５）。また、制御部３０は、取得部２８によって取得された対象物情報を、第１画像データに対応付けて記憶部２０に記憶させる。制御部３０は、撮影画像データと付加画像データとを別々に記憶部２０に記憶させてもよいし、付加画像データが撮影画像データに付加された第１画像データを記憶部２０に記憶させてもよい。制御部３０は、最新の第１画像データを記憶部２０に記憶させ、最新の第１画像データ以外は記憶部２０から削除してもよい。別の例として、制御部３０は、予め定められた期間毎に、記憶部２０に記憶されている第１画像データを、新たに生成された第１画像データに更新してもよい。更に別の例として、制御部３０は、対象物情報に変化があった場合に、記憶部２０に記憶されている第１画像データを、新たに生成された第１画像データに更新してもよい。
【００９７】
認識部２６が、撮影部２２が現に撮影している撮影画像データから画像形成装置１２Ａを認識しない場合（Ｓ１２，Ｎｏ）、処理はステップＳ１６に移行する。
【００９８】
ステップＳ１０にて取得された対象物情報と同じ対象物情報が記憶部２０に記憶されている場合（Ｓ１６，Ｙｅｓ）、制御部３０は、当該対象物情報に対応付けられて記憶部２０に記憶されている第１画像データを記憶部２０から読み出し、当該第１画像データに基づく第１画像を、画像形成装置１２Ａの第２画像として、ＵＩ部１８の表示部に表示させる（Ｓ１７）。
【００９９】
記憶部２０に記憶されている第１画像データに基づく第１画像が表示されているときに、認識部２６が画像形成装置１２Ａを認識した場合、制御部３０は、記憶部２０に記憶されている第１画像データに基づく第１画像に代えて、撮影部２２が現に撮影している撮影画像データを含む第１画像データに基づく第１画像を、ＵＩ部１８の表示部に表示させる。
【０１００】
また、制御部３０は、最新の第１画像データを記憶部２０に記憶させておいてもよい。この場合において、画像形成装置１２Ａが認識部２６によって認識されてステップＳ１４にて第１画像が表示された後に、画像形成装置１２Ａが認識部２６によって認識されなくなった場合、制御部３０は、記憶部２０に記憶されている最新の第１画像データに基づく第１画像をＵＩ部１８の表示部に表示させてもよい。
【０１０１】
ステップＳ１０にて取得された対象物情報と同じ対象物情報が記憶部２０に記憶されていない場合、制御部３０は、ステップＳ１０にて取得された対象物情報に基づいて、付加画像データを生成する（Ｓ１８）。制御部３０は、代替画像データに付加画像データを付加して、第２画像データに基づく第２画像をＵＩ部１８の表示部に表示させる（Ｓ１９）。
【０１０２】
例えば、ステップＳ１０にて取得された対象物情報が示す名称、種類及び構成と、同じ名称、種類及び構成を示す対象物情報が記憶部２０に記憶されていない場合、画像形成装置１２Ａは、過去に撮影された対象物１２とは異なる対象物である。そのため、制御部３０は、記憶部２０に記憶されている第１画像データに基づく第１画像を、ＵＩ部１８の表示部に表示させない。また、ステップＳ１０にて取得された対象物情報が示す名称、種類及び構成と、同じ名称、種類及び構成を示す対象物情報が記憶部２０に記憶されている場合であっても、ステップＳ１０にて取得された対象物情報が示す状態と、同じ状態を示す対象物情報が記憶部２０に記憶されていない場合、画像形成装置１２Ａの現在の状態は、過去に画像形成装置１２Ａが撮影されたときとの状態とは異なる。そのため、制御部３０は、記憶部２０に記憶されている第１画像データに基づく第１画像を、ＵＩ部１８の表示部に表示させない。
【０１０３】
（変形例２）
以下、変形例２に係る処理について説明する。変形例２においては、制御部３０は、第１画像がＵＩ部１８の表示部に表示された時点から、予め定められた時間が経過するまでは、第２画像をＵＩ部１８の表示部に表示させない。
【０１０４】
例えば、認識部２６が画像形成装置１２Ａを認識した後、認識部２６が画像形成装置１２Ａを認識しない状態が予め定められた時間以上続いた場合、制御部３０は、第２画像をＵＩ部１８の表示部に表示させる。当該時間は、ユーザによって変更されてもよいし、対象物１２の種類毎や対象物情報毎に設定されてもよい。
【０１０５】
換言すると、認識部２６が画像形成装置１２Ａを認識しない状態が予め定められた時間以上続いていない場合、制御部３０は、第２画像をＵＩ部１８の表示部に表示させない。
【０１０６】
例えば、撮影部２２によって撮影されていた画像形成装置１２Ａが、撮影部２２の画角から外れて、認識部２６が画像形成装置１２Ａを一時的に認識しなくなった場合、第２画像は表示されない。
【０１０７】
（変形例３）
以下、変形例３に係る処理について説明する。変形例３においては、認識部２６が画像形成装置１２Ａを認識しない状態で端末装置１０が静止している場合、制御部３０は、第２画像をＵＩ部１８の表示部に表示させる。より具体的には、認識部２６が画像形成装置１２Ａを認識した後、認識部２６が画像形成装置１２Ａを認識しない状態で端末装置１０が静止している場合、制御部３０は、第２画像をＵＩ部１８の表示部に表示させる。
【０１０８】
例えば、ジャイロセンサや加速度センサ等の検知部が端末装置１０に設けられており、制御部３０は、当該検知部の検知結果に基づいて、端末装置１０の動きを検知する。また、制御部３０は、撮影画像データに基づいて端末装置１０の動きを検知してもよい。例えば、撮影画像データの変化量が閾値以上になった場合、制御部３０は、端末装置１０が動いていると判断する。端末装置１０の動きが検知されない場合、制御部３０は、端末装置１０が静止していると判断する。
【０１０９】
図１２を参照して、変形例３について更に詳しく説明する。図１２には、第１画像又は第２画像を表示する条件が示されている。その条件は、認識部２６が対象物１２を認識していない時間の長さと、端末装置１０が静止している時間の長さとの組み合わせである。
【０１１０】
図１２中のＸ時間は、認識部２６が対象物１２を認識しなくなってから経過した時間の長さに関する閾値である。図１２中のＹ時間は、端末装置１０が静止している時間の長さに関する閾値である。Ｘ時間の長さとＹ時間の長さとの関係は、一例として、Ｘ時間＞Ｙ時間である。例えば、Ｘ時間は５秒であり、Ｙ時間は１秒である。これらの値は一例に過ぎず、別の値が用いられてもよいし、ユーザによって変更されてもよい。
【０１１１】
例えば、認識部２６が画像形成装置１２Ａを認識した後、認識部２６が画像形成装置１２Ａを認識しない状態で、かつ、端末装置１０が動いている場合、制御部３０は、認識部２６が画像形成装置１２Ａを認識しなくなってからＸ時間が経過した後に、第２画像をＵＩ部１８の表示部に表示させる。例えば、図１２中の条件（３）が成就した場合、この表示制御が行われる。条件（３）が成就する状況として、例えば、端末装置１０が、ユーザの衣服のポケットに収容されている状況等が想定される。
【０１１２】
認識部２６が画像形成装置１２Ａを認識した後、認識部２６が画像形成装置１２Ａを認識しなくなった状態で、かつ、端末装置１０が静止している場合、制御部３０は、端末装置１０が静止してからＹ時間が経過した後に、第２画像をＵＩ部１８の表示部に表示させる。例えば、図１２中の条件（１）又は条件（２）が成就した場合、この表示制御が行われる。条件（１）又は条件（２）が成就する状況として、例えば、端末装置１０が、床等に置かれている状況等が想定される。
【０１１３】
条件（１）〜（３）以外の条件の下では、制御部３０は、第１画像をＵＩ部１８の表示部に表示させる。例えば、図１２中の条件（４）が成就した場合、第１画像が表示される。条件（４）が成就する状況として、例えば、撮影部２２によって画像形成装置１２Ａが撮影されているが、一時的に画像形成装置１２Ａが認識されない状況等が想定される。
【０１１４】
なお、Ｘ時間の長さとＹ時間の長さとの関係は、ユーザによって変更されてもよい。
【０１１５】
また、認識部２６が画像形成装置１２Ａを認識した後、認識部２６が画像形成装置１２Ａを認識しない状態で端末装置１０が静止し、これによって、第２画像がＵＩ部１８の表示部に表示された後、端末装置１０が動いた場合、制御部３０は、撮影部２２が現に撮影している撮影画像データに基づく撮影画像を、ＵＩ部１８の表示部に表示させる。例えば、上記の条件（１）又は条件（２）が成就して第２画像がＵＩ部１８の表示部に表示されている状態で、端末装置１０が動いた場合、撮影画像がＵＩ部１８の表示部に表示される。
【０１１６】
端末装置１０が静止して第２画像がＵＩ部１８の表示部に表示されている状態で、端末装置１０が、予め定められた時間以上にわたって動いた場合、制御部３０は、第２画像に代えて撮影画像をＵＩ部１８の表示部に表示させてもよい。当該時間は、ユーザによって変更されてもよいし、対象物１２の種類毎や対象物情報毎に設定されてもよい。
【０１１７】
換言すると、端末装置１０が静止して第２画像がＵＩ部１８の表示部に表示されている状態で端末装置１０が動いたとしても、端末装置１０が、予め定められた時間以上にわたって動いたのでなければ、制御部３０は、表示される画像を第２画像から撮影画像に切り替えず、第２画像をＵＩ部１８の表示部に表示させる。
【０１１８】
（変形例４）
以下、図１３及び図１４を参照して、変形例４に係る処理について説明する。図１３及び図１４には、画面が示されている。変形例４においては、制御部３０は、第２画像と撮影画像の両方をＵＩ部１８の表示部に表示させる。
【０１１９】
図１３には、その表示例が示されている。制御部３０は、第２画像をＵＩ部１８の表示部に表示させる。これにより、図９に示されている表示例と同様に、代替画像５０と付加画像４２とが画面４０に表示される。制御部３０は、更に、第２画像が表示されている画面４０に、撮影部２２が現に撮影している撮影画像５２を表示させる。撮影画像５２は、代替画像５０と付加画像４２との表示の妨げにならない位置に、その妨げにならない大きさをもって表示される。例えば、撮影画像５２は、代替画像５０中の対象物の画像と付加画像４２とに重ならない位置に、重ならない程度の大きさをもって表示される。具体的には、撮影画像５２は、画面４０の下方の角の付近に表示される。撮影画像５２の大きさは、例えば、代替画像５０の大きさよりも小さい。なお、ユーザによって、撮影画像５２の表示位置が変更されてもよい。
【０１２０】
また、ユーザが撮影画像５２を指定した場合（例えば撮影画像５２をタップやクリックした場合）、制御部３０は、図１４に示すように、撮影画像５２を拡大してＵＩ部１８の表示部に表示させる。撮影画像５２は、第２画像上に重畳して表示されてもよいし、第２画像に代えて表示されてもよい。ユーザによって、撮影画像５２の大きさが変更されてもよい。
【０１２１】
ユーザが、拡大した撮影画像５２を指定したり、縮小表示の指示を与えたりした場合、図１３に示すように、撮影画像５２は縮小して表示される。例えば、拡大した撮影画像５２の角に縮小ボタン画像が表示され、ユーザが縮小ボタン画像をタップすると、撮影画像５２は縮小して表示される。そして、第２画像が表示される。
【０１２２】
なお、ユーザの音声指示によって、撮影画像５２の拡大表示と縮小表示とが切り替えられてもよい。
【０１２３】
制御部３０は、第２画像と撮影画像５２とを並べてＵＩ部１８の表示部に表示させてもよい。例えば、画面４０が、第２画像用の表示領域と撮影画像５２用の表示領域とに分けられ、第２画像は、第２画像用の表示領域内に表示され、撮影画像５２は、撮影画像５２用の表示領域に表示される。第２画像用の表示領域の大きさと撮影画像５２用の表示領域の大きさとは同じであってもよいし、それぞれ異なる大きさであってもよい。また、ユーザによって、各表示領域の大きさや位置が変更されてもよい。
【０１２４】
また、端末装置１０が静止している状態で、図１３に示すように、第２画像と縮小した撮影画像５２とが表示されている場合において、端末装置１０が動いた場合、制御部３０は、図１４に示すように、撮影画像５２を拡大してＵＩ部１８の表示部に表示させてもよい。端末装置１０が、予め定められた時間以上にわたって継続して動いた場合に、制御部３０は、撮影画像５２を拡大してもよい。
【０１２５】
（変形例５）
以下、図１５及び図１６を参照して、変形例５に係る処理について説明する。図１５及び図１６には、画面が示されている。変形例５においては、制御部３０は、撮影部２２が現に撮影している撮影画像の表示と第２画像の表示とを切り替えるための画像を、ＵＩ部１８の表示部に表示させる。以下、その切り替えるための画像を、「切替ボタン画像」と称することとする。
【０１２６】
図１５には、切替ボタン画像の表示例が示されている。制御部３０は、第２画像をＵＩ部１８の表示部に表示させる。これにより、図９に示されている表示例と同様に、代替画像５０と付加画像４２とが画面４０に表示される。制御部３０は、更に、第２画像が表示されている画面４０に、切替ボタン画像５４を表示させる。例えば、切替ボタン画像５４は、代替画像５０と付加画像４２との表示の妨げにならない位置に、その妨げにならない大きさをもって表示される。例えば、切替ボタン画像５４は、代替画像５０と付加画像４２とに重ならない位置に、重ならない程度の大きさをもって表示される。具体的には、切替ボタン画像５４は、画面４０の下方の角の付近に表示される。また、ユーザによって、切替ボタン画像５４の表示位置や大きさが変更されてもよい。
【０１２７】
第２画像が表示されているときの切替ボタン画像５４は、表示されている画像が第２画像であることを表している。例えば、切替ボタン画像５４に表されているスイッチが、第２画像の表示を示す位置に表示されている。また、表示されている画像が撮影画像ではなく第２画像であることを示す文字列（例えば文字列「ＯＦＦ」）が、切替ボタン画像５４と共に表示されている。
【０１２８】
第２画像が表示されている状態で、ユーザが切替ボタン画像５４を操作して、第２画像の表示から撮影画像の表示への切り替えを指示した場合、制御部３０は、図１６に示すように、第２画像に代えて、撮影部２２が現に撮影している撮影画像をＵＩ部１８の表示部に表示させる。図１６に示されている画面４０には、図７に示す表示例と同様に、画像形成装置１２Ａの一部を表す画像４４が表示されている。この状態においては、認識部２６は画像形成装置１２Ａを認識しておらず、付加画像は表示されていない。また、切替ボタン画像５４が表示されている。
【０１２９】
撮影画像が表示されているときの切替ボタン画像５４は、表示されている画像が撮影画像であることを表している。例えば、切替ボタン画像５４に表されているスイッチが、撮影画像の表示を示す位置に表示されている。また、表示されている画像が撮影画像であることを示す文字列（例えば文字列「ＯＮ」）が、切替ボタン画像５４と共に表示されている。
【０１３０】
撮影画像が表示されている状態で、ユーザが切替ボタン画像５４を操作して、撮影画像の表示から第２画像の表示への切り替えを指示した場合、制御部３０は、図１５に示すように、撮影画像に代えて、第２画像をＵＩ部１８の表示部に表示させる。
【０１３１】
制御部３０は、図１５に示すように、第２画像が表示されている場合に、切替ボタン画像５４をＵＩ部１８の表示部に表示させる。また、図１５に示すように第２画像が一旦表示された後に、表示される画像が第２画像から撮影画像に切り替えられた場合、制御部３０は、図１６に示すように、撮影画像が表示されている場合にも、切替ボタン画像５４をＵＩ部１８の表示部に表示させる。もちろん、切替ボタン画像５４は、第２画像が表示されている場合に表示され、撮影画像が表示されている場合に表示されなくてもよい。また、切替ボタン画像５４は、第１画像が表示されている場合にも表示されてもよいし、常に表示されてもよい。また、表示される画像が第２画像から撮影画像に切り替えられ、その後、画像形成装置１２Ａが認識部２６によって認識されて第１画像が表示された場合に、切替ボタン画像５４が表示されなくなってもよい。
【０１３２】
また、切替ボタン画像５４を操作することで、第２画像と撮影画像とのそれぞれの表示の大きさが変更されてもよい。例えば図１３に示されている画面４０に、切替ボタン画像５４が表示される。図１３に示すように、撮影画像５２が第２画像よりも小さく表示されている状態で、ユーザが切替ボタン画像５４を操作した場合、制御部３０は、撮影画像５２を第２画像よりも大きくしてＵＩ部１８の表示部に表示させる。撮影画像５２が第２画像よりも大きく表示されている状態で、ユーザが切替ボタン画像５４を操作した場合、制御部３０は、撮影画像５２を第２画像よりも小さくしてＵＩ部１８の表示部に表示させる。なお、画像が大きいという概念の範疇には、表示される画像の面積が大きいことや、表示される画像の外縁が大きいこと等が含まれる。
【０１３３】
（変形例６）
以下、変形例６に係る処理について説明する。変形例６においては、制御部３０は、第１画像と第２画像との切り替えをユーザに促すための推奨情報をＵＩ部１８の表示部に表示させる。なお、推奨情報を表現する音声が発せられてもよい。
【０１３４】
制御部３０は、第２画像の表示中に、表示される画像を第２画像から第１画像に切り替えることをユーザに促すための第１推奨情報をＵＩ部１８の表示部に表示させてもよい。
【０１３５】
例えば、第２画像の表示中に、予め定められた第１条件が成就した場合、制御部３０は、第１推奨情報をＵＩ部１８の表示部に表示させる。具体的には、画像形成装置１２Ａの状態が、実際に撮影した撮影画像に付加画像を付加して表示しないとユーザに情報を伝えきれない状態である場合が、第１条件が成就する一例である。制御部３０は、例えば、対象物情報に含まれる状態情報に基づいて、画像形成装置１２Ａの状態がそのような状態に該当するか否かを判断する。
【０１３６】
例えば、画像形成装置１２Ａにて発生しているエラーをリカバリーする方法が複雑であるため、第２画像を表示するよりも、実際に撮影した撮影画像にリカバリーの方法を示す情報を付加して表示した方が、ユーザにとってリカバリーの方法を理解し易い場合がある。この場合、第１推奨情報が表示される。また、第２画像中の代替画像が、画像形成装置１２Ａを模式的に表す画像であったり、画像形成装置１２Ａに固有の構成等が反映されていない汎用の画像であったりした場合、代替画像が、実際の画像形成装置１２Ａの構成を正しく又は詳細に表していないことがある。この場合に第２画像が表示されると、ユーザにとってリカバリー方法を理解することが困難になるため、第１推奨情報が表示される。また、第２画像の表示と共に、又は、第２画像の表示の代わりに、音声によって対象物情報が出力されている場合、音声では、ユーザにとってリカバリーの方法を理解することが困難なことがある。この場合、第１推奨情報が表示される。
【０１３７】
また、画像形成装置１２Ａの周囲の環境を考慮して情報を伝えるべきである場合等が、第１条件が成就する一例である。制御部３０は、例えば、撮影部２２が撮影している撮影画像に基づいて周辺の環境を認識し、その認識結果に応じて、第１推奨情報をＵＩ部１８の表示部に表示させる。例えば、画像形成装置１２Ａの周囲に障害物が存在する場合に、当該障害物も表示すべき状況であれば、制御部３０は、第１推奨情報をＵＩ部１８の表示部に表示させる。この場合、制御部３０は、撮影画像に基づいて当該障害物を認識し、その障害物の表示位置を避けて、付加画像を含む第１画像をＵＩ部１８の表示部に表示させる。
【０１３８】
図１７には、第１推奨情報の表示例が示されている。第２画像に含まれる代替画像５０と付加画像４２とが、画面４０に表示されている。また、第１推奨情報に基づく画像５６が画面４０に表示されている。例えば、「装置を撮影すると詳細情報を確認できます。」といったメッセージを表す画像５６が表示される。このメッセージは、画像形成装置１２Ａが認識部２６によって認識されるように撮影することをユーザに促すためのメッセージである。
【０１３９】
例えば、第２画像が表示された時点では、上記の第１条件が成就していない場合、制御部３０は、画像５６を表示せずに、第２画像を画面４０に表示させる。第２画像が表示された後に取得部２８によって取得された新たな対象物情報が示す状態が、第１条件を成就させる状態である場合、制御部３０は、第１推奨情報に基づく画像５６を画面４０に表示させる。
【０１４０】
第１推奨情報に基づく画像５６は、例えば、ポップアップ表示されてもよいし、代替画像５０と付加画像４２との表示の妨げとならない位置に、その妨げにならない大きさをもって表示されてもよい。もちろん、画像５６は、代替画像５０や付加画像４２等に重畳して表示されてもよい。また、第１推奨情報を表現する音声が発生られてもよい。
【０１４１】
また、制御部３０は、第１画像の表示中に、表示される画像を第１画像から第２画像に切り替えることをユーザに促すための第２推奨情報をＵＩ部１８の表示部に表示させてもよい。
【０１４２】
例えば、第１画像の表示中に、予め定められた第２条件が成就した場合、制御部３０は、第２推奨情報をＵＩ部１８の表示部に表示させる。具体的には、ユーザが両手で作業すべき事象が発生して端末装置１０を手放す必要がある場合等が、第２条件が成就する一例である。制御部３０は、例えば、対象物情報に含まれる状態情報に基づいて、画像形成装置１２Ａの状態を認識し、画像形成装置１２Ａの状態が、ユーザが両手で作業を行うべき状態である場合には、第２推奨情報をＵＩ部１８の表示部に表示させる。
【０１４３】
図１８には、第２推奨情報の表示例が示されている。図６に示されている表示例と同様に、第１画像が画面４０に表示されている。また、第２推奨情報に基づく画像５８が画面４０に表示されている。例えば、「端末装置を置いた方が良いです。」といったメッセージを表す画像５８が表示される。このメッセージは、端末装置１０を床や机等に置いて両手を開けることをユーザに促すためのメッセージである。
【０１４４】
例えば、第１画像が表示された時点では、上記の第２条件が成就していない場合、制御部３０は、画像５８を表示せずに、第１画像を画面４０に表示させる。第１画像が表示された後に取得部２８によって取得された新たな対象物情報が示す状態が、第２条件を成就させる状態である場合、制御部３０は、第２推奨情報に基づく画像５８を画面４０に表示させる。
【０１４５】
第２推奨情報に基づく画像５８は、例えば、ポップアップ表示されてもよいし、対象物画像３８の表示の妨げにならない位置に、その妨げにならない大きさをもって表示されてもよいし、対象物画像３８と付加画像４２との表示の妨げにならない位置に、その妨げにならない大きさをもって表示されてもよい。もちろん、画像５８は、対象物画像３８や付加画像４２に重畳して表示されてもよい。また、第２推奨情報を表現する音声が発せられてもよい。
【０１４６】
また、以下に説明する場面にて第１推奨情報が表示されてもよい。図１９には、この処理を示すフローチャートが示されている。
【０１４７】
図１９中のステップＳ２０，Ｓ２１の処理は、図１０中のステップＳ０１，Ｓ０２の処理と同じ処理であるため、ステップＳ２０，Ｓ２１の処理の説明を省略し、ステップＳ２２以降の処理について説明する。
【０１４８】
第１画像を表示する必要があり、かつ、認識部２６によって画像形成装置１２Ａが認識されていない場合（Ｓ２２，Ｙｅｓ）、制御部３０は、第１推奨情報をＵＩ部１８の表示部に表示させる（Ｓ２３）。例えば、上記の第１条件が成就している場合、第１推奨情報が表示される。
【０１４９】
ステップＳ２２の条件が成就しない場合（Ｓ２２，Ｎｏ）、処理は終了する。この場合、撮影画像が表示されてもよいし、第２画像が表示されてもよい。認識部２６によって画像形成装置１２Ａが認識されている場合、第１画像が表示される。
【０１５０】
（変形例７）
以下、変形例７に係る情報処理システムについて説明する。変形例７においては、端末装置１０にて実行されていた一部の処理が、サーバ等の外部装置によって実行される。例えば、特定部２４、認識部２６及び取得部２８のそれぞれの処理が、外部装置によって実行される。この場合、特定部２４、認識部２６及び取得部２８は、端末装置１０に設けられず、これらの処理は、端末装置１０にて実行されない。もちろん、特定部２４、認識部２６及び取得部２８の中の一部が、端末装置１０に設けられて、その一部の処理が端末装置１０にて実行されてもよい。この場合、端末装置１０に設けられなかった構成が外部装置に設けられて、その構成の処理が外部装置にて実行される。また、特定部２４、認識部２６及び取得部２８の全部が端末装置１０に設けられている場合であっても、これらの処理が外部装置によって実行されてもよい。
【０１５１】
以下、図２０を参照して、変形例７に係る情報処理システムについて詳しく説明する。図２０には、変形例７に係る情報処理システムの構成の一例が示されている。
【０１５２】
変形例７に係る情報処理システムは、端末装置１０と、外部装置の一例であるサーバ６０とを含む。サーバ６０は、通信経路Ｎを介して、端末装置１０や対象物１２や情報管理データベース１４と通信することができる。複数の端末装置１０が、変形例７に係る情報処理システムに含まれていてもよいし、複数のサーバ６０が、変形例７に係る情報処理システムに含まれていてもよい。
【０１５３】
サーバ６０は、第１画像データ及び第２画像データを生成し、第１画像データ及び第２画像データを、端末装置１０に送信する。第１画像データを生成するための撮影画像データは、端末装置１０からサーバ６０に送信される。複数の端末装置１０が情報処理システムに含まれている場合、サーバ６０は、各端末装置１０から撮影画像データを受信してもよい。この場合、サーバ６０は、ある端末装置１０から送信されてきた撮影画像データに基づいて生成された第１画像データを、別の端末装置１０に送信してもよい。
【０１５４】
以下、図２１を参照して、サーバ６０の構成について詳しく説明する。図２１には、サーバ６０の構成の一例が示されている。
【０１５５】
通信部６２は通信インターフェースであり、他の装置に情報を送信する機能、及び、他の装置から情報を受信する機能を有する。通信部６２は、無線通信機能を有していてもよいし、有線通信機能を有していてもよい。
【０１５６】
記憶部６４は、情報を記憶する１又は複数の記憶領域である。各記憶領域は、例えば、サーバ６０に設けられている１又は複数の記憶装置（例えばハードディスクドライブやメモリ等の物理ドライブ）によって構成されている。
【０１５７】
特定部６６は、端末装置１０に設けられている特定部２４と同様に、対象物情報の取得の対象である対象物１２を特定するように構成されている。特定部６６は、後述する認識部６８によって認識された対象物１２を、対象物情報の取得の対象である対象物１２として特定してもよいし、端末装置１０を用いてユーザによって指定された対象物１２を、対象物情報の取得の対象である対象物１２として特定してもよい。
【０１５８】
認識部６８は、端末装置１０からサーバ６０に送信されてきた撮影画像データを受けて、端末装置１０に設けられている認識部２６と同様に、当該撮影画像データに表されている対象物１２を認識するように構成されている。認識部６８は、撮影部２２が現に撮影している撮影画像データを用いて対象物１２を認識する。
【０１５９】
取得部７０は、端末装置１０に設けられている取得部２８と同様に、特定部６６によって特定された対象物１２の対象物情報を取得するように構成されている。例えば、取得部７０は、対象物情報を情報管理データベース１４から取得してもよいし、対象物１２から取得してもよい。また、対象物情報が記憶部６４に記憶されている場合、取得部７０は記憶部６４から対象物情報を取得してもよい。
【０１６０】
画像生成部７２は、第１画像データ及び第２画像データを生成するように構成されている。画像生成部７２は、例えば、取得部７０によって取得された対象物情報に基づく付加画像データを、端末装置１０からサーバ６０に送信されてきた撮影画像データに付加することで、第１画像データを生成する。また、画像生成部７２は、付加画像データを代替画像データに付加することで第２画像データを生成する。代替画像データは、例えば、記憶部６４に記憶されている。
【０１６１】
制御部７４は、サーバ６０の各部の動作を制御するように構成されている。例えば、制御部７４は、画像生成部７２によって生成された第１画像データ又は第２画像データを、端末装置１０に送信するように、通信部６２を制御する。また、制御部７４は、第１画像データや第２画像データを対象物情報に対応付けて記憶部６４に記憶させてもよいし、撮影画像データを記憶部６４に記憶させてもよい。
【０１６２】
サーバ６０によって、第１画像データ及び第２画像データが生成された場合も、上記の実施形態及び変形例１から変形例６の中のいずれかの処理が実行される。その場合、端末装置１０とサーバ６０との間で情報の送受信が行われて、第１画像又は第２画像が端末装置１０の表示部に表示される。
【０１６３】
また、あるユーザが利用する端末装置１０からサーバ６０に送信された撮影画像データに基づいて第１画像データが生成され、当該第１画像データが、第２画像データとして、別のユーザが利用する端末装置１０に送信されて、当該第１画像データに基づく第１画像が、別のユーザが利用する端末装置１０に表示されてもよい。
【０１６４】
例えば、画像形成装置１２Ａにて発生したエラーを解消するために、ユーザが３つのステップの作業を実行する必要がある場面を想定する。この場合において、ユーザＡが利用する端末装置１０において、全ステップにて第１画像が表示されて、ユーザＡによって全ステップの作業が実行されたものとする。各ステップにて表示された第１画像データが、サーバ６０の記憶部６４に記憶される。その後、別のユーザＢが同じエラーを解消する場合、ユーザＡによって利用されて記憶部６４に記憶されている第１画像データが、ユーザＢが利用する端末装置１０に送信されて、ユーザＢが利用する端末装置１０に第１画像が表示される。ユーザＢは、第１画像を参照しながら、各ステップの作業を実行する。例えば、ユーザＢが利用する端末装置１０では、エラーが発生した画像形成装置１２Ａが認識されない場合であっても、他のユーザＡによって利用された第１画像データに基づく第１画像が、ユーザＢが利用する端末装置１０に表示される。
【０１６５】
なお、対象物１２の一例として画像形成装置１２Ａを例に挙げて、実施形態及び各変形例の処理について説明したが、画像形成装置１２Ａ以外の機器や、機器以外の対象物に対して、本実施形態及び各変形例が適用されてもよい。例えば、店舗にて販売されている商品が撮影されて認識された場合、当該商品に関する第１画像が表示され、当該商品が認識されなくなった場合、当該商品に関する第２画像が表示されてもよい。
【０１６６】
上記の端末装置１０及びサーバ６０の各部の機能は、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置１０及びサーバ６０は、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することで、端末装置１０及びサーバ６０の各部の機能が実現される。上記プログラムは、ＣＤ又はＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置１０及びサーバ６０の各部の機能は、例えばプロセッサ、電子回路又はＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置１０及びサーバ６０の各部の機能は、ＤＳＰ（Digital Signal Processor）又はＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。
【符号の説明】
【０１６７】
１０  端末装置、１２  対象物、１４  情報管理データベース、２２  撮影部、２４  特定部、２６  認識部、２８  取得部。
【図１】
2020155816.tif 000003
【図２】
2020155816.tif 000004
【図３】
2020155816.tif 000005
【図４】
2020155816.tif 000006
【図５】
2020155816.tif 000007
【図６】
2020155816.tif 000008
【図７】
2020155816.tif 000009
【図８】
2020155816.tif 000010
【図９】
2020155816.tif 000011
【図１０】
2020155816.tif 000012
【図１１】
2020155816.tif 000013
【図１２】
2020155816.tif 000014
【図１３】
2020155816.tif 000015
【図１４】
2020155816.tif 000016
【図１５】
2020155816.tif 000017
【図１６】
2020155816.tif 000018
【図１７】
2020155816.tif 000019
【図１８】
2020155816.tif 000020
【図１９】
2020155816.tif 000021
【図２０】
2020155816.tif 000022
【図２１】
2020155816.tif 000023