(57)【要約】【課題】ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーが常に適切なサポート情報を入手することを可能にするサポートシステムを提供する。【解決手段】サポートシステムシステムＡ１は、リモート端末（ＰＣ３）側で表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標を算出し、携帯端末（携帯電話２）側で表示中のカメラ画像に同一の三次元座標系を用いてサポート情報を重ね合わせた合成画像を生成する。よって、サポートシステムＡ１によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像を携帯端末（携帯電話２）側で表示することができる。【選択図】図８
2013115578.tif 000002
【特許請求の範囲】
【請求項１】
対象機器のトラブル発生時に、撮影部を有する携帯端末にリモート端末からサポート情報を送信するためのサポートシステムであって、
前記対象機器には、前記撮影部により撮影されたときの撮影画像から前記撮影部までの距離及び前記撮影部に対する傾きを検出可能であるマーカーが部品ごとに貼付されており、
前記携帯端末は、前記撮影部による前記マーカーの撮影画像であるマーカー画像を表示する第１表示部と、前記第１表示部に表示されている前記マーカー画像から検出した前記距離及び前記傾きに基づき前記マーカーを基準とする座標系を生成する第１座標系生成部と、前記マーカー画像を前記リモート端末に送信する第１送信部と、を有し、
前記リモート端末は、前記第１送信部から受信した前記マーカー画像を表示する第２表示部と、前記第２表示部に表示されている前記マーカー画像から検出した前記距離及び前記傾きに基づき前記第１座標系生成部と同一の前記座標系を生成する第２座標系生成部と、前記第２表示部に表示されている前記マーカー画像上で前記サポート情報及び前記サポート情報の位置情報を受け付けるサポート情報受付部と、前記位置情報から前記サポート情報の前記同一の座標系による位置座標を算出する座標算出部と、前記サポート情報及び前記位置座標を前記携帯端末に送信する第２送信部と、を有し、
前記携帯端末は、前記第２送信部から受信した前記位置座標及び前記第１座標系生成部により生成した前記座標系を用いて、前記第２送信部から受信した前記サポート情報を前記第１表示部に表示されている前記マーカー画像に重ね合わせた合成画像を生成する画像合成部をさらに有することを特徴とするサポートシステム。
【請求項２】
前記携帯端末は、前記トラブルに関する質問内容を受け付ける質問内容受付部をさらに有し、
前記第１送信部は、前記質問内容受付部により受け付けた前記質問内容を前記リモート端末にさらに送信し、
前記第２表示部は、前記第１送信部から受信した前記質問内容をさらに表示することを特徴とする請求項１に記載のサポートシステム。
【請求項３】
前記携帯端末は、前記質問内容受付部により受け付けた前記質問内容、並びに前記第２送信部から受信した前記サポート情報及び前記位置座標を互いに関連付けて保存する第１保存部をさらに有し、
前記第１表示部は、前記第１保存部に保存された前記質問内容の一覧をさらに表示し、
前記画像合成部は、前記第１表示部に表示された前記一覧から選択された前記質問内容と関連付けて保存された前記位置座標及び前記第１座標系生成部により生成した前記同一の座標系を用いて、前記一覧から選択された前記質問内容と関連付けて保存された前記サポート情報を前記第１表示部に表示されている前記マーカー画像に重ね合わせた合成画像を生成することを特徴とする請求項２に記載のサポートシステム。
【請求項４】
各々の前記マーカーは、それが貼付されている前記対象機器の部品の識別情報を保持しており、
前記リモート端末は、前記対象機器の部品のうちリコール対象であるものの前記識別情報を格納する第２保存部と、前記第２表示部に表示されている前記マーカー画像内の前記マーカーから前記識別情報を読み取る読取部と、をさらに有し、
前記第２表示部は、前記読取部により読み取った前記識別情報が前記第２保存部に格納されている場合に、当該識別情報により表される前記対象機器の部品がリコール対象である旨を通知するメッセージをさらに表示することを特徴とする請求項１〜３のいずれか１つに記載のサポートシステム。
【請求項５】
前記マーカーは、ＱＲコードであることを特徴とする請求項１〜４のいずれか１つに記載のサポートシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＦＰ等の対象機器のトラブル発生時にユーザーの携帯端末にサポート情報を提供するためのサポートシステムに関する。
【背景技術】
【０００２】
近年、ＭＦＰ等の各種事務機器の高機能化・複合化が進んだ結果、これらの事務機器の操作方法は極めて複雑化している。そのため、ユーザーはトラブル発生時に操作マニュアルやオペレーションパネル上のサポート情報等を見ながら復旧作業を行う必要がある。
【０００３】
これに関連して、以下の特許文献１には、サポート対象機器（「デジタル複合機」）の状態コード及び二次元マーカーの貼付箇所（「面コード」）の組み合わせに対応するサポート情報（「ヘルプ情報」）が記憶されたリモート端末（「ヘルプサーバー」）を有するサポートシステムが記載されている。同システムによると、トラブル発生時に対象機器から送信される状態コード及び携帯端末のカメラにより読み取られる面コードの組み合わせに対応するサポート情報がヘルプサーバーから取り出されて携帯端末に送信され、携帯端末において当該サポート情報がＡＲ（Ａｕｇｕｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：拡張現実感）技術によりカメラ画像と重ね合わせて表示される。これにより、ユーザーはサポート情報を希望する箇所をカメラで撮影することにより対象機器の状態に応じたサポート情報を入手することができる。
【０００４】
また、以下の非特許文献１には、ＡＲ技術の一例として、実世界オブジェクトに貼付された二次元マトリックスコードのカメラ画像への投影形状を解析することにより、カメラ画像内の実世界オブジェクトの位置を定める空間座標系を推定する手法が記載されている。
【０００５】
しかしながら、特許文献１のサポートシステムを用いたとしても、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合は、それに対応するサポート情報が予め記憶されている可能性は低いので、ユーザーは必ずしも適切なサポート情報を入手することができないという問題点が指摘されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２１９８７９号公報
【非特許文献】
【０００７】
【非特許文献１】２次元マトリックスコードを利用した拡張現実感の構成手法、暦本  純一、ＷＩＳＳ９６
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上記従来技術に伴う課題を解決するためになされたものであり、本発明の目的は、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーが常に適切なサポート情報を入手することを可能にするサポートシステムを提供することである。
【課題を解決するための手段】
【０００９】
本発明の上記目的は、下記の手段によって達成される。
【００１０】
（１）対象機器のトラブル発生時に、撮影部を有する携帯端末にリモート端末からサポート情報を送信するためのサポートシステムであって、前記対象機器には、前記撮影部により撮影されたときの撮影画像から前記撮影部までの距離及び前記撮影部に対する傾きを検出可能であるマーカーが部品ごとに貼付されており、前記携帯端末は、前記撮影部による前記マーカーの撮影画像であるマーカー画像を表示する第１表示部と、前記第１表示部に表示されている前記マーカー画像から検出した前記距離及び前記傾きに基づき前記マーカーを基準とする座標系を生成する第１座標系生成部と、前記マーカー画像を前記リモート端末に送信する第１送信部と、を有し、前記リモート端末は、前記第１送信部から受信した前記マーカー画像を表示する第２表示部と、前記第２表示部に表示されている前記マーカー画像から検出した前記距離及び前記傾きに基づき前記第１座標系生成部と同一の前記座標系を生成する第２座標系生成部と、前記第２表示部に表示されている前記マーカー画像上で前記サポート情報及び前記サポート情報の位置情報を受け付けるサポート情報受付部と、前記位置情報から前記サポート情報の前記同一の座標系による位置座標を算出する座標算出部と、前記サポート情報及び前記位置座標を前記携帯端末に送信する第２送信部と、を有し、前記携帯端末は、前記第２送信部から受信した前記位置座標及び前記第１座標系生成部により生成した前記座標系を用いて、前記第２送信部から受信した前記サポート情報を前記第１表示部に表示されている前記マーカー画像に重ね合わせた合成画像を生成する画像合成部をさらに有することを特徴とするサポートシステム。
【００１１】
（２）前記携帯端末は、前記トラブルに関する質問内容を受け付ける質問内容受付部をさらに有し、前記第１送信部は、前記質問内容受付部により受け付けた前記質問内容を前記リモート端末にさらに送信し、前記第２表示部は、前記第１送信部から受信した前記質問内容をさらに表示することを特徴とする上記（１）に記載のサポートシステム。
【００１２】
（３）前記携帯端末は、前記質問内容受付部により受け付けた前記質問内容、並びに前記第２送信部から受信した前記サポート情報及び前記位置座標を互いに関連付けて保存する第１保存部をさらに有し、前記第１表示部は、前記第１保存部に保存された前記質問内容の一覧をさらに表示し、前記画像合成部は、前記第１表示部に表示された前記一覧から選択された前記質問内容と関連付けて保存された前記位置座標及び前記第１座標系生成部により生成した前記同一の座標系を用いて、前記一覧から選択された前記質問内容と関連付けて保存された前記サポート情報を前記第１表示部に表示されている前記マーカー画像に重ね合わせた合成画像を生成することを特徴とする上記（２）に記載のサポートシステム。
【００１３】
（４）各々の前記マーカーは、それが貼付されている前記対象機器の部品の識別情報を保持しており、前記リモート端末は、前記対象機器の部品のうちリコール対象であるものの前記識別情報を格納する第２保存部と、前記第２表示部に表示されている前記マーカー画像内の前記マーカーから前記識別情報を読み取る読取部と、をさらに有し、前記第２表示部は、前記読取部により読み取った前記識別情報が前記第２保存部に格納されている場合に、当該識別情報により表される前記対象機器の部品がリコール対象である旨を通知するメッセージをさらに表示することを特徴とする上記（１）〜（３）のいずれか１つに記載のサポートシステム。
【００１４】
（５）前記マーカーは、ＱＲコードであることを特徴とする上記（１）〜（４）のいずれか１つに記載のサポートシステム。
【発明の効果】
【００１５】
本発明に係るサポートシステムは、リモート端末側で表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標を算出し、携帯端末側で表示中のカメラ画像に同一の三次元座標系を用いてサポート情報を重ね合わせた合成画像を生成する。よって、本発明によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像が携帯端末に表示されるので、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーは常に適切なサポート情報を入手することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係るサポートシステムの構成を示すブロック図である。
【図２】本発明の一実施形態に係るサポート対象機器（ＭＦＰ）の外観を示す側面図である。
【図３】本発明の一実施形態に係るマーカーを示す概略図である。
【図４】本発明の一実施形態に係る携帯端末（携帯電話）の構成を示すブロック図である。
【図５】本発明の一実施形態に係る携帯電話のＲＯＭに格納されたプログラムを示す概念図である。
【図６】本発明の一実施形態に係るリモート端末（ＰＣ）の構成を示すブロック図である。
【図７】本発明の一実施形態に係るリモート端末のＲＯＭに格納されたプログラムを示す概念図である。
【図８】本発明の一実施形態に係るサポートシステム全体の処理の手順を示すフローチャートである。
【図９】本発明の一実施形態に係る携帯電話のカメラ画像送信処理の手順を示すフローチャートである。
【図１０】本発明の一実施形態に係る携帯電話により表示されたカメラ画像の一例を示す概略図である。
【図１１】本発明の一実施形態に係る携帯電話により表示されたカメラ画像の一例を示す概略図である。
【図１２】本発明の一実施形態に係る携帯電話により受け付けられたユーザー質問内容の一例を示す概略図である。
【図１３】本発明の一実施形態に係るＰＣのサポート情報送信処理の手順を示すフローチャートである。
【図１４】本発明の一実施形態に係るＰＣにより表示されたカメラ画像の一例を示す概略図である。
【図１５】本発明の一実施形態に係るＰＣにより受け付けられた入力サポート情報の一例を示す概略図である。
【図１６】本発明の一実施形態に係る携帯電話によるサポート画像合成処理の手順を示すフローチャートである。
【図１７】本発明の一実施形態に係る携帯電話により表示されたサポート画像の一例を示す概略図である。
【図１８】本発明の一実施形態に係る携帯電話により受け付けられたユーザー質問内容の他の例を示す概略図である。
【図１９】本発明の一実施形態に係る携帯電話により表示されたサポート画像の他の例を示す概略図である。
【図２０】本発明の他の実施形態に係る携帯電話のＥＥＰＲＯＭに格納されたデータを示す概念図である。
【図２１】本発明の他の実施形態に係る携帯電話のＲＯＭに格納されたプログラムを示す概念図である。
【図２２】本発明の他の実施形態に係るサポートシステム全体の処理の手順を示すフローチャートである。
【図２３】本発明の他の実施形態に係るサポート情報検索処理の手順を示すフローチャートである。
【図２４Ａ】本発明の他の実施形態に係る履歴サポート画像合成処理の手順を示すフローチャートである。
【図２４Ｂ】本発明の他の実施形態に係る履歴サポート画像合成処理の手順を示すフローチャートである。
【図２５】本発明の他の実施形態に係る携帯電話により表示されたユーザー質問内容のリストの一例を示す概略図である。
【図２６】本発明の他の実施形態に係る携帯電話により表示された履歴サポート画像の一例を示す概略図である。
【図２７】本発明の他の実施形態に係るサポート画像合成処理の手順を示すフローチャートである。
【図２８】本発明のさらに他の実施形態に係るＰＣのＨＤＤに格納されたデータを示す概念図である。
【図２９】本発明のさらに他の実施形態に係るサポートシステム全体の処理の手順を示すフローチャートである。
【図３０】本発明のさらに他の実施形態に係るサポート情報送信処理の手順を示すフローチャートである。
【図３１】本発明のさらに他の実施形態に係るＰＣにより表示されたメッセージの一例を示す概略図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態を、図面を参照しつつ説明する。
【００１８】
先ず、本発明の第１実施形態について説明する。図１は、本実施形態に係るサポートシステムＡ１の全体構成を示すブロック図である。このサポートシステムＡ１は、サポート対象機器のトラブル発生時に、ユーザーが携帯端末を用いてトラブル解決のためのサポート情報を入手することを可能にするものである。このサポート情報は、リモート端末上でオペレーターにより入力され、ユーザーの携帯端末に送信される。
【００１９】
図１のように、本実施形態に係るサポートシステムＡ１は、サポート対象機器であるＭＦＰ１、ユーザーにより操作される携帯端末である携帯電話２、及びオペレーターにより操作されるリモート端末であるＰＣ３を含んでいる。ここで、携帯電話２は無線通信により無線基地局Ｂと双方向通信可能に接続されており、無線基地局ＢとＰＣ３とはネットワークＮを介して双方向通信可能に接続されている。これにより携帯電話２とＰＣ３との間の双方向通信が実現される。図１の例によるネットワークＮはインターネットであるが、これは双方向にデータ通信可能なネットワークであれば特に限定されず、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等であってもよい。
【００２０】
図２は、ＭＦＰ１の外観を示す側面図である。ＭＦＰ１は一般的なＭＦＰであるので、その構成についての詳細な説明は省略する。図２のように、ＭＦＰ１には部品ごとに少なくとも１つのマーカーＭが貼付されている。図２は、ＭＦＰ１の外表面上に貼付されたマーカーＭのみを示しているが、マーカーＭは必要に応じてＭＦＰ１の内部にも貼付される（図１２参照）。なお、マーカーＭの位置や個数等は図２中の例に限定されず、後述するサポート画像の合成・表示を高精度に行うためには、複雑な構造を有する部品やトラブル発生頻度が高い部品等に高密度に配置されることが好ましい。
【００２１】
本実施形態に係るマーカーＭは、デジタルカメラ等の撮影手段により撮影されたときの撮影画像から当該撮影手段までの距離や当該撮影手段に対する傾き等を検出可能な図形が組み込まれた２次元コードである。さらに、個々のマーカーＭは、それが貼付されている位置を示す位置ＩＤや、それが貼付されている部品の部品番号及び製造番号等を保持することができる。このようなマーカーＭの一例としてＱＲ（Ｑｕｉｃｋ  Ｒｅｓｐｏｎｓｅ）コードを採用することができる。本実施形態に係るマーカーＭは、ＭＦＰ１への貼付が容易なシール状の形態を有しており、裏面に糊が塗布された紙やプラスチックフィルム等への印刷により生成される。図３は、本実施形態に係るマーカーＭの一例を示す概略図である。
【００２２】
図４は、本実施形態に係る携帯電話２の構成を示すブロック図である。図４のように、携帯電話２は、ＣＰＵ２１、ＲＡＭ２２、ＲＯＭ２３、ＥＥＰＲＯＭ２４、ディスプレイ２５、入力装置２６、カメラ２７、及び通信インターフェース２８を備えており、これらは信号をやり取りするためのバス２９を介して接続されている。これらの構成要素について以下に順に説明する。
【００２３】
ＣＰＵ２１はプログラムに従って上記各部の動作を制御するとともに種々の演算処理を実行する。ＲＡＭ２２はＣＰＵ２１の作業領域として一時的にデータを記憶する。ＲＯＭ２３は携帯電話２の基本動作を制御するための各種プログラムやパラメーター等を格納する。ＲＯＭ２３に格納されたプログラムについてはさらに後述する。ＥＥＰＲＯＭ２４はＯＳ（オペレーティングシステム）を含む各種プログラムやパラメーター等を格納する。
【００２４】
ディスプレイ２５は液晶ディスプレイや有機ＥＬディスプレイ等の表示装置である。入力装置２６はタッチパネル等のポインティングデバイス及びキーボード等の固定キーを備えている。カメラ２７はＣＣＤイメージセンサーやＣＭＯＳイメージセンサー等の撮像素子を備えたデジタルカメラである。カメラ２７の撮影画像はディスプレイ２５にリアルタイム表示される。また、カメラ２７の撮影画像はユーザーの指示に応じてＥＥＰＲＯＭ２４にデジタルデータとして保存される。通信インターフェース２８は所定の周波数帯の電波を用いて基地局４と双方向通信を行うためのインターフェースである。
【００２５】
図５は、本実施形態に係るＲＯＭ２３に格納されたプログラムを示す概念図である。図５のように、ＲＯＭ２３には、カメラ画像表示プログラムＰ１、質問内容編集プログラムＰ２、送信データ生成プログラムＰ３、マーカー情報読取プログラムＰ４、座標生成プログラムＰ５、及びサポート画像合成プログラムＰ６が格納されている。これらのプログラムについて以下に順に説明する。
【００２６】
カメラ画像表示プログラムＰ１は、カメラ２７の撮影画像をディスプレイ２５上のカメラ画像表示部２５ａにリアルタイム表示する機能を有する。以下ではカメラ２７の撮影画像のことを単に「カメラ画像」と称する。本実施形態におけるカメラ画像とはカメラ２７の撮像素子から順次出力される動画のことを指す。図１０は、カメラ画像表示部２５ａに表示中のカメラ画像の一例を示す概略図である。
【００２７】
質問内容編集プログラムＰ２は、ディスプレイ２５上の質問内容受付部２５ｂにおいてユーザーから質問内容を受け付ける機能を有する。ここでいう質問内容とは、ＭＦＰ１のトラブルを解決しようとするユーザーからオペレーターへの質問内容のことを指す。図１２は、質問内容編集プログラムＰ２により受け付けた質問内容の一例を示す概略図である。図１２の例による質問内容は「紙詰まりがマニュアル通りの方法では直りません。対処方法を教えてください。」という文字列であり、これはタッチパネルやキーボード等により入力される。以下では質問内容入力部２５ｂに入力された質問内容のことを「ユーザー質問内容」と称する。
【００２８】
送信データ生成プログラムＰ３は、ＰＣ３にカメラ画像及びユーザー質問内容をリアルタイム送信する機能を有する。マーカー情報読取プログラムＰ４は、カメラ画像表示部２５ａに表示中のカメラ画像に含まれるマーカーＭから位置ＩＤ等の各種情報を読み取る機能を有する。座標生成プログラムＰ５は、カメラ画像表示部２５ａに表示中のカメラ画像に含まれるマーカーＭを基準とする三次元座標系を生成する機能を有する。サポート画像合成プログラムＰ６は、カメラ画像表示部２５ａに表示中のカメラ画像に後述するサポート情報を重ね合わせた合成画像を生成する機能を有る。
【００２９】
続いて、図６は、本実施形態に係るＰＣ３の構成を示すブロック図である。図６のように、ＰＣ３は、ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、ＨＤＤ３４、ディスプレイ３５、入力装置３６、及び通信インターフェース３７を備えており、これらは信号をやり取りするためのバス３８を介して接続されている。これらの構成要素について以下に順に説明する。
【００３０】
ＣＰＵ３１はプログラムに従って上記各部の動作を制御するとともに種々の演算処理を実行する。ＲＡＭ３２はＣＰＵ３１の作業領域として一時的にデータを記憶する。ＲＯＭ３３はＰＣ３の基本動作を制御するための各種プログラムやパラメーター等を格納する。ＲＯＭ３３に格納されたプログラムについてはさらに後述する。ＨＤＤ３４はＯＳ（オペレーティングシステム）を含む各種プログラムやパラメーター等を格納する。
【００３１】
ディスプレイ３５はＣＲＴディスプレイや液晶ディスプレイ等の表示装置である。入力装置３６はマウス等のポインティングデバイス及びキーボード等の固定キーを備えている。通信インターフェース３７はネットワークＮに接続された外部機器と双方向通信を行うためのインターフェースである。
【００３２】
図７は、本実施形態に係るＲＯＭ３３に格納されたプログラムを示す概念図である。図７のように、ＲＯＭ３３には、カメラ画像表示プログラムＱ１、サポート情報編集プログラムＱ２、マーカー情報読取プログラムＱ３、座標生成プログラムＱ４、及び送信データ生成プログラムＱ５が格納されている。これらのプログラムについて以下に順に説明する。
【００３３】
カメラ画像表示プログラムＱ１は、携帯電話２から受信したカメラ画像及びユーザー質問内容をディスプレイ３５上のカメラ画像表示部３５ａにリアルタイム表示する機能を有する。図１４は、カメラ画像表示部３５ａに表示中のカメラ画像及びユーザー質問内容の一例を示す概略図である。図１４中のカメラ画像及びユーザー質問内容は、図１２中のカメラ画像及びユーザー質問内容に対応している。
【００３４】
サポート情報編集プログラムＱ２は、カメラ画像表示部３５ａにおいてオペレーターからサポート情報を受け付ける機能を有する。ここでいうサポート情報とは、トラブル解決のためにオペレーターからユーザーに提供されるＭＦＰ１の操作指示のことを指す。図１５は、サポート情報編集プログラムＱ２により受け付けたサポート情報の一例を示す概略図である。図１５の例によるサポート情報は「この方向から撮影してください。」という文字列及び直線（矢印）の組み合わせからなるオブジェクトであり、マウスを操作するオペレーターによりカメラ画像表示部３５ａに表示中のカメラ画像上の所望の位置に入力される。
【００３５】
より具体的に、オペレーターは、カメラ画像表示部３５ａの近傍に配置された入力方法選択ボタン３５ｃのいずれかを選択した状態でマウス等を操作することにより、カメラ画像上の所望の位置にサポート情報を入力する。例えば、オペレーターは手書き入力ボタンを選択した後にマウスを左クリックした状態でカーソルを移動させることにより所望の位置に文字や図形等を描画することができる。
【００３６】
同様に、オペレーターは、直線描画ボタンを選択した後にマウスを左クリックした状態でカーソルを移動させることにより所望の位置に直線を描画することができるほか、文字列入力ボタンを選択した後にマウスを左クリックすることにより所望の位置に文字列を入力することができる。以下ではオペレーターによりカメラ画像表示部３５ａに入力されたサポート情報のことを「入力サポート情報」と称することがある。
【００３７】
マーカー情報読取プログラムＱ３は、カメラ画像表示部３５ａに表示中のカメラ画像に含まれるマーカーＭから位置ＩＤ等の各種情報を読み取る機能を有する。座標生成プログラムＱ４は、カメラ画像表示部３５ａに表示中のカメラ画像に含まれるマーカーＭを基準とする三次元座標系を生成し、その三次元座標系による入力サポート情報の位置座標を算出する機能を有する。送信データ生成プログラムＱ５は、サポート情報編集プログラムＱ２により受け付けた入力サポート情報、座標生成プログラムＱ４により算出した入力サポート情報の位置座標、及びマーカー情報読取プログラムＱ３により読み取ったマーカーＭの位置ＩＤを携帯電話２に送信する機能を有する。
【００３８】
次に、本実施形態に係るサポートシステムＡ１の動作の概要について説明する。図８は、ＭＦＰ１のトラブル発生時に実行されるシステム全体の処理の手順を示すフローチャートである。本処理はＭＦＰ１のトラブル発生時に携帯電話２上の専用アプリケーションが起動されることにより開始される。本処理の実行中、カメラ２７の視野にＭＦＰ１のトラブル発生箇所が映るように携帯電話２がユーザーの手で移動させられる。
【００３９】
図８のように、先ず、ディスプレイ２５のカメラ画像表示部２５ａ及び質問内容受付部２５ｂにそれぞれ表示中のカメラ画像及びユーザー質問内容をＰＣ２にリアルタイム送信する処理（Ｓ１０１）が携帯電話２により実行される。本処理のことを以下では「カメラ画像送信処理」と称する。カメラ画像送信処理の具体的な手順についてはさらに後述する。
【００４０】
続いて、ディスプレイ３５のカメラ画像表示部３５ａでオペレーターから受け付けた入力サポート情報及びその位置座標を携帯電話２に送信する処理（Ｓ１０２）がＰＣ３により実行される。本処理のことを以下では「サポート情報送信処理」と称する。サポート情報送信処理の具体的な手順についてはさらに後述する。
【００４１】
続いて、ディスプレイ２５のカメラ画像表示部２５ａに表示中のカメラ画像に入力サポート情報を重ね合わせた合成画像を、ＡＲ技術を用いて生成する処理（Ｓ１０３）が携帯電話２により実行される。本処理のことを以下では「サポート画像合成処理」と称する。サポート画像表示処理の具体的な手順についてはさらに後述する。
【００４２】
その後、ＭＦＰ１のトラブルが解決済みであるかどうかが判断され（Ｓ１０４）、トラブルが解決済みである場合は（Ｓ１０４のＹＥＳ）システム全体の処理が終了され（エンド）、トラブルが解決済みでない場合は（Ｓ１０４のＮＯ）、前述のＳ１０１〜Ｓ１０３が再度実行される。Ｓ１０４での１判断の方法についてはさらに後述する。
【００４３】
続いて、図９のフローチャートを参照して、本実施形態におけるカメラ画像送信処理（Ｓ１０１）の具体的な手順について説明する。先ず、携帯電話２は、カメラ２７を起動し（Ｓ２０１）、カメラ画像表示部２５ａにおけるカメラ画像のリアルタイム表示を開始する（Ｓ２０２）。続いて、携帯電話２は、表示中のカメラ画像内にマーカーＭが含まれているかどうかを判断する（Ｓ２０３）。
【００４４】
ここで、カメラ画像内に、マーカーＭが含まれている場合は（Ｓ２０３のＹＥＳ）、現在のカメラ位置を保持するようユーザーに指示するメッセージをメッセージ表示部２５ｃに表示する（Ｓ２０４）。図１０は、Ｓ２０４で表示されたメッセージの一例を示す概略図である。図１０の例において、メッセージ表示部２５ｃには「マーカー認識中。現在位置で撮影を続けてください。」というメッセージが表示されている。
【００４５】
他方、カメラ画像内にマーカーＭが含まれていない場合は（Ｓ２０３のＮＯ）、カメラ画像内にマーカーＭが含まれるようにカメラ位置を調整するようユーザーに指示するメッセージをメッセージ表示部２５ｃに表示してから（Ｓ２０５）、前述のＳ２０２に戻る。図１１は、Ｓ２０５で表示されたメッセージの一例を示す概略図である。図１１の例において、メッセージ表示部２５ｃには「マーカー認識不可。マーカーが映るように撮影してください。」というメッセージが表示されている。
【００４６】
続いて、携帯電話２は、質問内容受付部２５ｃにおいてユーザーから質問内容の入力を受け付ける（Ｓ２０６）。図１２は、Ｓ２０６で受け付けたユーザー質問内容の一例を示す概略図である。図１２の例によるユーザー質問内容は「紙詰まりがマニュアル通りの方法では直りません。対処方法を教えてください。」という文字列である。そして、携帯電話２は、ＰＣ３へのカメラ画像及びユーザー質問内容のリアルタイム送信を開始する（Ｓ２０７）。その後、携帯電話２は、カメラ画像送信処理（Ｓ１０１）を終了する（リターン）。
【００４７】
次に、図１３のフローチャートを参照して、本実施形態におけるサポート情報送信処理（Ｓ１０２）の具体的な手順について説明する。先ず、ＰＣ３は、携帯電話２からリアルタイム送信されているカメラ画像及びユーザー質問内容の受信を開始する（Ｓ３０１）。そして、ＰＣ３は、ディスプレイ３５上のカメラ画像表示部３５ａ及び質問内容表示部３５ｂにおけるカメラ画像及びユーザー質問内容のリアルタイム表示を開始する（Ｓ３０２）。図１４は、カメラ画像表示部３５ａ及び質問内容表示部３５ｂにそれぞれ表示中のカメラ画像及びユーザー質問内容の一例を示す概略図である。図１４中のカメラ画像及びユーザー質問内容は図１２中のカメラ画像及びユーザー質問内容に対応するものである。図１２、１４のように、両ディスプレイ２５、３５には同一のカメラ画像及びユーザー質問内容が表示される。
【００４８】
続いて、ＰＣ３は、カメラ画像表示部３５ａにおいてオペレーターからサポート情報の入力を受け付ける（Ｓ３０３）。図１５は、Ｓ３０３で受け付けた入力サポート情報の一例を示す概略図である。図１５の例による入力サポート情報は「この方向から撮影してください」という文字列とカメラ画像上の所定の箇所を指し示す矢印との組み合わせからなるオブジェクトである。
【００４９】
続いて、ＰＣ３は、カメラ画像表３５ａに表示中のカメラ画像内に複数のマーカーＭが含まれているかどうかを判断する（Ｓ３０４）。そして、複数のマーカーＭが含まれている場合は（Ｓ３０４のＹＥＳ）、Ｓ３０３で受け付けた入力サポート情報に最も近い位置のマーカーＭを選択する（Ｓ３０５）。他方、複数のマーカーＭが含まれていない場合（Ｓ３０４のＮＯ）、すなわち、単一のマーカーＭのみが含まれている場合は、その単一のマーカーＭを選択する（Ｓ３０６）。
【００５０】
続いて、ＰＣ３は、Ｓ３０５又はＳ３０６で選択したマーカーＭから位置ＩＤを読み取り、それをＨＤＤ３４に一時的に保存する（Ｓ３０７）。そして、ＰＣ３は、Ｓ３０５又はＳ３０６で選択したマーカーＭからカメラ２７までの距離及びカメラ２７に対する傾きを検出し、それらの検出結果に基づき当該マーカーＭを基準とする仮想的な三次元座標系を生成する（Ｓ３０８）。このように三次元座標系の基準とされるマーカーＭのことを以下では「選択マーカー」と称する。
【００５１】
続いて、ＰＣ３は、カメラ画像表示部３５ａにおいて受け付けた入力サポート情報の上記三次元座標系による位置座標を算出する（Ｓ３０９）。なお、選択マーカーＭから検出した情報に基づく三次元座標系の生成（Ｓ３０８）及びその三次元座標系による入力サポート情報の位置座標の算出（Ｓ３０９）には上記非特許文献１に記載の方法が採用される。Ｓ３０９で算出された入力サポート情報の位置座標のことを以下では「位置座標Ｐ」と称する。
【００５２】
続いて、ＰＣ３は、Ｓ３０３で受け付けた入力サポート情報、Ｓ３０９で算出した入力サポート情報の位置座標Ｐ、及びＳ３０７で保存した選択マーカーＭの位置ＩＤを携帯電話２に送信する（Ｓ３１０）。その後、ＰＣ３は入力サポート情報送信処理（Ｓ１０２）を終了する（リターン）。
【００５３】
次に、図１６のフローチャートを参照して、本実施形態におけるサポート画像合成処理（Ｓ１０３）の具体的な手順について説明する。先ず、携帯電話２は、ＰＣ３から送信された入力サポート情報、入力サポート情報の位置座標Ｐ、及び選択マーカーＭの位置ＩＤを受信する（Ｓ４０１）。そして、携帯電話２は、カメラ画像表示部２５ａに表示中のカメラ画像内に含まれるマーカーＭから、Ｓ４０１で受信した位置ＩＤと同一の位置ＩＤを有するマーカーＭを選択する（Ｓ４０２）。Ｓ４０２で選択されたマーカーＭは、上記のＳ３０５又はＳ３０６で選択されたマーカーＭと同様に三次元座標系の基準となる「選択マーカーＭ」として扱われる。
【００５４】
そして、携帯電話２は、カメラ画像表示部２５ａに表示中のカメラ画像内の選択マーカーＭからカメラ２７までの距離及びカメラ２７に対する傾きを検出し、それらの検出結果に基づき選択マーカーＭを基準とする仮想的な三次元座標系を生成する（Ｓ４０３）。Ｓ４０３で生成された三次元座標系は上記のＳ３０８で生成された三次元座標系と同一のものである。
【００５５】
続いて、携帯電話２は、カメラ画像表示部２５ａに表示中のカメラ画像に入力サポート情報を重ね合わせた合成画像のリアルタイム表示を開始する（Ｓ４０４）。このような合成画像のことを以下では「サポート画像」と称する。本実施形態におけるサポート画像は、Ｓ４０１で受信した位置座標Ｐ及びＳ４０３で生成した三次元座標系を用いて、Ｓ４０１で受信した入力サポート情報をカメラ画像表示部２５ａに表示中のカメラ画像に重ね合わせることにより合成される。なお、選択マーカーＭから検出した情報に基づく三次元座標系の生成（Ｓ４０３）及びその三次元座標系を用いたサポート画像の合成には上記非特許文献１に記載の方法が採用される。Ｓ３０９で算出された入力サポート情報の位置座標のことを以下では「位置座標Ｐ」と称する。
【００５６】
図１７は、カメラ画像表示部２５ａに表示中のサポート画像の一例を示す概略図である。図１７中のサポート画像は図１５中の入力サポート情報に対応している。なお、図１７のようにＭＦＰ１に対するカメラ２７の位置が変更されたとしても、サポート画像内のＭＦＰ１に対する入力サポート情報の位置は保持されている。これは位置座標Ｐの算出（Ｓ３０９）及びサポート画像の合成（Ｓ４０４）において同一の三次元座標系が用いられているからである。
【００５７】
続いて、携帯電話２は、ＭＦＰ１のトラブルが解決済みであるかどうかに関するユーザーの回答を受け付けるための「解決／未解決」ボタン２５ｄをディスプレイ２５上に表示する（Ｓ４０５）。図１７は、Ｓ４０５で表示された「解決／未解決」ボタン２５ｄの一例を示す概略図である。図１７の例において、ユーザーはタッチパネルやキーボード等を操作することにより「解決／未解決」ボタン２５ｄの「はい」又は「いいえ」を選択することができる。より具体的に、ユーザーはトラブルが解決済みである場合は「はい」を選択し、解決済みでない場合は「いいえ」を選択する。
【００５８】
続いて、携帯電話２は、ユーザーにより「解決／未解決」ボタン２５ｄが押下されたかどうかを判断する。そして、「解決／未解決」ボタン２５ｄが押下された場合は（Ｓ４０６のＹＥＳ）、ユーザーの回答内容（「はい」又は「いいえ」）をＥＥＰＲＯＭ２４に保存する（Ｓ４０７）。その後、携帯電話２は、カメラ画像表示部２５ａにおけるサポート画像のリアルタイム表示を中断してから（Ｓ４０８）、サポート画像合成処理を終了する（リターン）。このようにＳ４０８でサポート画像のリアルタイム表示が中断されることにより、カメラ画像表示部２５ａにおけるカメラ画像のリアルタイム表示が再開される。
【００５９】
他方、「解決／未解決」ボタン２５ｄが押下されていない場合は（Ｓ４０６のＮＯ）、カメラ画像表示部２５ａに表示中のカメラ画像内に選択マーカーが含まれているかどうかをさらに判断する（Ｓ４０９）。そして、カメラ画像内に選択マーカーＭが含まれている場合は（Ｓ４０９のＹＥＳ）、上記Ｓ４０６に戻る。また、カメラ画像内に選択マーカーＭが含まれていない場合は（Ｓ４０９のＮＯ）、カメラ画像表示部２５ａにおけるサポート画像のリアルタイム表示を中断してから（Ｓ４１０）、上記Ｓ４０６に戻る。このようにＳ４１０でサポート画像のリアルタイム表示が中断されることにより、カメラ画像表示部２５ａにおけるカメラ画像のリアルタイム表示が再開される。そのため、一旦Ｓ４１０が実行されたら、それ以降のＳ４０６及びＳ４０８はスキップされる。
【００６０】
再び図８を参照すると、Ｓ１０４では、Ｓ４０７においてＥＥＰＲＯＭ２４に保存されたユーザーの回答内容（「はい」又は「いいえ」）に基づきＭＦＰ１のトラブルが解決済みであるかどうかが判断される。そして、ユーザーにより「はい」が選択されていた場合は（Ｓ１０４のＹＥＳ）、サポートシステムＡ１全体の処理が終了される（エンド）。他方、ユーザーにより「いいえ」が選択されていた場合は（Ｓ１０４のＮＯ）、ユーザーにより「はい」が選択されるまでＳ１０１〜Ｓ１０３の処理が繰り返し実行される。
【００６１】
図１８は、図１７中のサポート画像を見たユーザーがそれに含まれる入力サポート情報に従ってカメラ２７の撮影方向を変更したときのカメラ画像を示す概略図である。図１８の例において、質問内容受付部２５ｂには「指示された方向を撮影しています。対象方法を教えてください。」というユーザー質問内容がさらに入力されている。
【００６２】
そして、図１９は、図１８中のカメラ画像及びユーザー質問内容に対する入力サポート情報に基づき合成されたサポート画像を示す概略図である。図１９の例による入力サポート情報は「小さな紙片が残っています。取り除いてください。」という文字列と紙片の位置を指し示す円との組み合わせからなるオブジェクトである。このようにユーザーはＭＦＰ１のトラブル発生箇所をカメラ２７で撮影しながら質問内容入力部２５ｂへの質問内容の入力を繰り返すことによりトラブル解決のための有効なサポート情報を入手することができる。
【００６３】
以上のように、本実施形態に係るサポートシステムＡ１は、ＰＣ３側でカメラ画像表示部３５ａに表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標Ｐを算出し、携帯電話２側でカメラ画像表示部２５ａに表示中のカメラ画像に同一の三次元座標系を用いてサポート情報を重ね合わせた合成画像を生成する。よって、本実施形態によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像が携帯電話２のカメラ画像表示部２５ａに表示されるので、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーは常に適切なサポート情報を入手することができる。
【００６４】
次に、本発明の第２実施形態について説明する。本実施形態に係るサポートシステムＡ２は前述した第１実施形態に係る遠隔サポートシステムＡ１と同様の構成を有している。そのため、以下では第１実施形態と相違する箇所についてのみ説明し、それ以外の箇所についての詳細な説明は省略する。また、本実施形態に係るサポートシステムＡ２の構成要素について言及する際には、前述した第１実施形態と同一の符号を用いる。
【００６５】
図２０は、本実施形態に係る携帯電話２のＥＥＰＲＯＭ２４に格納されたデータを示す概念図である。図２０のように、ＥＥＰＲＯＭ２３には、後述するサポート情報テーブルセットＳの集合であるサポート情報履歴Ｒが格納されている。ここで、サポート情報テーブルセットＳとは、リスト構造を有するサポート情報テーブルＴの組み合わせのことを指しており、サポート情報テーブルＴとは、個々のユーザー質問内容に対してオペレーターにより入力されたサポート情報、そのサポート情報の三次元座標系による位置座標Ｐ、及びその三次元座標系の生成に用いられた選択マーカーＭの位置ＩＤを包含するテーブルのことを指している。
【００６６】
図２０のように、個々のサポート情報テーブルセットＳは、ＭＦＰ１のトラブル発生から解決までの間にオペレーターにより入力された一連のサポート情報に対応するサポート情報テーブルＴを組み合わせたものである。また、個々のサポート情報テーブルセットＳには、最初にオペレーターにより入力されたサポート情報に対応するサポート情報テーブルＴが先頭になるように各々のサポート情報テーブルＴが入力順に配置されている。以下ではサポート情報テーブルセットＳの先頭に配置されたサポート情報テーブルＴのことを「第１テーブルＴ１」と称することがある。
【００６７】
図２１は、本実施形態に係る携帯電話２のＲＯＭ２３に格納されたプログラムを示す概念図である。図２１のように、ＲＯＭ２３には、前述したカメラ画像表示プログラムＰ１、質問内容編集プログラムＰ２、送信データ生成プログラムＰ３、マーカー情報読取プログラムＰ４、座標生成プログラムＰ５、及びサポート画像合成プログラムＰ６に加えて、サポート情報テーブルセット保存プログラムＰ７、及びサポート情報テーブルセット検索プログラムＰ７が格納されている。これらについて以下に順に説明する。
【００６８】
サポート情報テーブルセット保存プログラムＰ７は、ＭＦＰ１のトラブル発生から解決までの間に入力された各々のサポート情報に対応するサポート情報テーブルＴを作成し、それらをサポート情報テーブルセットＳとしてＥＥＰＲＯＭ２４に保存する機能を有する。前述のように、ＥＥＰＲＯＭ２４に保存されたサポート情報テーブルセットＳの集合のことをサポート情報履歴Ｒと称する。サポート情報テーブルセット検索プログラムＰ８は、表示中のカメラ画像内に含まれるマーカーＭから読み取った位置ＩＤを包含するサポート情報テーブルセットＳをサポート情報履歴Ｒから検索する機能を有する
次に、本実施形態に係るサポートシステムＡ２の動作の概要について説明する。図２２は、ＭＦＰ１のトラブル発生時に実行されるシステム全体の処理の手順を示すフローチャートである。本処理はＭＦＰ１のトラブル発生時に携帯電話２上の専用アプリケーションが起動されることにより開始される。本処理の実行中、カメラ２７の視野にＭＦＰ１のトラブル発生箇所が映るように携帯電話２がユーザーの手で移動させられる。
【００６９】
図２２のように、先ず、ディスプレイ２５上のカメラ画像表示部２５ａに表示中のカメラ画像内に含まれるマーカーＭから位置ＩＤを読み取り、その位置ＩＤを包含するサポート情報テーブルセットＳをサポート情報履歴Ｒから検索する処理（Ｓ５０１）が携帯電話２により実行される。本処理のことを以下では「サポート情報検索処理」と称する。
【００７０】
続いて、サポート情報検索処理による検索結果が判断される（Ｓ５０２）。そして、マーカーＭから読み取った位置ＩＤを包含するサポート情報テーブルセットＳが存在しない場合は（Ｓ５０２のＮＯ）、携帯電話２によるカメラ画像送信処理（Ｓ５０４）が実行される。他方、マーカーＭから読み取った位置ＩＤを包含するサポート情報テーブルセットＳが存在する場合は（Ｓ５０２のＹＥＳ）、そのサポート情報テーブルセットＳに包含されているサポート情報をカメラ画像表示部２５ａに表示中のカメラ画像に重ね合わせた合成画像を、ＡＲ技術を用いて生成する処理（Ｓ５０３）が携帯電話２により実行され、その後にＭＦＰ１のトラブルが解決済みであるかどうかが判断される（Ｓ５０７）。本処理のことを以下では「履歴サポート画像合成処理」と称する。
【００７１】
次に、本実施形態にサポート情報検索処理（Ｓ５０１）及び履歴サポート画像合成処理（Ｓ５０３）の具体的な手順について説明する。なお、Ｓ５０４〜Ｓ５０７の具体的な手順は前述したＳ１０１〜Ｓ１０４と同様であるので、これらのステップについての詳細な説明は省略する。
【００７２】
図２３は、本実施形態におけるサポート情報検索処理（Ｓ５０１）の具体的な手順を示すフローチャートである。図２３のように、先ず、携帯電話２は、カメラ２７を起動し（Ｓ６０１）、カメラ画像表示Ｓ１におけるカメラ画像のリアルタイム表示を開始する（Ｓ６０２）。続いて、携帯電話２は、表示中のカメラ画像内にマーカーＭが含まれているかどうかを判断する（Ｓ６０３）。
【００７３】
ここで、カメラ画像内に、マーカーＭが含まれている場合は（Ｓ６０３のＹＥＳ）、現在のカメラ位置を保持するようユーザーに指示するメッセージをメッセージ表示部２５ｃに表示する（Ｓ６０５）。Ｓ６０５で表示されるメッセージは、上記のＳ２０４で表示されるメッセージと同様である（図１０参照）。他方、カメラ画像内にマーカーＭが含まれていない場合は（Ｓ６０３のＮＯ）、カメラ画像内にマーカーＭが含まれるようにカメラ位置を調整するようユーザーに指示するメッセージをメッセージ表示部２５ｃに表示してから（Ｓ６０５）、前述のＳ６０２に戻る。Ｓ６０４で表示されるメッセージは、上記のＳ２０５で表示されるメッセージと同様である（図１１参照）。
【００７４】
続いて、携帯電話２はカメラ画像内に含まれているマーカーＭから位置ＩＤを読み取り（Ｓ６０６）、その位置ＩＤを包含するサポート情報テーブルセットＳをＥＥＰＲＯＭ２４内のサポート情報履歴Ｒから検索する（Ｓ６０７）。そして、該当するサポート情報テーブルセットＳが存在する場合は（Ｓ６０８のＹＥＳ）、「履歴あり」という検索結果をＥＥＰＲＯＭ２４に保存する（Ｓ６０９）。その後、携帯電話２は、該当する全てのサポート情報テーブルセットＳをＲＡＭ２２に読み込んでから（Ｓ６１１）、サポート情報テーブルセットＳ検索処理を終了する（リターン）。
【００７５】
他方、該当するサポート情報テーブルセットＳがサポート情報履歴Ｒ中に存在しない場合は（Ｓ６０８のＮＯ）、「履歴なし」という検索結果をＥＥＰＲＯＭ２４に保存してから（Ｓ６１０）、サポート情報テーブルセット検索処理を終了する（リターン）。なお、Ｓ６０９又はＳ６１０でＥＥＰＲＯＭ２４に保存された検索結果は上記のＳ５０２での判断に用いられる。
【００７６】
図２４Ａ及び図２４Ｂは、本実施形態における履歴サポート画像合成処理（Ｓ５０３）の具体的な手順を示すフローチャートである。先ず、携帯電話２は、上記のＳ６１１でＲＡＭ２２に読み込んだ各々のサポート情報テーブルセットＳの第１テーブルＴ１に包含されているユーザー質問内容のリストを作成し、それを履歴表示部２５ｅにユーザー選択可能な形態で表示する（Ｓ７０１）。図２５は、Ｓ７０１で履歴表示部２５ｅに表示されたユーザー質問内容のリストの一例を示す概略図である。図２５の例において、履歴表示部２５ｅはカメラ画像表示部２５ａの下方に配置されており、ユーザーはタッチパネルやキーボード等を操作することによりリスト中のいずれかのユーザー質問内容を選択することができる。
【００７７】
続いて、携帯電話２は、オペレーターからサポート情報を取得すべきとのユーザー指示を受け付けるための「オペレーターコール」ボタン２５ｆをディスプレイ２５上に表示する（Ｓ７０２）。図２５は、Ｓ７０２で表示された「オペレーターコール」ボタン２５ｆの一例を示す概略図である。図２５の例において、「オペレーターコール」ボタン２５ｆは履歴表示部２５ｅの下方に配置されており、ユーザーはタッチパネルやキーボード等を操作することにより「オペレーターコール」ボタン２５ｆを押下することができる。
【００７８】
続いて、携帯電話２は、ユーザーにより「オペレーターコール」ボタン２５ｆが押下されたかどうかを判断する（Ｓ７０３）。そして、「オペレーターコール」ボタン２５ｆが押下されている場合は（Ｓ７０３のＹＥＳ）、そのまま履歴サポート画像合成処理を終了する（リターン）。他方、「オペレーターコール」ボタン２５ｆが押下されていない場合は（Ｓ７０４のＮＯ）、履歴表示部２５ｅにおいてユーザー質問内容の選択を受け付けたかどうかをさらに判断する（Ｓ７０４）。
【００７９】
ここで、ユーザー質問内容の選択を受け付けていない場合は（Ｓ７０４のＮＯ）、上記のＳ７０４に戻る。他方、ユーザー質問内容の選択を受け付けている場合は（Ｓ７０４のＹＥＳ）、上記のＳ６０６で保存したマーカーＭの位置ＩＤをＲＡＭ２２に読み込む（Ｓ７０５）。ただし、Ｓ７０５に先立ち、後述するＳ７１８が実行済みである場合は最後に実行されたＳ７１８で保存した位置ＩＤをＲＡＭ２２に読み込む。
【００８０】
続いて、携帯電話２は、ユーザーにより選択されたユーザー質問内容に対応するサポート情報テーブルセットＳから、Ｓ７０５で読み込んだ位置ＩＤを包含しているサポート情報テーブルＴを選択する（Ｓ７０６）。Ｓ７０５で読み込まれた位置ＩＤを有するマーカーＭは、上記のＳ３０５又はＳ３０６で選択されたマーカーＭと同様に三次元座標系の基準となる「選択マーカーＭ」として扱われる。そして、携帯電話２は、カメラ画像表示部２５ａに表示中のカメラ画像内の選択マーカーＭからカメラ２７までの距離及びカメラ２７に対する傾きを検出し、それらの検出結果に基づき選択マーカーＭを基準とする仮想的な三次元座標系を生成する（Ｓ７０７）。
【００８１】
続いて、携帯電話２は、カメラ画像表示部２５ａに表示中のカメラ画像に、Ｓ７０６で選択したサポート情報テーブルＴ内のサポート情報を重ね合わせた合成画像のリアルタイム表示を開始する（Ｓ７０８）。このような合成画像のことを以下では「履歴サポート画像」と称する。このような履歴サポート画像は、Ｓ７０６で選択したサポート情報テーブルＴ内の位置座標Ｐ及びＳ７０７で生成した三次元座標系を用いて、Ｓ７０６で選択したサポート情報テーブルＴ内のサポート情報をカメラ画像表示部２５ａに表示中のカメラ画像に重ね合わせることにより合成される。
【００８２】
図２６は、カメラ画像表示部２５ａに表示中の履歴サポート画像の一例を示す概略図である。図２６の例による履歴サポート画像は、カメラ画像表示部２５ａに表示中のカメラ画像に「小さな紙片が残っています。取り除いてください。」という文字列と紙片の位置を指し示す円との組み合わせからなるサポート情報を重ね合わせることにより生成されている。なお、選択マーカーＭから検出した情報に基づく三次元座標系の生成（Ｓ７０７）及びその三次元座標系を用いた履歴サポート画像の合成には上記非特許文献１に記載の方法が採用される。
【００８３】
続いて、携帯電話２は、上記のＳ６１１で読み込んだサポート情報テーブルセットＳの第１テーブルに包含されているユーザー質問内容を第１質問内容表示部２５ｇ１に表示するとともに（Ｓ７０９）、Ｓ７０６で選択したサポート情報テーブルＴに包含されているユーザー質問内容を第２質問内容表示部２５ｇ２に表示する（Ｓ７０１）。図２６は、Ｓ７０９及びＳ７１０において第１質問内容表示部２５ｇ１及び第２質問内容表示部２５ｇ２にそれぞれ表示されたユーザー質問内容の一例を示す概略図である。図２６の例において、第１質問内容表示部２５ｇ１はカメラ画像表示部２５ａの下方に配置されており、第２質問内容表示部２５ｇ２はカメラ画像表示部２５ａと第１質問内容表示部２５ｇ１との間に配置されている。そして、第１質問内容表示部２５ｇ１には「紙詰まりがマニュアル通りの方法では直りません。対処方法を教えてください。」という文字列からなるユーザー質問内容が表示されており、第２質問内容表示部２５ｇ２には「指示された方向を撮影しています。対処方法を教えてください。」という文字列からなるユーザー質問内容が表示されている。
【００８４】
続いて、携帯電話２は、トラブルが解決済みであるかどうかに関するユーザーの回答を受け付けるための「解決／未解決」ボタン２５ｄをディスプレイ２５上にさらに表示する（Ｓ７１１）。図２６は、Ｓ７１１において表示された「解決／未解決」ボタン２５ｄの一例を示す概略図である。図２６の例において、ユーザーはタッチパネルやキーボード等を操作することにより「解決／未解決」ボタン２５ｄの「はい」又は「いいえ」を選択することができる。より具体的に、ユーザーはトラブルが解決済みである場合は「はい」を選択し、解決済みでない場合は「いいえ」を選択する。
【００８５】
続いて、携帯電話２は、ユーザーにより「解決／未解決」ボタン２５ｄが押下されたかどうかを判断する（Ｓ７１２）。そして、「解決／未解決」ボタン２５ｄが押下されている場合は（Ｓ７１２のＹＥＳ）、ユーザーの回答内容（「はい」又は「いいえ」）をＥＥＰＲＯＭ２４に保存する（Ｓ７１３）。その後、携帯電話２は、カメラ画像表示部２５ａにおける履歴サポート画像のリアルタイム表示を中断してから（Ｓ７１４）、履歴サポート画像合成処理を終了する（リターン）。このようにＳ７１４で履歴サポート画像のリアルタイム表示が中断されることにより、カメラ画像表示部２５ａにおけるカメラ画像のリアルタイム表示が再開される。
【００８６】
他方、「解決／未解決」ボタン２５ｄが押下されていない場合は（Ｓ７１２のＮＯ）、カメラ画像表示部２５ａに表示中のカメラ画像内にマーカーＭが含まれているかどうかをさらに判断する（Ｓ７１５）。そして、カメラ画像内にマーカーＭが含まれていない場合は（Ｓ７１５のＮＯ）、カメラ画像表示部２５ａにおける履歴サポート画像のリアルタイム表示を中断してから（Ｓ７１６）、上記の前述の７１２に戻る。このようにＳ７１６で履歴サポート画像のリアルタイム表示が中断されることにより、カメラ画像表示部２５ａではカメラ画像のリアルタイム表示が再開される。そのため、一旦Ｓ７１６が実行されたら、それ以降のＳ７１４及びＳ７１６はスキップされる。
【００８７】
また、カメラ画像内にマーカーＭが含まれている場合は（Ｓ７１５のＹＥＳ）、そのマーカーＭが三次元座標系の生成（Ｓ７０７）に用いられた選択マーカーＭであるかどうかをさらに判断する（Ｓ７１７）。そして、当該マーカーＭが選択マーカーＭである場合は（Ｓ７１７のＹＥＳ）、前述のＳ７１２に戻り、当該マーカーＭが選択マーカーＭでない場合は（Ｓ７１７のＮＯ）、当該マーカーＭの位置ＩＤをＥＥＰＲＯＭ２４に保存してから（Ｓ７１９）、前述のＳ７０５に戻る。
【００８８】
次に、図２７のフローチャートを参照して、本実施形態におけるサポート画像合成処理の具体的な手順について説明する。ここで、図２７におけるＳ８０１〜Ｓ８１０の具体的な手順は前述したＳ４０１〜Ｓ４１０と同様であるので、これらのステップについての詳細な説明は省略する。図２７におけるＳ８１１〜Ｓ８１５の具体的な手順は以下の通りである。
【００８９】
先ず、携帯電話２は、Ｓ８０１で受信した入力サポート情報、入力サポート情報の位置座標Ｐ、及び選択マーカーＭの位置ＩＤ、並びに質問内容受付部２５ｂに表示中のユーザー質問内容を包含するサポート情報テーブルＴを作成する（Ｓ８１１）。そして、携帯電話２は、サポートシステムＡ２全体の処理（図２２参照）の開始後にサポート情報テーブルセットＳを作成済みであるかどうかを判断する（Ｓ８１２）。
【００９０】
そして、サポート情報テーブルセットＳを作成済みである場合は（Ｓ８１２のＹＥＳ）、そのサポート情報テーブルセットＳの最後尾にＳ８１１で作成したサポート情報テーブルＴを追加する（Ｓ８１３）。その後、携帯電話２は、Ｓ８１３でのサポート情報テーブルＴの追加後のサポート情報テーブルセットＳをＥＥＰＲＯＭ２４に保存してから（Ｓ８１５）、サポート画像合成処理を終了する（リターン）。
【００９１】
他方、サポート情報テーブルセットＳを作成済みでない場合は（Ｓ８１２のＮＯ）、新たにサポート情報テーブルセットＳを作成し（Ｓ８１４）、そのサポート情報テーブルセットＳにＳ８１１で作成したサポート情報テーブルＴを追加する（Ｓ８１３）。その後、携帯電話２は、Ｓ８１３でのサポート情報テーブルＴの追加後のサポート情報テーブルセットＳをＥＥＰＲＯＭ２４に保存してから（Ｓ８１５）、サポート画像合成処理を終了する（リターン）。
【００９２】
以上のように、本実施形態に係るサポートシステムＡ２は、ＰＣ３側でカメラ画像表示部２５ａに表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標Ｐを算出し、携帯電話２側でカメラ画像表示部２５ａに表示中のカメラ画像に同一の三次元座標系を用いたカメラ画像を重ね合わせた合成画像を生成する。よって、本実施形態によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像が携帯電話２のカメラ画像表示部２５ａに表示されるので、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーは常に適切なサポート情報を入手することができる。
【００９３】
このほか、本実施形態によると、オペレーターから受け付けた一連のサポート情報をサポート情報履歴Ｒとして携帯電話２側に保存しておき、その後のトラブル発生時に、サポート情報履歴Ｒに包含されているサポート情報をカメラ画像表示部２５ａに表示中のカメラ画像に重ね合わせた合成画像（履歴サポート画像）を生成することができる。よって、本実施形態によると、トラブル発生時のオペレーターの負担を軽減することができるとともに、携帯電話２とのＰＣ３との間のデータ通信によるネットワークの負荷を軽減することができる。
【００９４】
次に、本発明の第３実施形態について説明する。本実施形態に係るサポートシステムＡ３は前述した第１実施形態に係る遠隔サポートシステムＡ１と同様の構成を有している。そのため、以下では第１実施形態と相違する箇所についてのみ説明し、それ以外の箇所についての詳細な説明は省略する。また、本実施形態に係るサポートシステムＡ３の構成要素について言及する際には、前述した第１実施形態と同一の符号を用いる。
【００９５】
図２８は、本実施形態に係るＰＣ３のＨＤＤ３４に格納されたデータを示す概念図である。図２８のように、ＨＤＤ３４には、ＭＦＰ１を構成する部品のうちリコール対象となっているものの部品番号及び製造番号の組み合わせからなるリストを格納している。このようなリストのことを以下では「リコール対象リストＬ」と称する。
【００９６】
次に、本実施形態に係るサポートシステムＡ３の動作の概要について説明する。図２９は、ＭＦＰ１のトラブル発生時に実行されるシステム全体の処理の手順を示すフローチャートである。本処理はＭＦＰ１のトラブル発生時に携帯電話２上の専用アプリケーションが起動されることにより開始される。そして、本処理の実行中、カメラ２７の視野にＭＦＰ１のトラブル発生箇所が映るように携帯電話２がユーザーの手で移動させられる。
【００９７】
図２９のように、先ず、ディスプレイ２５上のカメラ画像表示部２５ａ及び質問内容受付部２５ｂにそれぞれ表示中のカメラ画像及びユーザー質問内容をＰＣ２にリアルタイム送信する処理（Ｓ９０１）が携帯電話２により実行される。本処理は前述のカメラ画像送信処理（Ｓ１０１）と同様であるので、これについての詳細な説明は省略する。
【００９８】
続いて、ディスプレイ３５上のカメラ画像表示部３５ａでオペレーターから受け付けた入力サポート情報及びその位置座標を携帯電話２に送信する処理（Ｓ９０２）がＰＣ３により実行される。本処理のことを以下では単に「サポート情報送信処理」と称する。サポート情報送信処理の具体的な手順についてはさらに後述する。
【００９９】
続いて、ディスプレイ２５上のカメラ画像表示部２５ａに表示中のカメラ画像に入力サポート情報を重ね合わせた合成画像を、ＡＲ技術を用いて生成する処理（Ｓ９０３）が携帯電話２により実行される。本処理は前述のサポート画像合成処理（Ｓ１０３）と同様であるので、これについての詳細な説明は省略する。
【０１００】
その後、ＭＦＰ１のトラブルが解決済みであるかどうかが判断され（Ｓ９０４）、トラブルが解決済みである場合は（Ｓ９０４のＹＥＳ）システム全体の処理が終了され（エンド）、トラブルが解決済みでない場合は（Ｓ９０４のＮＯ）、前述のＳ９０１〜Ｓ９０３が再度実行される。Ｓ９０４における判断の方法は、前述したＳ１０４における判断の方法と同様である。
【０１０１】
次に、図３０のフローチャートを参照して、本実施形態におけるサポート情報送信処理（Ｓ９０２）の具体的な手順について説明する。先ず、ＰＣ３は、携帯電話２からリアルタイム送信されているカメラ画像及びユーザー質問内容の受信を開始する（Ｓ１００１）。そして、ＰＣ３は、ディスプレイ３５上のカメラ画像表示部３５ａ及び質問内容表示部３５ａにおけるカメラ画像及びユーザー質問内容のリアルタイム表示を開始する（Ｓ１００２）。
【０１０２】
続いて、ＰＣ３は、カメラ画像表示部３５ａに表示中のカメラ画像内に含まれている全てのマーカーＭから部品番号及び製造番号を読み取り（Ｓ１００３）、それらの部品番号及び製造番号がＨＤＤ３４内のリコール対象リストＬに包含されているかどうかを判断する（Ｓ１００４）。そして、Ｓ１００３で読み取った部品番号及び製造番号がリコール対象リストＬに包含されている場合は（Ｓ１００４のＹＥＳ）、表示中のカメラ画像内にリコール対象の部品が含まれていることをオペレーターに通知するメッセージをメッセージ表示部３５ｄに表示する（Ｓ１００５）。この際、リコール対象である部品のカメラ画像中の位置を指し示すオブジェクトをカメラ画像に重ね合わせて表示することが好ましい。このようなオブジェクトの合成には、上記非特許文献１に記載の方法が採用される。その後、ＰＣ３はＳ１００６に進み、カメラ画像表示部３５ａにおいてオペレーターからサポート情報の入力を受け付ける。
【０１０３】
図３１は、Ｓ１００５で表示されたメッセージの一例を示す概略図である。図３１の例において、メッセージ表示部３５ｄには「赤枠部のパーツはリコール対象です。」というメッセージが表示されており、カメラ画像表示部３５ａにはリコール対象であるパーツの位置を指し示す矩形オブジェクト（図中の点線を参照）をカメラ画像に重ね合わせた合成画像が表示されている。
【０１０４】
他方、Ｓ１００３で読み取った部品番号及び製造番号がリコール対象リストＬに包含されていない場合は（Ｓ１００４のＮＯ）、そのままＳ１００６に進み、カメラ画像表示部３５ａにおいてオペレーターからサポート情報の入力を受け付ける。なお、図３１におけるＳ１００６〜Ｓ１０１３の具体的な手順は前述したＳ３０３〜Ｓ３１０と同様であるので、これらのステップについての詳細な説明は省略する。
【０１０５】
以上のように、本実施形態に係るサポートシステムＡ３は、ＰＣ３側でカメラ画像表示部３５ａに表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標Ｐを算出し、携帯電話２側でカメラ画像表示部２５ａに表示中のカメラ画像に同一の三次元座標系を用いてサポート情報を重ね合わせた合成画像を生成する。よって、本実施形態によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像が携帯電話２のカメラ画像表示部２５ａに表示されるので、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーは常に適切なサポート情報を入手することができる。
【０１０６】
このほか、本実施形態によると、ＰＣ３側で表示中のカメラ画像中にリコール対象の部品が含まれている場合には、その旨をオペレーターに通知するメッセージをさらに表示することができる。よって、本実施形態によると、オペレーターはトラブル発生時により適切なサポート情報をユーザーに提供することができる。
【０１０７】
本発明は、上記実施形態のみに限定されるものではなく、特許請求の範囲において種々改変することができる。例えば、上記実施形態においては本発明に係る携帯端末として携帯電話２を採用したが、これは所謂ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）やノート型ＰＣ等であってもよい。また、本発明に係るマーカーの種類や形態等は上記実施形態において例示したものに限定されない。さらに、上記実施形態において携帯電話２のカメラ２７による撮影画像は動画であると説明したが、本発明に係る携帯端末の撮影部による撮影画像は静止画であってもよい。
【０１０８】
なお、本発明に係るサポートシステムは、上記手順を実行するための専用のハードウェア回路によっても、上記手順を記述したプログラムをＣＰＵが実行することによっても実現可能である。後者により本発明を実現する場合、サポートシステムを作動させるプログラムは、フロッピー（登録商標）ディスクやＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。ここで、コンピュータ読み取り可能な記録媒体に記録されたプログラムは、通常、記録装置に内蔵されたＲＯＭやＨＤＤ等に転送される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、サポートシステムの一機能としてソフトウェアに組み込まれてもよい。
【符号の説明】
【０１０９】
１        ＭＦＰ、
２        携帯電話、
２１      ＣＰＵ、
２２      ＲＡＭ、
２３      ＲＯＭ、
２４      ＥＥＰＲＯＭ、
２５      ディスプレイ、
２５ａ    カメラ画像表示部、
２５ｂ    質問内容受付部、
２５ｃ    メッセージ表示部、
２５ｄ    「解決／未解決」ボタン、
２５ｅ    履歴表示部、
２５ｆ    「オペレーターコール」ボタン、
２５ｇ１  第１質問内容表示部、
２５ｇ２  第２質問内容表示部、
２６    入力装置、
２７    カメラ、
２８    ネットワークインターフェース、
２９    バス、
３      ＰＣ、
３１    ＣＰＵ、
３２    ＲＡＭ、
３３    ＲＯＭ、
３４    ＨＤＤ、
３５    ディスプレイ、
３５ａ  カメラ画像表示部、
３５ｂ  質問内容表示部、
３５ｃ  入力方法選択ボタン、
３５ｄ  メッセージ表示部、
３６    入力装置、
３７    ネットワークインターフェース、
３８    バス、
Ａ１、Ａ２、Ａ３  サポートシステム、
Ｂ      無線基地局、
Ｌ      リコール情報リスト、
Ｍ      マーカー、
Ｎ      ネットワーク、
Ｒ      サポート情報履歴、
Ｓ      サポート情報テーブルセット、
Ｔ      サポート情報テーブル、
Ｔ１    第１テーブル。
【図１】
2013115578.tif 000003
【図２】
2013115578.tif 000004
【図４】
2013115578.tif 000005
【図５】
2013115578.tif 000006
【図６】
2013115578.tif 000007
【図７】
2013115578.tif 000008
【図８】
2013115578.tif 000009
【図９】
2013115578.tif 000010
【図１０】
2013115578.tif 000011
【図１１】
2013115578.tif 000012
【図１２】
2013115578.tif 000013
【図１３】
2013115578.tif 000014
【図１４】
2013115578.tif 000015
【図１６】
2013115578.tif 000016
【図１８】
2013115578.tif 000017
【図２０】
2013115578.tif 000018
【図２１】
2013115578.tif 000019
【図２２】
2013115578.tif 000020
【図２３】
2013115578.tif 000021
【図２４Ａ】
2013115578.tif 000022
【図２４Ｂ】
2013115578.tif 000023
【図２５】
2013115578.tif 000024
【図２７】
2013115578.tif 000025
【図２８】
2013115578.tif 000026
【図２９】
2013115578.tif 000027
【図３０】
2013115578.tif 000028
【図３１】
2013115578.tif 000029
【図３】
2013115578.tif 000030
【図１５】
2013115578.tif 000031
【図１７】
2013115578.tif 000032
【図１９】
2013115578.tif 000033
【図２６】
2013115578.tif 000034