(57)【特許請求の範囲】
【請求項１】
アシスト対象機器の機能を利用するためのアシスト要求を被アシスト端末から受信するアシスト要求受信部と、
前記アシスト対象機器のマニュアル情報を格納する機器情報格納部と、
前記アシスト要求の受信に応答して、前記被アシスト端末に前記アシスト対象機器の現在状態を示すキャプチャ画像を要求し、前記マニュアル情報において受信した前記キャプチャ画像に対応する機器画像を特定し、前記特定された機器画像に示される前記アシスト対象機器の状態から前記機能を実行するためのユーザ操作を決定する機器操作決定部と、
前記決定されたユーザ操作を指示する操作指示画像又は前記被アシスト端末が前記操作指示画像を生成するための情報要素を生成し、前記被アシスト端末に送信する操作指示画像生成部と、
を有するサーバであって、
前記機器操作決定部は、前記操作指示画像により指示されたユーザ操作が実行された後の前記アシスト対象機器の状態を示す操作後キャプチャ画像を要求し、受信した前記操作後キャプチャ画像と、前記ユーザ操作が正しく実行された後に前記アシスト対象機器が移行する状態を示す目的画像とを比較し、比較結果に応じて次のユーザ操作を決定するサーバ。
【請求項２】
前記操作指示画像生成部は、前記決定されたユーザ操作を示すアノテーションを前記アシスト対象機器の操作手段の画像に重畳することによって、前記操作指示画像を生成する、請求項１記載のサーバ。
【請求項３】
前記マニュアル情報は、
前記アシスト対象機器のスタート状態から各機能を実行するための１以上のユーザ操作から構成される操作手順を示す操作手順情報と、
前記アシスト対象機器のスタート状態を示す機器画像から順序付けされ、前記操作手順の各ユーザ操作の実行前の機器画像と実行後の目的画像とから構成される画像シーケンスを示す遷移画像情報と、
を有する、請求項２記載のサーバ。
【請求項４】
前記機器操作決定部は、前記操作後キャプチャ画像と前記目的画像とが一致するか判定し、前記操作後キャプチャ画像と前記目的画像とが一致する場合、前記画像遷移情報において前記目的画像に後続する次の目的画像に遷移するための前記操作手順情報のユーザ操作を前記次のユーザ操作として決定する、請求項３記載のサーバ。
【請求項５】
前記操作後キャプチャ画像と前記目的画像とが一致しない場合、前記機器操作決定部は、前記ユーザ操作が実行される前の状態に戻すためのユーザ操作を前記次のユーザ操作として決定する、請求項４記載のサーバ。
【請求項６】
前記機器操作決定部は、前記操作後キャプチャ画像が前記画像遷移情報の最終目的画像に一致するまで、前記次のユーザ操作を決定し続ける、請求項５記載のサーバ。
【請求項７】
前記アシスト要求受信部は、前記アシスト対象機器を受信すると、前記マニュアル情報を参照して、前記アシスト対象機器において利用可能な１以上の機能を示すメニュー情報を前記被アシスト端末に送信し、所望する機能をユーザに選択させる、請求項１記載のサーバ。
【請求項８】
ユーザがアシスト対象機器を利用するのを支援する被アシスト端末と、
前記被アシスト端末と通信接続されるサーバと、
前記サーバに通信接続されるデータセンタと、
を有するリモートアシストシステムであって、
前記サーバは、
前記アシスト対象機器の機能を利用するためのアシスト要求を被アシスト端末から受信するアシスト要求受信部と、
前記アシスト対象機器のマニュアル情報を前記データセンタから取得し、前記取得したマニュアル情報を格納する機器情報格納部と、
前記アシスト要求の受信に応答して、前記被アシスト端末に前記アシスト対象機器の現在状態を示すキャプチャ画像を要求し、前記マニュアル情報において受信した前記キャプチャ画像に対応する機器画像を特定し、前記特定された機器画像に示される前記アシスト対象機器の状態から前記機能を実行するためのユーザ操作を決定する機器操作決定部と、
前記決定されたユーザ操作を指示する操作指示画像又は前記被アシスト端末が前記操作指示画像を生成するための情報要素を生成し、前記被アシスト端末に送信する操作指示画像生成部と、
を有し、
前記機器操作決定部は、前記操作指示画像により指示されたユーザ操作が実行された後の前記アシスト対象機器の状態を示す操作後キャプチャ画像を要求し、受信した前記操作後キャプチャ画像と、前記ユーザ操作が正しく実行された後に前記アシスト対象機器が移行する状態を示す目的画像とを比較し、比較結果に応じて次のユーザ操作を決定するリモートアシストシステム。
【請求項９】
リモートアシストサービスを提供するサーバにおける方法であって、
アシスト対象機器の機能を利用するためのアシスト要求を被アシスト端末から受信するステップと、
前記アシスト要求の受信に応答して、前記被アシスト端末に前記アシスト対象機器の現在状態を示すキャプチャ画像を要求し、前記サーバに格納されているマニュアル情報において受信した前記キャプチャ画像に対応する機器画像を特定し、前記特定された機器画像に示される前記アシスト対象機器の状態から前記機能を実行するためのユーザ操作を決定するステップと、
前記決定されたユーザ操作を指示する操作指示画像又は前記被アシスト端末が前記操作指示画像を生成するための情報要素を生成し、前記被アシスト端末に送信するステップと、
を有し、
前記ユーザ操作を決定するステップは、前記操作指示画像により指示されたユーザ操作が実行された後の前記アシスト対象機器の状態を示す操作後キャプチャ画像を要求し、受信した前記操作後キャプチャ画像と、前記ユーザ操作が正しく実行された後に前記アシスト対象機器が移行する状態を示す目的画像とを比較し、比較結果に応じて次のユーザ操作を決定する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リモートアシストサービスを提供するためのサーバ、リモートアシストシステム及び方法に関する。
【背景技術】
【０００２】
近年、拡張現実技術、すなわち、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術を利用した仮想オブジェクトの重畳処理が注目されている。このＡＲ技術では、コンピュータを利用して現実環境に付加情報（アノテーション）を重畳してディスプレイ上に提示することが可能となる。典型的には、アノテーションは、現実環境中の特定の物体に関する説明や関連情報を含み、説明対象となる物体近くに提示される。
【０００３】
一方、モバイル端末間の遠隔操作支援のためのナイスアシストモバイル技術が現在利用されている。このナイスアシストモバイル技術によると、ユーザは携帯端末などを利用して遠隔的な支援を受けることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２７９９７４号公報
【特許文献２】特開２０００−１０１７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の課題は、ＡＲ技術を利用して機器の操作方法を遠隔支援するサーバ、リモートアシストシステム及び方法を提供することである。
【課題を解決するための手段】
【０００６】
上記課題に鑑み、本発明の一特徴は、アシスト対象機器の機能を利用するためのアシスト要求を被アシスト端末から受信するアシスト要求受信部と、前記アシスト対象機器のマニュアル情報を格納する機器情報格納部と、前記アシスト要求の受信に応答して、前記被アシスト端末に前記アシスト対象機器の現在状態を示すキャプチャ画像を要求し、前記マニュアル情報において受信した前記キャプチャ画像に対応する機器画像を特定し、前記特定された機器画像に示される前記アシスト対象機器の状態から前記機能を実行するためのユーザ操作を決定する機器操作決定部と、前記決定されたユーザ操作を指示する操作指示画像又は前記被アシスト端末が前記操作指示画像を生成するための情報要素を生成し、前記被アシスト端末に送信する操作指示画像生成部とを有するサーバであって、前記機器操作決定部は、前記操作指示画像により指示されたユーザ操作が実行された後の前記アシスト対象機器の状態を示す操作後キャプチャ画像を要求し、受信した前記操作後キャプチャ画像と、前記ユーザ操作が正しく実行された後に前記アシスト対象機器が移行する状態を示す目的画像とを比較し、比較結果に応じて次のユーザ操作を決定するサーバに関する。
【０００７】
本発明の他の特徴は、ユーザがアシスト対象機器を利用するのを支援する被アシスト端末と、前記被アシスト端末と通信接続されるサーバと、前記サーバに通信接続されるデータセンタとを有するリモートアシストシステムであって、前記サーバは、前記アシスト対象機器の機能を利用するためのアシスト要求を被アシスト端末から受信するアシスト要求受信部と、前記アシスト対象機器のマニュアル情報を前記データセンタから取得し、前記取得したマニュアル情報を格納する機器情報格納部と、前記アシスト要求の受信に応答して、前記被アシスト端末に前記アシスト対象機器の現在状態を示すキャプチャ画像を要求し、前記マニュアル情報において受信した前記キャプチャ画像に対応する機器画像を特定し、前記特定された機器画像に示される前記アシスト対象機器の状態から前記機能を実行するためのユーザ操作を決定する機器操作決定部と、前記決定されたユーザ操作を指示する操作指示画像又は前記被アシスト端末が前記操作指示画像を生成するための情報要素を生成し、前記被アシスト端末に送信する操作指示画像生成部とを有し、前記機器操作決定部は、前記操作指示画像により指示されたユーザ操作が実行された後の前記アシスト対象機器の状態を示す操作後キャプチャ画像を要求し、受信した前記操作後キャプチャ画像と、前記ユーザ操作が正しく実行された後に前記アシスト対象機器が移行する状態を示す目的画像とを比較し、比較結果に応じて次のユーザ操作を決定するリモートアシストシステムに関する。
【０００８】
本発明のさらなる他の態様は、リモートアシストサービスを提供するサーバにおける方法であって、アシスト対象機器の機能を利用するためのアシスト要求を被アシスト端末から受信するステップと、前記アシスト要求の受信に応答して、前記被アシスト端末に前記アシスト対象機器の現在状態を示すキャプチャ画像を要求し、前記サーバに格納されているマニュアル情報において受信した前記キャプチャ画像に対応する機器画像を特定し、前記特定された機器画像に示される前記アシスト対象機器の状態から前記機能を実行するためのユーザ操作を決定するステップと、前記決定されたユーザ操作を指示する操作指示画像又は前記被アシスト端末が前記操作指示画像を生成するための情報要素を生成し、前記被アシスト端末に送信するステップとを有し、前記ユーザ操作を決定するステップは、前記操作指示画像により指示されたユーザ操作が実行された後の前記アシスト対象機器の状態を示す操作後キャプチャ画像を要求し、受信した前記操作後キャプチャ画像と、前記ユーザ操作が正しく実行された後に前記アシスト対象機器が移行する状態を示す目的画像とを比較し、比較結果に応じて次のユーザ操作を決定する方法に関する。
【発明の効果】
【０００９】
本発明によると、ＡＲ技術を利用して機器の操作方法を遠隔支援するサーバ、リモートアシストシステム及び方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の一実施例によるリモートアシストシステムを示す。
【図２】図２は、本発明の一実施例による被アシスト端末の構成を示す。
【図３】図３は、本発明の一実施例によるＡＲサーバの構成を示す。
【図４】図４は、本発明の一実施例によるアシスト処理を示すフロー図である。
【図５】図５は、本発明の一実施例による現在状態特定処理を示すフロー図である。
【図６】図６は、本発明の一実施例による操作決定処理を示すフロー図である。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて本発明の実施の形態を説明する。
【００１２】
図１を参照して、本発明の一実施例によるリモートアシストシステムを説明する。図１は、本発明の一実施例によるリモートアシストシステムの構成を示す。図１に示されるように、リモートアシストシステム１００は、アシスト対象機器１５０と、被アシスト端末２００と、ＡＲサーバ３００と、データセンタ４００とを有する。
【００１３】
アシスト対象機器１５０は、ユーザ操作に応答して各種機能を実現したり、ユーザ操作に応答してアシスト対象機器１５０の機器状態を設定可能な何れかの装置である。ユーザがアシスト対象機器１５０の機能を利用しようとするとき、又は機器状態を設定しようとするとき、ユーザはその操作方法及び設定方法の支援又はアシストを受けることを所望することがある。アシスト対象機器１５０は、ユーザがその操作方法や設定方法のアシストを受ける対象となる装置である。
【００１４】
アシスト対象機器の一例として、パーソナルコンピュータがあげられる。典型的には、パーソナルコンピュータでは、付属のマウスやキーボードを介したユーザによる操作に応じて動作状態が変更され、その変更前後の動作状態が付属のディスプレイを介し視認できる。すなわち、パーソナルコンピュータでは、電源オンするとスタート状態を示す初期画面が表示される。例えば、ユーザがインターネット上のあるサイトのウェブページを閲覧したい場合、ユーザはマウスを用いて、この初期画面上に表示されたウェブブラウザのアイコン上にポインタを移動し、当該アイコン上でマウスをクリックする。クリックに応答してウェブブラウザが起動された後、ユーザはキーボードを用いて、ウェブブラウザの所定の領域にサイトのＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）を入力することによって、所望のウェブページを表示することができる。この場合、パーソナルコンピュータは、スタート状態から始まって、ユーザによるマウスの移動及びクリック操作によってウェブブラウザ起動状態に移行し、さらにユーザによるキーボードへのＵＲＬの入力によって特定のサイトのウェブページを表示する状態に移行する。しかしながら、本実施例によるアシスト対象機器１５０は、パーソナルコンピュータに限定されるものでなく、例えば、内蔵された操作パネル、付属のディスプレイ、点滅ライト、ボタン、スイッチなど、ユーザ操作に応じて遷移するアシスト対象機器１５０の状態が外部から視認可能な任意の装置である。
【００１５】
アシスト対象機器１５０は、ボタンやタッチパネルなどの内蔵された入力装置を介しユーザの操作指示を受付てもよいし、リモコン、キーボード、マウスなどの付属の入力装置を介しユーザの操作指示を受信してもよい。また、アシスト対象機器１５０は、複数の操作手段を介しユーザから操作指示を受付可能なものであってもよい。
【００１６】
被アシスト端末２００は、アシスト対象機器１５０の視認可能な状態を視覚的に認識可能な装置であって、画像キャプチャ機能を備えた装置である。さらに被アシスト端末２００は、キャプチャした画像情報をＡＲサーバ３００に送信し、ＡＲサーバ３００から後述するようなアシスト対象機器１５０のユーザ操作をアシストするための各種操作指示画像を受信する通信機能を備える。被アシスト端末２００は、アシスト対象機器１５０の状態を視覚的にキャプチャするため、アシスト対象機器１５０の近傍に配置及び／又は移動可能な装置である。典型的には、被アシスト端末２００は、カメラ機能を備えた携帯電話、携帯情報端末、スマートフォンなどである。アシスト対象機器１５０の機能を利用するため、ユーザが被アシスト端末２００を介しＡＲサーバ３００に所望の機能を実行するための操作方法のアシストを受けるためのアシスト要求を送信することによって、本実施例によるアシスト処理が開始される。
【００１７】
ＡＲサーバ３００は、被アシスト端末２００と通信可能であって、被アシスト端末２００からアシスト要求を受信すると、アシスト要求に示されたユーザが所望するアシスト対象機器１５０の機能を実行するための操作手順を決定し、被アシスト端末２００に操作手順の各ユーザ操作を示す画像情報を提供する。例えば、ユーザが次にマウスの右ボタンをクリックする必要がある場合、ＡＲサーバ３００は、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術を利用して、マウスを表示した画像において、表示されたマウスの右ボタンをクリックすることを促すメッセージ、ハイライト、アニメーションなどのアノテーションをマウスに重畳的に表示する画像を生成し、被アシスト端末２００に送信する。被アシスト端末２００を介しこのような操作指示画像を受信すると、ユーザは、視覚的に操作方法を認識することが可能となる。ＡＲサーバ３００は、各種機器の操作手順と、当該機器の各機器状態を示す画像とを記録したマニュアル情報を格納するデータベースとして機能するデータセンタ４００と通信接続し、アシスト対象機器１５０のマニュアル情報を取得及び格納する。
【００１８】
データセンタ４００は、典型的には、アシスト対象機器１５０のメーカにより提供されるデータベースであり、メーカにより製造された各種機器のマニュアル情報を保持する。
【００１９】
マニュアル情報は、アシスト対象機器１５０の各機能に対して用意された操作手順情報と、画像遷移情報とを有する。すなわち、マニュアル情報は、ある機器のある機能を実行するための１以上のユーザ操作と共に、各ユーザ操作の実行前後の機器状態を示す画像を含む。例えば、アシスト対象機器１５０がビデオ機器であり、ユーザにより所望される機能がビデオ機器のテレビ予約録画機能であれば、典型的には、ユーザはまず電源オン後のスタート状態においてリモコンからテレビ予約録画機能ボタンを押下する。このボタンの押下が適切にされると、付属のテレビに電子番組表が表示され、所望のテレビ番組を選択するよう促される。次に、ユーザは電子番組表から所望のテレビ番組を指定する。テレビ番組の指定が適切にされると、指定されたテレビ番組が電子番組表でハイライトされ、ハイライトされたテレビ番組で間違いないか確認を促される。その後、ユーザが確認ボタンを指定すると、指定したテレビ番組の予約を設定したという受付完了画面が表示され、テレビ予約録画機能が完了する。この場合、ビデオ機器のテレビ予約録画機能の操作手順情報は、「テレビ予約録画機能ボタンの押下→電子番組表から所望のテレビ番組を指定→確認ボタンの指定」という一連のユーザ操作の遷移を示す情報であり、画像遷移情報は、「電子番組表の表示画像→指定されたテレビ番組のハイライト表示画像→受付完了画面の表示画像」という対応する各操作実行後の状態を示す一連の画像を示す情報となる。このようなアシスト対象機器１５０の各機能に対する操作手順情報と画像遷移情報とが、マニュアル情報としてデータセンタ４００に格納されている。
【００２０】
次に、図２を参照して、本発明の一実施例による被アシスト端末２００の構成を説明する。上述したように、被アシスト端末２００は、アシスト対象機器１５０の各種機能をユーザが利用する際、当該機能を実行するために必要とされるユーザの操作手順又は設定手順を視覚的にガイドすると共に、ユーザが適切な操作をしたかＡＲサーバ３００に判断させるため、ユーザによる操作又は設定後のアシスト対象機器１５０の状態をキャプチャし、キャプチャした画像をサーバ３００に送信する。被アシスト端末２００は、典型的には、携帯電話、携帯情報端末、スマートフォンなどの画像表示機能、画像キャプチャ機能及び通信機能を備えた何れかの装置である。
【００２１】
被アシスト端末２００は、典型的には、補助記憶装置、メモリ装置、ＣＰＵ、通信装置、表示装置、入力装置、キャプチャ装置などの各種ハードウェアリソースの１以上から構成される。補助記憶装置は、ハードディスクやフラッシュメモリなどから構成され、後述される各種処理を実現するプログラムやデータを格納する。メモリ装置は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などから構成され、プログラムの起動指示があった場合に、補助記憶装置からプログラムを読み出して格納する。ＣＰＵは、情報を処理するプロセッサとして機能し、メモリ装置に格納されたプログラムに従って後述される各種機能を実現する。通信装置は、ネットワークを介し他の装置と有線及び／又は無線接続するための各種通信回路から構成される。通信装置はさらに、ネットワーク上のサーバなどの他の装置と接続するための通信インタフェースなどを有する。表示装置は、ディスプレイなどから構成され、ＡＲサーバ３００から受信したデータを表示する。入力装置は、典型的には、操作ボタン、キーボード、マウス等で構成され、ユーザが様々な操作命令を入力するのに用いられる。キャプチャ装置は、レンズを介し取得した画像をＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの撮像手段によって画像情報に変換する。なお、被アシスト端末２００は、上述したハードウェア構成に限定されるものでなく、ＡＲサーバ３００と双方向通信するための機能を有する他の何れか適切なハードウェア構成を有してもよい。
【００２２】
図２は、本発明の一実施例による被アシスト端末２００の構成を示す。図２に示されるように、被アシスト端末２００は、ユーザインタフェース部２１０と、画像キャプチャ部２２０と、通信部２３０とを有する。
【００２３】
ユーザインタフェース部２１０は、表示装置や入力装置などの各種入出力装置により実現される。ユーザインタフェース部２１０は、ユーザからアシスト要求などの各種指示を受け付け、通信部２３０を介しＡＲサーバ３００に送信する。このアシスト要求において、ユーザがアシストを受けることを所望するアシスト対象機器１５０とその機能とが指定される。このアシスト要求に応答してＡＲサーバ３００から操作指示画像などを受信すると、ユーザインタフェース部２１０は、受信した操作指示画像などの各種画像情報をユーザに表示する。あるいは、ユーザインタフェース部２１０は、ＡＲサーバ３００から操作指示画像を生成するための各種情報要素を受信し、受信した情報要素に基づき操作指示画像を生成し、ユーザに表示してもよい。
【００２４】
画像キャプチャ部２２０は、画像キャプチャ装置などにより実現され、外部から視認可能なアシスト対象機器１５０の状態をキャプチャする。画像キャプチャ部２２０は、キャプチャしたキャプチャ画像を通信部２３０を介しＡＲサーバ３００に送信する。また、画像キャプチャ部２２０は、バーコードやＱＲコードなどの各種コード画像をキャプチャし、キャプチャしたコード画像から情報を抽出し、抽出した情報を通信部２３０に提供する。例えば、アシスト対象機器１５０やアシスト対象機器１５０を操作するためのリモコン、マウス、キーボードなどの操作手段の識別情報をＡＲサーバ３００に送信するため、ユーザは、画像キャプチャ部２２０を用いてアシスト対象機器１５０や操作手段に添付されているＱＲコードをキャプチャすることによって、アシスト対象機器１５０の識別情報を読み込み、これをＡＲサーバ３００に提供するようにしてもよい。
【００２５】
通信部２３０は、通信装置や通信回路などにより実現され、ＡＲサーバ３００と情報をやりとりする。通信部２３０は、ユーザインタフェース部２１０から受信したアシスト要求や画像キャプチャ部２２０から受信したキャプチャ画像などをＡＲサーバ３００に送信し、またＡＲサーバ３００から操作指示画像などの各種情報を受信する。他の実施例では、通信部２３０は、アシスト対象機器１５０の通信部（図示せず）と近距離無線通信を行うための近距離無線通信機能を有し、当該機能を利用してアシスト対象機器１５０の通信部からアシスト対象機器１５０の状態を示す情報を取得し、ＡＲサーバ３００に送信してもよい。この場合、ＡＲサーバ３００は、受信したアシスト対象機器１５０の状態を示す情報を参考情報として利用して、受信したキャプチャ画像と組み合わせてアシスト対象機器１５０の状態を判断することが可能となり、より精度の高いアシスト対象機器１５０の状態判定が可能となる。
【００２６】
次に、図３を参照して、本発明の一実施例によるＡＲサーバ３００の構成を説明する。上述したように、ＡＲサーバ３００は、被アシスト端末２００からアシスト要求を受信すると、アシスト要求に示されたユーザが所望するアシスト対象機器１５０の機能を実行するために必要な１以上のユーザ操作からなる操作手順を決定し、当該ユーザ操作を示す操作指示画像を提供する。この操作手順の決定は、アシスト対象機器１５０のメーカから提供されたマニュアル情報に基づき行われ、アシスト対象機器１５０の現在状態から要求された機能を完了させるまでの１以上のユーザ操作が決定される。ＡＲサーバ３００は、アシスト対象機器１５０の現在状態を決定し、次にユーザが操作すべきユーザ操作を視覚的に表現した操作指示画像を被アシスト端末２００に提供する。この操作指示画像は、ＡＲ技術を利用して、ユーザが被アシスト端末２００を介し当該操作を視覚的に認識可能な画像から構成される。ＡＲサーバ３００から通知されたユーザ操作が実行され、実行後のアシスト対象機器１５０の状態を示すキャプチャ画像を被アシスト端末２００から受信すると、ＡＲサーバ３００は、受信したキャプチャ画像と、ユーザが正しい操作を実行した場合に遷移する状態を示す目的画像とを比較し、これらの画像が一致する場合にユーザが正しい操作を実行したと判断する。判断結果に基づき、ＡＲサーバ３００は、次のユーザ操作の指示を被アシスト端末２００に通知する。ＡＲサーバ３００は、要求された機能を実行するための操作手順に関する最終目的画像に対応するキャプチャ情報を被アシスト端末２００から受信するまで、上述した処理を繰り返す。
【００２７】
ＡＲサーバ３００は、典型的には、補助記憶装置、メモリ装置、ＣＰＵ、通信装置などの各種ハードウェアリソースの１以上から構成される。補助記憶装置は、ハードディスクやフラッシュメモリなどから構成され、後述される各種処理を実現するプログラムやデータを格納する。メモリ装置は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などから構成され、プログラムの起動指示があった場合に、補助記憶装置からプログラムを読み出して格納する。ＣＰＵは、情報を処理するプロセッサとして機能し、メモリ装置に格納されたプログラムに従って後述される各種機能を実現する。後述するように、ＡＲサーバ３００は、被アシスト端末２００から取得したキャプチャ画像と各目的画像とが一致するか判断するための画像マッチングプログラムなどの何れか適切な画像解析プログラムを備える。また、ＡＲサーバ３００は、上述したようなアシスト対象機器１５０の操作手段に操作方法のアノテーションを重畳するためのＡＲ技術を実現するための何れか適切な画像処理プログラムを備える。通信装置は、ネットワークを介し他の装置と接続するための各種通信回路から構成される。通信装置は、典型的には、各種ネットワークと接続するための通信インタフェースなどを有する。なお、ＡＲサーバ３００は、上述したハードウェア構成に限定されるものでなく、ネットワークを介し被アシスト端末２００と双方向通信するための機能を有する他の何れか適切なハードウェア構成を有してもよい。
【００２８】
図３は、本発明の一実施例によるＡＲサーバ３００の構成を示す。図３に示されるように、ＡＲサーバ３００は、アシスト要求受信部３１０と、機器情報格納部３２０と、機器操作決定部３３０と、操作指示画像生成部３４０とを有する。
【００２９】
アシスト要求受信部３１０は、ユーザからのアシスト要求を被アシスト端末２００を介し受信する。アシスト要求は、ユーザがアシストを受けることを所望するアシスト対象機器１５０とその機能とを指定する。被アシスト端末２００からアシスト要求を受信すると、アシスト要求受信部３１０は、受信したアシスト要求からユーザがアシストを所望するアシスト対象機器１５０と機能とを抽出し、機器操作決定部３３０に送信する。また、アシスト対象機器１５０が複数の操作手段（例えば、機器本体の操作パネルと付属のリモコンやマウスなど）を介し操作可能である場合、アシスト要求受信部３１０は、ユーザが使用する操作手段を特定する操作手段識別情報を併せて受信するようにしてもよい。
【００３０】
本実施例では、ユーザがアシスト対象機器１５０と所望する機能とを指定してアシスト要求をＡＲサーバ３００に送信するが、本発明はこれに限定されるものでない。他の実施例では、ユーザはアシスト対象機器１５０のみを指定してアシスト要求をＡＲサーバ３００に送信し、ＡＲサーバ３００が機器情報格納部３２０又はデータセンタ４００に格納されているマニュアル情報を参照して、指定されたアシスト対象機器１５０においてユーザが利用可能な機能を確認する。利用可能な機能の確認後、ＡＲサーバ３００は、これらの機能を示すメニュー情報を被アシスト端末２００を介しユーザに提示し、メニュー情報において提示された各機能からユーザに所望する機能を選択させることによって、ユーザが所望する機能を特定するようにしてもよい。このように、ユーザが所望するアシスト対象機器１５０とその機能とをＡＲサーバ３００が特定することを可能にする何れか適切な方法が利用可能である。
【００３１】
機器情報格納部３２０は、各メーカにより提供される各種アシスト対象機器の操作手順情報と画像遷移情報とからなるマニュアル情報を保持し、ＡＲサーバ３００の他の構成要素から要求に応じて要求されたアシスト対象機器のマニュアル情報を提供する。要求されたアシスト対象機器のマニュアル情報を保持している場合、機器情報格納部３２０は当該マニュアル情報を提供する。他方、要求されたアシスト対象機器のマニュアル情報を保持していない場合、機器情報格納部３２０は要求されたアシスト対象機器のメーカのデータセンタ４００にアクセスし、当該アシスト対象機器のマニュアル情報を取得する。
【００３２】
上述したように、マニュアル情報は、当該アシスト対象機器１５０において利用可能な各種機能を実行するための１以上のユーザ操作からなる操作手順を示す操作手順情報と共に、操作手順の各ユーザ操作が実行された後のアシスト対象機器１５０の状態を示す画像の遷移を示す画像遷移情報を含む。例えば、ビデオ機器のテレビ予約録画機能であれば、典型的には、操作手順情報は、「テレビ予約録画機能ボタンの押下→電子番組表から所望のテレビ番組を指定→確認ボタンの指定」から構成され、画像遷移情報は、「電子番組表の表示画像→指定されたテレビ番組のハイライト表示画像→受付完了画面の表示画像」から構成される。典型的には、各機能に対応する操作手順情報は、アシスト対象機器１５０の電源オン後のスタート状態からの操作手順を示し、操作手順情報に対応する画像遷移情報は、スタート状態を示す画像（例えば、ビデオ機器では、電源オン後に表示される画面など）からの画像遷移を示す。この場合、各操作手順は、スタート状態をルートとし、各機器状態をノードとしたツリー状の各パスに相当し、各ユーザ操作は操作実行前の機器状態のノードから操作実行後の機器状態のノードとをつなぐエッジとみなすことができる。この場合、各画像遷移は、スタート状態から遷移する各機器状態を示す１以上の画像のシーケンスとなり、各画像は、直前の機器状態においてユーザが正しい操作をした場合にアシスト対象機器１５０が遷移する状態を示す目的画像となる。
【００３３】
機器操作決定部３３０は、アシスト要求受信部３１０により抽出されたユーザがアシストを所望するアシスト対象機器１５０と機能とを受信すると、機器情報格納部３２０にアクセスし、受信したアシスト対象機器１５０のマニュアル情報を取得する。さらに、機器操作決定部３３０は、アシスト対象機器１５０の現在状態を確認するため、要求元の被アシスト端末２００にアシスト対象機器１５０の現在状態を示すキャプチャ画像を要求する。被アシスト端末２００から当該キャプチャ画像を受信すると、機器操作決定部３３０は、何れか適切な画像マッチングプログラムを利用して、受信したキャプチャ画像がアシスト対象機器１５０の何れの状態に対応するか、取得したマニュアル情報を参照して決定する。機器操作決定部３３０は、決定されたアシスト対象機器１５０の状態から、ユーザが要求する機能を実行するのに必要な次のユーザ操作を、取得したマニュアル情報を参照して決定する。具体的には、決定されたアシスト対象機器１５０の状態が、ユーザが要求する機能を実行するために必要な操作手順上にある場合、機器操作決定部３３０は、操作手順上の決定された状態から次の状態に遷移するためのユーザ操作を決定する。他方、決定されたアシスト対象機器１５０の状態が、ユーザが要求する機能を実行するための操作手順上にない場合、例えば、機器操作決定部３３０は、決定された状態からまずスタート状態に戻って、スタート状態から当該機能を実行するための操作手順を改めて決定する。機器操作決定部３３０は、決定されたユーザ操作を操作指示画像生成部３４０に送信する。
【００３４】
その後、操作指示画像生成部３４０により生成された操作指示画像が被アシスト端末２００に送信され、ユーザが当該画像に従ってアクセス対象機器１５０を操作するが、機器操作決定部３３０は、操作実行後のアシスト対象機器１５０の状態を示す画像をキャプチャし、キャプチャ画像をＡＲサーバ３００に送信するようユーザに要求する。要求された操作実行後のキャプチャ画像を受信すると、機器操作決定部３３０は、受信した操作実行後の状態を示すキャプチャ画像と、画像遷移情報の目的画像とを比較し、ユーザが指示された操作を正しく実行したか判断する。すなわち、受信したキャプチャ画像と目的画像とが一致する場合、機器操作決定部３３０は、ユーザが指示された操作を正しく実行したと判断し、操作手順上の次のユーザ操作を操作指示画像生成部３４０に通知する。他方、受信したキャプチャ画像と目的画像とが一致しない場合、機器操作決定部３３０は、ユーザが指示された操作を正しく実行しなかったと判断し、直前の状態に戻すためのユーザ操作を操作指示画像生成部３４０に送信する。具体的には、機器操作決定部３３０は、マニュアル情報からキャプチャ画像に対応する機器画像を検索し、検出された機器画像に対応する状態から当該操作実行前の機器状態に戻すためのユーザ操作を操作指示画像生成部３４０に指示する。例えば、アシスト対象機器１５０がビデオ機器である場合、リモコン上の「戻る」ボタンなどを押下するユーザ操作を指示する。機器操作決定部３３０は、アシスト対象機器１５０の状態が要求された機能を実行するための操作手順の最終状態に到達するまで、すなわち、キャプチャ画像が最終目的画像に一致するまで、上述した処理を繰り返す。
【００３５】
操作指示画像生成部３４０は、機器操作決定部３３０から次にユーザが実行すべきユーザ操作を受信すると、アシスト対象機器１５０の操作手段における受信したユーザ操作の操作方法を示す操作指示画像を生成する。操作指示画像生成部３４０は、ＡＲ技術を利用して、操作手段を示す画像上にユーザが操作すべき操作部分をハイライト表示したり、操作手段を示す画像上にユーザが押下すべきボタンを矢印表示するなど、各種アノテーションを重畳することによってユーザが実行すべき操作を視覚的に表示する画像を生成する。このとき、アシスト対象機器１５０が複数の操作手段（マウスとキーボード）を有する場合、ユーザが使用する操作手段に対応する操作指示画像を生成する。また、ＡＲサーバ３００が、ユーザが使用する操作手段の識別情報を受信している場合、当該操作手段の画像を使用して操作指示画像を生成するようにしてもよい。例えば、ユーザが特定のキーボードを使用する場合、当該キーボードの画像を取得し、取得した画像にアノテーションを重畳させることによって操作指示画像を生成するようにしてもよい。操作指示画像生成部３４０は、生成した操作指示画像を被アシスト端末２００に送信する。なお、操作指示画像生成部３４０は、ユーザ操作後のアシスト対象機器１５０の状態を示す画像をキャプチャし、ＡＲサーバ３００に返信するようユーザに要求するメッセージ等を操作指示画像に埋め込むようにしてもよい。また、操作指示画像は、静止画像に限らず、ユーザの操作方法を時系列に示すアニメーションなどの動画であってもよい。
【００３６】
他の実施例では、操作指示画像生成部３４０は、機器操作決定部３３０から次にユーザが実行すべきユーザ操作を受信すると、被アシスト端末２００が操作指示画像を生成可能となるように、ユーザ操作の操作方法を示す画像（３Ｄオブジェクトを含む）と、アシスト対象機器１５０又は操作手段の当該操作に関する部分を特定するための情報とを被アシスト端末２００に送信するようにしてもよい。これら操作指示画像を生成するための情報要素を受信すると、被アシスト端末２００は、アシスト対象機器１５０又は操作手段の当該操作に関する部分を特定するための情報を用いて、アシスト対象機器１５０又は操作手段の当該操作に関する部分を特定し、特定された部分を示す画像にユーザ操作の操作方法を示す画像を重畳して表示することによって、ユーザに操作方法をガイドするようにしてもよい。
【００３７】
次に、図４を参照して、本発明の一実施例によるＡＲサーバ３００におけるアシスト処理を説明する。図４は、本発明の一実施例によるＡＲサーバ３００におけるアシスト処理を示すフロー図である。
【００３８】
当該処理は、ＡＲサーバ３００が被アシスト端末２００からアシスト要求を受信すると開始される。図４に示されるように、ステップＳ４０１において、アシスト要求受信部３１０は、受信したアシスト要求からユーザがアシストを受けることを所望するアシスト対象機器１５０と機能とを特定し、特定されたアシスト対象機器１５０と機能とを機器操作決定部３３０に通知する。
【００３９】
ステップＳ４０３において、機器操作決定部３３０は、特定されたアシスト対象機器１５０のマニュアル情報を機器情報格納部３２０から取得する。なお、機器情報格納部３２０が当該マニュアル情報を有していない場合、機器情報格納部３２０は、特定されたアシスト対象機器１５０のメーカのデータセンタ４００からマニュアル情報を取得し、機器操作決定部３３０に提供する。
【００４０】
ステップＳ４０５において、機器操作決定部３３０は、被アシスト端末２００にアシスト対象機器１５０の現在状態を示す画像を要求し、取得したキャプチャ画像とマニュアル情報とに基づきアシスト対象機器１５０の現在状態を特定する。ステップＳ４０５の現在状態特定処理は、図５を参照して以降において詳述される。
【００４１】
ステップＳ４０７において、機器操作決定部３３０は、特定されたアシスト対象機器１５０の現在状態とマニュアル情報とに基づき、要求された機能を実行するのに必要な次のユーザ操作を決定する。ステップＳ４０７の操作決定処理は、図６を参照して以降において詳述される。機器操作決定部３３０は、決定された次のユーザ操作を操作指示画像生成部３４０に通知する。
【００４２】
ステップＳ４０９において、操作指示画像生成部３４０は、受信した次のユーザ操作に対応する操作指示画像を生成し、被アシスト端末２００に送信する。ＡＲサーバ３００から操作指示画像を受信すると、被アシスト端末２００は、当該画像をユーザに表示する。ユーザは、被アシスト端末２００に表示された操作指示画像に従ってアシスト対象機器１５０の操作手段を実行した後、被アシスト端末２００を使用して、当該操作実行後のアシスト対象機器１５０の状態をキャプチャし、このキャプチャ画像をＡＲサーバ３００に送信する。
【００４３】
ステップＳ４１１において、機器操作決定部３３０は、被アシスト端末２００から受信したキャプチャ画像が、ユーザにより要求された機能に関する画像遷移情報の最終目的画像に一致するか判断する。受信したキャプチャ画像が最終目的画像に一致する場合（Ｓ４１１：ＹＥＳ）、機器操作決定部３３０は、要求された機能を実行するためのすべての操作が完了したと判断し、当該アシスト処理を終了する。他方、受信したキャプチャ画像が最終目的画像に一致しない場合（Ｓ４１１：ＮＯ）、当該フローはステップＳ４０５に移行して、機器操作決定部３３０は、受信したキャプチャ画像に基づきアシスト対象機器１５０の現在状態を特定する。
【００４４】
次に、図５を参照して、本発明の一実施例による現在状態特定処理を説明する。図５は、本発明の一実施例による現在状態特定処理を示すフロー図である。
【００４５】
当該フローは、図４のステップＳ４０３の実行後に開始される。図５に示されるように、ステップＳ５０１において、機器操作決定部３３０は、被アシスト端末２００にアシスト対象機器１５０の現在状態を示す画像を要求する。
【００４６】
ステップＳ５０３において、被アシスト端末２００からアシスト対象機器１５０の現在状態をキャプチャしたキャプチャ画像を受信すると、機器操作決定部３３０は、マニュアル情報を検索し、マニュアル情報に含まれる機器画像から受信したキャプチャ画像に一致する機器画像を特定する。なお、受信したキャプチャ画像が、ＡＲサーバ３００からの操作指示画像に従ってユーザが操作した後の実行後のキャプチャ画像である場合、すなわち、２回目以降のステップＳ４０５からＳ４１１のループにおいて取得されたキャプチャ画像である場合、ユーザが正しい操作をしたときにはキャプチャ画像は当該操作に対応する目的画像に一致し、他方、ユーザが誤った操作をしたときにはキャプチャ画像は当該操作に対応する目的画像には一致せず、マニュアル情報のその他の機器画像に一致するであろう。
【００４７】
ステップＳ５０５において、機器操作決定部３３０は、マニュアル情報を参照して、特定された機器画像に対応する状態をアシスト対象機器１５０の現在状態として決定する。例えば、ユーザが正しい操作をしたときには、現在状態は、キャプチャ画像に一致した目的画像に対応する状態であり、ユーザが誤った操作をしたときには、現在状態は、マニュアル情報において検出されたキャプチャ画像に一致する機器画像に対応する状態、すなわち、ユーザ操作実行前の状態から遷移可能な何れかの状態となる。
【００４８】
次に、図６を参照し、本発明の一実施例による操作決定処理を説明する。図６は、本発明の一実施例による操作決定処理を示すフロー図である。
【００４９】
当該フローは、図４のステップＳ４０５の実行後に開始される。図６に示されるように、ステップＳ６０１において、機器操作決定部３３０は、マニュアル情報を参照して、ユーザにより要求された機能に対する操作手順情報と画像遷移情報とを特定する。
【００５０】
ステップＳ６０３において、機器操作決定部３３０は、ステップＳ４０５で特定されたアシスト対象機器１５０の現在状態が特定された操作手順情報の操作手順上にあるか判断する。ここで、「特定された現在状態が操作手順上にある」か否かについて、アシスト対象機器１５０がビデオ機器であり、そのテレビ予約録画機能が要求されている具体例を使って説明する。例えば、特定されたアシスト対象機器１５０の現在状態がテレビの電子番組表を表示して、ユーザからのテレビ番組の指定待ち状態である場合、アシスト対象機器１５０の現在状態はテレビ予約録画機能のための操作手順上にあると判断できる。他方、アシスト対象機器１５０の現在状態が録画済みのテレビ番組の一覧を表示して、ユーザからの指定待ち状態である場合、アシスト対象機器１５０の現在状態は、例えば、録画済み番組再生機能のための操作手順上などにあって、テレビ予約録画機能のための操作手順上にないと判断できる。すなわち、上述したように、操作手順は、スタート状態から最終目的状態までのパスに相当し、現在状態がこのパス上にあるか否かについて判断される。
【００５１】
アシスト対象機器１５０の現在状態が操作手順上にある場合（Ｓ６０３：ＹＥＳ）、すなわち、ユーザが正しい操作を実行した場合、当該フローはステップＳ６０５に移行し、この現在状態から操作手順上の次の状態に移行するためのユーザ操作を決定する。他方、アシスト対象機器１５０の現在状態が操作手順上にない場合（Ｓ６０３：ＮＯ）、すなわち、ユーザが誤った操作をした場合、当該フローはステップＳ６０７に移行し、この現在状態から操作手順上に戻るための次のユーザ操作を決定する。この決定は、現在状態が何れの機能の操作手順上にあるか決定し、決定された操作手順を逆向きに遡り、操作実行前の直前の状態に戻ることによって実行可能である。なお、アシスト要求受信後など、まだユーザ操作が実行されていない場合には、操作実行前の状態は操作手順上にない可能性が高い。この場合、特定された現在状態からスタート状態に戻るようユーザに指示し、スタート状態に戻った後に改めて要求された機能を実行するための操作手順を指示するようにしてもよい。
【００５２】
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００５３】
１００  リモートアシストシステム
１５０  アシスト対象機器
２００  被アシスト端末
３００  ＡＲサーバ
４００  データセンタ
【図１】
0005489974.tif 000002
【図２】
0005489974.tif 000003
【図３】
0005489974.tif 000004
【図４】
0005489974.tif 000005
【図５】
0005489974.tif 000006
【図６】
0005489974.tif 000007