(57)【要約】【課題】リモート操作機能を有する複数台の機器がネットワーク接続されている環境において、機器操作に困った場合、操作に慣れていないユーザでは操作を肩代わりしてくれるユーザの発見および操作状況の引継ぎを効率よく行うことができない。【解決手段】リモート操作実行手段を用いリモート操作を行った際のリモート操作履歴を記録するリモート操作履歴記録手段と、リモート操作履歴記録手段によって記録されたリモート操作履歴から特定の履歴を検索するリモート操作履歴検索手段と、ローカル機器におけるユーザのアプリケーション操作を記録するアプリケーション操作映像記録手段と、ローカル機器におけるユーザのアプリケーション操作を監視するアプリケーション操作監視手段とを備えることで、ユーザが機器操作に困った場合に、操作を肩代わりしてくれるユーザの発見および操作状況の引継ぎを効率よく行うことが可能となる。【選択図】図２
2009289098.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介してリモート操作を実現するためのリモート操作実行手段と、前記リモート操作実行手段を用いリモート操作を行った際のリモート操作履歴を記録するリモート操作履歴記録手段と、前記リモート操作履歴記録手段によって記録されたリモート操作履歴から特定の履歴を検索するリモート操作履歴検索手段と、ローカル機器におけるユーザのアプリケーション操作を記録するアプリケーション操作映像記録手段と、ローカル機器におけるユーザのアプリケーション操作を監視するアプリケーション操作監視手段と、前記アプリケーション操作映像記録手段で記録されたアプリケーション操作映像をリモート機器に送信するためのアプリケーション操作映像送信手段と、前記アプリケーション操作映像送信手段で送信されたアプリケーション操作映像を受信するためのアプリケーション操作映像受信手段と、前記アプリケーション操作映像受信手段によって受信されたアプリケーション操作映像を再生するためのアプリケーション操作映像再生手段とを備えた、操作支援装置。
【請求項２】
前記リモート操作履歴記録手段は、前記リモート操作実行手段により行われたリモート操作のリモート操作履歴を記録媒体に記録することを特徴とする、請求項１に記載の操作支援装置。
【請求項３】
前記リモート操作履歴検索手段は、前記リモート操作履歴記録手段により記録されたリモート操作履歴から、所望のデータを検索することを特徴とする、請求項１に記載の操作支援装置。
【請求項４】
前記アプリケーション操作映像記録手段は、前記アプリケーション操作監視手段からの指示に基づき、ユーザのアプリケーション操作を映像として記録することでアプリケーション操作映像を構築することを特徴とする、請求項１に記載の操作支援装置。
【請求項５】
前記アプリケーション操作監視手段は、ユーザのアプリケーション操作によって発生する操作イベントを監視することによりユーザが行っている操作内容を認識することを特徴とする、請求項１に記載の操作支援装置。
【請求項６】
前記アプリケーション操作監視手段は、ユーザの操作が滞っていることを所定の条件で判断することを特徴とする、請求項１に記載の操作支援装置。
【請求項７】
前記アプリケーション操作映像送信手段は、前記アプリケーション操作映像記録手段によって記録されたアプリケーション操作映像をリモート機器に送信する際に、記録されたアプリケーション操作映像が終端まで達した場合も自動的に先頭から繰り返し送信することを特徴とする、請求項１に記載の操作支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作支援装置に関するものであり、特にネットワークを介して接続された機器のうちの１つをローカル機器、それ以外をリモート機器とし、リモート機器からローカル機器を操作する際に残されたリモート操作履歴と、ローカル機器自身を操作する際に記録されたアプリケーション操作映像を利用した、操作支援技術に関する。
【背景技術】
【０００２】
近年、デジタルテレビやレコーダーに代表されるＡＶ機器には、「見る」、「録る」といった本来の基本機能だけでなく、多様なネットワーク機能が搭載されてきている。例えば、このネットワーク機能を利用することにより、インターネットから受信したＭＰＥＧデータを再生したり、外出先から番組の予約録画を行うといったことが可能となっている。
【０００３】
しかし、ＡＶ機器の高機能化によりユーザの利便性が向上する一方、機器操作に関してはますます複雑になってきている。
【０００４】
この問題を解決する方法の一つとして、ユニバーサルデザインの潮流のもと、機器操作に不慣れなお年寄りでも簡単に操作できるような機器ユーザインタフェースが注目されるようになってきた。具体的には、操作画面や操作ボタンを分かりやすく配置したり、文字サイズを大きくしたり、ヘルプ機能を充実させるなどの取り組みがなされている。
【０００５】
また従来技術として、自分で操作を行うのではなく、機器操作に慣れている第三者に操作を肩代わりしてもらう技術がある。たとえば、第三者のリモート機器から表示画面共有方式で自分の機器を遠隔操作してもらうリモート操作技術がある。
【０００６】
このような従来の技術としては、例えば特許文献１、特許文献２に記載されたものが知られている。
【特許文献１】特開平８−２３５０９３号公報
【特許文献２】特開平３−２７６３４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術の場合、機器操作に困ったとき、操作に慣れていないユーザでは操作を肩代わりしてくれるユーザの発見および操作状況の引継ぎを効率よく行うことができない、という課題を有していた。
【０００８】
本発明の目的は、ローカル機器のユーザが機器操作に困った際に、問い合わせするのに最適なリモート機器のユーザを探し出し、かつリモート機器のユーザにローカル機器のユーザの操作状況をいち早く把握してもらうためにローカル機器を操作する際に記録された操作映像を共有することが可能な操作支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記従来の課題を解決するために、本発明の操作支援装置は、ネットワークを介してリモート操作を実現するためのリモート操作実行手段と、前記リモート操作実行手段を用いリモート操作を行った際のリモート操作履歴を記録するリモート操作履歴記録手段と、前記リモート操作履歴記録手段によって記録されたリモート操作履歴から特定の履歴を検索するリモート操作履歴検索手段と、ローカル機器におけるユーザのアプリケーション操作を記録するアプリケーション操作映像記録手段と、ローカル機器におけるユーザのアプリケーション操作を監視するアプリケーション操作監視手段と、前記アプリケーション操作映像記録手段で記録されたアプリケーション操作映像をリモート機器に送信するためのアプリケーション操作映像送信手段と、前記アプリケーション操作映像送信手段で送信されたアプリケーション操作映像を受信するためのアプリケーション操作映像受信手段と、前記アプリケーション操作映像受信手段によって受信されたアプリケーション操作映像を再生するためのアプリケーション操作映像再生手段とを備える。
【００１０】
本構成によって、ローカル機器のユーザが機器操作に困った際に、問い合わせするのに最適なリモート機器のユーザを探し出し、かつリモート機器のユーザにローカル機器のユーザの操作状況をいち早く把握してもらうためにローカル機器を操作する際に記録された操作映像を提供することで、リモート機器のユーザによる円滑なリモート操作が実現可能となる。
【発明の効果】
【００１１】
本発明の操作支援装置によれば、機器操作に慣れていないユーザが操作に困った場合でも、操作を肩代わりしてくれるユーザの発見および操作状況の引継ぎを効率よく行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１３】
図１は、本発明が適用される操作支援システムの基本的な構成を示す。この操作支援システムは、通信ネットワーク１００１で接続された複数の機器からなる。ローカル機器１００２が本発明により操作支援される側の機器であり、リモート機器１００３が本発明により操作支援する側の機器である。
【００１４】
これらのローカル機器１００２とリモート機器１００３は、デジタルテレビやレコーダーをはじめとするＡＶ機器であってもよいし、汎用的なパーソナルコンピュータシステムであってもよい。また、通信ネットワーク１００１は、ＡＤＳＬ回線網や光回線網などの通信回線が使用される。
【００１５】
まず、本発明の全体の流れについて説明する。
【００１６】
第一段階として、リモート機器１００３がローカル機器１００２にネットワークを介して接続し、ローカル機器１００２をリモート操作した場合、その操作履歴をローカル機器１００２に蓄積していく。
【００１７】
第二段階として、ローカル機器１００３のユーザが機器操作を行う場合、その操作が過去にリモート操作されたことがある操作内容かどうかを第一段階で蓄積した操作履歴を元に判定する。過去にリモート操作されたことがある操作内容であれば、ユーザの操作を（映像として）記録開始する。
【００１８】
第三段階として、ローカル機器１００２のユーザが機器操作に困った状況であると判定した場合、第一段階で蓄積した操作履歴を元に、問い合わせするのに最適なユーザのリモート機器１００３を探し出す。そして、ローカル機器１００２を操作する際に記録された操作映像を、最適なユーザのリモート機器１００３に送信し、リモート機器１００３側でその操作映像を再生する。
【００１９】
図２は、ローカル機器１００２とリモート機器１００３のシステム構成を示す。
【００２０】
リモート操作実行手段２００１は、ネットワークを介して機器をリモート操作するための仕組みを提供する。実現手段の一例として、ネットワーク経由で表示画面を共有することによりリモート操作を実現する方法がある。具体的には、第一に、ローカル機器１００２はネットワーク経由でリモート機器１００３に接続する。第二に、ローカル機器１００２はリモート機器１００３の表示画面（イメージ）をネットワーク経由で取得し、ローカル機器１００２の画面上に表示する。第三に、ユーザの操作がローカル機器１００２で行われた場合に、ローカル機器１００２はキーイベントなどの操作情報をリモート機器１００３に送信する。第四に、リモート機器１００３はローカル機器１００２からの操作情報を受信し、その操作情報を元にアプリ等を動作させ、その結果更新された表示画面（イメージ）をローカル機器１００２に送信する。この仕組みにより、リモート機器１００３のユーザは、ローカル機器１００２に表示されている表示画面と同一の表示画面を見ながらリモート操作を行うことが可能となる。
【００２１】
リモート操作履歴記録手段２００２については、図５のシーケンスを用いて説明する。リモート操作履歴記録手段２００２は、リモート機器１００３からのリモート操作接続を受け付け（Ｓ５００１）、リモート操作の開始を検知すると、操作内容取得を行う（Ｓ５００２）。次に、ローカル機器１００２に蓄積されたリモート操作履歴の読み出しを行い（Ｓ５００３）、リモート操作に関する詳細情報を収集する（Ｓ５００４）。リモート操作に関する詳細情報には、後述する、操作者名や操作者アドレスや操作開始時刻が含まれる。リモート操作の終了を検知すると（Ｓ５００５）、操作終了時刻を取得し、リモート操作履歴として記録する（Ｓ５００６）。
【００２２】
リモート操作履歴のフォーマットは、例えば、図３に示す形式で記録される。アプリケーション識別子３００１は、記録されたリモート操作履歴に対して一意に振られる識別子である。操作内容３００２は、リモート操作により操作を代行してもらったアプリケーションプログラム名（例えば、「予約録画」、「ダビング」等）を示す。操作者名３００３は、リモート操作を行った操作者の名前を示し、操作者アドレス３００４は、リモート操作を行ったユーザのリモート機器のＩＰアドレスを示す。
【００２３】
尚、本願の趣旨ではないため詳細な説明は省くが、ＤＨＣＰ等により操作者アドレスが変更される場合は、別途ＩＰアドレスの変更を解決する手段を用いることとする。操作時刻３００５は、リモート操作を行った開始時刻と終了時刻を示す。また、リモート操作履歴には、過去にリモート操作された操作履歴が全て記録されているものとする。但し、古くなったリモート操作履歴を自動で削除したり、ユーザが手動で削除するためのインタフェースを用意することも可能である。
【００２４】
リモート操作履歴検索手段２００３は、リモート操作履歴記録手段２００２により記録されたリモート操作履歴から、アプリケーション識別子３００１や操作内容３００２を検索キーワードとして、操作者アドレス３００４を検索することができる。例えば、操作内容３００２の「予約録画」という検索キーワードを元に、操作者アドレス３００４の「１３３．ＸＸＸ．ＸＸＸ．ＸＸＸ」を取得できる。検索結果については、毎回ファイルから読み込むのではなく、一定時間メモリ上に保持しておくことも可能である。
【００２５】
アプリケーション操作映像記録手段２００４は、ローカル機器におけるユーザのアプリケーション操作を操作映像として記録する手段を提供する。実現手段の一例として、アプリケーション操作画面をＪＰＥＧ等の圧縮方式を用いてキャプチャ記録し、それらを連続的に扱うことで動画として記録する手段がある。例えば、図８のような形式で記録される。８００１はヘッダパートであり、８００２は操作画像パートである。ヘッダパート８００１には、先頭から数えた操作画像パート８００２の開始オフセット位置情報や、操作画像パート８００２のサイズ情報や、再生するときに表示タイミングの参考となるタイムスタンプ情報、操作画像パート８００２の圧縮方式等の情報が配置される。また、操作画像パート８００２には、所定の圧縮方式で圧縮された操作画像データが配置される。
【００２６】
アプリケーション操作監視手段２００５については、図６および図７のシーケンスを用いて説明する。アプリケーション操作監視手段２００５は、ユーザ操作監視開始（Ｓ６００１）により、ローカル機器のユーザがアプリケーションプログラムを起動したり終了したりすることを監視しはじめる。アプリケーション操作監視手段２００５は、機器が起動した直後から動作してもよいし、ある特定のトリガーをもとに動作開始してもよい。次に、ユーザのアプリケーション操作によって発生する操作イベントを操作内容取得（Ｓ６００２）により取得し、アプリケーションプログラムの起動が検知した場合、過去にリモート操作されたことのあるアプリケーションプログラムかどうかを判定するため、リモート操作履歴記録手段２００２によって記録されたリモート操作履歴の読み出しを行い（Ｓ６００３）、アプリケーション識別子３００１や操作内容３００２をキーワードとして検索を開始する（Ｓ６００４）。Ｓ６００３のリモート操作履歴の読み出しに関しては、機器が起動した直後やＳ６００１のユーザ操作監視開始の前に、メモリ上に読み出しておくことも可能である。次に、過去にリモート操作されたことがあるアプリケーションかどうかを判定し（Ｓ６００５）、リモート操作されたことがある場合は、アプリケーション操作監視手段２００５の指示に基づき、アプリケーション操作映像記録手段２００４はローカル機器のユーザのアプリケーション操作を記録開始する（Ｓ６００６）。リモート操作されたことがない場合は、アプリケーション操作を記録せずに終了する。また、アプリケーション操作の記録に関しては、機器が起動した直後から記録を開始することも可能である。また、ユーザが困っていると判断してからアプリケーション操作映像を記録開始してもよい。
【００２７】
また、アプリケーション操作監視手段２００５は、Ｓ６００５でアプリケーションプログラムの起動を検知した場合は、ローカル機器のユーザの操作状況を監視するためタイマー計測を開始する（Ｓ７００１）。そして、一定時間以内にアプリケーションプログラムへの操作がない場合は、ユーザが操作に困っていると判定する（Ｓ７００２）。ここで、ユーザが操作に困っているという条件をタイマーの経過時間で判定するのではなく、ローカル機器のユーザの手動による指示をトリガーとして判定することも可能である。アプリケーションプログラムへの操作が一定時間以内にあった場合は、引き続きタイマー計測を０から開始する。ユーザが操作に困っていると判定した場合、Ｓ６００４で検索した結果をもとに、該当する操作内容３００２と一致するユーザが一人存在するか複数人存在するかを判定する（Ｓ７００３）。該当するユーザが一人の場合は、記録したアプリケーション操作映像の読み出しを行い（Ｓ７００５）、操作者アドレス３００４をアプリケーション操作映像送信手段２００６に渡し、送信の指示を出す（Ｓ７００６）。また、該当するユーザが複数人存在する場合は、操作時刻３００５や操作回数累計等を判定の材料として、最適なユーザを選択する。例えば、操作時刻３００５が現在の時刻と近い方のユーザを優先的に選択したり、操作回数累計が多い方のユーザを優先的に選択する、という仕組みが考えられる。
【００２８】
尚、本願では詳細な説明は省くが、該当するユーザが存在しない場合でも、他のアプリケーションをリモート操作してもらったユーザを選択することも可能である。その後、ユーザが一人存在する場合と同様に、記録したアプリケーション操作映像の読み出しを行い（Ｓ７００５）、操作者アドレス３００４をアプリケーション操作映像送信手段２００６に渡し、送信の指示を出す（Ｓ７００６）。
【００２９】
アプリケーション操作映像送信手段２００６は、記録された該当するアプリケーション操作映像を指定のリモート機器に送信する。指定のリモート機器は、リモート操作履歴検索手段２００３で検索されたリモート操作履歴中に含まれる操作者アドレス３００４で示される機器である。また、アプリケーション操作映像送信手段２００６は、アプリケーション操作映像の終端まで送信しきった場合、自動的に先頭から繰り返し送信することが可能である。
【００３０】
アプリケーション操作映像受信手段２００７は、ローカル機器のアプリケーション操作映像送信手段２００６より送信されるアプリケーション操作映像を受信する。アプリケーション操作映像受信手段２００７は、受信したアプリケーション操作映像をメモリに格納したり、またはＨＤＤ等の記録媒体に記録する。アプリケーション操作映像再生手段２００８については、図４を用いて説明する。
【００３１】
図４の４００１はリモート機器の表示画面、４００２はローカル機器におけるこれまでのアプリケーション操作映像、４００３はローカル機器における現在のアプリケーション操作画面、４００４はローカル機器の表示画面、４００５はローカル機器で動作しているアプリケーションを表す。アプリケーション操作映像には、ローカル機器（４００４）で動作する予約録画アプリケーション（４００５）の操作映像が記録されているものとする。アプリケーション操作映像再生手段２００８は、アプリケーション操作映像受信手段２００７により受信した操作映像をリモート機器（４００１）の表示画面上で再生する。再生については、ネットワーク受信しながら逐次再生するというストリーミング方式や、受信したデータを一旦ＨＤＤ等の記録媒体に記録し、その後記録媒体から読み出して再生するというダウンロード方式がある。また、再生においては、図８のヘッダパート８００１を解析し、操作画像パート８００２をデコードすることにより再生することができる。アプリケーション操作映像を再生させる表示画面位置としては、リモート機器のユーザの操作を妨げないように小画面でかつ画面端（Ｓ４００２）で再生させることが望ましいが、全画面で再生させることも可能である。
【００３２】
また、アプリケーション操作映像は一度終端まで達したら、繰り返し先頭から再生される。アプリケーション操作映像の送信については、基本的にはローカル機器側が制御するものと考えられる。また、リモート機器がローカル機器に対して制御コマンド等を送ることにより、アプリケーション操作映像を停止、早送り、巻き戻し、一時停止させることが可能となる。加えて、これまでのユーザのアプリケーション操作だけではなく、現在ローカル機器で表示されている画面を同時に表示することも考えられる。（４００３）  これにより、リモート機器のユーザは、ユーザの現在および過去の操作状況を効率よく把握することが可能となる。
【００３３】
尚、本構成で示した操作支援装置は、操作支援方法、操作支援プログラム、操作支援プログラムを記録した記録媒体、さらには、集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィグアブル・プロセッサーを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の応用などが可能性としてあり得る。
【産業上の利用可能性】
【００３４】
本発明にかかる操作支援装置は、ローカル機器のユーザが機器操作に困った際に、問い合わせするのに最適なリモート機器のユーザを探し出し、かつリモート機器のユーザにローカル機器のユーザの操作状況をいち早く把握してもらうためにローカル機器を操作する際に記録された操作映像を提供することで、リモート機器のユーザによる円滑なリモート操作が実現可能となるという効果を有し、ネットワーク機能および操作ユーザインタフェースを搭載したＴＶ、レコーダ、プレイヤ、携帯電話、固定電話、プリンター、ＦＡＸ、ＰＤＡ、ＰＣ、デジタルカメラ、冷蔵庫、電子レンジ、洗濯機などの商品群の操作支援方式として有用である。
【図面の簡単な説明】
【００３５】
【図１】本発明が適用される操作支援システムの基本的な構成を示す図
【図２】ローカル機器１００２（操作支援される側）とリモート機器１００３（操作支援する側）のシステム構成を示す図
【図３】リモート操作履歴のフォーマットを示す図
【図４】ローカル機器１００２（操作支援される側）とリモート機器１００３（操作支援する側）の表示画面を示す図
【図５】リモート操作履歴記録までのシーケンスを示す図
【図６】アプリケーション操作映像記録開始までのシーケンスを示す図
【図７】アプリケーション操作映像送信までのシーケンスを示す図
【図８】アプリケーション操作映像フォーマットを示す図
【符号の説明】
【００３６】
１００１    通信ネットワーク
１００２    ローカル機器
１００３    リモート機器
２００１    リモート操作実行手段
２００２    リモート操作履歴記録手段
２００３    リモート操作履歴検索手段
２００４    アプリケーション操作映像記録手段
２００５    アプリケーション操作監視手段
２００６    アプリケーション操作映像送信手段
２００７    アプリケーション操作映像受信手段
２００８    アプリケーション操作映像再生手段
２００９    ＣＰＵ
２０１０    メモリ
３００１    アプリケーション識別子
３００２    操作内容
３００３    操作者名
３００４    操作者アドレス
３００５    操作時刻
４００１    リモート機器の表示画面
４００２    アプリケーション操作映像の再生画面
４００３    ローカル機器の現在の表示画面
４００４    ローカル機器の表示画面
４００５    ローカル機器で動作しているアプリケーション
８００１    ヘッダパート
８００２    操作画像パート
【図１】
2009289098.tif 000003
【図２】
2009289098.tif 000004
【図３】
2009289098.tif 000005
【図４】
2009289098.tif 000006
【図５】
2009289098.tif 000007
【図６】
2009289098.tif 000008
【図７】
2009289098.tif 000009
【図８】
2009289098.tif 000010