(57)【要約】【課題】ユーザの意図する操作目的に合った操作ガイドを提示する。【解決手段】取扱説明データ解析部１２は、取扱説明データから操作目的および一連の操作単位からなる正しい操作系列を抽出して取扱説明データ記憶部１３に格納する。類似度算出部１４は、正しい操作系列から操作単位間の類似度を予め算出して類似度記憶部１５に格納する。目的推定部１７は、入力操作系列と正しい操作系列との間で異なる操作単位について類似度記憶部１５から類似度を読み出して、読み出された類似度をもとに入力操作系列に対応する操作目的を推定する。操作ガイド生成部１８は、上記目的推定部１７により推定された操作目的に対応する取扱説明データを上記取扱説明データ記憶部１３から読み出して、ユーザへ提示する操作ガイドを生成する。操作ガイド提示部１９は、上記操作ガイド生成部１８によって生成された操作ガイドをユーザに提示する。【選択図】      図１
2009080650.tif 000002
【特許請求の範囲】
【請求項１】
操作対象の取扱説明データから操作目的およびこの操作目的に対応する一連の操作単位からなる正しい操作系列を抽出する抽出手段と、
前記取扱説明データ、操作目的および正しい操作系列を対応付けて記憶する取扱説明データ記憶手段と、
前記正しい操作系列から前記操作単位間の類似度を算出する算出手段と、
前記類似度を記憶する類似度記憶手段と、
前記操作対象に対する使用者の入力操作系列を入力する入力手段と、
前記類似度記憶手段から前記入力操作系列と前記正しい操作系列との間で異なる操作単位ついて前記類似度を読み出し、読み出された類似度をもとに前記入力操作系列に対応する操作目的を推定する推定手段と、
推定された操作目的に対応する取扱説明データをもとに前記操作対象に対する操作ガイドを使用者に提示する提示手段と
を具備することを特徴とする操作支援装置。
【請求項２】
前記算出手段は、前記操作単位の示す意味の相違に基づいて前記類似度を算出することを特徴とする請求項１記載の操作支援装置。
【請求項３】
前記操作単位の出現する位置をそれぞれ検出する検出手段をさらに具備し、
前記算出手段は、検出された位置間の距離に基づいて前記類似度を算出することを特徴とする請求項１記載の操作支援装置。
【請求項４】
操作対象の取扱説明データから操作目的およびこの操作目的に対応する一連の操作単位からなる正しい操作系列を抽出するステップと、
前記取扱説明データ、操作目的および正しい操作系列を対応付けて記憶するステップと、
前記正しい操作系列から前記操作単位間の類似度を算出するステップと、
前記類似度を記憶するステップと、
前記操作対象に対する使用者の入力操作系列を入力するステップと、
前記入力操作系列と前記正しい操作系列との間で異なる操作単位ついて前記類似度を読み出し、読み出された類似度をもとに前記入力操作系列に対応する操作目的を推定するステップと、
推定された操作目的に対応する取扱説明データをもとに前記操作対象に対する操作ガイドを使用者に提示するステップと
を備えることを特徴とする操作支援方法。
【請求項５】
前記類似度を算出するステップは、前記操作単位の示す意味の相違に基づいて前記類似度を算出することを特徴とする請求項４記載の操作支援方法。
【請求項６】
前記操作単位の出現する位置をそれぞれ検出するステップをさらに備え、
前記類似度を算出するステップは、検出された位置間の距離に基づいて前記類似度を算出することを特徴とする請求項４記載の操作支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、家電機器等の操作ガイドを提供する操作支援装置および操作支援方法に関する。
【背景技術】
【０００２】
近年の安価なコンピュータやインターネットの普及により、家庭やオフィスでも気軽に必要な情報を検索できるようになった。また、家庭電化製品やオーディオビジュアル機器をネットワークに接続して、統合管理するネットワーク家電も実現化している。
【０００３】
一方、家庭電化製品やオーディオビジュアル機器の種類が増え、高機能化がすすんだため、機器の仕組みや操作が複雑になって使いこなせない、という問題が発生している。特に、リモートコントローラ上のボタンが多い、ディスプレイ上で選択するメニュー項目が多い、といった場合に、操作がわかりにくくなってしまう。
【０００４】
ユーザは操作に迷った場合でも、分厚い取扱説明書を読み解く時間がない、どこに必要な説明があるか探せない、機器の仕組みが複雑でなかなか理解できない、取扱説明書を保管場所から取り出すのが面倒などの理由により、取扱説明書を調べないことが多い。
【０００５】
そこで、ユーザの検索の手間を省くため、ユーザの操作履歴（入力操作系列）と正しい操作系列との類似度を算出してユーザの操作目的を推定し、推定された操作目的に応じた操作支援を行う手法が提案されている（例えば、特許文献１を参照。）。ただし、ユーザが正しい操作系列と異なる誤操作を行った場合は、ユーザの本来の操作目的を正しく推定することができなかった。
【特許文献１】特開平８−１７１４４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記手法では、ユーザの操作が誤って入力された場合には、ユーザの操作目的を正しく推定することができないため、適切な操作ガイドを提示することができなかった。統計によれば、ユーザが操作ガイドを必要とする前に誤操作を行っていることが多く、操作目的の推定精度の向上が課題となっている。
【０００７】
この発明は上記事情に着目してなされたもので、その目的とするところは、ユーザの意図する操作目的に合った操作ガイドを提示することができる操作支援装置および操作支援方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するためにこの発明に係わる操作支援装置は、操作対象の取扱説明データから操作目的およびこの操作目的に対応する一連の操作単位からなる正しい操作系列を抽出する抽出手段と、前記取扱説明データ、操作目的および正しい操作系列を対応付けて記憶する取扱説明データ記憶手段と、前記正しい操作系列から前記操作単位間の類似度を算出する算出手段と、前記類似度を記憶する類似度記憶手段と、前記操作対象に対する使用者の入力操作系列を入力する入力手段と、前記類似度記憶手段から前記入力操作系列と前記正しい操作系列との間で異なる操作単位ついて前記類似度を読み出し、読み出された類似度をもとに前記入力操作系列に対応する操作目的を推定する推定手段と、推定された操作目的に対応する取扱説明データをもとに前記操作対象に対する操作ガイドを使用者に提示する提示手段とを具備することを特徴とする。
【０００９】
また、この発明に係わる操作支援方法は、操作対象の取扱説明データから操作目的およびこの操作目的に対応する一連の操作単位からなる正しい操作系列を抽出するステップと、前記取扱説明データ、操作目的および正しい操作系列を対応付けて記憶するステップと、前記正しい操作系列から前記操作単位間の類似度を算出するステップと、前記類似度を記憶するステップと、前記操作対象に対する使用者の入力操作系列を入力するステップと、前記入力操作系列と前記正しい操作系列との間で異なる操作単位ついて前記類似度を読み出し、読み出された類似度をもとに前記入力操作系列に対応する操作目的を推定するステップと、推定された操作目的に対応する取扱説明データをもとに前記操作対象に対する操作ガイドを使用者に提示するステップとを備えることを特徴とする。
【００１０】
上記構成による操作支援装置および操作支援方法では、取扱説明データから操作目的および正しい操作系列を抽出し、正しい操作系列から操作単位間の類似度を予め算出しておく。そして、操作対象に対する使用者の入力操作系列と正しい操作系列との間で異なる操作単位ついて上記算出された類似度を用いて入力操作系列に対応する操作目的を推定する。このように操作単位間の類似度を用いることで、例えば「番組情報」と「番組表」のように、よく似た名前のボタンやメニュー項目の選択を誤った場合でも、「番組」の２文字が一致していることにより、ユーザの誤りの可能性も加味して操作目的を推定することができる。よって、複雑な操作手順を要する家電機器であっても、少ない手間で、ユーザに適切なガイドを提示することが可能となる。
【発明の効果】
【００１１】
したがってこの発明によれば、ユーザの意図する操作目的に合った操作ガイドを提示することができる操作支援装置および操作支援方法を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照しながら本発明の実施の形態を詳細に説明する。  
図1は、本発明に係る操作支援装置の一実施形態を示す機能ブロック図である。  
操作支援装置は、取扱説明データ入力部１１、取扱説明データ解析部１２、取扱説明データ記憶部１３、類似度算出部１４、類似度記憶部１５、操作履歴入力部１６、目的推定部１７、操作ガイド生成部１８、および操作ガイド提示部１９を備える。なお、この操作支援装置において、取扱説明データ入力部１１及び取扱説明データ解析部１２を別のサーバ装置などに設けるようにしてもよい。また、この操作支援装置を操作機器に内蔵するようにしてもよい。
【００１３】
テキスト、図表、音声、映像などを含む、操作機器の取扱説明データは、取扱説明データ入力部１１を介して入力される。取扱説明データ解析部１２は、上記取扱説明データ入力部１１から入力された取扱説明データから、操作目的とこの操作目的に対応する一連の操作単位からなる正しい操作手順（以下、正解操作系列とする。）を抽出する。上記取扱説明データ解析部１２で抽出された操作目的および正解操作系列は、取扱説明データとの対応関係とともに、取扱説明データ記憶部１３に記憶される。
【００１４】
類似度算出部１４は、上記取扱説明データ記憶部１３に格納された正解操作系列から操作単位間の類似度をそれぞれ算出し、類似度記憶部１５に格納する。ユーザの操作機器に対する一連の入力操作系列は操作履歴入力部１６により入力される。例えば、操作機器から、操作コマンド、押されたボタン、ユーザに提示されたメッセージ、ユーザが選択したメニュー項目などのイベントを表す情報が、通信路を介して操作履歴入力部１６へ送られる。あるいは、操作している様子を映像解析したり、音声認識などによる結果が操作系列として入力される。
【００１５】
目的推定部１７は、上記操作履歴入力部１６により入力された入力操作系列と、上記取扱説明データ記憶部１３に格納された正解操作系列との間で異なる操作単位について、上記類似度記憶部１５に格納された類似度を読み出す。そして、読み出された類似度を用いて入力操作系列に対応する操作目的を推定する。
【００１６】
操作ガイド生成部１８は、上記目的推定部１７により推定された操作目的に対応する取扱説明データを上記取扱説明データ記憶部１３から読み出して、ユーザへ提示する操作ガイドを生成する。  
操作ガイド提示部１９は、上記操作ガイド生成部１８によって生成された操作ガイドを、たとえば、ディスプレイに表示したり、音声を出力することによりユーザに提示する。
【００１７】
次に、このように構成された操作支援装置の動作について説明する。図２は、類似度算出処理の手順とその内容を示すフローチャートである。図３は、操作ガイド提示処理の手順とその内容を示すフローチャートである。
【００１８】
（類似度算出処理）  
図２において、例えば、図４に示すようなテレビの取扱説明書の電子化データが取扱説明データ入力部１１に入力されたものとする（ステップＳ２ａ）。取扱説明データ解析部１２は、図５に示すように、上記入力された取扱説明データの目次等から操作の大目的、小目的を操作目的として抽出する（ステップＳ２ｂ）。さらに、取扱説明データ解析部１２は、上記抽出された操作目的に対応する正解操作系列を抽出する（ステップＳ２ｃ）。
【００１９】
この具体的な手順としては、例えば、まず、図４に示した取扱説明データの各頁から「を押す」「を選び」などの文字列を手がかりにユーザが行う操作行為とその操作対象をそれぞれ選び出し、図５に示すように操作手順をリスト化する。図４の取扱説明データの例において、“［↑］［↓］［←］［→］で〜〜を選び”と記載されているように、複数のボタンが併記されている場合は、０個以上のボタンを０回以上任意の順に押すと解釈する。一方“「録画予約」「視聴予約」「予約日時変更」のどれかを選び”の例では、どれか１つのボタンを１回だけ選択すると解釈する。また、“［↑］［↓］［←］［→］の順で押し”と記載された場合は、記載されたすべてのボタンを記載された順に１回ずつ押すと解釈するものとする。取扱説明データ解析部１２は、図５のようにリスト化された操作手順をもとに一定に固定された操作対象を操作単位として順に選択することで、一連の操作単位からなる正解操作系列を抽出する。このように抽出された正解操作系列は、図６に示すようなフォーマットで、操作目的に対応付けて、取扱説明データ記憶部１３に格納される。
【００２０】
さらに、取扱説明データ解析部１２は、正解操作系列に含まれる各操作単位の出現する位置を検出する（ステップＳ２ｄ）。この位置の具体例としては、リモートコントローラのボタン配置やメニュー項目の並び順などを用いることができる。
【００２１】
取扱説明データ解析部１２は、入力された全ての取扱説明データに対して上記ステップＳ２ｂ〜Ｓ２ｄの処理を繰り返し行う（ステップＳ２ｅ）。
【００２２】
次に、類似度算出部１４は、上記抽出された正解操作系列から操作の対象となるボタン名、画面名、メニュー項目名などを操作単位としてリストアップする（ステップＳ２ｆ）。例えば、図５中の最右列に格納された操作対象の名称が取り出される。類似度算出部１４は、上記リストアップされた名称について、操作単位間の類似度を算出する（ステップＳ２ｇ）。例えば、類似度算出部１４は、図７に示すようなルールに従い、上記リストアップされた操作対象の名称から、意味的あるいは空間的な類似度を算出する。
【００２３】
たとえば、意味的類似度は、名称間の編集距離により類似度を算出する。編集距離は、２つの文字列の差違文字数などで表す。「番組表」と「番組情報」との間は、編集距離２となる。「録画予約」と「視聴予約」との間も編集距離２である。図７のルールでは、類似度は編集距離の逆数と定義しているため、上記２つの例の類似度は０．５と算出される。算出された操作単位間の類似度は、類似度記憶部１５に格納される。
【００２４】
また、意味的類似度の他の例として、動作の概念が同じ場合の類似度を求めることができる。たとえば、「表現：概念」の組み合わせとして、「←：ｂａｃｋ」「＜＜：ｂａｃｋ」「Ｒｅｔｕｒｎ：ｂａｃｋ，ｅｎｔｅｒ」「戻る：ｂａｃｋ」「□：ｓｔｏｐ」「停止：ｓｔｏｐ」「終了：ｓｔｏｐ」「実行：ｅｎｔｅｒ」「決定：ｅｎｔｅｒ」など、あらかじめ用語や記号のあらわす意味を定義しておく。「終了，戻る，□，←，＜＜」など動作の概念が同じ場合は、類似度を０．５とする。さらに、「ｓｔｏｐ，ｂａｃｋ，ｅｎｔｅｒ：０．５」など意味同士の類似度を定義する。これらの対応関係を予めデータベース化しておき、このデータベースを参照することにより類似度を求めることができる。
【００２５】
一方、空間的類似度は、図７に示すように、リモートコントローラ上のボタンの配置やメニュー項目の並び順などに基づいて求められる。例えば、リモートコントローラ上のボタンの中心位置間の逆数を類似度とすれば、ボタンの中心位置間が２ｃｍのとき、類似度は１／２＝０．５と算出できる。また、メニュー項目の距離＋１の逆数を類似度とすれば、隣り合っているメニュー項目間の類似度は、１／（１＋１）＝０．５と算出できる。
【００２６】
さらに、上記の組み合わせとして、対象と行為、位置の複数が類似している場合は、類似度の最大値＋０．２と定義する。例えば、「録画予約の取り消し」と「録画番組の削除」との間の類似度は、０．５＋０．２＝０．７となる。
【００２７】
（操作ガイド提示処理）  
以下、図３を参照して操作ガイド提示処理の詳細について説明する。  
例えば、ユーザがリモートコントローラで操作機器に対して操作を行っている時に、同じボタンを連打したり、ヘルプボタンを押すなど、ガイドが必要な状況になると、操作履歴入力部１６を介して、ユーザの操作履歴を表す情報が入力される（ステップＳ３ａ）。例えば、テレビの操作では、図８に示すような操作履歴データが時刻情報などとともに入力され、図８において対象２に示される一連の操作を入力操作系列として得ることができる。
【００２８】
目的推定部１７は、操作履歴データから得られた入力操作系列、取扱説明データ記憶部１３に格納された正解操作系列、および類似度記憶部１５に格納された類似度をもとに、ユーザの意図する操作目的である可能性を示すスコアを算出する（ステップＳ３ｂ）。
【００２９】
図９に、このスコアの算出処理の一例を示す。目的推定部１７は、操作履歴データから得られた入力操作系列と、取扱説明データ記憶部１３に格納された正解操作系列とを操作単位毎に比較して編集距離を求める。また、入力操作系列と正解操作系列との間で異なる操作単位について類似度記憶部１５から類似度が読み出される。目的推定部１７は、求められた編集距離および読み出された類似度をもとに、スコア＝入力操作系列長／（１＋編集距離−類似度）で表される式に基づいてスコアを算出する。
【００３０】
ここで、図１０および図１１を参照して、スコア算出処理の具体例について説明する。  
図１０の例では、入力操作系列として、“［番組表］［↓］［↓］［決定］［→］［決定］［戻る］”が入力されたものとする。このとき、入力操作系列長は７である。操作目的１の正解操作系列が“［番組表］（［↑］［↓］［←］［→］）＊［決定］（［↑］［↓］［←］［→］）＊［決定］［決定］［終了］”であるとき、編集距離は２と求められる。また、相違する操作単位は、［戻る］と［決定］であり、この間の類似度は０．５と算出されるため、スコアは、７／（１＋２−０．５）＝２．８と算出できる。一方、操作目的２の正解操作系列が“［番組表］（［↑］［↓］［←］［→］）＊”であるとき、編集距離は３と求められる。この場合の類似度は０であるため、スコアは、７／（１＋３−０）＝１．８と算出できる。
【００３１】
図１１の例では、入力操作系列として、“［番組表］［戻る］”が入力されたものとする。このとき、入力操作系列長は２である。上記同様に、操作目的１の正解操作系列が“［番組表］（［↑］［↓］［←］［→］）＊［決定］（［↑］［↓］［←］［→］）＊［決定］［決定］［終了］”であるとき、編集距離は４と求められる。また、相違する操作単位は、［戻る］と［決定］であり、この間の類似度は０．５と算出されるため、スコアは、２／（１＋４−０．５）＝０．４４と算出できる。一方、操作目的２の正解操作系列が“［番組表］（［↑］［↓］［←］［→］）＊”であるとき、編集距離は１と求められる。相違する操作単位は、［戻る］と［←］であり、この間の類似度は０．５と算出されるため、スコアは、２／（１＋１−０．５）＝１．３と算出できる。
【００３２】
目的推定部１７は、求められたスコアの中から高スコアの操作目的を抽出する（ステップＳ３ｃ）。上記図１０に示した例では、操作目的１が入力操作系列に合った操作目的として抽出される。また、図１１に示した例では、操作目的２が入力操作系列に合った操作目的として抽出される。目的推定部１７は、上記抽出された操作目的のスコアが予め定められた一定値以上であるか否かを判定し（ステップＳ３ｄ）、スコアが一定値以上と判定された操作目的を操作ガイド生成部１８に通知する。
【００３３】
操作ガイド生成部１８は、目的推定部１７から通知された操作目的に対応する取扱説明データを取扱説明データ記憶部１３から読み出して操作ガイドを作成する（ステップＳ３ｅ）。操作ガイド提示部１９は、上記作成された操作ガイドをディスプレイに表示したり、音声により出力することによりユーザに提示する（ステップＳ３ｆ）。
【００３４】
なお、上記実施形態では、操作ガイド生成部１８は、操作目的の推定結果により、スコアの高い操作目的のうちから１つを選択し、その操作目的に対応する操作ガイドを表示する。また、この他にも、スコアの高い操作目的が複数ある場合は、図１２に示すようにユーザに選択させるようにしてもよい。例えば、図１２において、画面１２ａでユーザに操作目的を提示し、ユーザが「録画予約する：番組表から録画予約する」を選択した場合は、画面１２ｂの取扱説明データを提示する。あるいは、正解操作系列とユーザの入力操作列とを比較し、正解操作系列と異なる手順から先のみを提示するようにすることもできる。例えば、画面１２ｃでは、手順５，６のみをユーザに提示している。
【００３５】
以上述べたように上記実施形態では、正解操作系列と実際の入力操作系列のマッチングによりユーザの操作目的を推定する際に、ボタンあるいはメニュー項目など、操作単位間の意味的または空間的な類似度を加味して、ユーザの真に意図する操作目的を推定している。例えば、「番組情報」と「番組表」というような、よく似た名前のボタンやメニュー項目を選択し間違えた際でも、「番組」の２文字が一致していることにより、ユーザの誤りの可能性も加味して目的を推定することが可能となる。
【００３６】
したがって上記実施形態によれば、操作目的の推定精度の向上を図ることができ、よりユーザに適切な操作ガイドを提示することが可能となる。特に、ユーザが操作ガイドを必要とする前に誤操作を行っているケースが多いが、操作間違いを起こしやすい複雑な操作手順を持つ家電機器でも、少ない手間で、ユーザに適切な操作ガイドを提示できるようになる。
【００３７】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００３８】
【図１】この発明に係る操作支援装置の一実施形態を示す機能ブロック図。
【図２】類似度算出処理の手順とその内容を示すフローチャート。
【図３】操作ガイド提示処理の手順とその内容を示すフローチャート。
【図４】取扱説明データ入力部に入力される取扱説明データの一例を示す図。
【図５】取扱説明データ解析部において抽出されたデータを示す図。
【図６】取扱説明データ記憶部に格納されるデータを示す図。
【図７】類似度算出部における類似度算出処理の手法を示す図。
【図８】ユーザの操作履歴データの一例を示す図。
【図９】目的推定部におけるスコア算出処理の一例を示す図。
【図１０】スコア算出処理の具体例を示す図。
【図１１】スコア算出処理の具体例を示す図。
【図１２】操作ガイドとして提示される画面の一例を示す図。
【符号の説明】
【００３９】
１１…取扱説明データ入力部、１２…取扱説明データ解析部、１３…取扱説明データ記憶部、１４…類似度算出部、１５…類似度記憶部、１６…操作履歴入力部、１７…目的推定部、１８…操作ガイド生成部、１９…操作ガイド提示部。
【図１】
2009080650.tif 000003
【図２】
2009080650.tif 000004
【図３】
2009080650.tif 000005
【図４】
2009080650.tif 000006
【図５】
2009080650.tif 000007
【図６】
2009080650.tif 000008
【図７】
2009080650.tif 000009
【図８】
2009080650.tif 000010
【図９】
2009080650.tif 000011
【図１０】
2009080650.tif 000012
【図１１】
2009080650.tif 000013
【図１２】
2009080650.tif 000014