(57)【要約】【課題】アプリケーション又はＯＳ等のプラットホームに依存しないような汎用的で、利用者に負担をかけることなく、詳細な操作履歴を取得することができる、操作の書き取り方法等を提供する。【解決手段】利用者によって操作される操作手段と、操作対象を含む画像情報を表示する表示手段とからなるユーザインタフェース装置を用いて、該利用者の操作過程を文章として作成するために、操作手段における操作事象（「ＯＫボタン」）を監視するステップと、操作事象が発生した際に、表示手段によって表示されている画像情報から操作対象（「ＯＫボタン」）及び操作種類（「選択する」）を特定するステップと、操作対象を示す文章と、操作種類を示す文章とを組み合わせた文章（「ＯＫボタン」を「選択する」）を作成するステップとを有する。【選択図】      図１
2004240759.tif 000002
【特許請求の範囲】
【請求項１】
利用者によって操作される操作手段と、操作対象を含む画像情報を表示する表示手段とからなるユーザインタフェース装置を用いて、前記利用者の操作過程を文章として作成する処理装置における操作の書き取り方法であって、
前記操作手段における操作事象を監視する第１のステップと、
前記操作事象が発生した際に、前記表示手段に表示されている画像情報から前記操作対象及び操作種類を特定する第２のステップと、
前記操作対象を示す文章と、前記操作種類を示す文章とを組み合わせた文章を作成する第３のステップと
を有することを特徴とする操作の書き取り方法。
【請求項２】
画像情報からの文字認識手段を更に有しており、
前記第２のステップは、前記操作手段により指示される操作対象の周囲画像情報を取得し、前記文字認識手段を用いて前記周囲画像情報に含まれる文字列を抽出し、該文字列を前記操作対象を示す文章とする
ことを特徴とする請求項１に記載の操作の書き取り方法。
【請求項３】
前記操作対象毎の部分画像情報と、該部分画像情報に係る文章情報とを予め蓄積している蓄積手段を更に有しており、
前記第２のステップは、前記操作手段により指示される操作対象の周囲画像情報を取得し、前記蓄積手段を用いて前記周囲画像情報と一致する前記部分画像情報に係る文章を、前記操作対象を示す文章とする
ことを特徴とする請求項１に記載の操作の書き取り方法。
【請求項４】
前記操作対象に階層構造が存在する場合、
前記第２のステップは、前記操作対象に対する上位操作対象を特定し、
前記第３のステップは、前記上位操作対象を示す文章を更に組み合わせた文章を作成する
ことを特徴とする請求項１から３のいずれか１項に記載の書き取り方法。
【請求項５】
前記第３のステップは、前記上位操作対象の部分画像情報に対する前記操作対象の部分画像情報の相対的な位置を示す文章を更に組み合わせた文章を作成することを特徴とする請求項１から４のいずれか１項に記載の書き取り方法。
【請求項６】
利用者によって操作される操作手段と、操作対象を含む画像情報を表示する表示手段とからなるユーザインタフェース装置を用いて、前記利用者の操作過程を文章として作成する操作の書き取りプログラムであって、
前記操作手段における操作事象を監視する第１のステップと、
前記操作事象が発生した際に、前記表示手段に表示されている画像情報から前記操作対象及び操作種類を特定する第２のステップと、
前記操作対象を示す文章と、前記操作種類を示す文章とを組み合わせた文章を作成する第３のステップと
してコンピュータを実行させることを特徴とする操作の書き取りプログラム。
【請求項７】
画像情報からの文字認識プログラムを更に有しており、
前記第２のステップは、前記操作手段により指示される操作対象の周囲画像情報を取得し、前記文字認識プログラムを用いて前記周囲画像情報に含まれる文字列を抽出し、該文字列を前記操作対象を示す文章とする
ようにコンピュータを実行させることを特徴とする請求項６に記載の操作の書き取りプログラム。
【請求項８】
前記操作対象毎の部分画像情報と、該部分画像情報に係る文章情報とを予め蓄積している蓄積手段を更に有しており、
前記第２のステップは、前記操作手段により指示される操作対象の周囲画像情報を取得し、前記蓄積手段を用いて前記周囲画像情報と一致する前記部分画像情報に係る文章を、前記操作対象を示す文章とする
ようにコンピュータを実行させることを特徴とする請求項６に記載の操作の書き取りプログラム。
【請求項９】
前記操作対象に階層構造が存在する場合、
前記第２のステップは、前記操作対象に対する上位操作対象を特定し、
前記第３のステップは、前記上位操作対象を示す文章を更に組み合わせた文章を作成する
ようにコンピュータを実行させることを特徴とする請求項６から８のいずれか１項に記載の操作の書き取りプログラム。
【請求項１０】
前記第３のステップは、前記上位操作対象の部分画像情報に対する前記操作対象の部分画像情報の相対的な位置を示す文章を更に組み合わせた文章を作成する
ようにコンピュータを実行させることを特徴とする請求項６から９のいずれか１項に記載の操作の書き取りプログラム。
【請求項１１】
請求項６から１０のいずれか１項に記載のプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、操作の書き取り方法、プログラム及び該プログラムを記録した記録媒体に関する。詳細には、利用者の操作過程を文章として作成するものに関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
近年、操作履歴を収集分析し、得られた傾向に基づいて、情報の推薦又はマーケティングに役立てる研究が多くなされている。これらの分析結果は、入力である操作履歴の性質によって大きく変わってくる。従って、できるだけ詳細な操作履歴を把握することができれば、利用者の真のニーズにマッチした分析結果が得られる可能性がある。
【０００３】
ソフトウエアの詳細な操作履歴を取得するために、個々のソフトウエアに、操作履歴を取得する機能を組み込むことが考えられる。しかし、これでは、任意のソフトウエアの操作履歴を取得するのは困難であり、汎用性がない。
【０００４】
汎用的に操作履歴を取得するために、利用者が操作内容を音声で発話し、発話内容を音声認識の技術でディクテーションする方法があった（例えば非特許文献１参照）。しかし、発話の速度やなまりなどによる音声認識の認識率低下は、逃れられない問題である。また、利用者に操作内容の発話をしいるため、利用者の負荷が高いという問題もある。
【０００５】
【非特許文献１】
川端豪、中蔦信弥ら著「ここまできた音声認識・音声合成」、ＮＴＴ技術ジャーナル、１９９９年、Ｖｏｌ．１１、Ｎｏ．１２、ｐｐ１２−４０
【０００６】
そこで、本発明は、上記の問題を鑑みてなされたものであり、汎用的で、利用者に負担をかけることなく、詳細な操作履歴を取得する操作の書き取り方法、プログラム及び該プログラムを記録した記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、利用者によって操作される操作手段と、操作対象を含む画像情報を表示する表示手段とからなるユーザインタフェース装置を用いて、利用者の操作過程を文章として作成する処理装置における操作の書き取り方法、プログラム及び該プログラムを記録した記録媒体に関する。
【０００８】
本発明における操作の書き取り方法によれば、
操作手段における操作事象を監視する第１のステップと、
操作事象が発生した際に、表示手段に表示されている画像情報から操作対象及び操作種類を特定する第２のステップと、
操作対象を示す文章と、操作種類を示す文章とを組み合わせた文章を作成する第３のステップと、を有することを特徴とする。これにより、汎用的で、利用者に負荷がかからない方法で、詳細な操作履歴を取得することが可能となる。
【０００９】
また、本発明における操作の書き取り方法の他の実施形態によれば、
画像情報からの文字認識手段を更に有しており、
第２のステップは、操作手段により指示される操作対象の周囲画像情報を取得し、文字認識手段を用いて周囲画像情報に含まれる文字列を抽出し、該文字列を前記操作対象を示す文章とする、ことも好ましい。
【００１０】
更に、本発明における操作の書き取り方法の他の実施形態によれば、
操作対象毎の部分画像情報と、該部分画像情報に係る文章情報とを予め蓄積している蓄積手段を更に有しており、
第２のステップは、操作手段により指示される操作対象の周囲画像情報を取得し、蓄積手段を用いて周囲画像情報と一致する部分画像情報に係る文章を、操作対象を示す文章とする、ことも好ましい。これにより、アプリケーション又はＯＳ等のプラットフォームに依存しない汎用的な方法で、操作対象の内容を特定しやすい操作履歴を記述することが可能となる。
【００１１】
更に、本発明における操作の書き取り方法の他の実施形態によれば、操作対象に階層構造が存在する場合、
第２のステップは、操作対象に対する上位操作対象を特定し、
第３のステップは、上位操作対象を示す文章を更に組み合わせた文章を作成する、ことも好ましい。これにより、操作対象の位置を特定しやすい操作履歴を記述することが可能となる。
【００１２】
更に、本発明における操作の書き取り方法の他の実施形態によれば、第３のステップは、上位操作対象の部分画像情報に対する操作対象の部分画像情報の相対的な位置を示す文章を更に組み合わせた文章を作成することも好ましい。
【００１３】
本発明における操作の書き取りプログラムによれば、
操作手段における操作事象を監視する第１のステップと、
操作事象が発生した際に、表示手段に表示されている画像情報から操作対象及び操作種類を特定する第２のステップと、
操作対象を示す文章と、操作種類を示す文章とを組み合わせた文章を作成する第３のステップとしてコンピュータを実行させることを特徴とする。
【００１４】
また、本発明における操作の書き取りプログラムの他の実施形態によれば、
画像情報からの文字認識プログラムを更に有しており、
第２のステップは、操作手段により指示される操作対象の周囲画像情報を取得し、文字認識プログラムを用いて周囲画像情報に含まれる文字列を抽出し、該文字列を前記操作対象を示す文章とするようにコンピュータを実行させることも好ましい。
【００１５】
更に、本発明における操作の書き取りプログラムの他の実施形態によれば、
操作対象毎の部分画像情報と、該部分画像情報に係る文章情報とを予め蓄積している蓄積手段を更に有しており、
第２のステップは、操作手段により指示される操作対象の周囲画像情報を取得し、蓄積手段を用いて周囲画像情報と一致する部分画像情報に係る文章を、操作対象を示す文章とするようにコンピュータを実行させることも好ましい。
【００１６】
更に、本発明における操作の書き取りプログラムの他の実施形態によれば、操作対象に階層構造が存在する場合、
第２のステップは、操作対象に対する上位操作対象を特定し、
第３のステップは、上位操作対象を示す文章を更に組み合わせた文章を作成するようにコンピュータを実行させることも好ましい。
【００１７】
更に、本発明における操作の書き取りプログラムの他の実施形態によれば、第３のステップは、上位操作対象の部分画像情報に対する操作対象の部分画像情報の相対的な位置を示す文章を更に組み合わせた文章を作成するようにコンピュータを実行させることも好ましい。
【００１８】
前述した本発明における操作の書き取りプログラムを記録した記録媒体であってもよい。
【００１９】
【発明の実施の形態】
以下では、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２０】
図１は、本発明による第１の実施形態のシステム構成図である。図１は、特に請求項１及び５に係る発明におけるシステム構成を表す。また、図２及び図３は、ディスプレイに表示された表示情報の例である。
【００２１】
図１によれば、マウス及びキーボートとディスプレイとに接続された処理装置は、操作監視部１と、操作対象特定部２と、操作種別特定部３と、説明文合成部４とから構成される。
【００２２】
操作監視部１は、操作対象に対する利用者の操作を監視する。操作対象としては、例えば、「メニュー」、「ボタン」、「ウィンドウ」、「ラジオボタン」等がある。また、利用者の操作としては、例えば、マウスのクリック、キーボードの入力、タッチパネルへの接触、音声入力等がある。このような操作事象の発生を検知したとき、操作監視部１は、操作識別情報と共に、操作対象の特定要求を操作対象特定部２へ出力し、操作種別の特定要求を操作種別特定部３へ出力する。
【００２３】
操作対象特定部２は、操作監視部１からの操作対象の特定要求の通知を受けた際に、操作識別情報に基づいて利用者が操作した操作対象を特定する。ここで、操作対象とは、アプリケーションを構成する画面情報のうち、利用者の操作が直接作用した部位のことをいう。
【００２４】
例えば、図２によれば、利用者がアプリケーションの画面中の「ＯＫボタン」をクリックした場合、利用者の操作が直接作用した「ＯＫボタン」が操作対象となる。また、例えば、図３によれば、利用者がアプリケーション画面中の「編集メニュー」ボタンをクリックした場合、利用者の操作が直接作用した「編集メニュー」ボタンが操作対象となる。
【００２５】
尚、操作対象は、操作監視部１によって取得される操作識別情報と、操作対象の対応表とを用いて特定してもよい。また、操作監視部１から取得可能な操作識別情報を用いて、何らかの方法で自動的に操作対象を特定してもよい。
【００２６】
操作種別特定部３は、操作監視部１からの操作対象の特定要求の通知を受けた際に、操作識別情報に基づいて、利用者が操作対象に対して行った操作種別を特定する。例えば、「アイコン」という操作対象に対しては、利用者の操作によって「クリックする」という操作又は「ドラッグする」という操作など、複数の種類が利用可能であり、こらら個々の操作の種類が操作種別となる。
【００２７】
そして、利用者が行った操作が、これら複数の操作のうち、いずれだったのかを特定することが、操作種別の特定という行為である。操作対象によっては、１種類しか操作種別が存在しない場合もあり、このような操作対象の場合は、必然的に操作種別は一意に決まる。
【００２８】
説明文合成部４は、操作対象特定部２で取得した操作対象を示す文章と、操作種別特定部３で取得した操作種別を示す文章とを組合せて、操作履歴を文章化する。文章化する上では、文章のテンプレートを用意し、取得した操作対象と操作種別を埋め込むといった方法などがある。具体的な例を以下に示す。
【００２９】
テンプレート＝「［操作対象］を［操作種別］。」であって、
操作対象＝「編集メニュー」、操作種別＝「選択する」である場合、
作成された文章＝「「編集メニュー」を「選択する」。」となる。
【００３０】
ここで、文章に、操作対象及び操作種別が分かるような画像を抽出して、付与してもよい。
【００３１】
図４は、図１に基づく書き取り方法のフローチャートである。
【００３２】
（Ｓ１）操作監視部１が操作事象を監視しており、操作事象が発生したらＳ２へ、発生していなかったら、Ｓ１自身に戻って、引き続き操作事象を監視する。
（Ｓ２）操作種別特定部２が、操作監視部１から取得した操作識別情報に基づいて、操作種別を識別し、Ｓ３へ進む。
（Ｓ３）操作対象特定部３が、操作監視部１から取得した操作識別情報に基づいて、操作対象を識別し、Ｓ４へ進む。
（Ｓ４）説明文合成部４が、操作対象特定部２で取得した操作対象を示す文章と、操作種別特定部３で取得した操作種別を示す文章とを組合せて、操作履歴を文章化する。その後、再びＳｌに戻り、次回の操作事象の監視を継続する。
【００３３】
図５は、本発明による第２の実施形態のシステム構成図である。図５は、特に請求項２及び６に係る発明におけるシステム構成を表す。
【００３４】
図５によれば、処理装置は、操作監視部１’と、操作対象特定部２’と、操作種別特定部３と、説明文合成部４と、画像認識部５’とを有する。尚、操作種別特定部３と説明文合成部４とは、図１のものと同一であるので、その説明は以下では省略する。
【００３５】
操作監視部１’は、操作事象が発生したら、パソコンにおけるマウスのような操作を指示するポインタの画面上の座標を取得し、当該座標を操作識別情報として、操作対象特定部２’及び操作種別特定部３へ通知する。
【００３６】
操作対象特定部２’は、周囲画像取得部２−１と、対象種別識別部２−２と、タイトル認識部２−３とから構成される。
【００３７】
周囲画像取得部２−１は、操作監視部１’から通知された操作識別情報の座標に基づいて、当該座標周囲の周囲画像情報、即ち操作対象の周囲画像情報を取得し、対象種別識別部２−２へ通知する。
【００３８】
対象種別識別部２−２は、周囲画像取得部２−１から通知された周囲画像情報を、形状認識部５−１へ通知し、周囲画像情報の中に、操作対象の候補が存在するかどうかを問い合わせる。存在すれば、その対象を操作対象として特定する。特定した操作対象の範囲の画像情報を、タイトル認識部２−３へ通知する。
【００３９】
タイトル認識部２−３は、対象種別識別部２−２から通知された画像情報を文字認識部５−２へ通知し、当該画像情報の中に文字列の候補が存在するかどうかを問い合わせる。存在すれば、その文字列を操作対象のタイトルとして特定する。
【００４０】
画像認識部５は、形状認識部５−１と、文字認識部５−２とから構成される。
【００４１】
形状認識部５−１は、操作対象毎の部分画像情報を予め蓄積している。そして、対象種別識別部２−２から通知された周囲画像情報と、蓄積された候補となる部分画像情報とを比較し、一致するか又は最も類似度の高い部分画像情報を検索する。検索された部分画像情報は、対象種別識別部２−２へ通知される。一方、いずれの部分画像情報にも類似しない場合は、その旨を返す。
【００４２】
文字認識部５−２は、タイトル認識部２−３から通知された部分画像情報に、文字列の候補が存在するかどうかを検出するものである。また、部分画像情報に係る文章情報を予め蓄積しておき、部分画像情報と一致する文章情報を検索するものであってもよい。検出又は検索された文章情報は、タイトル認識部２−３へ通知される。一方、いずれの文章情報にも一致しない場合は、その旨を返す。
【００４３】
図６は、図５に基づく書き取り方法のフローチャートである。
【００４４】
（Ｓ２−１）操作監視部１’は、操作事象を監視し、操作事象が発生したら、パソコンにおけるマウスのような操作を指示するポインタの画面上の座標を取得し、操作識別情報と共に当該座標情報を操作種別特定部３へ通知する。操作種別特定部３によって操作種別がマウスのクリックであると判定されると、操作対象特定部２’に、マウス座標と共に操作対象特定要求を通知し、Ｓ２−２へ進む。それ以外の操作種別の場合は、Ｓ２−１へ戻り、操作の監視を継続する。
（Ｓ２−２）操作対象特定部２’の周囲画像取得部２−１は、取得したマウス座標の周囲画像情報を取得する。この周囲画像情報は、マウス座標を中心とした円状の画像や、予め大きさの決まった長方形の画像が想定される。その後、Ｓ２−３へ進む。
（Ｓ２−３）周囲画像取得部２一１取得した画像を、対象種別識別部２−２が、形状認識部５−１へ通知し、周囲画像情報の中に、操作対象の候補が存在するかどうかを問い合わせる。周囲画像情報の中に「メニュー」や「ボタン」の形状と類似度が高い部分が存在すると判定されれば、Ｓ２−４へ進む。また、周囲画像情報の中に、特定の操作対象が存在しないと判定されれば、Ｓ２−１へ戻り、操作の監視を継続する。
（Ｓ２−４）タイトル認識部２−３が、対象種別識別部２−２から通知された部分画像情報を、文字認識部５−２へ通知し、部分画像情報の中に、文字列の候補が存在するかどうかを問い合わせる。存在すれば、その文字列を操作対象のタイトルとして認識し、Ｓ２−５へ進む。
（Ｓ２−５）特定した操作対象を含む画面の一部をキャプチャし、Ｓ２−６へ進む。
（Ｓ２−６）説明文合成部４が、操作対象特定部２’で取得した操作対象のタイトルと、操作種別特定部３で取得した操作種別を組合せて、操作の説明文を合成する。尚、文章に、Ｓ２−５でキャプチャした画像を、付与してもよい。
【００４５】
図７は、本発明による第３の実施形態のシステム構成図である。図７は、特に請求項３、４、７及び８に係る発明におけるシステム構成を表す。また、図８は、ディスプレイに表示された表示情報の例である。尚、上位階層特定部６以外は、第２の実施形態と同じであるため、以下では説明を省略する。
【００４６】
上位階層特定部６は、上位階層の対象特定部６−１と、タイトル認識部６−２とから構成される。
【００４７】
上位階層の対象特定部６−１は、操作対象特定部２’で特定した操作対象に階層構造が存在する場合に、操作対象の親の階層の操作対象を特定する。操作対象が「メニュー」である場合には、親のメニュー階層をたどり、親のメニュー名に対応する画像を取得する。また、操作対象が「ボタン」の場合、「ボタン」が描画されている「ウィンドウ」のタイトルが存在する画像を親の階層の操作対象として特定する。たどる階層数は１つだけに限らず、必要に応じて再帰的に更に親の階層をたどってもよい。
【００４８】
タイトル認識部６−２は、上位階層の対象特定部６−１が取得した画像を、文字認識部５−２へ通知し、画像の中に、文字列の候補が存在するかどうかを問い合わせる。存在すれば、その文字列を操作対象のタイトルとして認識する。
【００４９】
説明文合成部４は、操作対象特定部２で取得した操作対象と、操作種別特定部３で取得した操作種別と、上位階層特定部６で取得した親の操作対象とを組合せて、操作履歴を文章化する。
【００５０】
操作対象がメニューの場合、操作対象のメニューが、メニュー階層の中でどの位置に存在するかを記述する。例えば、「［ファイル］−［上書き保存］を選択する」のように、親のメニュー階層も併記する。
【００５１】
また、操作対象がボタンの場合は、親の操作対象であるウィンドウの中で、ボタンが配置している相対座標をもと、相対的な位置を記述する。例えば、「印刷ウィンドウの右下にあるＯＫボタンを押下する」のように相対的な位置を併記する。
【００５２】
更に、文章に、操作対象及び操作種別が分かるような画像を抽出して、付与してもよい。文章化する上では、文章のテンプレートを用意し、取得した操作対象と操作種別を埋め込むといった方法などがある。
【００５３】
図９は、図７に基づく操作の書き取り方法のフローチャートである。尚、Ｓ３−１、Ｓ３−２、Ｓ２−６’以外は、第２の実施形態と同じであるため、以下では説明を省略する。
【００５４】
（Ｓ３−１）上位階層の対象特定部６−１が、操作対象特定部２’で特定した操作対象に階層構造が存在する場合に、操作対象の親の階層の操作対象を特定する。また、タイトル認識部６−２が、上位階層の対象特定部６−１が取得した画像を、文字認識部５−２へ通知し、画像の中に、文字列の候補が存在するかどうかを問い合わせ、存在すれば、その文字列を操作対象のタイトルとして認識する。その後、Ｓ３−２へ進む。
（Ｓ３−２）上位階層の対象特定部６−１が、更に上位の親の操作対象が存在しないかを判定し、存在する場合には、Ｓ３−１に戻る。存在しない場合には、Ｓ２−５へ進む。
（Ｓ２−６’）説明文合成部４が、操作対象特定部２’で取得した操作対象のタイトルと、操作種別特定部３で取得した操作種別と、上位階層特定部６で取得した親の操作対象とを組合せて、操作履歴を文章化する。
【００５５】
【発明の効果】
上述のように、本発明における操作の書き取り方法、プログラム及び該プログラムを記録した記録媒体によれば、汎用的で、利用者に負担をかけることなく、詳細な操作履歴を取得することができる。特に、アプリケーション又はＯＳなどのプラットフォームに依存しない汎用的な方法で、操作対象の内容を特定しやすい操作履歴を記述することが可能となる。また、操作対象の位置を特定しやすい操作履歴を記述することもできる。
【図面の簡単な説明】
【図１】本発明による第１の実施形態のシステム構成図である。
【図２】ディスプレイに表示された表示情報の例である。
【図３】ディスプレイに表示された表示情報の例である。
【図４】図１に基づく書き取り方法のフローチャートである。
【図５】本発明による第２の実施形態のシステム構成図である。
【図６】図５に基づく書き取り方法のフローチャートである。
【図７】本発明による第３の実施形態のシステム構成図である。
【図８】ディスプレイに表示された表示情報の例である。
【図９】図７に基づく書き取り方法のフローチャートである。
【符号の説明】
１  操作監視部
２  操作対象特定部
２−１  周囲画像取得部
２−２  対象種別識別部
２−３  タイトル認識部
３  操作種別特定部
４  説明文合成部
５  画像認識部
５−１  形状認識部
５−２  文字認識部
６  上位階層特定部
６−１  上位階層の対象特定部
６−２  タイトル認識部
【図１】
2004240759.tif 000003
【図２】
2004240759.tif 000004
【図３】
2004240759.tif 000005
【図４】
2004240759.tif 000006
【図５】
2004240759.tif 000007
【図６】
2004240759.tif 000008
【図７】
2004240759.tif 000009
【図８】
2004240759.tif 000010
【図９】
2004240759.tif 000011