(57)【要約】【課題】操作が試行錯誤を伴い、画面遷移が流動的な非定型作業を含むアプリケーションに対するＧＵＩを通じた正しい操作の支援を可能とすること。【解決手段】ユーザから操作支援の要求が入力されると、操作情報取得部７がその時点（現在）の操作画面およびＧＵＩ部品構成情報を取得し、想定画面生成部８がＧＵＩ部品状態管理テーブルに基づき、現在の操作画面におけるＧＵＩ部品のうち、視覚的に異なる２以上の状態を取り得るＧＵＩ部品について各状態の画像を選択可能に表示し、現在の操作画面におけるＧＵＩ部品の視覚的な状態をユーザによって選択された状態に変更した想定画面を生成し、当該想定画面に対応するＧＵＩ部品ＸＭＬツリーから検索キーを生成して操作事例蓄積部１を検索する。【選択図】図１
2014102634.tif 000002
【特許請求の範囲】
【請求項１】
任意のコンピュータ上で動作する操作対象アプリケーションに対するＧＵＩを通じたユーザの操作を支援する方法であって、
前記任意のコンピュータもしくは当該任意のコンピュータにネットワークを介して接続された他のコンピュータが、
操作対象アプリケーションにおける操作事例のログデータを取得し、当該操作事例において示された時系列の複数の操作画面および当該各操作画面のＧＵＩ部品ＸＭＬツリーを含む操作事例情報を操作事例蓄積部に蓄積する操作事例情報収集工程と、
前記ログデータ中の操作画面および当該操作画面のＧＵＩ部品ＸＭＬツリーに基づき、視覚的に異なる２以上の状態を取り得るＧＵＩ部品について当該ＧＵＩ部品の画像と当該状態を制御する属性値を管理するＧＵＩ部品状態管理テーブルを生成するＧＵＩ部品状態管理テーブル生成工程と、
ユーザから操作支援の要求が入力された時に現在の操作画面の画像情報およびＧＵＩ部品構成情報を取得する操作情報取得工程と、
前記ＧＵＩ部品状態管理テーブルに基づき、現在の操作画面および当該現在の操作画面におけるＧＵＩ部品の状態から想定画面を生成する想定画面生成工程と、
前記操作事例蓄積部から前記想定画面に類似した操作画面を含む操作事例情報を検索する検索工程と、
検索された操作事例情報中の時系列の各操作画面のいずれかをユーザによって選択可能に表示する検索結果表示工程と、
ユーザによって選択された操作事例情報中の操作画面と現在の操作画面とをＧＵＩ部品単位で照合し、不一致個所を明示した画面を表示する照合処理・結果表示工程とを実行する
ことを特徴とするユーザ操作支援方法。
【請求項２】
あるＧＵＩ部品に関する視覚的に異なる２以上の状態を制御する属性値と画像の組のレコードのＧＵＩ部品状態管理テーブルへ追加・削除について、当該あるＧＵＩ部品に関する、ＧＵＩ部品ＸＭＬツリー中の座標位置情報から取得される当該あるＧＵＩ部品の画像との関係が、画像および属性値が両者とも同じ又は異なる場合は該当レコードをテーブルに追加し、属性値が同じで画像が異なる場合は当該レコードをテーブルから削除し、画像が同じで属性値が異なる場合は当該レコードをテーブルに残すＧＵＩ部品状態管理テーブル生成工程を含む
ことを特徴とする請求項１に記載のユーザ操作支援方法。
【請求項３】
想定画面生成工程は、
現在の操作画面におけるＧＵＩ部品のうち、視覚的に異なる２以上の状態を取り得るＧＵＩ部品について各状態の画像をユーザによって選択可能に表示する工程と、
現在の操作画面におけるＧＵＩ部品の視覚的な状態をユーザによって選択された視覚的な状態に変更した想定画面を生成する工程とを含む
ことを特徴とする請求項１に記載のユーザ操作支援方法。
【請求項４】
検索工程は、
想定画面に対応するＧＵＩ部品ＸＭＬツリーを生成し、視覚的な状態を変更したＧＵＩ部品については変更後の属性値とし、それ以外のＧＵＩ部品については属性値を不定とした検索キーを生成する工程と、
前記操作事例蓄積部を前記検索キーで検索することにより、前記想定画面に類似した操作画面を含む操作事例情報を検索する工程とからなる
ことを特徴とする請求項１に記載のユーザ操作支援方法。
【請求項５】
任意のコンピュータ上で動作する操作対象アプリケーションに対するＧＵＩを通じたユーザの操作を支援する装置であって、
操作対象アプリケーションにおける操作事例に関する各種の情報を蓄積する操作事例蓄積部と、
視覚的に異なる２以上の状態を取り得るＧＵＩ部品について当該ＧＵＩ部品の画像と当該状態を制御する属性値とを管理するＧＵＩ部品状態管理テーブルを蓄積するＧＵＩ部品状態管理テーブル蓄積部と、
操作対象アプリケーションにおける操作事例のログデータを取得し、当該操作事例において示された時系列の複数の操作画面および当該各操作画面のＧＵＩ部品ＸＭＬツリーを含む前記操作事例情報を操作事例蓄積部に蓄積する操作事例情報収集部と、
前記ログデータ中の操作画面の画像情報およびＧＵＩ部品ＸＭＬツリーに基づき、視覚的に異なる２以上の状態を取り得るＧＵＩ部品について当該ＧＵＩ部品の画像と当該状態を制御する属性値を管理するＧＵＩ部品状態管理テーブルを生成してＧＵＩ部品状態管理テーブル蓄積部に蓄積するＧＵＩ部品状態管理テーブル生成部と、
ユーザから操作支援の要求が入力された時に現在の操作画面の画像情報およびＧＵＩ部品構成情報を取得する操作情報取得部と、
前記ＧＵＩ部品状態管理テーブル蓄積部中のＧＵＩ部品状態管理テーブルに基づき、現在の操作画面および当該現在の操作画面におけるＧＵＩ部品の状態から想定画面を生成する想定画面生成部と、
前記操作事例蓄積部から前記想定画面に類似した操作画面を含む操作事例情報を検索する検索部と、
検索された操作事例情報中の時系列の各操作画面のいずれかをユーザによって選択可能に表示する検索結果表示部と、
ユーザによって選択された操作画面と現在の操作画面とをＧＵＩ部品単位で照合し、不一致個所を明示した画面を表示する照合処理・結果表示部とを備えた
ことを特徴とするユーザ操作支援装置。
【請求項６】
あるＧＵＩ部品に関する視覚的に異なる２以上の状態を制御する属性値と画像の組のレコードのＧＵＩ部品状態管理テーブルへ追加・削除について、当該あるＧＵＩ部品に関する、ＧＵＩ部品ＸＭＬツリー中の座標位置情報から取得される当該あるＧＵＩ部品の画像との関係が、画像および属性値が両者とも同じ又は異なる場合は該当レコードをテーブルに追加し、属性値が同じで画像が異なる場合は当該レコードをテーブルから削除し、画像が同じで属性値が異なる場合は当該レコードをテーブルに残すＧＵＩ部品状態管理テーブル生成部を備えた
ことを特徴とする請求項５に記載のユーザ操作支援装置。
【請求項７】
現在の操作画面におけるＧＵＩ部品のうち、視覚的に異なる２以上の状態を取り得るＧＵＩ部品について各状態の画像をユーザによって選択可能に表示し、現在の操作画面におけるＧＵＩ部品の視覚的な状態をユーザによって選択された視覚的な状態に変更した想定画面を生成する想定画面生成部を備えた
ことを特徴とする請求項５に記載のユーザ操作支援装置。
【請求項８】
想定画面に対応するＧＵＩ部品ＸＭＬツリーを生成し、視覚的な状態を変更したＧＵＩ部品については変更後の属性値とし、それ以外のＧＵＩ部品については属性値を不定とした検索キーを生成し、前記操作事例蓄積部を前記検索キーで検索することにより、前記想定画面に類似した操作画面を含む操作事例情報を検索する検索部を備えた
ことを特徴とする請求項５に記載のユーザ操作支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、企業における業務システム等を実現する、コンピュータ上で動作するアプリケーションプログラムに対するユーザ（オペレータ）の操作を支援する技術に関する。
【背景技術】
【０００２】
近年のアプリケーションプログラム（以下、アプリケーション）は、その大部分がグラフィカル・ユーザ・インタフェース（以下、ＧＵＩ）を備えている。ＧＵＩでは、表示装置に表示された画面上のボタンやテキストボックスなどのＧＵＩ部品（ＧＵＩコンポーネント）を操作することで、アプリケーションに対する指示や入力が行われる。なお、ここでの操作とは、具体的にはユーザによるマウスクリックやキーボード入力などのことである。
【０００３】
この際、画面上のＧＵＩ部品に対する操作が実行されると、当該画面（ＧＵＩ画面）が変化する。これを画面遷移と呼ぶ。画面遷移は、単にボタンが反転表示される場合もあれば、ウィンドウ内のテキストが変化したり、別のウィンドウが開かれる場合もある。アプリケーションにおける一つの作業は、通常、画面遷移によって次々に表示される所定の複数の画面において正しい操作が行われたときに完了する如くなっている。
【０００４】
予め操作の順番が決められ、画面遷移が固定的な定型作業については、個々の画面において正しい操作を行うための様々な支援方法が開発・提案されている。しかし、操作が試行錯誤を伴い、画面遷移も流動的な非定型作業については、個々の画面において正しい操作を行うための支援方法がなく、想定画面を予測しながらヒューリスティックに判断の参考になる操作事例を検索できるようなシステムが望まれている。
【０００５】
初歩的な定型作業では、操作マニュアル、作業マニュアル、ヘルプ機能、アノテーション機能、チェック機能等によって、ユーザに対して操作支援が行われてきた。これらの方法ではユーザに提示される操作支援情報が入力情報に対して固定的である。より高度な作業に対応するためには様々な場合に応じた膨大な操作支援のためにデータを作成する必要がある。仮に膨大な操作支援データを作成したとしても、大量の操作支援データからユーザが必要とする情報を検索する場合、ユーザが望んでいるような的確な操作支援データを特定するためには、多くの検索キー情報を入力しなければならない。
【０００６】
上述したような操作マニュアル等が対象としている初歩的な定型作業については近年、自動化が進み、量は減少しつつある。
【０００７】
一方、突発的な障害復旧対応、障害分析、ネットワーク設計のような高度なレベルの操作が必要な場合は、前述したような固定的な操作マニュアル等では対応が困難である。このような作業では、与えられた状況に対してユーザが臨機応変に対応する必要がある。これまでは、その場その場に応じて過去の様々な経験を元にそれらを組み合わせたり、他の高スキルのオペレータの指導でユーザがその状況に応じて判断を行い、操作を行っていた。
【０００８】
［従来技術］
１．テキストを検索キーとしてテキストを検索（Namazu）
操作事例に含まれる文字列を検索対象とするならば、テキスト検索システムを用いることで文字列を検索キーとした検索は容易に可能である（非特許文献１参照）。
【０００９】
２．テキストを検索キーとして画像を検索する検索（Filckr）
文字列を検索キーとする場合、検索対象を画像とすると、画像データに何らかの文字列を対応付けておくことが必要となる。例えば、Ｗｅｂ上の写真共有サービスであるFlickrでは、投稿時にユーザが自身で入力するタグ（文字列）や、画像の付加情報であるExifデータから抽出した撮影日時、場所、機材や撮影時の設定等のデータなどが一つ一つの画像に対応づけられている。この文字列データを対象に、ユーザが文字列の検索キー（例えば、"Everest mountain"）を入力することで、該当する画像（例えば、"Everest"と"mountain"というタグを有する画像）の一覧を得ることができる（非特許文献２参照）。
【００１０】
３．画像を検索キーとして画像を検索（CBIR：Content-Based Image Retrieval）
ヒストグラムやデータサイズなどの画像の特徴ベクトルを抽出して、検索対象の画像の特徴ベクトルと比較して検索を行う方法。課題：処理負荷が大きく、大量のデータから検索する場合には処理に時間がかかる。文字や記号を用いた、またはセマンティックな検索が難しい（非特許文献３参照）。
【００１１】
４．文字列と画像の組合せを検索キーとして画像を検索
まず画像による検索を行って絞り込まれた結果を、文字列によってさらに検索する等といったことが可能である。この手法によって、アプリケーションのマニュアルや操作の事例集などを検索対象とすると、検索したい状況を示すキャプチャ画像とユーザが明示的に意識しているキーワードをもとに、より細かく望む情報を絞り込むことができる。 課題：文字列の記入はユーザに依存するため、ユーザが適切な文字列を入力しなければならない。
【００１２】
５．画像で検索（Google）
現在のGoogle画像検索では文字列を検索キーとした検索と、画像を検索キーとした検索のサービスを提供している。しかし、画像を検索キーとした検索を実現する仕組みは、まず検索キーとして与えられた画像を独自の画像コレクション等と照合して画像を表す文字列を生成し、次にその文字列を検索キーとした検索の実行結果を提示するというものである。課題：画像を表している文字列はユーザ依存であり、適切な文字列が画像に関連付けられている必要がある。
【００１３】
６．ユーザ端末の画面と画面情報で検索
ユーザの操作画面と画面情報を検索キーとして操作事例を検索する方法が提案されている（特願２０１２−１４９５２２）。ここでは、ユーザの操作画面と画面情報を検索キーとすることで検索キーの課題点を克服している。課題：ユーザが想定した画面に類似した操作事例ではなく、ユーザの操作画面に類似した操作事例が検索される。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上述した従来の技術では、以下のような問題点があった。
【００１５】
１．ユーザによる現在の操作画面と想定画面、想定画面と操作事例を照らし合わしながら、ヒューリスティックに操作の参考となる操作事例を検索することができなかった。
【００１６】
２．現時点で表示されている画面（As is）を検索キーとして検索することはできるが、ＧＵＩ部品についての専門用語を知らないユーザが想定した画面（To Be）で検索することができなかった。
【００１７】
３．画像を検索キーとしてデータベースを検索した場合、ボタンやテキストボックス、ラジオボタンなどのＧＵＩ部品に特化したセマンティックな検索ができなかった。
【００１８】
本発明の目的は、操作が試行錯誤を伴い、画面遷移が流動的な非定型作業を含むアプリケーションに対するＧＵＩを通じた正しい操作の支援を可能とすることにある。
【課題を解決するための手段】
【００１９】
本発明では、前記目的を達成するため、任意のコンピュータ上で動作する操作対象アプリケーションに対するＧＵＩを通じたユーザの操作を支援する方法であって、前記任意のコンピュータもしくは当該任意のコンピュータにネットワークを介して接続された他のコンピュータが、操作対象アプリケーションにおける操作事例のログデータを取得し、当該操作事例において示された時系列の複数の操作画面および当該各操作画面のＧＵＩ部品ＸＭＬツリーを含む操作事例情報を操作事例蓄積部に蓄積する操作事例情報収集工程と、前記ログデータ中の操作画面および当該操作画面のＧＵＩ部品ＸＭＬツリーに基づき、視覚的に異なる２以上の状態を取り得るＧＵＩ部品について当該ＧＵＩ部品の画像と当該状態を制御する属性値を管理するＧＵＩ部品状態管理テーブルを生成するＧＵＩ部品状態管理テーブル生成工程と、ユーザから操作支援の要求が入力された時に現在の操作画面の画像情報およびＧＵＩ部品構成情報を取得する操作情報取得工程と、前記ＧＵＩ部品状態管理テーブルに基づき、現在の操作画面および当該現在の操作画面におけるＧＵＩ部品の状態から想定画面を生成する想定画面生成工程と、前記操作事例蓄積部から前記想定画面に類似した操作画面を含む操作事例情報を検索する検索工程と、検索された操作事例情報中の時系列の各操作画面のいずれかをユーザによって選択可能に表示する検索結果表示工程と、ユーザによって選択された操作事例情報中の操作画面と現在の操作画面とをＧＵＩ部品単位で照合し、不一致個所を明示した画面を表示する照合処理・結果表示工程とを実行することを特徴とする。
【００２０】
また、本発明では、前記目的を達成するため、任意のコンピュータ上で動作する操作対象アプリケーションに対するＧＵＩを通じたユーザの操作を支援する装置であって、操作対象アプリケーションにおける操作事例に関する各種の情報を蓄積する操作事例蓄積部と、視覚的に異なる２以上の状態を取り得るＧＵＩ部品について当該ＧＵＩ部品の画像と当該状態を制御する属性値とを管理するＧＵＩ部品状態管理テーブルを蓄積するＧＵＩ部品状態管理テーブル蓄積部と、操作対象アプリケーションにおける操作事例のログデータを取得し、当該操作事例において示された時系列の複数の操作画面および当該各操作画面のＧＵＩ部品ＸＭＬツリーを含む前記操作事例情報を操作事例蓄積部に蓄積する操作事例情報収集部と、前記ログデータ中の操作画面の画像情報およびＧＵＩ部品ＸＭＬツリーに基づき、視覚的に異なる２以上の状態を取り得るＧＵＩ部品について当該ＧＵＩ部品の画像と当該状態を制御する属性値を管理するＧＵＩ部品状態管理テーブルを生成してＧＵＩ部品状態管理テーブル蓄積部に蓄積するＧＵＩ部品状態管理テーブル生成部と、ユーザから操作支援の要求が入力された時に現在の操作画面の画像情報およびＧＵＩ部品構成情報を取得する操作情報取得部と、前記ＧＵＩ部品状態管理テーブル蓄積部中のＧＵＩ部品状態管理テーブルに基づき、現在の操作画面および当該現在の操作画面におけるＧＵＩ部品の状態から想定画面を生成する想定画面生成部と、前記操作事例蓄積部から前記想定画面に類似した操作画面を含む操作事例情報を検索する検索部と、検索された操作事例情報中の時系列の各操作画面のいずれかをユーザによって選択可能に表示する検索結果表示部と、ユーザによって選択された操作画面と現在の操作画面とをＧＵＩ部品単位で照合し、不一致個所を明示した画面を表示する照合処理・結果表示部とを備えたことを特徴とする。
【発明の効果】
【００２１】
本発明によれば、
１．画像に検索のためのテキスト情報を入れる必要がない、
２．ユーザにＧＵＩ部品についての専門的な知識を必要とせず、検索キーとしてテキストの入力なしにユーザに対して想定される画面を提示することができる、
３．ユーザが検索キーを想定したＧＵＩ部品の画像で行うことで、よりユーザのイメージに合った検索結果を得ることができる、
４．検索条件を設定することにより、ユーザにとって柔軟に照合の対象を変更することができる、
といった効果を奏することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明のユーザ操作支援装置の実施の形態の一例を示す構成図
【図２】ＧＵＩ部品状態管理テーブルの一例を示す説明図
【図３】ＧＵＩ部品状態管理テーブル生成のルールを示す説明図
【図４】本発明のユーザ操作支援装置における動作フローチャート
【図５】操作支援要求から検索キー生成までの流れを示す説明図
【図６】操作支援要求時の画面の一例を示す説明図
【図７】想定画面生成の一例を示す説明図
【図８】検索結果表示画面の一例を示す説明図
【図９】時系列表示画面の一例を示す説明図
【図１０】照合処理の流れを示す説明図
【図１１】照合結果表示画面の一例を示す説明図
【発明を実施するための形態】
【００２３】
図１は本発明のユーザ操作支援装置の実施の形態の一例、ここでは周知のコンピュータ上に実現した例を示すもので、図中、１は操作事例蓄積部、２はＧＵＩ部品状態管理テーブル蓄積部、３はログデータ取得部、４はデータインポート部、５は関連テーブル生成部、６はＧＵＩ部品状態管理テーブル生成部、７は操作情報取得部、８は想定画面生成部、９はＧＵＩ部品ＸＭＬツリー生成部、１０は検索実行部、１１は検索結果表示部、１２は照合処理・結果表示部である。
【００２４】
操作事例蓄積部１は、操作対象アプリケーションにおける操作事例に関する各種の情報を蓄積するためのもので、各操作事例における時系列の複数の操作画面の画像情報を蓄積する画像イメージ蓄積部１ａと、各操作画面におけるＧＵＩ部品ＸＭＬツリーを蓄積するＧＵＩ部品ＸＭＬツリー蓄積部１ｂと、前記操作画面の画像情報とＧＵＩ部品ＸＭＬツリーとの関連を示す関連テーブルを蓄積する関連テーブル蓄積部１ｃとを備えている。
【００２５】
ＧＵＩ部品状態管理テーブル蓄積部２は、視覚的（画像的）に異なる２以上の状態を取り得るＧＵＩ部品について当該ＧＵＩ部品の画像と当該状態を制御する属性値とを管理するＧＵＩ部品状態管理テーブルを蓄積する。
【００２６】
ログデータ取得部３は、操作対象アプリケーションにおける様々な操作事例に関する自動試験を、例えば視覚にハンデキャップを持っている人や自動試験のために画面のＧＵＩ情報を生成・取得するライブラリを提供するMicrosoft（登録商標） UI Automation技術を用いて実行し、その際、生成される時系列の複数の操作画面の画像情報やＧＵＩ部品ＸＭＬツリーをログデータとして取得する。
【００２７】
データインポート部４は、前記ログデータ中の操作画面の画像情報およびＧＵＩ部品ＸＭＬツリーをそれぞれ、操作事例蓄積部１の画像イメージ蓄積部１ａおよびＧＵＩ部品ＸＭＬツリー蓄積部１ｂに蓄積する。関連テーブル生成部５は、前記ログデータ中の操作画面の画像情報とＧＵＩ部品ＸＭＬツリーとの関連を示す関連テーブルを生成して関連テーブル蓄積部１ｃに蓄積する。
【００２８】
なお、ログデータ取得部３、データインポート部４および関連テーブル生成部５が、特許請求の範囲でいう操作事例情報収集部を構成する。
【００２９】
ＧＵＩ部品状態管理テーブル生成部６は、前記ログデータ中の操作画面の画像情報およびＧＵＩ部品ＸＭＬツリーに基づき、視覚的（画像的）に異なる２以上の状態を取り得るＧＵＩ部品について当該ＧＵＩ部品の画像と当該状態を制御する属性値とを管理するＧＵＩ部品状態管理テーブルを生成する。
【００３０】
図２はＧＵＩ部品状態管理テーブルの一例を示すもので、ＧＵＩ部品の種別毎に、視覚的に異なる２以上の状態の各画像と、その状態を制御するプロパティ（属性）と、当該各画像に対応するプロパティのバリュー（値）とが登録されている。
【００３１】
なお、ＧＵＩ部品状態管理テーブル生成時に、あるＧＵＩ部品に関する視覚的に異なる２以上の状態を制御する属性（値）と画像の組のレコードをＧＵＩ部品状態管理テーブルへ追加・削除する判定方法は、当該あるＧＵＩ部品に関する、ＧＵＩ部品ＸＭＬツリー中の各属性（値）のうちから、ＧＵＩ部品ＸＭＬツリー中の座標位置情報から取得される当該あるＧＵＩ部品の画像との関係が図３（○（画像およびプロパティ値が両者とも同じ又は異なる場合）は該当レコードをテーブルに追加、×（プロパティ値が同じで画像が異なる場合）は当該レコードをテーブルから削除、△（画像が同じでプロパティ値が異なる場合）は当該レコードをテーブルに残すことを表す。）に示すルールを満たすもの（実際には、操作事例蓄積部１中の当該あるＧＵＩ部品に関する多数のデータにおいて前記ルールを満たすもの）を選出することによって行うことができる。
【００３２】
操作情報取得部７は、ユーザから操作支援の要求が入力された時に、その時点（現在）の操作画面の画像情報およびＧＵＩ部品構成情報を取得する。
【００３３】
想定画面生成部８は、ＧＵＩ部品状態管理テーブル蓄積部２中のＧＵＩ部品状態管理テーブルに基づき、現在の操作画面および当該現在の操作画面におけるＧＵＩ部品の状態から想定画面を生成する。詳細には、例えば現在の操作画面におけるＧＵＩ部品のうち、視覚的に異なる２以上の状態を取り得るＧＵＩ部品について各状態の画像をユーザによって選択可能に表示し、現在の操作画面におけるＧＵＩ部品の視覚的な状態をユーザによって選択された視覚的な状態に変更した想定画面を生成する。
【００３４】
ＧＵＩ部品ＸＭＬツリー生成部９は、前記想定画面に対応するＧＵＩ部品ＸＭＬツリーを生成する。検索実行部１０は、前記ＧＵＩ部品ＸＭＬツリーから検索キーを生成し、当該検索キーで操作事例蓄積部１を検索することにより、前記想定画面に類似した操作画面を含む操作事例情報を検索する。前述した検索キーとしては、例えば視覚的な状態を変更したＧＵＩ部品については変更後の属性値とし、それ以外のＧＵＩ部品については属性値を不定とした、テキストデータによる検索キーを生成することができる。
【００３５】
なお、ＧＵＩ部品ＸＭＬツリー生成部９および検索実行部１０が、特許請求の範囲でいう検索部を構成する。
【００３６】
検索結果表示部１１は、検索された操作事例情報中の時系列の各操作画面のいずれかをユーザによって選択可能に表示する。また、複数の操作事例情報が検索された場合は、各操作事例情報のいずれかをユーザによって選択可能に表示し、さらに当該選択された操作事例情報中の時系列の各操作画面のいずれかをユーザによって選択可能に表示する。
【００３７】
照合処理・結果表示部１２は、ユーザによって選択された操作事例情報中の操作画面と現在の操作画面とをＧＵＩ部品単位で照合し、不一致個所を明示した画面を表示する。
【００３８】
図４は本発明のユーザ操作支援装置における動作フローチャートを示すもので、以下、本発明のユーザ操作支援方法における処理について説明する。
【００３９】
まず、ログデータ取得部３が操作対象アプリケーションにおける様々な操作事例に関する自動試験を実行し、その際、生成される時系列の複数の操作画面の画像情報やＧＵＩ部品ＸＭＬツリーをログデータとして取得し、データインポート部４が前記ログデータ中の操作画面の画像情報およびＧＵＩ部品ＸＭＬツリーをそれぞれ、操作事例蓄積部１の画像イメージ蓄積部１ａおよびＧＵＩ部品ＸＭＬツリー蓄積部１ｂに蓄積する（ｓ１）。
【００４０】
次に、関連テーブル生成部５が前記操作画面の画像情報とＧＵＩ部品ＸＭＬツリーとの関連を示す関連テーブルを生成して関連テーブル蓄積部１ｃに蓄積する（ｓ２）。
【００４１】
さらに、ＧＵＩ部品状態管理テーブル生成部６が操作事例蓄積部１中の情報に基づき、視覚的（画像的）に異なる２以上の状態を取り得るＧＵＩ部品について当該ＧＵＩ部品の画像と当該状態を制御する属性値とを管理するＧＵＩ部品状態管理テーブルを生成し、ＧＵＩ部品状態管理テーブル蓄積部２に蓄積する（ｓ３）。
【００４２】
なお、ここまでの処理はユーザが操作対象アプリケーションに対するＧＵＩを通じた操作を行う以前において実行されるものとする。
【００４３】
図５は操作支援要求から検索キー生成までの流れを示すものである。
【００４４】
操作対象アプリケーションに対するＧＵＩを通じた操作中、ユーザから操作支援の要求が入力される（ｓ４）と、操作情報取得部７は、その時点（現在）の操作画面の画像情報およびＧＵＩ部品構成情報を取得する（ｓ５）。図５の例では、操作画面として、ＧＵＩ部品「Button」、「Slider」、「CheckBox」等を含む装置設定画面と、ＧＵＩ部品「StatusView」を含む設計結果画面とを取得する（１）。
【００４５】
図６は操作支援要求時の画面の一例を示すもので、ユーザがマウス左クリックでタブを表示した時に、本発明の操作支援要求に該当する命令である「Log検索」を表示する（１−１）。ここで、ユーザがマウスで「Log検索」を選択すると、（１−３）および（１−４）の処理を行い、検索画面ウィンドウに遷移する（１−２）。なお、（１−３）の処理ではデスクトップ画面の最前面の画像イメージファイルを取得し、（１−４）の処理ではマウスで左クリックしたウィンドウを構成しているＧＵＩ部品構成情報を取得する。
【００４６】
現在の操作画面の画像情報およびＧＵＩ部品構成情報が取得されると、想定画面生成部８は、ＧＵＩ部品状態管理テーブル蓄積部２中のＧＵＩ部品状態管理テーブルに基づき、想定画面を生成する（ｓ６）。図５の例では、設計結果画面に含まれる属性値が「Red」であるＧＵＩ部品「StatusView」に対して、属性値が「Green」および「Yellow」である「StatusView」の画像のリストを表示し（２）、そのうち、例えば属性値が「Green」である「StatusView」の画像がユーザによって選択されると（３）、属性値が「Red」のＧＵＩ部品「StatusView」の画像を属性値が「Green」のＧＵＩ部品「StatusView」の画像に入れ替えて合成し（４）、想定画像を生成する（５）。
【００４７】
図７は想定画面生成の一例を示すもので、ここではＧＵＩ部品「Slider」の属性値の変更に伴ってその画像および関連するテキストの内容が変化するケース、また、ＧＵＩ部品「Button」の属性値の変更に伴ってその画像が変化するケースを示している。
【００４８】
想定画面が生成されると、ＧＵＩ部品ＸＭＬツリー生成部９は、前記想定画面に対応するＧＵＩ部品ＸＭＬツリーを生成する（６）（ｓ７）。検索実行部１０は、前記ＧＵＩ部品ＸＭＬツリーから検索キーを生成し（７）、当該検索キーで操作事例蓄積部１を検索することにより、前記想定画面に類似した操作画面を含む操作事例情報を検索する（ｓ８）。
【００４９】
検索結果表示部１１は、検索された操作事例情報を表示するが、複数の操作事例情報が検索された場合は、各操作事例情報のいずれかをユーザによって選択可能に表示する（ｓ９）。
【００５０】
図８は検索結果表示画面の一例を示すもので、複数の操作事例情報が、そのタイトル、検索条件にマッチした画像のサムネイルおよび比較照合ボタンを単位として表示されている。この際、タイトル（のアンカー）がクリックされると、操作事例情報中の時系列の各操作画面のいずれかをユーザによって選択可能に表示する操作ログ時系列表示画面に遷移する。また、検索結果表示画面において、比較照合ボタンが押し下げられると、比較照合画面に遷移する。
【００５１】
図９は時系列表示画面の一例を示すもので、検索結果表示画面においてサムネイル表示された画像を基準として、それ以前またはそれ以後の時系列の複数の操作画像をユーザによって選択可能に表示し、ユーザがそのうちの任意の操作画像を選択すると検索結果表示画面に戻る。
【００５２】
検索結果表示画面において、比較照合ボタンが押し下げられると、照合処理・結果表示部１２は、ユーザによって選択された操作事例情報中の操作画面と現在の操作画面とをＧＵＩ部品単位で照合し、不一致個所を明示した画面を表示する（ｓ１０）。
【００５３】
図１０は照合処理の流れを示すもので、現在の操作画面のＧＵＩ部品ＸＭＬツリーを生成し（１）、これと操作事例画面のＧＵＩ部品ＸＭＬツリー中のＧＵＩ部品の画像の状態を制御するプロパティ値について、ＧＵＩ部品状態管理テーブル蓄積部２中のＧＵＩ部品状態管理テーブルを参照して比較し（２）、照合結果（不一致個所を示す枠）と画面とを合成して表示する（３）。
【００５４】
図１１は照合結果表示画面の一例を示すもので、図中、破線で示した枠が照合結果（不一致個所）を示している。
【符号の説明】
【００５５】
１：操作事例蓄積部、２：ＧＵＩ部品状態管理テーブル蓄積部、３：ログデータ取得部、４：データインポート部、５：関連テーブル生成部、６：ＧＵＩ部品状態管理テーブル生成部、７：操作情報取得部、８：想定画面生成部、９：ＧＵＩ部品ＸＭＬツリー生成部、１０：検索実行部、１１：検索結果表示部、１２：照合処理・結果表示部。
【先行技術文献】
【非特許文献】
【００５６】
【非特許文献１】“全文検索システム Ｎａｍａｚｕ”、［ｏｎｌｉｎｅ］、Copyright (C) 2000-2011 Namazu Project. All rights reserved.［平成２４年１０月２３日検索］、インターネット＜ＵＲＬ：http://www.namazu.org/index.html.ja＞
【非特許文献２】“ｆｉｌｃｋｒ”、［ｏｎｌｉｎｅ］、Copyright (C) 2012 Yahoo! inc. All rights reserved.［平成２４年１０月２３日検索］、インターネット＜ＵＲＬ：http://www.filckr.com/＞
【非特許文献３】A.W.M. Smeulders, M. Worring, S. Santini, A. Gupta, R. Jain, "Content-based image retrieval at the end of the early years," Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol.22, no.12, pp.1349-1380, Dec 2000
【図１】
2014102634.tif 000003
【図２】
2014102634.tif 000004
【図３】
2014102634.tif 000005
【図４】
2014102634.tif 000006
【図５】
2014102634.tif 000007
【図６】
2014102634.tif 000008
【図７】
2014102634.tif 000009
【図８】
2014102634.tif 000010
【図９】
2014102634.tif 000011
【図１０】
2014102634.tif 000012
【図１１】
2014102634.tif 000013