(57)【特許請求の範囲】
【請求項１】
任意のコンピュータ上で動作する操作対象アプリケーションにおける任意の操作画面の画像にＧＵＩ部品メタ情報を付与する装置であって、
操作対象アプリケーションにおける複数の操作画面についてその画像とともにその操作画面を構成するＧＵＩ部品の種別や位置や状態などの構成情報を示すＧＵＩ部品メタ情報および画像の特徴量を示す画像特徴量を蓄積した操作ログＤＢと、
操作対象アプリケーションを操作中のオペレータからＧＵＩ部品メタ情報付与の要求が入力された時に、その時点の操作対象アプリケーションにおける操作画面である現操作画面の画像を取得する現操作画面画像取得部と、
前記取得した現操作画面の画像を蓄積する現操作画面画像蓄積部と、
前記現操作画面の画像から画像特徴量を取得する画像特徴量分析部と、
前記取得した画像特徴量を基に、操作ログＤＢから画像特徴量を比較して現操作画面に類似した操作画面である類似画面を検索する類似画像検索部と、
前記検索した類似画面のＧＵＩ部品メタ情報から各ＧＵＩ部品の位置および大きさを示すレイアウト情報を生成するレイアウト情報生成部と、
前記レイアウト情報に従って現操作画面の画像からＧＵＩ部品単位の画像を切り出し、切り出した各ＧＵＩ部品の画像を類似画面中の対応する各ＧＵＩ部品の画像と比較照合する比較照合部と、
前記比較照合の結果、画像が一致したＧＵＩ部品のＧＵＩ部品メタ情報を現操作画面の画像に関連付けるメタ情報関連付け部とを少なくとも備えた
ことを特徴とするＧＵＩ部品メタ情報付与装置。
【請求項２】
前記に加え、
現操作画面の画像およびその画像特徴量を前記関連付けられたＧＵＩ部品メタ情報とともに操作ログＤＢに登録する結果登録部を備えた
ことを特徴とする請求項１に記載のＧＵＩ部品メタ情報付与装置。
【請求項３】
任意のコンピュータ上で動作する操作対象アプリケーションにおける任意の操作画面の画像にＧＵＩ部品メタ情報を付与する方法であって、
前記任意のコンピュータもしくは当該任意のコンピュータにネットワークを介して接続された他のコンピュータが、
操作対象アプリケーションを操作中のオペレータからＧＵＩ部品メタ情報付与の要求が入力された時に、その時点の操作対象アプリケーションにおける操作画面である現操作画面の画像を取得し、蓄積する取得蓄積工程と、
前記現操作画面の画像から操作ログＤＢ中の画像特徴量と同様な画像特徴量を取得する画像特徴量分析工程と、
前記取得した画像特徴量を基に、操作ログＤＢから現操作画面に類似した操作画面である類似画面を検索する類似画像検索工程と、
前記検索した類似画面のＧＵＩ部品メタ情報から各ＧＵＩ部品の位置および大きさを示すレイアウト情報を生成するレイアウト情報生成工程と、
前記レイアウト情報に従って現操作画面の画像からＧＵＩ部品単位の画像を切り出し、切り出した各ＧＵＩ部品の画像を類似画面中の対応する各ＧＵＩ部品の画像と比較照合する比較照合工程と、
前記比較照合の結果、画像が一致したＧＵＩ部品のＧＵＩ部品メタ情報を現操作画面の画像に関連付けるメタ情報関連付け工程とを実行する、
ことを特徴とするＧＵＩ部品メタ情報付与方法。
【請求項４】
前記に加え、メタ情報関連付け工程の後に、
現操作画面の画像およびその画像特徴量を前記関連付けられたＧＵＩ部品メタ情報とともに操作ログＤＢに登録する結果登録工程を実行する
ことを特徴とする請求項３に記載のＧＵＩ部品メタ情報付与方法。
【請求項５】
操作対象アプリケーションにおける複数の操作画面についてその画像とともにＧＵＩ部品の種別や位置や状態などの構成情報を示すＧＵＩ部品メタ情報および画像の特徴量を示す画像特徴量を自動的に生成し操作ログＤＢに蓄積する装置であって、
仮想実行環境で操作対象アプリケーションを、ＧＵＩ部品メタ情報を取得するのに十分な時間間隔をおいて自動操作するアプリケーション自動操作部と、
前記自動操作のタイミングごとの操作対象アプリケーションにおける操作画面の画像をこれに対応するＧＵＩ部品メタ情報とともに取得するログデータ取得部と、
前記取得した操作画面の画像およびこれに対応するＧＵＩ部品メタ情報を蓄積するログデータ蓄積部と、
ログデータ蓄積部に蓄積された操作画面の画像から類似画像検索のための画像の特徴量を示す情報である画像特徴量を取得する画像特徴量分析部と、
操作画面の画像およびそのＧＵＩ部品メタ情報を前記取得した画像特徴量とともに操作ログＤＢに登録するデータインポート部とを少なくとも備えた
ことを特徴とする操作ログ自動生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、企業における業務システム等を実現する、コンピュータ上で動作するアプリケーションプログラムに対するユーザ（オペレータ）の操作を支援する技術に関する。
【背景技術】
【０００２】
近年、情報通信技術（Information and Communication Technology：ＩＣＴ）の進歩により、業務がシステム化され、さらに集約されたことによって、一人のオペレータが様々な業務システムを使いこなす必要が発生している。このような場合、熟練者等の過去の操作事例である操作ログを参照し、活用することによって、操作マニュアルからでは得られないきめ細かい操作支援情報を提供することが可能になると考えられる（非特許文献１、２参照）。
【０００３】
オペレータが操作の参考情報として参照する操作ログとしては、操作画面ログが最もオペレータにとって理解し易く、更に取得するアプリケーションプログラム（以下、アプリケーション）に依存することなくＯＳから取得することが可能なことから、最も適していると考えられる。
【０００４】
操作画面をログとしてデータベース（ＤＢ）化した場合、操作画面の検索をする一般的な方法として画像ベースの検索技術が考えられる。画像を検索する技術としては、Googleの画像検索などが存在する（非特許文献３参照）。また、画像特徴量記述による類似画像検索技術として、色構成（ヒストグラム）、色配置（Color Layout、５種類のエッジ分布）、エッジ配置（Edge Histogram）などの技術が知られている。
【０００５】
これらの技術を用いて検索を行った場合の課題として文字の認識や、ＧＵＩ部品の状態（ボタンの活性・非活性、スライダーの位置、チェックボックスやラジオボタンのオン・オフ、ＧＵＩ部品の位置を特定する技術）の認識等のメタな検索ができないという課題があった。
【０００６】
これらの課題を解決するための技術として画像にメタ情報を付加して、メタ情報をキーワードとして検索するという技術が存在する（非特許文献４参照）。しかし、画像のメタ情報を利用して画像を検索する場合、メタ情報を別途付加しなければならないという別の課題があった。
【０００７】
［従来技術］
そして、操作画面画像にＧＵＩ部品メタ情報を付加する技術として、ＯＳから提供されるアクセシビリティＡＰＩ（Accessibility API）で画面を構成するＧＵＩ部品の階層や位置、状態、文字列などを取得して付加するという技術がある（非特許文献５、６参照）。しかし、Accessibility APIはＯＳに対して負荷が重く、アプリケーションの速度低下を招くという課題や、連続して操作を行った場合にAccessibility APIによる情報取得が不完全になるという課題があった（非特許文献７参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
Accessibility API（UIA）取得の問題としては、ＯＳへの負荷が重く、アプリケーションの速度、操作性が低下する点や、操作を短い間隔で連続して行った場合などに画像と同期してメタ情報を取得することができない点が挙げられる。
【課題を解決するための手段】
【０００９】
本発明では、前記目的を達成するため、
任意のコンピュータ上で動作する操作対象アプリケーションにおける任意の操作画面の画像にＧＵＩ部品メタ情報を付与する装置であって、
操作対象アプリケーションにおける複数の操作画面についてその画像とともにその操作画面を構成するＧＵＩ部品の種別や位置や状態などの構成情報を示すＧＵＩ部品メタ情報および画像の特徴量を示す画像特徴量を蓄積した操作ログＤＢと、
操作対象アプリケーションを操作中のオペレータからＧＵＩ部品メタ情報付与の要求が入力された時に、その時点の操作対象アプリケーションにおける操作画面である現操作画面の画像を取得する現操作画面画像取得部と、
前記取得した現操作画面の画像を蓄積する現操作画面画像蓄積部と、
前記現操作画面の画像から操作ログＤＢ中の画像特徴量と同様な画像特徴量を取得する画像特徴量分析部と、
前記取得した画像特徴量を基に、操作ログＤＢから画像特徴量を比較して現操作画面に類似した操作画面である類似画面を検索する類似画像検索部と、
前記検索した類似画面のＧＵＩ部品メタ情報から各ＧＵＩ部品の位置および大きさを示すレイアウト情報を生成するレイアウト情報生成部と、
前記レイアウト情報に従って現操作画面の画像からＧＵＩ部品単位の画像を切り出し、切り出した各ＧＵＩ部品の画像を類似画面中の対応する各ＧＵＩ部品の画像と比較照合する比較照合部と、
前記比較照合の結果、画像が一致したＧＵＩ部品のＧＵＩ部品メタ情報を現操作画面の画像に関連付けるメタ情報関連付け部とを少なくとも備えた
ことを特徴とするＧＵＩ部品メタ情報付与装置を提案する。
【００１０】
また、本発明では、前記目的を達成するため、
任意のコンピュータ上で動作する操作対象アプリケーションにおける任意の操作画面の画像にＧＵＩ部品メタ情報を付与する方法であって、
前記任意のコンピュータもしくは当該任意のコンピュータにネットワークを介して接続された他のコンピュータが、
操作対象アプリケーションを操作中のオペレータからＧＵＩ部品メタ情報付与の要求が入力された時に、その時点の操作対象アプリケーションにおける操作画面である現操作画面の画像を取得し、蓄積する取得蓄積工程と、
前記現操作画面の画像から操作ログＤＢ中の画像特徴量と同様な画像特徴量を取得する画像特徴量分析工程と、
前記取得した画像特徴量を基に、操作ログＤＢから現操作画面に類似した操作画面である類似画面を検索する類似画像検索工程と、
前記検索した類似画面のＧＵＩ部品メタ情報から各ＧＵＩ部品の位置および大きさを示すレイアウト情報を生成するレイアウト情報生成工程と、
前記レイアウト情報に従って現操作画面の画像からＧＵＩ部品単位の画像を切り出し、切り出した各ＧＵＩ部品の画像を類似画面中の対応する各ＧＵＩ部品の画像と比較照合する比較照合工程と、
前記比較照合の結果、画像が一致したＧＵＩ部品のＧＵＩ部品メタ情報を現操作画面の画像に関連付けるメタ情報関連付け工程とを実行する、
ことを特徴とするＧＵＩ部品メタ情報付与方法を提案する。
【００１１】
さらにまた、本発明では、前記目的を達成するため、
操作対象アプリケーションにおける複数の操作画面についてその画像とともにＧＵＩ部品の種別や位置や状態などの構成情報を示すＧＵＩ部品メタ情報および画像の特徴量を示す画像特徴量を自動的に生成し操作ログＤＢに蓄積する装置であって、
仮想実行環境で操作対象アプリケーションを、ＧＵＩ部品メタ情報を取得するのに十分な時間間隔をおいて自動操作するアプリケーション自動操作部と、
前記自動操作のタイミングごとの操作対象アプリケーションにおける操作画面の画像をこれに対応するＧＵＩ部品メタ情報とともに取得するログデータ取得部と、
前記取得した操作画面の画像およびこれに対応するＧＵＩ部品メタ情報を蓄積するログデータ蓄積部と、
ログデータ蓄積部に蓄積された操作画面の画像から類似画像検索のための画像の特徴量を示す情報である画像特徴量を取得する画像特徴量分析部と、
操作画面の画像およびそのＧＵＩ部品メタ情報を前記取得した画像特徴量とともに操作ログＤＢに登録するデータインポート部とを少なくとも備えた
ことを特徴とする操作ログ自動生成装置を提案する。
【発明の効果】
【００１２】
本発明によれば、操作ログの取得においてAccessibility APIを実行することなくＧＵＩ部品のメタ情報を付加することが可能になることによって、ログ取得の不安定性やアプリケーションへの性能への影響を与えることなくＧＵＩ部品メタ情報を操作画面画像に付与することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明のＧＵＩ部品メタ情報付与装置の実施の形態の一例を示す構成図
【図２】ＧＵＩ部品メタ情報の説明図
【図３】本発明のＧＵＩ部品メタ情報付与装置における動作フローチャート
【図４】類似画像検索処理の説明図
【図５】レイアウト情報生成処理の説明図
【図６】比較照合処理の説明図
【図７】比較照合処理の説明図
【図８】メタ情報関連付け処理の説明図
【図９】操作ログ自動生成装置の実施の形態の一例を示す構成図
【発明を実施するための形態】
【００１４】
図１は本発明のＧＵＩ部品メタ情報付与装置の実施の形態の一例、ここでは周知のコンピュータ上に実現した例を示すもので、図中、１は操作ログデータベース（操作ログＤＢ）、２は現操作画面画像取得部、３は現操作画面画像蓄積部、４は画像特徴量分析部、５は類似画像検索部、６はレイアウト情報生成部、７は比較照合部、８はメタ情報関連付け部、９は結果登録部である。
【００１５】
操作ログＤＢ１は、操作対象アプリケーションにおける様々な操作画面についてその画像（以下、「操作画面画像」）と、当該操作画面のＧＵＩ部品メタ情報と、当該操作画面の画像特徴量との組を蓄積している。
【００１６】
ここで、ＧＵＩ部品メタ情報とは、操作画面を構成するＧＵＩ部品の種別や位置や状態などの構成情報を示す情報、具体的には図２に示すように操作画面を構成する各ＧＵＩ部品について、その包含関係（入れ子構造）、位置、種別、表示文字列、状態などをテキストデータとして記載した情報である（なお、図面上では分かり易くするために各ＧＵＩ部品の包含関係を木構造で表しているが、この木構造も実際にはテキストデータで規定されている。）。また、画像特徴量とは、類似画像検索のための操作画面の画像の特徴量を示す情報、具体的には色ごとの（輝度の）ヒストグラム、色ごとのレイアウト、特徴ベクトルなどからなる情報である。
【００１７】
現操作画面画像取得部２は、操作対象アプリケーションを操作中のオペレータからＧＵＩ部品メタ情報付与の要求が入力された時に、その時点の操作対象アプリケーションにおける操作画面（以下、「現操作画面」）の画像（以下、「現操作画面画像」）を取得する。現操作画面画像蓄積部３は、現操作画面画像取得部２で取得した現操作画面画像を蓄積する。
【００１８】
画像特徴量分析部４は、現操作画面画像蓄積部３に蓄積された現操作画面画像から操作ログＤＢ１中の画像特徴量と同様な画像特徴量を取得する。類似画像検索部５は、画像特徴量分析部４で取得した画像特徴量を基に、操作ログＤＢ１から画像特徴量を比較して現操作画面に類似した操作画面（以下、「類似画面」）を検索する。
【００１９】
レイアウト情報生成部６は、類似画像検索部５で検索した類似画面のＧＵＩ部品メタ情報から各ＧＵＩ部品の位置および大きさを示すレイアウト情報を生成する。比較照合部７は、レイアウト情報生成部６で生成したレイアウト情報に従って現操作画面画像からＧＵＩ部品単位の画像を切り出し、切り出した各ＧＵＩ部品の画像を類似画面中の対応する各ＧＵＩ部品の画像と比較照合する。
【００２０】
メタ情報関連付け部８は、比較照合部７における比較照合の結果、画像が一致したＧＵＩ部品のＧＵＩ部品メタ情報を現操作画面画像に関連付ける。結果登録部９は、現操作画面画像蓄積部３に蓄積された現操作画面画像および画像特徴量分析部４で取得したその画像特徴量を、メタ情報関連付け部８で関連付けられたＧＵＩ部品メタ情報とともに操作ログＤＢ１に登録する。
【００２１】
この際、類似画面が複数検索された場合は、各類似画面について得られた結果を登録しても良いし、各類似画面について得られた結果を何らかの基準に従って順位付けし、その一部の類似画面について得られた結果を登録しても良い。また、比較照合の結果、一致しなかったＧＵＩ部品について別途、ＧＵＩ部品メタ情報を求め、関連付けた上で、操作ログＤＢ１に登録するようにしても良い。
【００２２】
図３は本発明のＧＵＩ部品メタ情報付与装置における動作フローチャートを示すもので、以下、本発明のＧＵＩ部品メタ情報付与方法における処理について説明する。
【００２３】
操作対象アプリケーションに対するＧＵＩを通じた操作中、ユーザからＧＵＩ部品メタ情報付与の要求が入力されると、現操作画面画像取得部２は、その時点の操作対象アプリケーションにおける操作画面の画像（現操作画面画像）を取得し、現操作画面画像蓄積部３に蓄積する（ｓ１）。
【００２４】
次に画像特徴量分析部４は、現操作画面画像蓄積部３に蓄積された現操作画面画像に対して周知の画像特徴量分析を行い、操作ログＤＢ１中の画像特徴量と同様な画像特徴量を取得する（ｓ２）。
【００２５】
次に類似画像検索部５は、前記取得した画像特徴量を基に、操作ログＤＢ１から現操作画面に類似した操作画面（類似画面）を検索する（ｓ３）。図４は類似画像検索処理のようすを示すものである。
【００２６】
この際、類似画面が１つもなければそのまま処理を終了する（ｓ４：Ｎｏ）。一方、類似画面があれば（ｓ４：Ｙｅｓ）、レイアウト情報生成部６は、検索した類似画面のＧＵＩ部品メタ情報から各ＧＵＩ部品の位置および大きさを示すレイアウト情報を生成する（ｓ５）。図５はレイアウト情報生成処理のようすを示すもので、図中、破線で示したのがレイアウト情報（のイメージ）である。
【００２７】
次に、比較照合部７は、前記レイアウト情報を現操作画面画像に重ね合わせてＧＵＩ部品単位で画像を比較、即ち前記レイアウト情報に従って現操作画面画像からＧＵＩ部品単位の画像を切り出し、切り出した各画像を類似画面中の対応する各ＧＵＩ部品の画像と比較照合する（ｓ６）。図６、図７は比較照合処理のようすを示すものである。
【００２８】
ここで、一致した画像があれば（ｓ７：Ｙｅｓ）、メタ情報関連付け部は、一致したＧＵＩ部品のＧＵＩ部品メタ情報を現操作画面画像に関連付ける（ｓ８）。図８はメタ情報関連付け処理のようすを示すものである。
【００２９】
これを全てのＧＵＩ部品に対して同様に実行し（ｓ９）、さらに類似画面が複数あれば同様に前述したｓ５からｓ９までの処理を繰り返す（ｓ１０）。
【００３０】
最後に、結果登録部９は、現操作画面画像およびその画像特徴量を前記関連付けられたＧＵＩ部品メタ情報とともに操作ログＤＢ１に登録する（ｓ１１）。
【００３１】
前記構成によれば、ＯＳへの負荷が重く、アプリケーションの速度低下や操作性の低下を招くAccessibility APIを実行することなく、操作対象アプリケーションにおける任意の操作画面情報にＧＵＩ部品メタ情報を付与することができ、きめ細かい操作支援情報を提供することが可能になる。
【００３２】
図９は前述した操作ログＤＢ１を事前に自動的に生成する、本発明の操作ログ自動生成装置の実施の形態の一例を示すもので、図中、１１はアプリケーション自動操作部、１２はログデータ取得部、１３はログデータ蓄積部、１４は画像特徴量分析部、１５はデータインポート部である。
【００３３】
アプリケーション自動操作部１１は、試験環境、検証環境、実環境などの様々な仮想実行環境において操作対象アプリケーションを、ＧＵＩ部品メタ情報を取得するのに十分な時間間隔をおいて自動操作する。
【００３４】
ログデータ取得部１２は、前記自動操作のタイミングごとの操作対象アプリケーションにおける操作画面の画像を、これに対応するＧＵＩ部品メタ情報とともに取得する。ログデータ蓄積部１３は、ログデータ取得部１２で取得した操作画面の画像およびこれに対応するＧＵＩ部品メタ情報を蓄積する。
【００３５】
画像特徴量分析部１４は、ログデータ蓄積部１３に蓄積された操作画面の画像に対して周知の画像特徴量分析を行い、類似画像検索のための画像の特徴量を示す情報である画像特徴量を取得する。なお、この画像特徴量分析部１４は基本的に前述した画像特徴量分析部４と同じであるが、ここでは十分な時間をとったバッチ処理により行うことができる。
【００３６】
データインポート部１５は、ログデータ蓄積部１３に蓄積された操作画面の画像およびそのＧＵＩ部品メタ情報を、画像特徴量分析部１４で取得した画像特徴量とともに操作ログＤＢ１に登録する。
【００３７】
前記構成によれば、操作対象アプリケーションにおける様々な操作画面についてその画像とともに、その操作画面を構成するＧＵＩ部品の種別や位置や状態などの構成情報を示すＧＵＩ部品メタ情報およびその画像の特徴量を示す画像特徴量を蓄積した操作ログを自動的に生成し、操作ログＤＢに蓄積することができる。
【符号の説明】
【００３８】
１：操作ログデータベース（操作ログＤＢ）、２：現操作画面画像取得部、３：現操作画面画像蓄積部、４：画像特徴量分析部、５：類似画像検索部、６：レイアウト情報生成部、７：比較照合部、８：メタ情報関連付け部、９：結果登録部、１１：アプリケーション自動操作部、１２：ログデータ取得部、１３：ログデータ蓄積部、１４：画像特徴量分析部、１５：データインポート部。
【先行技術文献】
【非特許文献】
【００３９】
【非特許文献１】森崎修司、門田暁人、松本健一、井上克郎、鳥居宏次「機能実行履歴を用いたソフトウェア利用知識の共有」、情報処理学会論文誌、Vol.41、No.10、2000.10、pp.2770-2781
【非特許文献２】海野瑛里、吉井光、櫨山淳雄「操作履歴を用いたサーバ管理のための知識継承支援システム」、人工知能学会、第10回知識流通ネットワーク研究会、2013.3
【非特許文献３】”Google  画像検索”、［ｏｎｌｉｎｅ］、google Inc.、［平成２５年３月３１日検索］、インターネット＜ＵＲＬ：http://images.google.co.jp＞
【非特許文献４】長谷山美紀「画像・映像意味理解の現状と検索インタフェース」、電子情報通信学会誌、Vol.93、No.9、2010、pp.764-769
【非特許文献５】Yeh T., Chang T.-H. and Miller R.C. "Sikuli: Using GUI Screenshots for Search and Automation", UIST 2009, pp.183-192
【非特許文献６】Chang T.-H., Yeh T., and Miller R. "Associating the Visual Representation of User Interfaces with their Internal Structures and Metadata", UIST 2011, pp.245-255
【非特許文献７】中島一、増田健、高橋郁也「業務アプリケーション操作可視化のためのハイブリッドなＧＵＩ状態の取得方式の提案」、電子情報通信学会技術研究報告、ICM2011-28、2011.11、pp.49-54
【図１】
0005931804.tif 000002
【図２】
0005931804.tif 000003
【図３】
0005931804.tif 000004
【図４】
0005931804.tif 000005
【図５】
0005931804.tif 000006
【図６】
0005931804.tif 000007
【図７】
0005931804.tif 000008
【図８】
0005931804.tif 000009
【図９】
0005931804.tif 000010