(57)【要約】【課題】ＯＳ、アプリの種別を問わず、効率的な操作再現を可能とすること。【解決手段】ユーザ端末装置１０は、操作再現時の画面を新画像データとして取得し（Ｓ１）、操作登録時の旧画像データ及び旧画像の操作データとともにサーバ装置２０に送信する（Ｓ２）。サーバ装置２０は、旧画像データと新画像データから構成要素をそれぞれ抽出し（Ｓ３）、旧画像及び新画像の構成要素を学習済モデルに入力して属性情報を生成し（Ｓ４）、旧画像の構成要素と新画像の構成要素をそれぞれ所定のルールに基づいて順序づけし（Ｓ５）、順序に基づいて旧画像の構成要素と新画像の構成要素とを対応付ける（Ｓ６）。この対応関係を用いて旧画像の操作データを補正して新画像の操作データを生成し（Ｓ７）、ユーザ端末装置１０に送信する（Ｓ８）。ユーザ端末装置１０は、サーバ装置２０から受信した新画像の操作データを用いて新画像の操作を自動的に実行する（Ｓ９）。【選択図】図１
2020052628.tif 000002
【特許請求の範囲】
【請求項１】
第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像との対応付けを行う情報処理装置における画面対応付け方法であって、
前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出工程と、
前記抽出工程により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成工程と、
前記抽出工程により抽出された前記第１画像構成要素を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素を前記所定のルールに基づいて順序づける順序づけ工程と、
前記生成工程により生成された前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記順序づけ工程で順序づけされた前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け工程と
を含んだことを特徴とする画面対応付け方法。
【請求項２】
前記抽出工程は、
前記第１画像を二値化した二値画像に含まれる白画素の塊の輪郭又は白画素で囲まれた領域の輪郭を抽出し、抽出された輪郭に対応する前記第１画像の部分画像を第１画像構成要素として抽出し、前記第２画像を二値化した二値画像に含まれる白画素の塊の輪郭又は白画素で囲まれた領域の輪郭を抽出し、抽出された輪郭に対応する前記第２画像の部分画像を第２画像構成要素として抽出する
ことを特徴とする請求項１に記載の画面対応付け方法。
【請求項３】
あらかじめ生成された学習用の画像を構成する画像構成要素とその種別を含む属性情報を用いて第１の学習処理を行って学習情報を生成する学習情報生成工程をさらに含み、
前記生成工程は、
前記学習情報生成工程により生成された学習情報を用いて前記第１画像構成要素の種別を含む属性情報を生成し、前記学習情報を用いて前記第１画像構成要素の種別を含む属性情報を生成する
ことを特徴とする請求項１又は２に記載の画面対応付け方法。
【請求項４】
前記学習情報生成工程は、
あらかじめ生成された学習用の画像を構成する画像構成要素とその種別を含む属性情報を用いた教師有り学習により得られる多層ニューラルネットワークからなる学習済モデルを学習情報として生成し、
前記生成工程は、
前記学習済モデルに前記第１画像を入力して各第１画像構成要素の種別を含む属性情報を生成し、前記学習済モデルに前記第２画像を入力して各第２画像構成要素の種別を含む属性情報を生成する
ことを特徴とする請求項３に記載の画面対応付け方法。
【請求項５】
前記学習情報生成工程は、
前記学習情報と学習用の画像を用いて学習誤りを是正する第２の学習処理を行うことを特徴とする請求項３又は４に記載の画面対応付け方法。
【請求項６】
前記順序づけ工程は、
前記抽出工程により抽出された前記第１画像構成要素を所定の走査方向に沿って順序づけるとともに、前記第２画像構成要素を前記所定の走査方向に沿って順序づけることを特徴とする請求項１乃至５のいずれか一つに記載の画面対応付け方法。
【請求項７】
前記対応付け工程は、
前記順序づけ工程で順序づけされた複数の第１画像構成要素と、前記順序づけ工程で順序づけされた複数の第２画像構成要素との間で、対応する相手が存在しない画像構成要素を除去することを特徴とする請求項１乃至６のいずれか一つに記載の画面対応付け方法。
【請求項８】
第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像との対応付けを行う情報処理装置であって、
前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出手段と、
前記抽出手段により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成手段と、
前記抽出手段により抽出された前記第１画像構成要素を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素を前記所定のルールに基づいて順序づける順序づけ手段と、
前記生成手段により生成された前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記順序づけ手段で順序づけされた前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け手段と
を備えたことを特徴とする情報処理装置。
【請求項９】
利用者が操作する端末装置と、前記端末装置と通信可能に接続されたサーバ装置とを有し、前記サーバ装置から通知される情報に基づいて前記端末装置における人の操作を自動再現する操作再現システムであって、
前記端末装置は、
第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像とを前記サーバ装置に送信する画像送信手段と、
前記サーバ装置から受信した対応付け情報に基づいて操作位置を補正して、操作再現を行う操作再現手段と
を備え、
前記サーバ装置は、
前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出手段と、
前記抽出手段により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成手段と、
前記抽出手段により抽出された前記第１画像構成要素を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素を前記所定のルールに基づいて順序づける順序づけ手段と、
前記生成手段により生成された前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記順序づけ手段で順序づけされた前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け手段と、
前記対応付け手段により対応付けが行われた前記第１画像構成要素及びその属性情報と前記第２画像構成要素及びその属性情報を対応付け情報として前記端末装置に送信する対応付け情報送信手段と
を備えたことを特徴とする操作再現システム。
【請求項１０】
第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像との対応付けを行う情報処理装置で実行する画面対応付けプログラムであって、
前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出手順と、
前記抽出手順により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成手順と、
前記抽出手順により抽出された前記第１画像構成要素を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素を前記所定のルールに基づいて順序づける順序づけ手順と、
前記生成手順により生成された前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記順序づけ手順で順序づけされた前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け手順と
をコンピュータに実行させることを特徴とする画面対応付けプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＯＳ、アプリの種別を問わず、効率的な操作再現を可能とする画面対応付け方法、情報処理装置、操作再現システム及び画面対応付けプログラムに関する。
【背景技術】
【０００２】
従来、業務画面において、ボタンのクリック等の操作を自動的に再現する仕組み（以下、「操作再現」と言う）が知られている。例えば、ＲＰＡ（Robotic Process Automation）では、これまで人がＰＣ（Personal Computer）上で行っていた煩雑で面倒な作業を、専用のソフトウェアに操作再現させることになる。
【０００３】
人のクリック操作を再現する場合には、あらかじめ人がクリックしたカーソル位置の座標位置を記憶部に記憶しておき、操作を再現する際に記憶部に記憶したカーソル位置の座標位置を読み出してクリックさせることが多い。ところが、人による操作時のＯＳ（Operating System）及びブラウザ等のバージョンと、操作再現時のＯＳ及びブラウザ等のバージョンとが異なる場合には座標位置にずれが生ずるため、記憶部から読み出した座標位置をクリックしたとしても正確な操作再現を行うことができない。
【０００４】
ここで、特許文献１には、画像解析部がＧＵＩ画面の一部を形成する画面構成要素（以下、「オブジェクト」と言う）を検出し、検出したオブジェクトの属性情報を取得する技術が開示されている。このため、この特許文献１を用いて人により操作された画面のオブジェクトを記憶しておき、操作再現時に同じオブジェクトをクリックすることにより、正確な操作再現を行う手法が考えられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１１１８９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、Java（登録商標）アプレットやリモートデスクトップ等の場合には、画面のオブジェクト及びその属性情報を取得することができないという問題がある。このような場合に、実行環境ごとに画面のオブジェクトを取得するのは効率的ではない。
【０００７】
その結果、上記従来技術の手法は、サーブレット（Servlet）等のオブジェクトにアクセス可能な場合に制限されてしまい、ＯＳ、アプリを問わずに操作再現を行いたいとするニーズに応えることができない。このため、ＯＳ、アプリの種別を問わず、いかにして効率良く操作再現を可能とするかが重要な課題となっている。
【０００８】
本発明は、上記従来技術の問題点（課題）を解決するためになされたものであって、ＯＳ、アプリの種別を問わず、効率的な操作再現を可能とする画面対応付け方法、情報処理装置、操作再現システム及び画面対応付けプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明は、第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像との対応付けを行う情報処理装置における画面対応付け方法であって、前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出工程と、前記抽出工程により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成工程と、前記抽出工程により抽出された前記第１画像構成要素を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素を前記所定のルールに基づいて順序づける順序づけ工程と、前記生成工程により生成された前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記順序づけ工程で順序づけされた前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け工程とを含んだことを特徴とする。
【００１０】
また、本発明は、上記の発明において、前記抽出工程は、前記第１画像を二値化した二値画像に含まれる白画素の塊の輪郭又は白画素で囲まれた領域の輪郭を抽出し、抽出された輪郭に対応する前記第１画像の部分画像を第１画像構成要素として抽出し、前記第２画像を二値化した二値画像に含まれる白画素の塊の輪郭又は白画素で囲まれた領域の輪郭を抽出し、抽出された輪郭に対応する前記第２画像の部分画像を第２画像構成要素として抽出することを特徴とする。
【００１１】
また、本発明は、上記の発明において、あらかじめ生成された学習用の画像を構成する画像構成要素とその種別を含む属性情報を用いて第１の学習処理を行って学習情報を生成する学習情報生成工程をさらに含み、前記生成工程は、前記学習情報生成工程により生成された学習情報を用いて前記第１画像構成要素の種別を含む属性情報を生成し、前記学習情報を用いて前記第１画像構成要素の種別を含む属性情報を生成することを特徴とする。
【００１２】
また、本発明は、上記の発明において、前記学習情報生成工程は、あらかじめ生成された学習用の画像を構成する画像構成要素とその種別を含む属性情報を用いた教師有り学習により得られる多層ニューラルネットワークからなる学習済モデルを学習情報として生成し、前記生成工程は、前記学習済モデルに前記第１画像を入力して各第１画像構成要素の種別を含む属性情報を生成し、前記学習済モデルに前記第２画像を入力して各第２画像構成要素の種別を含む属性情報を生成することを特徴とする。
【００１３】
また、本発明は、上記の発明において、前記学習情報生成工程は、前記学習情報と学習用の画像を用いて学習誤りを是正する第２の学習処理を行うことを特徴とする。
【００１４】
また、本発明は、上記の発明において、前記順序づけ工程は、前記抽出工程により抽出された前記第１画像構成要素を所定の走査方向に沿って順序づけるとともに、前記第２画像構成要素を前記所定の走査方向に沿って順序づけることを特徴とする。
【００１５】
また、本発明は、上記の発明において、前記対応付け工程は、前記順序づけ工程で順序づけされた複数の第１画像構成要素と、前記順序づけ工程で順序づけされた複数の第２画像構成要素との間で、対応する相手が存在しない画像構成要素を除去することを特徴とする。
【００１６】
また、本発明は、第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像との対応付けを行う情報処理装置であって、前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出手段と、前記抽出手段により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成手段と、前記抽出手段により抽出された前記第１画像構成要素を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素を前記所定のルールに基づいて順序づける順序づけ手段と、前記生成手段により生成された前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記順序づけ手段で順序づけされた前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け手段とを備えたことを特徴とする。
【００１７】
また、本発明は、利用者が操作する端末装置と、前記端末装置と通信可能に接続されたサーバ装置とを有し、前記サーバ装置から通知される情報に基づいて前記端末装置における人の操作を自動再現する操作再現システムであって、前記端末装置は、第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像とを前記サーバ装置に送信する画像送信手段と、前記サーバ装置から受信した対応付け情報に基づいて操作位置を補正して、操作再現を行う操作再現手段とを備え、前記サーバ装置は、前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出手段と、前記抽出手段により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成手段と、前記抽出手段により抽出された前記第１画像構成要素を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素を前記所定のルールに基づいて順序づける順序づけ手段と、前記生成手段により生成された前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記順序づけ手段で順序づけされた前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け手段と、前記対応付け手段により対応付けが行われた前記第１画像構成要素及びその属性情報と前記第２画像構成要素及びその属性情報を対応付け情報として前記端末装置に送信する対応付け情報送信手段とを備えたことを特徴とする。
【００１８】
また、本発明は、第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像との対応付けを行う情報処理装置で実行する画面対応付けプログラムであって、前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出手順と、前記抽出手順により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成手順と、前記抽出手順により抽出された前記第１画像構成要素を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素を前記所定のルールに基づいて順序づける順序づけ手順と、前記生成手順により生成された前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記順序づけ手順で順序づけされた前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、ＯＳ又はアプリの種別を問わず、効率的な操作再現が可能になるという効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本実施例に係る操作再現システムの概念の説明図である。
【図２】図２は、ユーザ端末装置及びサーバ装置の構成を示す構成図である。
【図３】図３は、旧画像と新画像との比較についての説明図である。
【図４】図４は、学習済モデルの生成についての説明図である。
【図５】図５は、学習済モデルの構造についての説明図である。
【図６】図６は、旧画像と新画像との対応付けについての説明図である。（その１）
【図７】図７は、旧画像と新画像との対応付けについての説明図である。（その２）
【図８】図８は、旧画像と新画像との対応付けについての説明図である。（その３）
【図９】図９は、旧画像と新画像との対応付けについての説明図である。（その４）
【図１０】図１０は、ユーザ端末装置の処理手順を示すフローチャートである。
【図１１】図１１は、サーバ装置の処理手順を示すフローチャートである。
【図１２】図１２は、ユーザ端末装置が操作の補正を行う場合の説明図である。
【図１３】図１３は、画像の対応付けを行うユーザ端末装置の構成を示す構成図である。
【図１４】図１４は、ハードウエア構成の一例を示す図である。
【発明を実施するための形態】
【００２１】
以下、添付図面を参照して、画面対応付け方法、情報処理装置、操作再現システム及び画面対応付けプログラムについて説明する。
【実施例】
【００２２】
まず、本実施例に係る操作再現システムの概念について説明する。図１は、本実施例に係る操作再現システムの概念の説明図である。図１に示すように、本実施例に係る操作再現システムでは、ユーザ端末装置１０とサーバ装置２０とが所定のネットワークを介して接続されている。
【００２３】
ユーザ端末装置１０は、ＯＳ上で各種アプリケーションプログラムを実行するコンピュータである。そして、ユーザ端末装置１０は、利用者による操作を記憶し、記憶した操作を自動的に実行する操作再現の機能を有する。この操作再現は、例えばＯＳやアプリケーションプログラムを更新した場合に、更新前と同様の動作を正常に実行することができるか否かを検証するテストプログラムにより実現される。
【００２４】
操作再現では、カーソルの移動の履歴、カーソルの位置に対するクリック、文字入力などを記憶し、再現することができる。例えば、利用者が画面上に画像として表示されたボタンの位置までカーソルを移動させ、クリックを行うと、カーソルの移動とクリックが記憶される。そして、操作再現が実行されれば、ユーザ端末装置１０がカーソルの移動とクリックに対応する処理を実行することになる。
【００２５】
ここで、ＯＳやアプリケーションプログラムを更新した場合に、表示にずれが生じると、操作再現が適正に行えない場合がある。例えば、記憶したとおりのカーソル移動とクリックを再現しても、ボタンの位置がずれていれば、ボタン操作を行ったことにならない。
【００２６】
換言するならば、利用者は、画面上に画像として表示された構成要素を基準としてカーソルを移動させ、クリックなどを行っているため、画面における座標に基づいてカーソルの移動を記憶して再現しても正確な操作再現とならないのである。
【００２７】
そこで、図１に示した操作再現システムでは、画面に画像として表示された構成要素を抽出し、構成要素の属性情報を生成し、画面における構成要素の属性情報と配置に基づいて操作再現時の動作を補正することとしている。ここで、構成要素の抽出には、画像処理を用いる。また、構成要素の属性情報の生成は、教師有りの機械学習によって学習済のモデルを用いて行う。
【００２８】
具体的には、ユーザ端末装置１０は、利用者が予め登録した操作を登録操作データとして保持している。この登録操作データでは、利用者が登録した操作の内容を示すデータと、その時点の画面を示す画像データとを関連付けている。以降の説明では、便宜上、利用者が登録した操作の時点での画面全体を示す画像を旧画像といい、旧画像のデータを旧画像データという。そして、利用者が登録した操作の内容を示すデータを旧画像の操作データという。なお、連続した複数の操作を登録して再現する場合には、操作ごとに旧画像データと操作データを関連付けておき、操作ごとに順次再現することになる。また、旧画像と同様に、便宜上、操作再現時の画面全体を示す画像を新画像といい、新画像のデータを新画像データという。そして、新画像に対して行う操作を新画像の操作という。
【００２９】
ユーザ端末装置１０は、操作再現を開始すると、まず、その時点の画面に対応する新画像データを取得し（Ｓ１）、サーバ装置２０に変換要求を送信する（Ｓ２）。この変換要求には、旧画像データ、旧画像の操作データ及び新画像データが含まれる。
【００３０】
サーバ装置２０は、受信した変換要求に含まれる新画像データ及び旧画像データから構成要素の抽出を行う（Ｓ３）。この構成要素の抽出では、新画像や旧画像の一部を形成する複数の構成要素が抽出される。
【００３１】
構成要素を抽出する場合には、例えば、エッジ検出、色によるフィルタリング、膨張と収縮による文字の連結などを組み合わせて利用し、色の境目、境界線、連結された文字の塊を白画素とする二値化処理を行う。この二値化処理によって得られた二値画像では、構成要素は、白画素の塊、又は白画素で囲まれた領域となる。そこで、旧画像データを二値化した二値画像に含まれる白画素の塊の輪郭又は白画素で囲まれた領域の輪郭を抽出し、抽出された輪郭に対応する旧画像データの部分画像を旧画像の構成要素として抽出し、新画像データを二値化した二値画像に含まれる白画素の塊の輪郭又は白画素で囲まれた領域の輪郭を抽出し、抽出された輪郭に対応する新画像データの部分画像を新画像の構成要素として抽出する。
【００３２】
サーバ装置２０は、予め生成した学習済モデルを保持しており、この学習済モデルを用いて新画像及び旧画像の構成要素の属性情報を生成する（Ｓ４）。ここで生成される属性情報には、ボタン、可変セル、テキストなど、構成要素の種別を示す属性情報を含む。
【００３３】
サーバ装置２０は、旧画像の構成要素を所定のルールに基づいて順序づけるとともに、新画像の構成要素を同一のルールに基づいて順序づける（Ｓ５）。そして、順序と属性情報を用い、旧画像の構成要素と新画像の構成要素とを対応付ける（Ｓ６）。
【００３４】
サーバ装置２０は、旧画像の構成要素と新画像の構成要素との対応関係を用いて、旧画像の操作データを補正することで、新画像の操作データを生成する（Ｓ７）。そして、新画像の操作データを変換結果としてユーザ端末装置１０に送信する（Ｓ８）。この新画像の操作データには、新画像における座標と操作内容が含まれる。
【００３５】
ユーザ端末装置１０は、サーバ装置２０から受信した新画像の操作データを用いて新画像の操作を自動的に実行する（Ｓ９）。なお、連続した複数の操作を登録して再現する場合には、新画像データの取得（Ｓ１）から新画像の操作実行（Ｓ９）までを繰り返すことになる。
【００３６】
このように、図１に示した操作再現システムは、登録時の画面である旧画像データと操作再現時の画面である新画像データとを用い、旧画像の一部を形成する複数の構成要素と新画像の一部を形成する複数の構成要素とをそれぞれ抽出し、旧画像及び新画像の構成要素について種別を含む属性情報を生成し、旧画像の構成要素と新画像の構成要素をそれぞれ所定のルールに基づいて順序づけし、順序及び属性情報に基づいて旧画像の構成要素と新画像の構成要素とを対応付ける。このため、ＯＳ又はアプリの種別を問わず、旧画像と新画像との対応付けを行うことができ、効率的な操作再現が可能になる。
【００３７】
次に、ユーザ端末装置１０及びサーバ装置２０の構成について説明する。図２は、ユーザ端末装置１０及びサーバ装置２０の構成を示す構成図である。図２に示すように、ユーザ端末装置１０は、通信部１１、表示部１２、入力部１３、記憶部１４及び制御部１５を有する。通信部１１は、サーバ装置２０との通信接続を行うための通信インタフェースである。表示部１２は、液晶ディスプレイ装置等の表示デバイスである。入力部１３は、キーボードやマウス等の入力デバイスである。
【００３８】
記憶部１４は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、登録操作データ１４ａを記憶する。登録操作データ１４ａは、既に説明したように、旧画像データと旧画像の操作データを関連付けたデータである。
【００３９】
制御部１５は、ユーザ端末装置１０の全体を制御する制御部であり、操作登録部１５ａ、新画像取得部１５ｂ、画像送信部１５ｃ及び操作再現部１５ｄを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵ（Central Processing Unit）にロードして実行することにより、操作登録部１５ａ、新画像取得部１５ｂ、画像送信部１５ｃ及び操作再現部１５ｄにそれぞれ対応するプロセスを実行させることになる。
【００４０】
操作登録部１５ａは、利用者の操作を登録する処理部である。具体例には、操作登録部１５ａは、登録開始操作を受付けてから登録終了操作を受付けるまでの間に行われた利用者の操作の内容を操作データとし、各操作時点での画面全体を示す画像を旧画像データとして関連付けることで登録操作データ１４ａを生成し、記憶部１４に格納する。また、操作登録部１５ａは、操作再現を行う場合に、再現の対象となる操作に係る旧画像データ及び旧画像の操作データを登録操作データ１４ａから読み出す。
【００４１】
新画像取得部１５ｂは、操作再現を行う場合に、その時点で表示部１２に表示されている画像を新画像データとして取得する処理部である。
【００４２】
画像送信部１５ｃは、新画像データと旧画像データ及び旧画像の操作データとをサーバ装置２０に送信する処理部である。具体的には、画像送信部１５ｃは、新画像取得部１５ｂにより取得された新画像データと、登録操作データ１４ａから読み出された旧画像データ及び旧画像の操作データとを含む変換要求をサーバ装置２０に送信する処理を行う。
【００４３】
操作再現部１５ｄは、サーバ装置２０から新画像の操作データを受信し、新画像の操作を自動的に実行する処理部である。新画像の操作データは、サーバ装置２０が旧画像と新画像の対応関係に基づいて旧画像の操作データを補正することで生成されている。すなわち、新画像の操作データは、旧画像の操作データを新画像に合わせて変換したものである。このため、新画像の操作データを用いることで、旧画像と新画像との差異に影響を受けることなく正確に操作再現を行うことができる。
【００４４】
サーバ装置２０は、通信部２１、表示部２２、入力部２３、記憶部２４及び制御部２５を有する。通信部２１は、ユーザ端末装置１０との通信接続を行うための通信インタフェースである。表示部２２は、液晶ディスプレイ装置等の表示デバイスである。入力部２３は、キーボードやマウス等の入力デバイスである。
【００４５】
記憶部２４は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、学習済モデルデータ２４ａを記憶する。学習済モデルデータ２４ａは、学習用の画像を用い、教師有りの機械学習を行うことで、画像の構成要素の種別を識別するよう調整された多層ニューラルネットワークの構造とパラメータを示すデータである。
【００４６】
制御部２５は、サーバ装置２０の全体を制御する制御部であり、構成要素抽出部２５ａ、属性情報生成部２５ｂ、順序づけ処理部２５ｃ、対応付け処理部２５ｄ、操作補正部２５ｅ及び学習情報生成部２５ｆを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵにロードして実行することにより、構成要素抽出部２５ａ、属性情報生成部２５ｂ、順序づけ処理部２５ｃ、対応付け処理部２５ｄ、操作補正部２５ｅ及び学習情報生成部２５ｆにそれぞれ対応するプロセスを実行させることになる。
【００４７】
構成要素抽出部２５ａは、ユーザ端末装置１０から変換要求を受信し、変換要求に含まれる旧画像データの一部を形成する複数の構成要素、並びに、変換要求に含まれる新画像データの一部を形成する複数の構成要素をそれぞれ抽出する。
【００４８】
具体的には、構成要素抽出部２５ａは、例えば、エッジ検出、色によるフィルタリング、膨張と収縮による文字の連結などを組み合わせて利用し、色の境目、境界線、連結された文字の塊を白画素とする二値化処理を行う。この二値化処理によって得られた二値画像では、構成要素は、白画素の塊、又は白画素で囲まれた領域となる。そこで、構成要素抽出部２５ａは、旧画像データを二値化した二値画像に含まれる白画素の塊の輪郭又は白画素で囲まれた領域の輪郭を抽出し、抽出された輪郭に対応する旧画像の部分画像を旧画像の構成要素として抽出し、新画像を二値化した二値画像に含まれる白画素の塊の輪郭又は白画素で囲まれた領域の輪郭を抽出し、抽出された輪郭に対応する新画像の部分画像を新画像の構成要素として抽出する。
【００４９】
属性情報生成部２５ｂは、構成要素抽出部２５ａにより抽出された構成要素について、種別を含む属性情報を生成する処理部である。具体的には、属性情報生成部２５ｂは、記憶部２４に格納された学習済モデルデータ２４ａに新画像及び旧画像の構成要素を入力し、新画像と旧画像の各構成要素について属性情報を生成する。なお、学習済モデルデータ２４ａは、学習情報生成部２５ｆによって事前に生成され、記憶部２４に格納されている。
【００５０】
順序づけ処理部２５ｃは、構成要素抽出部２５ａにより抽出された旧画像の構成要素を所定のルールに基づいて順序づけるとともに、新画像の構成要素を同一のルールに基づいて順序づける処理を行う。具体的には、順序づけ処理部２５ｃは、旧画像の構成要素を所定の走査方向に沿って順序づけるとともに、旧画像の構成要素を同じ所定の走査方向に沿って順序づける。
【００５１】
対応付け処理部２５ｄは、旧画像の構成要素の属性情報及び新画像の構成要素の属性情報に基づいて、順序づけ処理部２５ｃで順序づけされた旧画像の構成要素と新画像の構成要素との間の対応付けを行う。ここで、対応付け処理部２５ｄは、旧画像の構成要素と新画像の構成要素との間で、対応する相手が存在しない構成要素については除去する。
【００５２】
操作補正部２５ｅは、旧画像の構成要素と新画像の構成要素との対応関係を用いて、旧画像の操作データを補正することで、新画像の操作データを生成する処理部である。操作補正部２５ｅは、生成した新画像の操作データを変換結果としてユーザ端末装置１０に送信する。
【００５３】
学習情報生成部２５ｆは、あらかじめ生成された学習用の画像構成要素とその種別を含む属性情報を用いて第１の学習処理を行って学習済モデルを生成する処理部である。この第１の学習処理では、学習情報生成部２５ｆは、あらかじめ生成された学習用の画像構成要素とその種別を含む属性情報を用いた教師有り学習により得られる多層ニューラルネットワークからなる学習済モデルを生成する。
【００５４】
さらに、学習情報生成部２５ｆは、第１の学習処理により得られた学習済モデルに学習用の画像を入力し、学習誤りを是正する第２の学習処理を行うことで、学習済モデルの精度を向上することができる。
【００５５】
なお、外部の装置が生成した学習済モデルデータ２４ａを記憶部２４に格納し、属性情報の生成に使用することも可能である。このように、サーバ装置２０が学習済モデルデータ２４ａの生成を行わない場合には、学習情報生成部２５ｆは不要となる。
【００５６】
図３は、旧画像と新画像との比較についての説明図である。図３（ａ）に示す旧画像データと、図３（ｂ）に示す新画像データとは、同一のアプリケーションプログラムの更新前の画像と、更新後の画像とを示している。新画像と旧画像とは、同様の形状を有し、含まれる構成要素と配置も略同一である。しかし、サイズにわずかな変更があり、またフォントも変更されている。
【００５７】
具体的には、新画像と旧画像とは、ウィンドウ最小化ボタン、ウィンドウサイズ変更ボタン、ウィンドウ消去ボタン、入力用の複数の可変セル、「コピー」ボタン及び「インポート」ボタンをそれぞれ有する。一方、新画像のウィンドウは旧画像のウィンドウよりも幅が小さくなり、フォントも変更されている。このようにデザインに差異があるため、図３（ｃ）に示すように左端を基準に重ね合せたとすると、文字やボタンの位置にずれが生じる。
【００５８】
例えば、旧画像でウィンドウ消去ボタンに対応する座標は、新画像ではウィンドウ消去ボタンとなっていない。このため、旧画像のウィンドウ消去ボタンに対する操作を登録する場合に座標を基準とすると、新画像でウィンドウ消去ボタンの操作を再現することができない事態となる。
【００５９】
次に、学習済モデルの生成について説明する。図４は、学習済モデルの生成についての説明図である。まず、構成要素抽出部２５ａは、複数の学習用画像データから学習用の構成要素を抽出する。図４では、ウィンドウ最小化ボタン、ウィンドウサイズ変更ボタン、ウィンドウ消去ボタン、入力用の複数の可変セル、「コピー」ボタン及び「インポート」ボタンなどが構成要素として抽出されている。
【００６０】
学習用の構成要素は、それぞれ正しい種別に分類される。図４では、「可変セル」及び「ボタン」を分類先として示しているが、この他にラベル、テキスト、ヘッダ、固定セルなどを分類先として用いることができる。
【００６１】
そして、分類先の種別を該構成要素の属性情報として対応付け、機械学習を行うことで、学習済モデルが得られる。さらに、学習済モデルに学習用画像データを入力し、学習済モデルに属性情報を生成させて分類する。その結果、学習済モデルが分類を誤った構成要素については、正しい分類を属性情報として付与し、学習を再度行うことで学習誤りを是正する。
【００６２】
図４では、学習済モデルがボタンに分類すべき「インポート」ボタンを誤って可変セルに分類している。この場合には、「インポート」ボタンをボタンに分類した上で学習を再度行うことになる。
【００６３】
なお、最初の学習済モデルの生成、すなわち第１の学習処理に用いる学習用画像データと、学習誤りの是正、すなわち第２の学習処理に用いる学習用データとは、異なる画像を用いることが望ましい。このように、第１の学習処理の後、第２の学習処理を繰り返し、分類に誤りが無くなった場合に学習済モデルは完成したものとすればよい。
【００６４】
図５は、学習済モデルの構造についての説明図である。図５に示すように、学習済モデルは、入力層、複数の中間層、出力層を有する多層ニューラルネットワークである。入力層に存在する複数の入力ノードは、例えば構成要素が有する複数の画素に対応し、画素値が入力ノードへの入力値となる。出力層は、構成要素の分類先となる種別に対応し、種別毎に１つの出力ノードが与えられる。
【００６５】
中間層に含まれる中間ノードは、それぞれ前後の層のノードと接続しており、このノード間接続のパラメータが学習処理によって最適化されている。そして、入力層に構成要素が入力されると、入力値とノード間接続のパラメータに基づいて、各出力ノードの値が求められる。出力ノードの値は、その出力ノードに割り当てられた種別の特徴の強さを示す。そして、複数の出力ノードにより示された各々の種別の特徴の強さを比較し、特定の種別の特徴が他の種別の特徴よりも充分に強く現れているならば、その種別が入力された構成要素の種別となる。
【００６６】
次に、旧画像と新画像との対応付けについて説明する。図６〜図９は、旧画像と新画像との対応付けについての説明図である。図６に示すように、サーバ装置２０は、旧画像と新画像とを直接比較するのではなく、旧画像データから旧画像の構成要素を抽出するとともに、新画像データから新画像の構成要素を抽出し、旧画像の構成要素と新画像の構成要素とを比較する。
【００６７】
旧画像データから構成要素を抽出する場合には、まず、図７に示すように、旧画像データに対して画像処理を行って、構成要素の画像を抽出する。図７では、旧画像データからウィンドウ最小化ボタン、ウィンドウサイズ変更ボタン、ウィンドウ消去ボタン、入力用の複数の可変セル、「コピー」ボタン及び「インポート」ボタンなどの画像が抽出されている。
【００６８】
サーバ装置２０は、抽出した構成要素の画像を学習済モデルに入力し、属性情報を生成する。そして、構成要素を所定のルールに基づいて順序づけて、属性情報の配列とする。すなわち、構成要素の画像を順序に沿って並べるのではなく、構成要素の属性情報を順序に沿って並べることになる。図７では、構成要素の配列は、属性情報「ボタン」、属性情報「ボタン」、属性情報「ボタン」、属性情報「可変セル」、属性情報「可変セル」・・・属性情報「ボタン」、属性情報「ボタン」となっている。
【００６９】
サーバ装置２０は、新画像データについても同様に、構成要素の画像の抽出、学習済モデルによる属性情報の生成、順序づけと配列を行う。そして、図８に示すように、旧画像の構成要素の配列と、新画像の構成要素の配列とを比較し、対応付けを行う。
【００７０】
図８に示すように、旧画像と新画像との間にデザインの差（例えばウィンドウのサイズやフォントの違い）があったとしても、構成要素の配列は同一となる。具体的には、旧画像のウィンドウ消去ボタンと新画像のウィンドウ消去ボタンは、その位置が異なるが、配列上はどちらも３番目の構成要素である。したがって、旧画像の３番目の構成要素の位置で行われた操作は、新画像の３番目の構成要素の位置で行うように補正することで、旧画像での操作を新画像で正確に再現することが可能となる。
【００７１】
図８では、旧画像と新画像とで構成要素の数が同一であるが、旧画像と新画像との差異によっては、画像処理で抽出される構成要素の数が異なるケースがある。例えば、図９では、旧画像の構成要素は、新画像の構成要素よりも多い。このように、構成要素の数に違いがある状態では、構成要素の属性情報に基づいて対応付けを行い、対応する相手の存在しない構成要素については除去する。
【００７２】
次に、ユーザ端末装置１０の処理手順について説明する。図１０は、ユーザ端末装置１０の処理手順を示すフローチャートである。まず、ユーザ端末装置１０の操作登録部１５ａは、操作再現を開始すると、登録操作データ１４ａから旧画像データ及び旧画像の操作データを読み出す（ステップＳ１０１）。また、新画像取得部１５ｂがその時点で表示部１２に表示されている画像を新画像データとして取得し（ステップＳ１０２）、画像送信部１５ｃは、旧画像データと、旧画像の操作データと、新画像データとを含む変換要求をサーバ装置２０に送信する（ステップＳ１０３）。
【００７３】
操作再現部１５ｄは、サーバ装置２０から新画像の操作データを受信し（ステップＳ１０４）、新画像の操作を自動的に実行する（ステップＳ１０５）。その後、操作再現部１５ｄは、次の操作が登録されているか否かを判定する（ステップＳ１０６）。次の操作が登録されていれば（ステップＳ１０６；Ｙｅｓ）、操作登録部１５ａは、ステップＳ１０１に移行して次の操作に係る旧画像データと操作データを読み出す。そして、連続する操作を全て実行した場合に（ステップＳ１０６；Ｎｏ）、処理を終了する。
【００７４】
次に、サーバ装置２０の処理手順について説明する。図１１は、サーバ装置２０の処理手順を示すフローチャートである。まず、サーバ装置２０の構成要素抽出部２５ａは、ユーザ端末装置１０から変換要求を受信する（ステップＳ２０１）。そして、構成要素抽出部２５ａは、変換要求に含まれる旧画像データから構成要素を抽出する（ステップＳ２０２）とともに、変換要求に含まれる新画像データから構成要素を抽出する（ステップＳ２０３）。
【００７５】
属性情報生成部２５ｂは、構成要素抽出部２５ａにより抽出された旧画像の構成要素について、種別を含む属性情報を生成する（ステップＳ２０４）とともに、構成要素抽出部２５ａにより抽出された新画像の構成要素について、種別を含む属性情報を生成する（ステップＳ２０５）。
【００７６】
順序づけ処理部２５ｃは、構成要素抽出部２５ａにより抽出された旧画像の構成要素を所定のルールに基づいて順序づける（ステップＳ２０６）とともに、新画像の構成要素を同一のルールに基づいて順序づける（ステップＳ２０７）。
【００７７】
対応付け処理部２５ｄは、旧画像の構成要素の属性情報及び新画像の構成要素の属性情報に基づいて、順序づけ処理部２５ｃで順序づけされた旧画像の構成要素と新画像の構成要素との間の対応付けを行う（ステップＳ２０８）。
【００７８】
操作補正部２５ｅは、旧画像の構成要素と新画像の構成要素との対応関係を用いて、旧画像の操作データを補正することで、新画像の操作データを生成する（ステップＳ２０９）。操作補正部２５ｅは、生成した新画像の操作データを変換結果としてユーザ端末装置１０に送信し（ステップＳ２１０）、処理を終了する。
【００７９】
次に、操作再現システムの変形例について説明する。これまでの説明では、サーバ装置２０が旧画像の操作データを補正して新画像の操作データを生成する場合について説明を行ったが、ユーザ端末装置１０が旧画像の操作データを補正して新画像の操作データを生成する構成としてもよい。図１２は、ユーザ端末装置１０が操作の補正を行う場合の説明図である。
【００８０】
図１２では、図１と同様に、ユーザ端末装置１０が登録操作データを保持し、サーバ装置２０が学習済モデルを保持している。そして、ユーザ端末装置１０は、操作再現を開始すると、その時点の画面全体を示す画像を新画像データとして取得し（Ｓ１）、サーバ装置２０に対応関係要求を送信する（Ｓ２ａ）。この対応関係要求には、旧画像データと新画像データとが含まれ、旧画像の操作データは含まれない。
【００８１】
サーバ装置２０は、受信した対応関係要求に含まれる新画像データ及び旧画像データから構成要素の抽出を行い（Ｓ３）、学習済モデルを用いて新画像及び旧画像の構成要素の属性情報を生成する（Ｓ４）。
【００８２】
サーバ装置２０は、旧画像の構成要素を所定のルールに基づいて順序づけるとともに、新画像の構成要素を同一のルールに基づいて順序づける（Ｓ５）。そして、順序と属性情報を用い、旧画像の構成要素と新画像の構成要素とを対応付ける（Ｓ６）。
【００８３】
その後、サーバ装置２０は、旧画像の構成要素と新画像の構成要素との対応関係をユーザ端末装置１０に送信する（Ｓ７ａ）。このとき、構成要素の対応関係とともに、構成要素の属性情報を送信することとしてもよい。
【００８４】
ユーザ端末装置１０は、サーバ装置２０から受信した対応関係を用いて、旧画像の操作データを補正することで、新画像の操作データを生成する（Ｓ８ａ）。そして、生成した新画像の操作データを用いて新画像の操作を自動的に実行する（Ｓ９）。なお、連続した複数の操作を登録して再現する場合には、新画像データの取得（Ｓ１）から新画像の操作実行（Ｓ９）までを繰り返すことになる。
【００８５】
次に、ユーザ端末装置が画像の対応付けを行う場合について説明する。図１３は、画像の対応付けを行うユーザ端末装置の構成を示す構成図である。図１３に示したユーザ端末装置１１０は、記憶部１４に学習済モデルデータ１２４ａをさらに記憶している。また、制御部１５は、画像送信部１５ｃを有さず、構成要素抽出部１２５ａ、属性情報生成部１２５ｂ、順序づけ処理部１２５ｃ、対応付け処理部１２５ｄ及び操作補正部１２５ｅをさらに有する。その他の構成及び動作は図２に示したユーザ端末装置１０と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。
【００８６】
図１３に示した学習済モデルデータ１２４ａは、図２に示した学習済モデルデータ２４ａと同様に、多層ニューラルネットワークの構造とパラメータを示すデータである。構成要素抽出部１２５ａは、図２に示した構成要素抽出部２５ａに対応し、登録操作データ１４ａの旧画像データから構成要素を抽出するとともに、新画像取得部１５ｂにより取得された新画像データから構成要素を抽出する。
【００８７】
属性情報生成部１２５ｂは、構成要素抽出部１２５ａにより抽出された構成要素について、種別を含む属性情報を生成する。順序づけ処理部１２５ｃは、構成要素抽出部１２５ａにより抽出された旧画像の構成要素を所定のルールに基づいて順序づけるとともに、新画像の構成要素を同一のルールに基づいて順序づける処理を行う。対応付け処理部１２５ｄは、旧画像の構成要素の属性情報及び新画像の構成要素の属性情報に基づいて、順序づけ処理部１２５ｃで順序づけされた旧画像の構成要素と新画像の構成要素との間の対応付けを行う。ここで、対応付け処理部１２５ｄは、旧画像の構成要素と新画像の構成要素との間で、対応する相手が存在しない構成要素については除去する。
【００８８】
操作補正部１２５ｅは、旧画像の構成要素と新画像の構成要素との対応関係を用いて、旧画像の操作データを補正することで、新画像の操作データを生成し、操作再現部１５ｄに出力する。このため、操作再現部１５ｄは、操作補正部１２５ｅが出力した新画像の操作データを用い、新画像の操作を自動的に実行することになる。
【００８９】
なお、図１３に示したユーザ端末装置１１０は、他の装置で生成された学習済モデルデータ１２４ａを使用するため、図２に示した学習情報生成部２５ｆに対応する処理部は有していない。
【００９０】
次に、本実施例の形態に係るユーザ端末装置１０及びサーバ装置２０と、コンピュータの主たるハードウエア構成の対応関係について説明する。図１４は、ハードウエア構成の一例を示す図である。
【００９１】
一般的なコンピュータは、ＣＰＵ９１、ＲＯＭ（Read Only Memory）９２、ＲＡＭ９３及び不揮発性メモリ９４などがバス９５により接続された構成となる。不揮発性メモリ９４の代わりにハードディスク装置が設けられていても良い。説明の便宜上、基本的なハードウエア構成のみを示している。
【００９２】
ここで、ＲＯＭ９２又は不揮発性メモリ９４には、オペレーティングシステム（Operating System；以下、単に「ＯＳ」と言う）の起動に必要となるプログラム等が記憶されており、ＣＰＵ９１は、電源投入時にＲＯＭ９２又は不揮発性メモリ９４からＯＳのプログラムをリードして実行する。
【００９３】
一方、ＯＳ上で実行される各種のアプリケーションプログラムは、不揮発性メモリ９４に記憶されており、ＣＰＵ９１がＲＡＭ９３を主メモリとして利用しつつアプリケーションプログラムを実行することにより、アプリケーションに対応するプロセスが実行される。
【００９４】
そして、本実施例で説明したユーザ端末装置１０及びサーバ装置２０の機能についても、他のアプリケーションプログラムと同様に不揮発性メモリ９４等にプログラムとして記憶し、ＣＰＵ９１がこのプログラムをロードして実行することになる。例えば、図２に示した構成要素抽出部２５ａ、属性情報生成部２５ｂ、順序づけ処理部２５ｃ、対応付け処理部２５ｄ及び学習情報生成部２５ｆに対応するルーチンを含む画面対応付けプログラムを不揮発性メモリ９４等に記憶させ、ＣＰＵ９１により画面対応付けプログラムがロード実行されることにより、構成要素抽出部２５ａ、属性情報生成部２５ｂ、順序づけ処理部２５ｃ、対応付け処理部２５ｄ及び学習情報生成部２５ｆに対応するプロセスが生成される。なお、学習済モデルデータ２４ａ等は、あらかじめ不揮発性メモリ９４に記憶される。もしくは、学習情報生成部２５ｆに対応するプロセスが学習済モデルデータ２４ａを生成し、任意の記憶デバイスに格納することとしてもよい。
【００９５】
上述してきたように、本実施例では、登録時の画面を示す旧画像データと操作再現時の画面を示す新画像データとを用い、旧画像の一部を形成する複数の構成要素と新画像の一部を形成する複数の構成要素とをそれぞれ抽出し、旧画像及び新画像の構成要素について種別を含む属性情報を生成し、旧画像の構成要素と新画像の構成要素をそれぞれ所定のルールに基づいて順序づけし、順序及び属性情報に基づいて旧画像の構成要素と新画像の構成要素とを対応付ける。このため、ＯＳ又はアプリの種別を問わず、旧画像と新画像との対応付けを行うことができ、効率的な操作再現が可能になる。
【００９６】
また、構成要素の抽出においては、旧画像を二値化した二値画像に含まれる白画素の塊の輪郭又は白画素で囲まれた領域の輪郭を抽出し、抽出された輪郭に対応する旧画像の部分画像を旧画像の構成要素として抽出し、新画像を二値化した二値画像に含まれる白画素の塊の輪郭又は白画素で囲まれた領域の輪郭を抽出し、抽出された輪郭に対応する新画像の部分画像を新画像の構成要素として抽出する。
【００９７】
また、あらかじめ生成された学習用の画像構成要素とその種別を含む属性情報を用いて第１の学習処理を行って学習情報を生成し、生成された学習情報を用いて旧画像の構成要素の種別を含む属性情報を生成するとともに新画像の構成要素の種別を含む属性情報を生成することができる。
【００９８】
さらに、具体的には、あらかじめ生成された学習用の画像構成要素とその種別を含む属性情報を用いた教師有り学習により得られる多層ニューラルネットワークからなる学習済モデルを学習情報として生成し、学習済モデルに旧画像の構成要素を入力することで旧画像の構成要素の種別を含む属性情報を生成し、学習済モデルに新画像の構成要素を入力することで新画像の構成要素の種別を含む属性情報を生成することができる。
【００９９】
また、学習情報と学習用の画像を用いて学習誤りを是正する第２の学習処理を行うことも可能である。
【０１００】
また、順序づけにおいては、抽出された旧画像の構成要素を所定の走査方向に沿って順序づけるとともに、新画像の構成要素を所定の走査方向に沿って順序づける。
【０１０１】
また、対応付けにおいては、順序づけされた複数の旧画像の構成要素と、順序づけされた複数の新画像の構成要素との間で、対応する相手が存在しない画像構成要素を除去することも可能である。
【０１０２】
なお、上記の実施例では、構成要素の種別を属性情報として用いる場合を例に説明を行ったが、属性情報には、構成要素に関する各種情報を含めることができる。例えば、形状やサイズを属性情報に含めてもよいし、右上座標と左下座標を含めることで位置とサイズを特定可能としてもよい。
【０１０３】
さらに、上記の実施例では、深層学習の学習済モデルを用いる場合を示したが、本発明はこれに限定されるものではなく、深層学習以外の機械学習の学習済モデルを用いることもできる。また、実施例では、プログラムとしての学習済モデルを用いた場合を示したが、本発明はこれに限定されるものではなく、ＦＰＧＡ等のハードウエア回路で実現することもできる。
【０１０４】
また、属性情報の生成は、学習済モデルを用いるものに限定されず、任意の方法で行うことが可能である。
【０１０５】
また、本実施例では、画面の対応付けを操作再現に利用する場合を例に説明を行ったが、本発明はこれに限定されるものではない、例えば、画面の対応付けを行い、その差異を示す出力を行えば、旧画像と新画像との違いを利用者に容易に確認させることができる。
【０１０６】
なお、上記の実施例で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【産業上の利用可能性】
【０１０７】
本発明の画面対応付け方法、情報処理装置、操作再現システム及び画面対応付けプログラムは、ＯＳ、アプリの種別を問わず、効率的な操作再現を可能とする場合に有用である。
【符号の説明】
【０１０８】
１０、１１０  ユーザ端末装置
１１、２１  通信部
１２、２２  表示部
１３、２３  入力部
１４、２４  記憶部
１４ａ  登録操作データ
１５、２５  制御部
１５ａ  操作登録部
１５ｂ  新画像取得部
１５ｃ  画像送信部
１５ｄ  操作再現部
２０  サーバ装置
２４ａ、１２４ａ  学習済モデルデータ
２５ａ、１２５ａ  構成要素抽出部
２５ｂ、１２５ｂ  属性情報生成部
２５ｃ、１２５ｃ  順序づけ処理部
２５ｄ、１２５ｄ  対応付け処理部
２５ｅ、１２５ｅ  操作補正部
２５ｆ  学習情報生成部
９１  ＣＰＵ
９２  ＲＯＭ
９３  ＲＡＭ
９４  不揮発性メモリ
９５  バス
【図１】
2020052628.tif 000003
【図２】
2020052628.tif 000004
【図３】
2020052628.tif 000005
【図４】
2020052628.tif 000006
【図５】
2020052628.tif 000007
【図６】
2020052628.tif 000008
【図７】
2020052628.tif 000009
【図８】
2020052628.tif 000010
【図９】
2020052628.tif 000011
【図１０】
2020052628.tif 000012
【図１１】
2020052628.tif 000013
【図１２】
2020052628.tif 000014
【図１３】
2020052628.tif 000015
【図１４】
2020052628.tif 000016
【手続補正書】
【提出日】令和1年10月18日(2019.10.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像との対応付けを行う情報処理装置における画面対応付け方法であって、
前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出工程と、
前記抽出工程により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成工程と、
前記生成工程により生成された前記第１画像構成要素の属性情報を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素の属性情報を前記所定のルールに基づいて順序づける順序づけ工程と、
前記順序づけ工程により順序づけられた前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け工程と
を含んだことを特徴とする画面対応付け方法。
【請求項２】
前記抽出工程は、
前記第１画像を二値化した二値画像に含まれる白画素の塊の輪郭又は白画素で囲まれた領域の輪郭を抽出し、抽出された輪郭に対応する前記第１画像の部分画像を第１画像構成要素として抽出し、前記第２画像を二値化した二値画像に含まれる白画素の塊の輪郭又は白画素で囲まれた領域の輪郭を抽出し、抽出された輪郭に対応する前記第２画像の部分画像を第２画像構成要素として抽出する
ことを特徴とする請求項１に記載の画面対応付け方法。
【請求項３】
あらかじめ生成された学習用の画像を構成する画像構成要素とその種別を含む属性情報を用いて第１の学習処理を行って学習情報を生成する学習情報生成工程をさらに含み、
前記生成工程は、
前記学習情報生成工程により生成された学習情報を用いて前記第１画像構成要素の種別を含む属性情報を生成し、前記学習情報を用いて前記第１画像構成要素の種別を含む属性情報を生成する
ことを特徴とする請求項１又は２に記載の画面対応付け方法。
【請求項４】
前記学習情報生成工程は、
あらかじめ生成された学習用の画像を構成する画像構成要素とその種別を含む属性情報を用いた教師有り学習により得られる多層ニューラルネットワークからなる学習済モデルを学習情報として生成し、
前記生成工程は、
前記学習済モデルに前記第１画像を入力して各第１画像構成要素の種別を含む属性情報を生成し、前記学習済モデルに前記第２画像を入力して各第２画像構成要素の種別を含む属性情報を生成する
ことを特徴とする請求項３に記載の画面対応付け方法。
【請求項５】
前記学習情報生成工程は、
前記学習情報と学習用の画像を用いて学習誤りを是正する第２の学習処理を行うことを特徴とする請求項３又は４に記載の画面対応付け方法。
【請求項６】
前記順序づけ工程は、
前記生成工程により生成された前記第１画像構成要素の属性情報を所定の走査方向に沿って順序づけるとともに、前記第２画像構成要素の属性情報を前記所定の走査方向に沿って順序づけることを特徴とする請求項１乃至５のいずれか一つに記載の画面対応付け方法。
【請求項７】
前記対応付け工程は、
前記順序づけ工程で順序づけられた複数の第１画像構成要素の属性情報と、前記順序づけ工程で順序づけられた複数の第２画像構成要素の属性情報との間で、対応する相手が存在しない画像構成要素の属性情報を除去することを特徴とする請求項１乃至６のいずれか一つに記載の画面対応付け方法。
【請求項８】
第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像との対応付けを行う情報処理装置であって、
前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出手段と、
前記抽出手段により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成手段と、
前記生成手段により生成された前記第１画像構成要素の属性情報を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素の属性情報を前記所定のルールに基づいて順序づける順序づけ手段と、
前記順序づけ手段により順序づけられた前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け手段と
を備えたことを特徴とする情報処理装置。
【請求項９】
利用者が操作する端末装置と、前記端末装置と通信可能に接続されたサーバ装置とを有し、前記サーバ装置から通知される情報に基づいて前記端末装置における人の操作を自動再現する操作再現システムであって、
前記端末装置は、
第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像とを前記サーバ装置に送信する画像送信手段と、
前記サーバ装置から受信した対応付け情報に基づいて操作位置を補正して、操作再現を行う操作再現手段と
を備え、
前記サーバ装置は、
前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出手段と、
前記抽出手段により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成手段と、
前記生成手段により生成された前記第１画像構成要素の属性情報を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素の属性情報を前記所定のルールに基づいて順序づける順序づけ手段と、
前記順序づけ手段により順序づけられた前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け手段と、
前記対応付け手段により対応付けが行われた前記第１画像構成要素及びその属性情報と前記第２画像構成要素及びその属性情報を対応付け情報として前記端末装置に送信する対応付け情報送信手段と
を備えたことを特徴とする操作再現システム。
【請求項１０】
第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像との対応付けを行う情報処理装置で実行する画面対応付けプログラムであって、
前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出手順と、
前記抽出手順により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成手順と、
前記生成手順により生成された前記第１画像構成要素の属性情報を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素の属性情報を前記所定のルールに基づいて順序づける順序づけ手順と、
前記順序づけ手順により順序づけられた前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け手順と
をコンピュータに実行させることを特徴とする画面対応付けプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記の課題を解決するため、本発明は、第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像との対応付けを行う情報処理装置における画面対応付け方法であって、前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出工程と、前記抽出工程により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成工程と、前記生成工程により生成された前記第１画像構成要素の属性情報を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素の属性情報を前記所定のルールに基づいて順序づける順序づけ工程と、前記順序づけ工程により順序づけられた前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け工程とを含んだことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、本発明は、上記の発明において、前記順序づけ工程は、前記生成工程により生成された前記第１画像構成要素の属性情報を所定の走査方向に沿って順序づけるとともに、前記第２画像構成要素の属性情報を前記所定の走査方向に沿って順序づけることを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明は、上記の発明において、前記対応付け工程は、前記順序づけ工程で順序づけられた複数の第１画像構成要素の属性情報と、前記順序づけ工程で順序づけられた複数の第２画像構成要素の属性情報との間で、対応する相手が存在しない画像構成要素の属性情報を除去することを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、本発明は、第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像との対応付けを行う情報処理装置であって、前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出手段と、前記抽出手段により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成手段と、前記生成手段により生成された前記第１画像構成要素の属性情報を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素の属性情報を前記所定のルールに基づいて順序づける順序づけ手段と、前記順序づけ手段により順序づけられた前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け手段とを備えたことを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明は、利用者が操作する端末装置と、前記端末装置と通信可能に接続されたサーバ装置とを有し、前記サーバ装置から通知される情報に基づいて前記端末装置における人の操作を自動再現する操作再現システムであって、前記端末装置は、第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像とを前記サーバ装置に送信する画像送信手段と、前記サーバ装置から受信した対応付け情報に基づいて操作位置を補正して、操作再現を行う操作再現手段とを備え、前記サーバ装置は、前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出手段と、前記抽出手段により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成手段と、前記生成手段により生成された前記第１画像構成要素の属性情報を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素の属性情報を前記所定のルールに基づいて順序づける順序づけ手段と、前記順序づけ手段により順序づけられた前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け手段と、前記対応付け手段により対応付けが行われた前記第１画像構成要素及びその属性情報と前記第２画像構成要素及びその属性情報を対応付け情報として前記端末装置に送信する対応付け情報送信手段とを備えたことを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、本発明は、第１の時点で所定の表示部に第１画面として表示された第１画像と、前記第１の時点と異なる第２の時点で前記所定の表示部に第２画面として表示された第２画像との対応付けを行う情報処理装置で実行する画面対応付けプログラムであって、前記第１画像の一部を形成する複数の第１画像構成要素、並びに、前記第２画像の一部を形成する複数の第２画像構成要素をそれぞれ抽出する抽出手順と、前記抽出手順により抽出された前記第１画像構成要素及び前記第２画像構成要素の種別を含む属性情報を生成する生成手順と、前記生成手順により生成された前記第１画像構成要素の属性情報を所定のルールに基づいて順序づけるとともに、前記第２画像構成要素の属性情報を前記所定のルールに基づいて順序づける順序づけ手順と、前記順序づけ手順により順序づけられた前記第１画像構成要素の属性情報及び前記第２画像構成要素の属性情報に基づいて、前記第１画像構成要素と前記第２画像構成要素との間の対応付けを行う対応付け手順とをコンピュータに実行させることを特徴とする。