WinActorEye
シナリオ
作成マニュアルCopyright© 2023 NTT Advanced Technology Corp. All Rights Reserved.

目次
はじめに ...................................................................................................................... 1
1.1.

本書の位置づけと概要 ......................................................................................... 1

1.2.

ライセンス ........................................................................................................... 1

シナリオ作成チュートリアル...................................................................................... 2
2.1.

シナリオの構成と動作 ......................................................................................... 2

2.2.

シナリオの全体像................................................................................................. 4

2.3.

注意事項 ............................................................................................................... 5

2.4.

事前準備 ............................................................................................................... 5

2.5.

WinActorEye のヒストグラム探索用のマクロ作成 ............................................ 6

2.5.1.

チュートリアル画面のキャプチャ* .............................................................. 8

2.5.2.

登録マッチング画像の作成 ..........................................................................11

2.5.3.

登録画像マッチングの呼び出し*................................................................ 15

2.5.4.

ヒストグラム探索の呼び出し* ................................................................... 16

2.5.5.

矩形リソースから座標リソースへの変換* ................................................. 17

2.5.6.

動作確認 ...................................................................................................... 19

2.6.

WinActor のヒストグラム探索用のシナリオ作成 ............................................. 23

2.6.1.

処理の大枠を作成 ....................................................................................... 23

2.6.2.

ヒストグラム探索前処理サブルーチンの作成 ........................................... 31

2.6.3.

座標情報の取得・マウス操作のサブルーチンの作成................................. 33

2.6.4.

動作確認 ...................................................................................................... 45

2.7.

WinActorEye の OCR ツール用のマクロ作成 .................................................. 46

2.7.1.

チュートリアル画面のキャプチャ .............................................................. 46

2.7.2.

OCR ツールの呼び出し .............................................................................. 47

2.7.3.

矩形リソースから座標リソースへの変換 ................................................... 48

2.8.

WinActor ノートの OCR ツール用のマクロ作成 .............................................. 50

2.8.1.

画面をクリアし、クリップボードから貼り付け ........................................ 51

2.8.2.

文字からスペースを除去 ............................................................................ 53

2.8.3.

「登録」を検索 ........................................................................................... 54

2.9.

WinActor の OCR ツール用シナリオ作成 ......................................................... 57

2.9.1.

OCR ツール前処理サブルーチンの作成 ..................................................... 57

2.9.2.

動作確認 ...................................................................................................... 70

ライブラリ・プロパティの一覧 ................................................................................ 72
3.1.

Eye：マクロ読込み実行 .................................................................................... 72

3.2.

座標情報取得 ...................................................................................................... 72

3.3.

座標数取得 ......................................................................................................... 72

3.4.

座標情報の取得・マウス操作 ............................................................................ 73

3.5.

座標情報の取得・マウス操作（影無し） .......................................................... 74

3.6.

画像情報取得 ...................................................................................................... 74

3.7.

矩形情報取得 ...................................................................................................... 75

3.8.

矩形数取得 ......................................................................................................... 75

3.9.

Eye：ワークフォルダ設定 ................................................................................. 75

3.10.

全リソースクリア ........................................................................................... 76

3.11.

画像ファイル読み込み.................................................................................... 76

3.12.

OCR ツール .................................................................................................... 77

3.13.

バーコード・QR コード読取.......................................................................... 77

3.14.

バーコード作成............................................................................................... 78

3.15.

QR コード作成 ............................................................................................... 78

3.16.

画像ファイル書き出し.................................................................................... 79

3.17.

クリップボード書き出し ................................................................................ 79

3.18.

スナップショット ........................................................................................... 80

補足 ............................................................................................................................ 81
4.1.

参照資料 ............................................................................................................. 81

WinActorEye シナリオ作成マニュアル

はじめに
1.1.

本書の位置づけと概要
本書は WinActorEye と連携して動作するシナリオを作成するためのマニュアルです。
WinActorEye は、選択したフィルタ処理を行ったあとの結果を確認しながら、比較的単純な条件での画像マッチングを組み合わせることで、高い精度で目的となる画像を探すことができるツールです。WinActor のシナリオと組み合わせることで、目的の画像の座標情報に対して、マウス操作を行うことができます。
2 章では、サンプルファイル「Tutorial.html」を Microsoft Edge で開いた画面（以下、チュートリアル画面）の「登録」ボタンをクリックするシナリオを作成します。本チュー
トリアルを通じて WinActorEye の機能を体験することができます。
なお WinActorEye の使用方法については、それぞれ「4.1 参照資料」内の「表 4.1-1」の No.4 の資料を参照してください。

1.2.

ライセンス
本書において以下に記載された名称、およびその他記載されている会社名、製品名は、各社の登録商標または商標です。TM、®、©マークは省略しています。
・ Windows 、 Microsoft .NET Framework 、 Microsoft Edge は 、 米 国 Microsoft
Corporation の米国及びその他の国における登録商標または商標です。
* Windows の正式名称は、Microsoft Windows Operating System です。

1

WinActorEye シナリオ作成マニュアル

シナリオ作成チュートリアル
2.1.

シナリオの構成と動作作成するシナリオの構成と動作を以下に示します。
チュートリアル画面内の登録ボタン(図 2.1-1 の赤枠内)をクリックするシナリオを作成します。
シナリオ中の「サブルーチン前処理呼び出し」にて呼び出すサブルーチン名を変えることで、ヒストグラム探索と OCR ツールを使用した探索を切り替えるようにします。

図 2.1-1

チュートリアル画面

2

WinActorEye シナリオ作成マニュアル[作成するシナリオのファイル構成]
表 2.1-1 にあるファイルを WinActor が動作する PC の同じフォルダ内に作成します。
本チュートリアル内では、シナリオを格納するフォルダを「C:¥Eye サンプル」とします。

表 2.1-1 各種ファイルの説明
番号

ファイル名

説明

①

Eye ヒスト・OCR サンプ

本チュートリアルで作成する WinActor のシナ

ル.ums7リオです。ここでは WinActor Ver.7 でのシナリオを例とします。

②

ヒストグラム探索.json

本チュートリアルで作成する WinActorEye のマクロです。ヒストグラム探索を行い、チュー
トリアル画面中の登録ボタンを探索します。

③

MSOCR 実行.json

本チュートリアルで作成する WinActorEye のマクロです。OCR ツールを使用して、チュート
リアル画面中の文字列、座標情報を取得します。

④

登録を検索.json

本チュートリアルで作成する WinActor ノートのマクロです。OCR ツールの処理結果に、チュートリアル画面中の「登録」が存在するか否かを検索します。

⑤

登録マッチング画像.png

本チュートリアルで作成する画像ファイルです。番号②のマクロでは本画像をもとに、対象となるチュートリアル画面中から、「登録」ボタンの位置を探索します。

⑥

Tutorial.html

WinActor のドキュメントの中から左記ファイ
ルをあらかじめコピーしておいてください。

作成するシナリオでは、WinActor のノード、ユーザライブラリ、および WinActor ノートを使用しています。シナリオ中のノード、ユーザライブラリの内容については「4.1
参照資料」内の「表 4.1-1」の No.2,3 を、WinActor ノートの内容については「4.1 参照
資料」内の「表 4.1-1」の No.5,6 を参照してください。

3

WinActorEye シナリオ作成マニュアル

シナリオの全体像

2.2.

シナリオを作成するための全体像を以下に示します。
1.

WinActorEye のヒストグラム探索用のマクロ作成(2.5 章参照)
A) チュートリアル画面のキャプチャ
B) 登録マッチング画像の作成と呼び出しC) ヒストグラム探索の呼び出し
D) 矩形リソースから座標リソースへの変換

2.

WinActor のヒストグラム探索用のシナリオ作成(2.6 章参照)
A) 処理の大枠を作成
B) ヒストグラム探索前処理サブルーチンの作成
C) 座標情報の取得・マウス操作のサブルーチンの作成

3.

WinActorEye の OCR ツール用のマクロ作成(2.7、2.8 章参照)
A) チュートリアル画面のキャプチャ
B) OCR ツールの呼び出し
C) 矩形リソースから座標リソースへの変換
D) 画面をクリアし、クリップボードから貼り付け
E) 文字からスペースを除去F) 「登録」を検索

4.

WinActor の OCR ツール用シナリオ作成 (2.9 章参照)
A) OCR ツール前処理サブルーチンの作成

4

WinActorEye シナリオ作成マニュアル

2.3.

注意事項
本マニュアルの手順にしたがった場合においても、目的となる画像を探せない場合があります。その場合は、対象となるチュートリアル画面の大きさや表示フォント、または
WinActorEye の各マクロのパラメータを調整していただくようお願いします。

2.4.

事前準備
シナリオを作成する前にあらかじめ、サンプルファイル「Tutorial.htm」を Microsoft

Edge で開いてください。
手順については「4.1 参照資料」内の「表 4.1-1」の No.2 の資料を参照してください。

5

WinActorEye シナリオ作成マニュアル

WinActorEye のヒストグラム探索用のマクロ作成

2.5.

WinActorEye の操作については、「4.1 参照資料」内の「表 4.1-1」の No.4 の資料を参照してください。
節のタイトルに‘*’がある項目がマクロ記録の対象です。
WinActorEye を起動しておき、[表示]→[WinActorEye マクロ編集]を選択し、マクロ編
集画面を起動します。
マクロ編集画面にある「記録」アイコンをクリックし、マクロ記録を有効にします。(図2.5-1の赤枠①の状態が記録状態です。赤枠②のように記録状態でなければ赤枠のアイ

コンをクリックしてください。)

図 2.5-1

マクロ作成開始時点の WinActorEye①

6

WinActorEye シナリオ作成マニュアル

または、リソースエリアの「マクロ編集」のタブを選択し、マクロ編集画面を表示させ、マクロ編集画面にある「記録」アイコンをクリックします。
（図 2.5-2）

図 2.5-2

マクロ作成開始時点の WinActorEye②

7

WinActorEye シナリオ作成マニュアル

2.5.1. チュートリアル画面のキャプチャ*[入力]→[スナップショット]を選択し、「スナップショット」のプロパティ画面を表示します。

図 2.5-3

スナップショットメニュー選択

8

WinActorEye シナリオ作成マニュアル

図 2.5-4 の①をクリックし、チュートリアルの表示された Microsoft Edge をクリック
すると、②の内容が設定されます。その後、③ボタンをクリックします。
この後、図 2.5-1 の「WinActorEye マクロ編集」のマクロ編集画面にある「記録」ア
イコンをクリックし、マクロ記録を無効にします。

図 2.5-4「チュートリアル」ウィンドウの選択

9

WinActorEye シナリオ作成マニュアル

図 2.5-5 のように WinActorEye に「チュートリアル」ウィンドウの画面が表示されます。

図 2.5-5

WinActorEye 画面

10

WinActorEye シナリオ作成マニュアル

2.5.2. 登録マッチング画像の作成

登録ボタンを探す対象とするため、登録ボタンのマッチング画像を作成します。
WinActorEye の画面上で登録ボタンの左上でマウスの左ボタンを押し続け、登録ボタ
ンの右下までマウスを移動して、左ボタンから指を離します。この操作によって範囲を選択できます。

図 2.5-6

登録ボタンの範囲選択

11

WinActorEye シナリオ作成マニュアル[画像加工]→[トリム]を選択し、「トリム」のプロパティ画面を表示させます。
①で右端の ボタンを左クリックし、「チュートリアル - プロファイル - Microsoft
Edge」を選択します。②で「MAIN」を選択し、③に「登録」と入力します。最後に④の実行ボタンをクリックします。

図 2.5-7「トリム」ウィンドウ

12

WinActorEye シナリオ作成マニュアル[出力]→[画像書き出し]を選択し、「画像書き出し」のプロパティ画面を表示させます。
①で ボタンを左クリックし、「登録」を選択します。②で「ファイル参照」ボタンをクリックし、「保存」ウィンドウで「C:¥Eye サンプル」を選択、ファイル名に「登録マッチング画像」を入力して保存ボタンをクリックします。最後に③の実行ボタンをクリック
します。

13

WinActorEye シナリオ作成マニュアル

図 2.5-8

画像書き出し14

WinActorEye シナリオ作成マニュアル

2.5.3. 登録画像マッチングの呼び出し*

図 2.5-1 の「WinActorEye マクロ編集」のマクロ編集画面にある「記録」のアイコンをクリックして、マクロ記録を有効にします。
[入力]→[画像読み込み]を選択し、「画像読み込み」のプロパティ画面を表示します。
①で「ファイル参照」ボタンをクリックし、「C:¥Eye サンプル¥登録マッチング画像.png」
を選択します。
「ワークフォルダ変更をマクロに記録しない」にチェックを入れ(②)、③の実行ボタンをクリックします。

図 2.5-9

画像読み込み15

WinActorEye シナリオ作成マニュアル

2.5.4. ヒストグラム探索の呼び出し*[フィルタ]→[ヒストグラム探索]を選択し、「ヒストグラム探索」のプロパティ画面を表示します。
①②はそれぞれ ボタンを左クリックして、①は「チュートリアル - プロファイル Microsoft Edge」を、②は「登録マッチング画像.png」を選択します。③④は双方ともに「hist」を入力します。最後に⑤の実行ボタンをクリックします。これによって、「チュートリアル - プロファイル - Microsoft Edge」画像リソースから「登録マッチング画
像.png」の情報にしたがって、目的となる画像の場所を探し、④で指定した矩形リソースに情報が出力されます。

図 2.5-10

ヒストグラム探索

16

WinActorEye シナリオ作成マニュアル

2.5.5. 矩形リソースから座標リソースへの変換*

最後に目的となる画像の矩形リソースから座標リソースへ変換します。これにより目的となる画像の座標情報を得ることができます。
[フィルタ]→[矩形から座標を抽出]を選択し、「矩形から座標を抽出」のプロパティ画面を表示します。①で ボタンを左クリックし、「hist」を選択します。②は「座標リソース
出力」を入力します。最後に③の実行ボタンをクリックします。

図 2.5-11

矩形から座標を抽出

17

WinActorEye シナリオ作成マニュアル

作成したマクロを保存します。
①で「記録」アイコンをクリックし、②で「保存」アイコンをクリックし、作成したマクロを「C:¥Eye サンプル¥ヒストグラム探索.json」へ保存します。

図 2.5-12

マクロ保存

18

WinActorEye シナリオ作成マニュアル

2.5.6. 動作確認

ここまでに作成したマクロの動作を確認します。
[設定]→[全リソースクリア]をクリックすることで、WinActorEye を初期化します。

図 2.5-13

全リソースクリア

次に、保存したマクロを開きます。①で「開く」アイコンをクリックし、「C:¥Eye サン
プル¥ヒストグラム探索.json」を選択します。②で「すべて実行」アイコンをクリックし、マクロを実行します。

図 2.5-14

マクロを開く

19

WinActorEye シナリオ作成マニュアル

実行結果を確認します。「表示」→「画像リソース」を選択し、画像リソース画面を表示します。
画像リソース画面で No.1 を左クリックします。（図 2.5-15）

図 2.5-15

表示する画像リソースの選択①

20

WinActorEye シナリオ作成マニュアル

または、リソースエリアの「画像リソース」のリソースタブを選択し、画像リソース画面を表示させ、画像リソース画面で No.1 を左クリックします。（図 2.5-16）

図 2.5-16

表示する画像リソースの選択②

21

WinActorEye シナリオ作成マニュアル「WinActorEye」のウィンドウで登録ボタンに赤い丸が表示されていれば成功です。

図 2.5-17

期待する結果22

WinActorEye シナリオ作成マニュアル

2.6.

WinActor のヒストグラム探索用のシナリオ作成
2.5 で作成したマクロを実行するライブラリを配置し、チュートリアル画面の登録ボタ

ンをクリックするまでのシナリオを作成します。
2.6.1. 処理の大枠を作成

WinActorEye のマクロにより行う個別の処理を前処理のサブルーチン、WinActorEyeから得られた座標情報を元にマウスクリックする共通の処理を後処理のサブルーチンとして呼び出す処理の大枠を作成します。
安定した動作となるようにチュートリアル画面の位置、サイズを固定します。
ライブラリから「画面サイズ、位置設定」を配置してください。

図 2.6-1

画面サイズ、位置設定の配置

23

WinActorEye シナリオ作成マニュアル

下記表にしたがってプロパティの値を設定してください。
表 2.6-1

設定するプロパティ

項目

設定値

備考

ウィンドウ識別名

チュートリアル-プロファイ

図 2.6-2 の青枠のボタンをル-MicrosoftEdge

クリックし、チュートリア
ルの画面を選択して、設定
してください。

左上(x)

値⇒0

「値⇒」を選択してから「値

左上(y)

値⇒0

⇒」の後にプロパティ値を

横幅

値⇒555

入力してください。

縦幅

値⇒540

図 2.6-2

ウィンドウ識別名の設定

24

WinActorEye シナリオ作成マニュアル

この時点でいったんシナリオを保存します。
[ファイル]→[名前を付けて保存]で、保存先を「C:¥Eye サンプル」、ファイル名を「Eyeヒスト・OCR サンプル」としてシナリオを保存します。

図 2.6-3

シナリオの一時保存

25

WinActorEye シナリオ作成マニュアル

チュートリアル画面を前面に移動して、画面を WinActorEye でキャプチャできるよ
うにします。
ライブラリから「ウィンドウ前面化」を配置してください。

図 2.6-4

ウィンドウ前面化の配置

下記表にしたがってプロパティの値を設定してください。
表 2.6-2

設定するプロパティ

項目

設定値

備考

ウィンドウ識別名

チュートリアル-プロファイ

プルダウンから選択してくル-MicrosoftEdge

ださい。

26

WinActorEye シナリオ作成マニュアル

前処理のサブルーチンを呼び出すようにします。
ノードから「サブルーチン呼び出し」を配置してください。

図 2.6-5

サブルーチン呼び出しの配置

27

WinActorEye シナリオ作成マニュアル

前処理のサブルーチンの処理結果を判定できるように分岐グループを追加します。
ノードから「分岐」を配置してください。

図 2.6-6分岐の配置

28

WinActorEye シナリオ作成マニュアル

プロパティの「条件式設定」ボタンをクリックしたのち、下記表にしたがって条件式を設定してください。
表 2.6-3

設定する条件式

項目

左辺

比較演算子

右辺

設定値

処理結果

等しい

値⇒OK

備考

-

-

「値⇒」を選択してから「値⇒」の後にプロ
パティ値を入力して
ください。

29

WinActorEye シナリオ作成マニュアル

後処理のサブルーチンを呼び出すようにします。
ノードから「サブルーチン呼び出し」を配置してください。

図 2.6-7

サブルーチン呼び出しの配置

30

WinActorEye シナリオ作成マニュアル

2.6.2. ヒストグラム探索前処理サブルーチンの作成

ヒストグラム探索処理の固有の処理を前処理サブルーチンとして作成します。
ノードから「サブルーチングループ」を配置してください。

図 2.6-8

サブルーチングループの配置

下記表にしたがってプロパティの値を設定してください。

表 2.6-4

設定するプロパティ

項目

設定値

備考

名前

ヒストグラム探索前処理-

31

WinActorEye シナリオ作成マニュアル

ヒストグラム探索処理のマクロを読込み実行する処理を追加します。
ライブラリから「Eye：マクロ読込み実行」を配置してください。

図 2.6-9

Eye：マクロ読込み実行の配置

下記表にしたがってプロパティの値を設定してください。

表 2.6-5

設定するプロパティ

項目

設定値

備考

マクロファイル名値⇒ヒストグラム探索.json「値⇒」を選択してから「値⇒」の後にプロパティ値を入力してください。

32

WinActorEye シナリオ作成マニュアル

2.6.3. 座標情報の取得・マウス操作のサブルーチンの作成

WinActorEye から座標情報を取得し、マウス操作するまでの処理を後処理サブルーチ
ンとして作成します。
ノードから「サブルーチングループ」を配置してください。

図 2.6-10

サブルーチングループの配置

下記表にしたがってプロパティの値を設定してください。

表 2.6-6

設定するプロパティ

項目

設定値

備考

名前

座標情報の取得・マウス操

-

作

33

WinActorEye シナリオ作成マニュアル

ヒストグラム探索処理のマクロ実行後の座標情報を取得する処理を追加します。
ライブラリから「座標情報取得」を配置してください。

図 2.6-11

座標情報取得の配置

下記表にしたがってプロパティの値を設定してください。

表 2.6-7

設定するプロパティ

項目

設定値

備考

座標リソース名

座標リソース名-

インデックス

インデックス-x 座標格納先

x 座標-

y 座標格納先

y 座標

-

34

WinActorEye シナリオ作成マニュアル

チュートリアル画面の位置情報を取得する処理を追加します。
ライブラリから「画面サイズ、位置取得」を配置してください。

図 2.6-12

画面サイズ、位置取得の配置35

WinActorEye シナリオ作成マニュアル

下記表にしたがってプロパティの値を設定してください。

表 2.6-8

設定するプロパティ

項目

設定値

備考

ウィンドウ識別名

チュートリアル - プロファ

プルダウンから選択してく

イル - Microsoft Edge

ださい。

左上(x)

ウィンドウ位置 x

-

左上(y)

ウィンドウ位置 y

-

横幅

未使用 1

-

縦幅

未使用 2

-

36

WinActorEye シナリオ作成マニュアル

ヒストグラム探索処理のマクロ実行後の座標情報とチュートリアル画面の位置情報を
x 座標、y 座標それぞれに加算を行い、マウス操作を行う座標を計算します。
ノードから「四則演算」を 2 つ配置してください。

図 2.6-13

四則演算 2 つの配置

37

WinActorEye シナリオ作成マニュアル

下記表にしたがってプロパティの値を設定してください。

表 2.6-9

設定するプロパティ(1 つめの四則演算)

項目

設定値

備考

計算結果

x 座標

プルダウンから選択してく
ださい。

+の左側

x 座標

プルダウンから選択してく
ださい。

+

演算子

プルダウンから選択してく
ださい。

+の右側

ウィンドウ位置 x

プルダウンから選択してください。

表 2.6-10

設定するプロパティ(2 つめの四則演算)

項目

設定値

備考

計算結果

y 座標

プルダウンから選択してく
ださい。

+の左側

y 座標

プルダウンから選択してく
ださい。

演算子

+

プルダウンから選択してく
ださい。

+の右側

ウィンドウ位置 y

プルダウンから選択してく
ださい。

38

WinActorEye シナリオ作成マニュアル

得られた座標へマウスを移動する処理を追加します。
ライブラリから「マウス移動」を配置してください。

図 2.6-14

マウス移動の配置

39

WinActorEye シナリオ作成マニュアル

下記表にしたがってプロパティの値を設定してください。

表 2.6-11

設定するプロパティ

項目

設定値

備考

座標指定

絶対座標

プルダウンから選択してく
ださい。

x 座標

x 座標

プルダウンから選択してく
ださい。

y 座標

y 座標

プルダウンから選択してく
ださい。

40

WinActorEye シナリオ作成マニュアル

マウス移動後、左クリックする処理を追加します。
ライブラリから「マウス左クリック」を配置してください。

図 2.6-15

マウス左クリックの配置

下記表にしたがってプロパティの値を設定してください。

表 2.6-12

設定するプロパティ

項目

設定値

備考

マウス操作

左クリック

プルダウンから選択してください。

シナリオが動作するように設定を行います。
41

WinActorEye シナリオ作成マニュアル

WinActor のメニューから[表示]→[変数一覧]を選択し、「変数一覧」ウィンドウを表示します。
下記表に従って初期値を設定してください。

図 2.6-16

表 2.6-13

初期値の設定設定するプロパティ

変数名

初期値

備考

処理結果

OK

半角文字で入力して下さい。

座標リソース名

座標リソース出力-

インデックス0

半角文字で入力して下さい。

42

WinActorEye シナリオ作成マニュアル

図 2.6-5 で追加した「サブルーチン呼び出し」に対して、下記表にしたがってプロパテ
ィの値を設定してください。

表 2.6-14

設定するプロパティ

項目

設定値

備考

名前

サブルーチン前処理呼び出-

しサブルーチン名

ヒストグラム探索前処理

プルダウンから選択してください。

図 2.6-7 で追加した「サブルーチン呼び出し」に対して、下記表にしたがってプロパテ
ィの値を設定してください。

表 2.6-15

設定するプロパティ

項目

設定値

備考

名前

サブルーチン後処理呼び出-

しサブルーチン名

座標情報の取得・マウス操

プルダウンから選択してく

作

ださい。

43

WinActorEye シナリオ作成マニュアル

最終的なシナリオは以下のようになります。
作成したシナリオは上書き保存してください。

図 2.6-17

作成したシナリオ

図 2.6-18

上書き保存

44

WinActorEye シナリオ作成マニュアル

2.6.4. 動作確認

作成したシナリオを実行します。

図 2.6-19

シナリオ実行

成功すると、チュートリアル画面が以下のようになります。
うまく動作しない場合は、WinActorEye を起動して図 2.5-17 のようになっているかをご確認ください。

図 2.6-20

45

成功例

WinActorEye シナリオ作成マニュアル

2.7.

WinActorEye の OCR ツール用のマクロ作成
ここでは OCR ツールを使用して、チュートリアル画面から文字情報と座標情報を取得します。
2.5 にしたがって、WinActorEye を起動しておき、マクロ記録を有効にします。
2.7.1. チュートリアル画面のキャプチャ

2.5.1 にしたがって、チュートリアル画面のキャプチャを行います。

46

WinActorEye シナリオ作成マニュアル

2.7.2. OCR ツールの呼び出し[ツール]→[OCR ツール]を選択し、「OCR ツール」のプロパティ画面を表示します。
①は ボタンを左クリックして「チュートリアル - プロファイル - Microsoft Edge」
を選択し、②は「OCR」を入力します。最後に③の実行ボタンをクリックします。これによって、「チュートリアル - プロファイル - Microsoft Edge」画像リソースから、文字情報がクリップボードへ、②で指定した矩形リソースへ情報が出力されます。

図 2.7-1

OCR ツール

47

WinActorEye シナリオ作成マニュアル

2.7.3. 矩形リソースから座標リソースへの変換目的となる画像の矩形リソースから座標リソースへ変換します。これにより目的となる画像の座標情報を得ることができます。
[フィルタ]→[矩形から座標を抽出]を選択し、「矩形から座標を抽出」のプロパティ画面を表示します。①で ボタンを左クリックし、「OCR」を選択します。②は「座標リソー
ス出力」を入力します。最後に③の実行ボタンをクリックします。

図 2.7-2 矩形から座標を抽出

48

WinActorEye シナリオ作成マニュアル

作成したマクロを保存します。
①で「記録」アイコンをクリックし、マクロ記録を無効にし、②で、「保存」アイコンをクリックし、作成したマクロを「C:¥Eye サンプル¥MSOCR 実行.json」へ保存します。

図 2.7-3

マクロ保存

49

WinActorEye シナリオ作成マニュアル

2.8.

WinActor ノートの OCR ツール用のマクロ作成
2.7 で文字情報がクリップボードへ保持されるため、WinActor ノートでクリップボー

ドから目的の文字列を探すマクロを作成します。
なお WinActor ノートの使用方法については、「4.1 参照資料」内の「表 4.1-1」の No.5の資料を参照してください。
WinActor ノートを起動しておき、かつマクロ記録を有効にします(図の状態が記録状態。記録状態でなければ赤枠のアイコンをクリックしてください)。

図 2.8-1

マクロ作成開始時点の WinActor ノート

50

WinActorEye シナリオ作成マニュアル

2.8.1. 画面をクリアし、クリップボードから貼り付け

前回の実行時のログが WinActor ノートに残らないように[クリア]アイコンをクリック
して WinActor ノートの画面クリアを行います。

図 2.8-2

クリア「WinActorEye マクロ編集」のマクロ編集画面で、「すべて実行」アイコンをクリックします。

図 2.8-3

WinActorEye のマクロ実行

51

WinActorEye シナリオ作成マニュアル

WinActor ノートで[クリップボードから貼り付け ]アイコンをクリックすると、
WinActorEye の実行結果として得られた文字が貼り付けられます。

図 2.8-4

クリップボードから貼り付け

52

WinActorEye シナリオ作成マニュアル

2.8.2. 文字からスペースを除去

WinActor ノート上の文字から余分なスペースを除去します。
[編集]→[空白除去ツール]を選択し、「空白除去ツール」のプロパティ画面を表示します。
対象を全ブロックとして、「空白を除去」を選択し、実行ボタンをクリックします。

図 2.8-5

空白除去ツール

53

WinActorEye シナリオ作成マニュアル

2.8.3. 「登録」を検索「登録」の文字を WinActor ノートから検索します。
[ブロック抽出]→[ブロック検索ツール]を選択し、「ブロック検索ツール」のプロパティ
画面を表示します。
キーワードに「登録」を入力、「を含む」と「前方検索(カーソル移動)」を選択し、実行
ボタンをクリックします。

図 2.8-6

ブロック検索ツール

54

WinActorEye シナリオ作成マニュアル

実行ボタンをクリック後、「登録」の行にカーソルが移動します。

図 2.8-7

検索後の状態55

WinActorEye シナリオ作成マニュアル

作成したマクロを保存します。
①で「記録」アイコンをクリックすることでマクロ記録を無効にし、②で「保存」アイ
コンをクリックし、作成したマクロを「C:¥Eye サンプル¥登録を検索.json」へ保存します。

図 2.8-8

マクロの保存56

WinActorEye シナリオ作成マニュアル

WinActor の OCR ツール用シナリオ作成

2.9.

2.7、2.8 で作成したマクロを実行するライブラリを配置し、チュートリアル画面の登録
ボタンをクリックするまでのシナリオを作成します。
2.9.1. OCR ツール前処理サブルーチンの作成

OCR ツールの固有の処理を前処理サブルーチンとして作成します。
ノードから「サブルーチングループ」を配置してください。

図 2.9-1

サブルーチングループの配置

下記表にしたがってプロパティの値を設定してください。
表 2.9-1

設定するプロパティ

項目

設定値

備考

名前

OCR ツール前処理-

57

WinActorEye シナリオ作成マニュアル

2.7 で作成した WinActorEye のマクロを実行するライブラリを配置します。
ライブラリから「Eye：マクロ読込み実行」を配置してください。

図 2.9-2

Eye：マクロ読込み実行

下記表にしたがってプロパティの値を設定してください。

表 2.9-2

設定するプロパティ

項目

設定値

備考

マクロファイル名

値⇒MSOCR 実行.json「値⇒」を選択してから「値⇒」の後にプロパティ値を入力してください。

58

WinActorEye シナリオ作成マニュアル

MSOCR から得られた文字を確認できるよう WinActor ノートを編集モードで開きます。
ライブラリから「動作モード変更」を配置してください。

図 2.9-3

動作モード変更の配置

下記表にしたがってプロパティの値を設定してください。

表 2.9-3

設定するプロパティ

項目

設定値

備考

動作モード

編集

プルダウンから選択してく
ださい。

59

WinActorEye シナリオ作成マニュアル

2.8 で作成した WinActor ノートのマクロを実行するライブラリを配置します。
ライブラリから「ノート：マクロ読込み実行」を配置してください。

図 2.9-4

マクロ読込み実行の配置

下記表にしたがってプロパティの値を設定してください。

表 2.9-4

設定するプロパティ

項目

設定値

備考

マクロファイル名

値⇒登録を検索.json「値⇒」を選択してから「値⇒」の後にプロパティ値を入力してください。

60

WinActorEye シナリオ作成マニュアル

WinActor ノートでの「登録」の文字の検索結果として、カーソル位置を取得します。
ライブラリから「状態読み取り」を配置してください。

図 2.9-5

状態読み取りの配置

下記表にしたがってプロパティの値を設定してください。
表 2.9-5

設定するプロパティ

項目

設定値

備考

選択有無

未使用 1

プルダウンから選択してください。

カーソル位置

カーソル位置

-

ブロック数

未使用 2

プルダウンから選択してく
ださい。

MARK

未使用 3

-

EMPTY

未使用 4

-

TOP

未使用 5

-

EOT

EOT

-

61

WinActorEye シナリオ作成マニュアル

状態読み取りの実行から得られたカーソル位置をもとに、「登録」の文字が探せたか否かの判定処理を追加します。
ノードから「分岐」を追加します。

図 2.9-6分岐の配置

62

WinActorEye シナリオ作成マニュアル

プロパティの「条件式設定」ボタンをクリックしたのち、下記表にしたがって条件式を設定してください。

表 2.9-6

設定する条件式

項目

左辺

比較演算子

右辺

設定値

EOT

等しくない

値⇒true

備考

プルダウンから選-「値⇒」を選択してか択してください。

ら「値⇒」の後にプロパ
ティ値を入力してください。

63

WinActorEye シナリオ作成マニュアル

分岐の正常ルートにおいて、カーソル位置の情報から WinActorEye で使用する座標リ
ソースのインデックス番号に変換します。
ノードから「四則演算」を配置してください。

図 2.9-7

四則演算の配置64

WinActorEye シナリオ作成マニュアル

下記表にしたがってプロパティの値を設定してください。

表 2.9-7

設定するプロパティ

項目

設定値

備考

計算結果

インデックス

プルダウンから選択してく
ださい。

演算子

-

プルダウンから選択してく
ださい。

-の左側

カーソル位置

プルダウンから選択してく
ださい。

-の右側

値⇒1

「値⇒」を選択してから「値⇒」の後にプロパティ値を入力してください。

65

WinActorEye シナリオ作成マニュアル

分岐の異常ルートにおいて、OCR ツールで期待する文字が見つからなかった場合にメッセージを表示するようにします。
ノードから「待機ボックス」を配置してください。

図 2.9-8

待機ボックスの配置

下記表にしたがってプロパティの値を設定してください。

表 2.9-8

設定するプロパティ

項目

設定値

備考

最初の選択肢確認待ち(OK ボタンのみを-表示)
表示メッセージ

メッセージ-

メッセージの内容

検索対象とする文字が見つ-かりませんでした。

66

WinActorEye シナリオ作成マニュアル

分岐の異常ルートにおいて、サブルーチン後処理呼び出しが行われないようにします。
ノードから「変数値設定」を配置してください。

図 2.9-9

変数値設定の配置

下記表にしたがってプロパティの値を設定してください。

表 2.9-9

設定するプロパティ

項目

設定値

備考

変数名

処理結果

プルダウンから選択してく
ださい。

値

NG

半角文字で入力して下さい。

67

WinActorEye シナリオ作成マニュアル

サブルーチン前処理呼び出しで、OCR ツール前処理を呼び出すようにします。
図 2.6-5 で追加した「サブルーチン呼び出し」に対して、下記表にしたがってプロパテ
ィの値を設定してください。

表 2.9-10

設定するプロパティ

項目

設定値

備考

サブルーチン名OCR ツール前処理

プルダウンから選択してく
ださい。

68

WinActorEye シナリオ作成マニュアル

最終的なシナリオは以下のようになります。
作成したシナリオは上書き保存してください。

図 2.9-10

作成したシナリオ

図 2.9-11

上書き保存

69

WinActorEye シナリオ作成マニュアル

2.9.2. 動作確認

作成したシナリオを実行します。

図 2.9-12

シナリオ実行70

WinActorEye シナリオ作成マニュアル

成功すると、チュートリアル画面が以下のようになります。
うまく動作しない場合は、WinActorEye を起動して図 2.7-2 のように「登録」ボタンが赤枠で囲われているかをご確認ください。

図 2.9-13

71

成功例

WinActorEye シナリオ作成マニュアル

ライブラリ・プロパティの一覧
ここでは WinActorEye に関するユーザライブラリを紹介します。

Eye：マクロ読込み実行

3.1.

WinActorEye にマクロを読み込み、そのマクロを実行します。
プロパティ項目説明

マクロファイル名

読み込む元となるマクロファイルの名前を絶対パスか相対パスで指定します。相対パスで指定する場合、以下のフォルダからの相対パスになります。
ワークフォルダ設定済：ワークフォルダ。
ワークフォルダ未設定：現在実行しているシナリオが保存されているフォルダ。

座標情報取得3.2.

WinActorEye の座標リソースから、指定された座標リソース名の座標情報を取得します。
プロパティ項目説明

座標リソース名

座標情報を取得する座標リソース名を指定します。

インデックス

取得する座標情報から何番目の x 座標・y 座標を取得するかを指定します。
未入力の場合、先頭の x 座標・y 座標になります。
先頭の x 座標・y 座標のインデックスは 0 となります。

3.3.

x 座標格納先取得した x 座標を格納する変数を指定します。

y 座標格納先取得した y 座標を格納する変数を指定します。

座標数取得
WinActorEye の座標リソースから、指定された座標リソース名の座標数を取得します。
プロパティ項目説明

座標リソース名

座標情報を取得する座標リソース名を指定します。

座標数取得先取得した座標数を格納する変数を指定します。

72

WinActorEye シナリオ作成マニュアル

3.4.

座標情報の取得・マウス操作
指定した画面に対して、WinActorEye の座標情報を基に指定したマウス操作を実行します。
プロパティ項目

説明

ウィンドウ識別名

マウス操作を行いたいウィンドウを指定します。

座標リソース名

座標情報を取得する座標リソース名を指定します。

インデックス

指定した座標リソースの何番目の座標情報を取得するかを指定します。
未入力の場合、先頭の x 座標・y 座標になります。
先頭の x 座標・y 座標のインデックスは 0 となります。

x 座標格納先取得した x 座標を格納する変数を指定します。

y 座標格納先取得した y 座標を格納する変数を指定します。

マウス操作

マウス操作を指定します。

クリック間隔(ms)クリック間の待ち時間を指定します。
未設定、数字以外の文字、有効範囲外で入力された場合は待ち時間なしで実行します。
(範囲：0～int 型最大(2147483647))

73

WinActorEye シナリオ作成マニュアル

3.5.

座標情報の取得・マウス操作（影無し）
指定した画面に対して、WinActorEye の座標情報を基に指定したマウス操作を実行します。
※本ライブラリは、Windows の視覚効果である、「ウィンドウの下に影を表示する」で表示される影部分を除外した座標情報を使いマウス操作を実行します。
プロパティ項目

説明

ウィンドウ識別名

マウス操作を行いたいウィンドウを指定します。

座標リソース名

座標情報を取得する座標リソース名を指定します。

インデックス

指定した座標リソースの何番目の座標情報を取得するかを指定します。
未入力の場合、先頭の x 座標・y 座標になります。
先頭の x 座標・y 座標のインデックスは 0 となります。

x 座標格納先取得した x 座標を格納する変数を指定します。

y 座標格納先取得した y 座標を格納する変数を指定します。

マウス操作

マウス操作を指定します。

クリック間隔(ms)クリック間の待ち時間を指定します。
未設定、数字以外の文字、有効範囲外で入力された場合は待ち時間なしで実行します。
(範囲：0～int 型最大(2147483647))

3.6.

画像情報取得
指定した画像リソースの幅、高さ、画像タイプの情報を取得します。
プロパティ項目説明

画像リソース名

画像情報を取得する画像リソース名を指定します。

幅格納先取得した幅を格納する変数を指定します。

高さ格納先取得した高さを格納する変数を指定します。

画像タイプ格納先取得した画像タイプを格納する変数を指定します。

74

WinActorEye シナリオ作成マニュアル

3.7.

矩形情報取得
指定した矩形リソースの x 座標、y 座標、幅、高さ、角度の情報を取得します。
プロパティ項目説明

矩形リソース名

矩形情報を取得する矩形リソース名を指定します。

インデックス

指定した矩形リソースから何番目の矩形情報を取得するかを指定します。
未入力の場合、先頭の x 座標、y 座標、幅、高さ、角度になります。
先頭の矩形情報のインデックスは 0 となります。

3.8.

x 座標格納先取得した x 座標を格納する変数を指定します。

y 座標格納先取得した y 座標を格納する変数を指定します。

幅格納先取得した幅を格納する変数を指定します。

高さ格納先取得した高さを格納する変数を指定します。

角度格納先取得した画像タイプを格納する変数を指定します。

矩形数取得
指定した矩形リソースの矩形数を取得します。
プロパティ項目

3.9.

説明

矩形リソース名

矩形情報を取得する矩形リソース名を指定します。

矩形数格納先取得した矩形数を格納する変数を指定します。

Eye：ワークフォルダ設定
WinActorEye のワークフォルダを設定します。
プロパティ項目
フォルダ指定説明
ワークフォルダに設定するフォルダを「フォルダ名」(任意のフォルダ)、「シナリオフォルダ」から選択します。
「シナリオフォルダ」を選択した場合、現在実行している
シナリオが保存されているフォルダ(シナリオフォルダ)が指定
されます。

フォルダ名

ワークフォルダに設定するフォルダを絶対パスか相対パスで指定します。相対パスで指定する場合、シナリオフォルダが起点となります。
フォルダ指定の項目で「シナリオフォルダ」を選択した場
合、入力内容はシナリオフォルダに置き換わります。

75

WinActorEye シナリオ作成マニュアル

3.10.

全リソースクリア

WinActorEye の全リソース(画像リソース、矩形リソース、座標リソース、色リソース)をクリアします。

3.11.

画像ファイル読み込み

WinActorEye に画像ファイルを読み込ませます。
プロパティ項目
ファイル名

説明
読み込ませる画像ファイルの名前を絶対パスか相対パスで指定します。相対パスで指定する場合、以下のフォルダからの相対パスになります。
ワークフォルダ設定済：ワークフォルダ。
ワークフォルダ未設定：現在実行しているシナリオが保存されているフォルダ。

画像の選択有無

読み込んだ画像を選択状態にするか指定します。
「選択状態にする」を選択した場合、本プロパティ項目の「画像リソー
ス名」で指定された画像リソースが WinActorEye 上で選択状態になります。

画像リソース名

画像情報を登録する画像リソース名を指定します。省略した場合、「ファイル名」で指定した画像ファイル名が画像リソ
ース名となります。

76

WinActorEye シナリオ作成マニュアル

OCR ツール

3.12.

OCR ツールを使用して、画像から文字を読み取ります。
プロパティ項目説明

OCR 選択使用する OCR を指定します

画像リソース名

入力する画像リソース名を指定します。

画像タイプの自動画像タイプ(ビット深度)の自動調整を指定します。

調整
言語

OCR で出力する文字の言語を指定します。

文字抽出単位OCR の文字抽出単位を指定します。

出力矩形リソース

出力する矩形リソース名を指定します。

名省略された場合、WinActorEye の矩形リソース画面で選択されている矩形リソースに上書きします。

文字データ出力先読み取った文字列の格納先を指定します。

タイムアウト(ms)タイムアウト値を設定します。
未設定の場合、10,000 ミリ秒となります。

3.13.

バーコード・QR コード読取

バーコードツールを使用して、画像から文字を読み取ります。
プロパティ項目説明

画像リソース名

入力する画像リソース名を指定します。

文字データ出力先読み取った文字列の格納先を指定します。

タイムアウト(ms)タイムアウト値を設定します。
未設定の場合、10,000 ミリ秒となります。

77

WinActorEye シナリオ作成マニュアル

3.14.

バーコード作成

バーコードツールを使用して、文字からバーコードを作成します。
プロパティ項目

説明

種類

バーコードの種類を指定します。

チェックデジット

チェックデジットを自動計算し置き換える機能を使用するを自動計算か指定します。
EAN-8、EAN-13 を指定した場合、使用します。

データ

作成するバーコードのデータを指定します。

画像リソース名

出力する画像リソース名を指定します。

タイムアウト(ms)タイムアウト値を設定します。
未設定の場合、10,000 ミリ秒となります。

3.15.

QR コード作成

バーコードツールを使用して、文字から QR コードを作成します。
プロパティ項目説明

誤り訂正レベル

誤り訂正レベルを指定します。

文字コード生成される QR コードの文字コードを指定します。

データ作成する QR コードのデータを指定します。

画像リソース名

出力する画像リソース名を指定します。

タイムアウト(ms)タイムアウト値を設定します。
未設定の場合、10,000 ミリ秒となります。

78

WinActorEye シナリオ作成マニュアル

3.16.

画像ファイル書き出し

WinActorEye の画像リソースをファイルへ書き出します。
プロパティ項目説明

画像リソース名

出力する画像リソース名を指定します。

画像フォーマット

出力するファイル形式を選択します。

ファイル名

出力する画像ファイルを絶対パスか相対パスで指定します。
※ファイル名を相対パスで指定した場合の起点フォルダは以下の通りです。
1. ワークフォルダ設定済：ワークフォルダ
2. ワークフォルダ未設定：開いているシナリオが保存されているフォルダ3. シナリオ未保存：実行中の WinActor.exe が存在している
フォルダ

画像タイプの自動画像タイプ(ビット深度)の自動調整を指定します。

調整

3.17.

クリップボード書き出し

WinActorEye の画像リソースをクリップボードへ書き出します。
プロパティ項目説明

画像リソース名

出力する画像リソース名を指定します。

画像タイプの自動画像タイプ(ビット深度)の自動調整を指定します。

調整79

WinActorEye シナリオ作成マニュアル

3.18.

スナップショット

ウィンドウをクリック指定して、WinActorEye に画像を読み込みます。
プロパティ項目

説明

ウィンドウ識別名

対象とするアプリケーションウィンドウをクリックで指定します。

画像リソース名

出力先の画像リソース名を指定します。

画像の選択有無

読み込んだ画像を選択状態にするか指定します。
「選択状態にする」を選択した場合、本プロパティ項目の「画像リソー
ス名」で指定された画像リソースが WinActorEye 上で選択状態になります。

ドロップシャドウ
の有無

画像データを読み込む際にドロップシャドウを含まない場
合に指定します。

80

WinActorEye シナリオ作成マニュアル

補足
参照資料

4.1.

本マニュアル中にて参照する資料について表 4.1-1 に示します。

表 4.1-1 参照資料
No.

資料名

1

Tutorial.html

2

WinActor 操作マニュアル

3

WinActor ユーザライブラリサンプル説明書

4

WinActorEye 操作マニュアル

5

WinActor ノート 操作マニュアル

6

WinActor ノート テキスト処理シナリオ作成マニュアル

81

WinActorEye
シナリオ作成マニュアル

Copyright© 2023 NTT Advanced Technology Corp. All Rights Reserved.
本書は著作権法上の保護を受けています。本書の一部あるいは全部を無断で複写、複製することは禁じられています。
本マニュアルの内容は予告なく変更される場合があります。

WA7-S-20221111