【UiPath】【v24.10】統合ターゲットの Computer Vision が凄い気がする(＠_＠;)

# はじめに

- 本記事は、v23.10でリリースされた***統合ターゲットの Computer Vision*** の挙動を確認した際のメモです。
- 記事の内容は、個人の見解または確認結果であり、UiPath の公式見解ではありません。
- 製品仕様や参考画像は 24.10 バージョンのもので構成しています。

# 統合ターゲットの Computer Vision とは？

![新しいCV.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/6bd20362-c084-18e8-5dab-88b42e94b3e6.jpeg)

↑上図の様に、標準のUIAアクティビティでターゲットを指定する際に出てくるこのダイアログのこととおもってください。
このダイアログの右上の半導体みたいなアイコンを押すと Computer Vision が使えます。（詳細は以下のガイドを参照）

https://docs.uipath.com/ja/activities/other/latest/ui-automation/release-notes-uipath-uiautomation-activities-v23-10#computer-vision

この機能の正しい使い方は UiPath MVP の Jun様が投稿されている以下の記事を参考にしてください。（本記事はわたしが気になった点のメモでしかないです）

https://qiita.com/Jun96427231/items/4012cb86fd6012a460e9

## これだけは知っておいて！

製品側の仕様としてちょっとわかりづらく、利用者の方が損しそうなポイントだけ先に書いておきます↓↓

### 従来のCVアクティビティ同様に、OCRエンジンは変更できます！ただし、導線は「アプリケーション／ブラウザーを使用」のハンバーガーボタンからです。
![新しいCVではアプリケーションブラウザを使用でOCRの変更が可能.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/c3330322-7dea-3d32-6816-625e369b5c15.jpeg)

### Extended Language OCR はまだ使えなさそう（2024年11月14日 時点）
![新しいCVではCJKOCR.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/82db2e01-b3a6-3c22-ca85-d284a40a1783.jpeg)
CJK-OCRはちゃんと使えます。上図右下に「ファイル(F)」と表示されています。

### CVアクティビティ時代からそうですが、エンドポイントは忘れずに指定しましょう！
![新しいCVではCJKOCR2.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/5e8ba244-c763-8682-8f90-6ccc913cb51c.jpeg)

### STXだと既定のプロジェクト設定でオブジェクトリポジトリへの自動追加が有効のため、無効にしないとセレクタのチューニングができない
![STXではオブジェクトリポジトリに自動追加がスタンダードになった模様.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/ea82a4ff-4bf7-f0c8-7e52-b98296c126da.jpeg)
STでは同設定でもオブジェクトリポジトリとのリンクを解除すればチューニング可能です。

# なんか凄くないか？(＠_＠;) っておもった集
## 【凄➀】部分一致でもちゃんと拾う
![部分一致でもちゃんと拾う1.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/597f1308-49ef-a2f0-6af8-7f162d72083b.jpeg)

メモ帳の「ファイル(F)」でセレクタ取得して、CVテキストを変数化し、「表示(V)」ではなく、***「表 (V)」でテスト　➢　結果：〇***（ちゃんと「表示(V)」が押下される）

![部分一致でもちゃんと拾う2.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/f303275b-4827-4762-af1e-b72b453d3a64.jpeg)
![部分一致でもちゃんと拾う3.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/92f5e05b-eb24-df8a-729c-2129475ded5a.jpeg)

::: note
💡「*」ワイルドカードを使わなくても部分一致判定される
:::
::: note warn
✔ 「フ」の一文字でも「ファイル(F)」ボタンは押下された。　←　これは流石に一致率の閾値が緩すぎる気はする（汗）

✔ 「(V)」で実行したら次の様に類似要素が複数見つかった、のエラー　←　スコープ内での一意判定はおこなっていそう
![部分一致でもちゃんと拾う4.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/ac281d67-d0ee-d654-351e-2ada8630771b.jpeg)
:::

## 【凄➁】折り返しもなんのその
![折り返しが発生していても押せる.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/a7fe7e16-bb62-0286-94c9-721963534f73.jpeg)

例外テストで***画面サイズを変えておいて実行しましたが、ちゃんとクリックしました！***（検索文字（変数）には「ヘルプ」と入力しています。）

## 【凄➂】表示が確認できれば、出現位置は変わっても問題ない
![出現位置が変わっても無問題.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/46dd1c51-6472-fb36-5a96-b1b228a529c0.jpeg)

***PC画面の左中央でメモ帳を開いていましたが、右中央に移してから実行テスト　➢　結果：〇（ちゃんと「ヘルプ(H)」が押下されました）***

::: note
💡対象項目が表示されていないケースではちゃんとエラーになります。
![表示されていないと落ちる.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/0bff3077-ab19-155b-73ed-9e9db7798d55.jpeg)
:::

## 【凄➃】Googleマップで地図移動までできてしまう
![ドラッグアンドドロップで地図移動までできてしまった.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/a1a86a26-18a5-fb8f-4356-2036b938428e.jpeg)

***「ドラッグ アンド ドロップ」アクティビティ ×　Computer Vision で地図移動もできました！***

（実行前）
![地図移動1.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/9aac3443-ef02-a046-13e7-45242a70e1db.jpeg)
（実行後）
![地図移動2.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/ae07aa66-aaac-269c-2c1a-05b98ba32815.jpeg)

# さいごに
いかがでしたでしょうか。
Xaml内に座標情報は保持しているものの、プロパティには表示されない＝実質ＣＶテキストの内容以外はセレクタ上で編集するものがないシンプルな仕様にもかかわらずこのパフォーマンスは凄いとおもいます(＠_＠;)

![座標は持つ.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/3c3836aa-24b2-1dfe-e3db-87b01009fcf4.jpeg)

これまで、リモートデスクトップアプリの自動化する、かつ、リモートランタイムで操作できないときに使うものって頭でしたが認識あらためます。
積極的に利用して、安定するようだったらスタンダードにしていこうかなとすらおもいました。
最後までお読みいただきありがとうございます(・ω・)ノ