質問: RPA ソフトの動作を確認する機会があり、 ソフトの特徴について勉強中です。 最大の特徴は (エクセルVBA であれば、セルを指定して動作する) RPA は、画像を認識し動作させると感じました。 具体的には 指定した画像を画面から探す ↓ 画像の座標を認識 ↓ 指定の座標で動作を指示(クリック) というような動きかなと思いました。 (間違っていたらすみません) ここで、 画面の中にある画像を探す が、 どのように行われているのか、知りたいのです。 今までになかった技術なのではないかなぁと思っています。 AI の画像認識とはまた違うように思います...
回答: RPAの始まりは90年代末です。 元々はウインドウが持つコントロール機能をスキャンして判定する方式が主でしたが、少なくとも10年以上前に画像的に認識する方式も登場しています。 古くからある画像認識には二つの方々があります。 一つは完全一致、もう一つは複数のベクトルからのヒストグラム比較です。 それと画像を指定する方式でも、画像だけでは不確実な面が生じるので、今時のRPAではそのウインドウを持つアプリを内部で判定して正誤判定に利用していると思います。