【UiPath】新しいモデル学習体験「Active Learning」 - トレーニング編

# はじめに

- 本記事では、新しいモデル学習体験「Active Learning」のトレーニングについて、手元動作から確認した現行仕様などを紹介します。
- 記事の内容は、個人の見解または確認結果であり、UiPath の公式見解ではありません。
- 製品仕様や参考画像は 2024年6月10日頃～30日時点のもので構成しています。

# 以前に書いたアクティブラーニングの記事

アクティブラーニング何それ？の方は次の記事からお読みください。

https://qiita.com/Kajiita/items/d39497c99afa8a3c7f97

https://qiita.com/Kajiita/items/f0f960aaf244b3aee9a8

# アクティブラーニングのトレーニング

アクティブラーニングは2024年4月29日に一般提供（GA）されました。
一般提供されて1か月程度しか経っていないため、本記事を書いている最中にも
***トレーニング後に「トレーニング開始前」のステータス表示に戻ってしまう事象の解消など確認しています。（6/22～23あたりで修正が入っています。）***

::: note warn
これ以降に記載する動作は、随時機能改善や修正パッチがあたることで変わります。
あくまでも現在利用中で？がつく挙動を確認した際の参考までにお役立てください。
:::

## ポイント1. 「利用可能」とは、デジタル化＞分類＞抽出が終わった状態である

（構築画面の一覧の「利用可能」ステータス）
![財務諸表34.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/31ee1a88-ad79-d63a-5345-9447583d45a7.jpeg)

アノテーション（要はラベリング）作業をおこなう画面（下図（クラシックプロジェクトでいうDocument Manager））が1，2秒ですぐ表示されるのは、構築画面の一覧上で「利用可能」となっているドキュメントは抽出処理まで済んでいるため。

![財務諸表35.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/b054a968-f241-1282-339f-e98b0f068d5d.jpeg)

クラシックプロジェクトでは、そもそもドキュメント種類毎にデータをインポートするので、「分類」工程はなく、「インポート」ボタンが「デジタル化」に、「予測」ボタンが「抽出」工程に対応します。

![財務諸表36.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/8e8729b7-19c3-0d76-321d-0f848dd6b14d.jpeg)

::: note
モダンでは「抽出」工程が分離していないため、***フィールドを追加・編集・削除した場合には、構築画面のドキュメントアップロードから再度おこなう必要があります。***
➢　ドキュメントをアップロードする前に、ドキュメント種類マネジャーでフィールドや利用予定のベースモデル等が正しい状態か確認しましょう！
:::

## ポイント2. トレーニングはいつ開始する？

すべての項目のアノテーションが完了すると「確認」ボタンは灰色（非活性）になりますが、トレーニング自体は***1つ以上のフィールドが新規でラベリング***されると開始する様です。

![財務諸表38.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/06e68932-9c8f-1e47-8a60-8e579d18880d.jpeg)

アノテーション作業が途中の状態でトレーニングが開始している証跡↓↓

![財務諸表37.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/f9b7e0b9-5eb4-50cf-41ae-ce267367a71b.jpeg)

なお、AI Center の様にパイプラインのレポートが見れないため、正確な時間は不明ですが
トレーニングには***30分程度***かかっている様にみえます。
（トレーニングデータセット：100枚前後の実績）

## ポイント3. カスタムモデルのマニュアル作成は非対応？

![財務諸表27.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/5c1a5222-2fbc-b9de-c491-a32d8e94a2a8.jpeg)

***「ドキュメント種類を追加」のリンクより、カスタムモデルの登録はできるものの、マニュアルでフィールド追加・定義したドキュメントはスコアが計算されません。***

![財務諸表29.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/3c1ed63f-7fdb-7b50-f459-7ed4a842e59d.jpeg)

 ↓↓↓
 
![財務諸表29-2.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/80ad3077-c2b9-be14-5bc8-794c2b2cab28.jpeg)

::: note warn
カスタムモデルのプロジェクト画面に遷移した際に、次のエラーメッセージが表示されるのを確認しています。このため、現時点ではマニュアル作成したカスタムモデルは利用できない可能性あり。(Document Type is invalid)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/a7d5c845-1126-598e-361f-7e69a644efa5.png)
:::

::: note
なお、フィールドを1から追加するのではなく、***既存モデルに付随するフィールドの名称を変更するかたち***でカスタムフィールドを用意した場合はスコア算出されます！

![財務諸表40.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/35f09136-a506-8acc-65b5-06d3689910f1.jpeg)
![財務諸表41.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/841c9885-1327-da0a-2a5b-869aaa9a0c34.jpeg)
:::

## ポイント4. 10枚以下の異なるレイアウトを複数含む場合、スコアが下がる

クラシックプロジェクトの頃から、およそ***1レイアウトにつき30ページ程度***の学習が必要と表示されますが、アクティブラーニングでも同様のメッセージが画面右側の推奨事項に表示されます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/40812611-be86-51c5-dd17-c88567cd51a3.png)

30ページというのはあくまで目安のため、手元で作成した同一レイアウトの帳票25ページ（30ページ未満）の学習でも精度は100%にはなります。

![財務諸表46.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/2353111f-b237-df2e-9d11-e781e6626167.jpeg)

注意すべきは学習対象のレイアウトの種類とそのボリュームです。

![財務諸表24_10ファイル学習後の状態.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/fa594571-666f-9e7c-04f6-31c1d02eec6a.jpeg)
![財務諸表24_10ファイル学習後の状態2.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/761a0c1a-6f18-0fb2-c9be-3a1774d20920.jpeg)

こちらは以下のレイアウト種類とボリュームの結果です↓↓
レイアウト➀：13枚
レイアウト➁：4枚
レイアウト➂：4枚

***先の25枚は同一レイアウトのため100%でしたが、10枚以下の少量のレイアウトが混ざることで80%前後まで精度が落ちています。***

レイアウト➀を10枚程度、他のレイアウト（➁や➂以外）を増やして再トレーニングするも、精度は上がらないだけでなく、70%前後まで落ちてしまいます。

![財務諸表31.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/2420aeb4-0ce9-b050-3a46-3629738a9074.jpeg)

レイアウトの割合は変えず、データセットを追加します。※➀番のみ30ページ越えで、他は10枚前後
→　結果は、精度低下。50%前後まで落ちます。

![財務諸表32.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/fc2cb938-0b96-72c7-9448-860f530e94e3.jpeg)

今度は、➀番以外のレイアウト（➃番）を10枚以上追加します。
→　結果は、***精度向上***。60%前後まで回復します。

![財務諸表33.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/c60241e2-36b4-ea90-e5ac-05c46187d0eb.jpeg)

同様にレイアウトの割合とボリュームを意識して追加投入することで70%前後まで回復しました。

![財務諸表45.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/191f972a-5e7c-e937-59c4-b24c65ab32a6.jpeg)

精度100%を目指したいものの、個人でラベリング調査するのは100枚くらいが限界(＠_＠;)
実際に稼働している請求書（日本語）モデルのトレーニングデータセットは1000枚を余裕で超すと聞いているので、バックオフィス業務にDUを導入する際は結構な量のアノテーションが必要となります。

## ポイント5. 「デプロイ済み」にするのをお忘れなく！

![財務諸表49.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/2129ee4e-8fec-5afc-02b1-5523e506da12.jpeg)

パブリッシュ画面でプロジェクトのバージョンを作成して、デプロイ済みと勘違いしてしまった経験はないでしょうか。
***「デプロイ済み」欄のトグルを有効化しないままでも、Studio上ではモデルを選択できます。***

::: note warn
デプロイが済んでいない場合は次のエラーメッセージがStudio上に表示されます。
(選択した抽出器は利用できません。ステータスは「ExportCompleted」です。)

![財務諸表47_未デプロイ.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3301444/1f51b5bf-b026-fcdd-ad28-0feef4ad498a.jpeg)
:::

# さいごに

いかがでしたでしょうか。
既存モデルを利用するケースについては、トレーニングデータセットのレイアウトの割合やボリュームをケアするだけで十分利用できそうです。（※あくまで日本語請求書モデルの抽出結果だけからコメントしています。）
機能非対応にみえる、カスタムモデルの作成や、カスタムフィールドの学習は、今後のアクティブラーニングの進化を待ちましょう！
最後までお読みいただきありがとうございます(・ω・)ノ