市民開発におけるAIの活用～AI Builderで効率化

# はじめに
最近は身近なところでもたくさんのAI技術が導入され、仕事はもちろん、私生活までもが劇的に変化してきました🧠この便利で賢いAIを業務で活用したいと思うようになりましたが、AIモデルを作成するとか…なんか難しそうと感じていました。

そんな私が、今回Microsoft「AI Builder」を活用し、小規模ながらも社内の業務改善に取り組むことができましたので、その内容を簡単にブログ記事として紹介させていただきます🙇

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2953195/e37ed9cd-0de0-4816-9263-26d689a78e78.png)

# AI技術の進歩スゴッ！🧠✨
最近のAI技術の進歩は目覚ましいものがありますね。 まるで人と対話しているかのように、質問や相談ができるようになりました。私も日常的に会話型AIに文章の作成をお願いしたり、キーワード抽出、サンプルデータ作成、関数式の相談、イラスト生成など、多岐にわたる作業でたいぶ助けてもらっています🙇

※素敵なイラストもお手軽
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2953195/a621eddc-ad67-cc45-6edc-73afc4a54d29.jpeg" width=50%>

※イラスト生成によって爆誕したクソゲー「パワー・オブ・ザ・デッド」。
　コントローラー以外はほぼCopilotにおまかせ。友人から笑いが取れた。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2953195/df71773e-4c04-dda4-52d1-0584bbe95507.png" width=60%>

# 組織内の業務にAIを利用したいと思った。けど…🤔
AIについては、これまでは会話型AIを中心に個人的な利用でとどまっていました。この便利で賢いAIをもっと活用したい、特に**組織内の業務**に活用できないかと考えるようになりました。ただ、個人で使う分には手軽なAIも、開発経験がない私にとって組織の業務に組み込むことを考えると、ハードルが高いなと感じました。

# 業務改善活動をきっかけに前進💪
今年に入り、業務の工程改善と効率化を推進するプロジェクトチームのメンバーに選ばれました。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2953195/0381d365-e876-c5d6-1887-5e296009b8de.png" width=30%>

Power Automateを活用したプロセスの自動化を担当し、複数の業務の自動化に取り組んできました。対象となる業務は、主にデータの入力、登録や出力作業といった反復した作業が中心でしたが、中にはイメージ形式の注文書などを扱う業務も存在しました。

# AI Builderを使ったドキュメント処理の自動化🤖
テキストベースの情報であれば、何かしらの方法で情報の抽出は可能ですが、イメージベースとなるとそのほとんどは担当者が手作業でExcelに入力を行う、システムに登録するといった状況となり、非常に手間と時間がかかっていました。

そのため、画像の注文書（PDF）からドキュメント情報を抽出するために、AI Builderの「ドキュメント処理」を使用してみることにしました。

AI Builderは事前構築済みのAIモデルを使用することもできますが、カスタムのAIモデルを作成することも可能です。**「AIモデルを作成する」** と聞くと一見難しそうに感じますが、実際に今回作成したAIモデルは一切コードを書かずに作成することができました。

コードを書かないというのは市民開発ではとてもありがたい！



# AI Builder導入の対象となった業務📄➡️💻
対象となる業務の工程。

<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2953195/c3f67618-ff3b-b726-fd17-19127a0da7d6.png" width=50%>

**①注文書をメールで受信**
得意先様から注文書（イメージベースPDF）をメールで受信

**②注文書を保存**
担当者がそのメールを確認し、添付ファイルを指定のフォルダに保存

**③注文書内容の入力と加工**
注文書の内容をExcelに入力し、システムへ登録できるフォーマットに加工

**④社内システムへ登録**
入力・加工したデータを社内システムに登録

これらの工程のほとんどはPower Automateで自動化が可能ですが、イメージベースPDFからドキュメント情報を抽出する課題だけが残ってました。この課題をAI Builderを使って解決🧠

# AI Builderを組み込んでみる🛠️
下記はAI Bulder導入後の業務シナリオ

![スライド1.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2953195/d80cfc5e-7446-d861-243c-ef5ec541a457.jpeg)

1. メールの受信を検知📥
1. メールに添付されている注文書データをSharePointに保存📂
1. 保存した注文書データからAI Builderで作成したカスタムモデルにてドキュメント抽出📄➡️🤖
1. 抽出したドキュメントをExcelでテーブルリスト化📊
1. 作成したExcelのテーブル情報をもとに加工用のExcel Power Queryでデータ加工🔧
1. 加工した情報をCSVファイルで保存💾
1. 保存したCSVファイルをシステム登録（インポート）🖥️
※1～4：Power Automateクラウドフロー　※5～7：Power Automateデスクトップフロー


「３」の工程にAI Builderを組み込むことで、一連の工程を自動的に処理するフローを作成することができました。

# ドキュメント処理の内容📄
今回の対象となった注文書のレイアウトは下記のようなイメージ。

<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2953195/1ce247a9-cd19-db38-3788-71777bb91ee5.jpeg" width=50%>

本来はもう少し細かい情報が入っているのですが、概ねこんな感じです。

赤枠の部分をAI Builderに抽出してもらいました🤖ﾉｳｷｶﾞﾀｲﾄﾔﾈﾝ！

このフォーマットでしたら、本当にシンプルにモデルが作成できます。
テーブル型で情報が取得できると、後続処理でもとても扱いやすい🤖

<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2953195/58c8d39a-e3f2-aa05-81bf-4614867f6c76.png" width=50%>

あとは、過去の注文書などトレーニング用に準備したドキュメントへこれらをタグ付けし、トレーニングをさせて完了です🤖ｶﾝﾀﾝ！

<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2953195/f37f8f64-918a-a2cb-7f9c-4b988ed0ef00.png" width=80%>

精度スコアも表示されるので、精度が低い場合はより多くのデータを使ってAIモデルに学習させると、精度が向上し、より正確に情報を抽出できるようになるようです。

<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2953195/ea27bd18-0887-d43c-eeb9-6408cd44621e.png" width=50%>

# AI Builder導入の効果🎉
**作業時間の大幅短縮** 手作業で行っていたデータ入力や加工の工程が自動化され、作業時間が大幅に短縮されました。これにより、担当者は単純作業から解放され、より重要な業務に集中できる時間が増えました。

**ヒューマンエラーの削減** 手作業によるデータ入力ミスが減り、データの正確性が向上しました。また、Power Automateによるメールの自動処理で確認漏れが防止され、後続業務への引き渡しがスムーズになりました。

**業務プロセスの標準化** AI BuilderとPower Automateで効率化を図ることで、担当者ごとに異なっていた作業工程が見直されました。それにより、工程の一貫性が確保され、標準化に繋がりました。

# 導入後のフィードバック📢
導入後、担当者からは以下のようなフィードバックがありました。

**担当者Aさんの声：「以前は毎日発生していたデータ入力作業が、数分で完了するようになりました。メールを待つストレスや入力ミスも減り、他の業務に時間を割けるようになり、とても助かっています！」**

本当にそうですね。
メールの受信確認やファイルの取り扱い、データ入力は、どれも時間や手間がかかる上に、ミスやストレスの原因になりがち。AIや自動化ツールを活用することで、こうした単純作業を効率化し、より重要な業務に集中できるようのは大きなメリット。

ちなみに、導入後一度だけ私がポカして手作業に戻ることがあったのですが、すごく入力が面倒でPower AutomateとAI Builderの恩恵を思いっきり感じました😅



# AI Builderの注意点⚠️
AI Builderを使うときには、いくつか気をつけるポイントがあります。

**１．クレジットの管理**
AI Builderを使うとクレジット（使用料）がかかります。どれくらい使うかを事前に見積もっておくと安心です。

**２．モデルの精度**
AIの精度は、学習に使うデータの質や量により変わります。定期的にAIのパフォーマンスをチェックして、必要に応じて再学習や調整を行うことが大切です。

**３．結果の検証**
AI Builderが出した結果は必ずしも正しいとは限りません。業務で使う前に、AIの結果をしっかり確認することが重要です。

# 今後の展望✨
社内にはまだまだ画像や紙の業務が多く残っています。
これらの業務もAI Builderを活用して効率化を図りたいと考えています🚀

# AI Builder導入にあたり参考にした学習コンテンツ📚
今回、AI Builderに関する知識ゼロのなかで、業務に取り入れるまで進めることができたのは様々なブログや学習コンテンツを利用させていただいたことがとても大きかったです。

特にちょうど良いタイミングで公開されたギークフジワラ氏のAI Builder講座では、様々なAIモデルを作成しながら学ぶことができました。さらに、ソリューションからモデル駆動型アプリを中心にアプリやフローを作成する過程も学べ、市民開発においてAIをどのように活用するかをイメージするのに非常に有益で楽しく受講できました。
AI Builderを学びたい方にお薦めの講座です。

https://www.geekfujiwara.com/tech/powerplatform/4971/