【Ignite 2024 速報】新たな AI エージェント開発機能 「Azure AI Agent Service」 を発表し、Azure AI Foundry に統合 など

## 🎉 [News] 2/7 Azure AI Agent Service の画面 UI が AI Foundry に登場しました！
https://learn.microsoft.com/en-us/azure/ai-services/agents/quickstart?pivots=ai-foundry


## 🎉12/14 Azure AI Agent Service のパブリックプレビューが開始
https://qiita.com/nohanaga/items/82335753e75445755d70

Microsoft は 11月19日、シカゴで開催された [Ignite 2024](https://ignite.microsoft.com/) で新たなエージェント開発機能 「Azure AI Agent Service」 を発表しました。Azure AI Agent Service は生成 AI 開発の統合プラットフォームである「Azure AI Foundry」に統合されます。Azure AI Foundry はこれまで Azure AI Studio と呼ばれていたサービスであり、既存の Azure AI モデル、ツール、安全性とモニタリングのソリューションを、組織の AI ソリューションの設計、カスタマイズ、管理を支援する新機能とともに提供することを発表しました。


![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/1ccddc98-9c17-d4aa-970e-7e76b178b89e.png)

各コンポーネントを見ていきましょう。

# Azure AI Agent Service
Azure AI Foundry に新しい [AI エージェント](https://learn.microsoft.com/azure/cosmos-db/ai-agents)サービスが統合されました。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/cc114d68-dd46-00f0-1814-a05778e4a6ad.png)
このサービスは Assistants API を基盤として Microsoft のマネージドサービスと組み合わせてエンタープライズ向けに機能拡張したサービスといえます。Bing Search、Microsoft Fabric、SharePoint、Azure AI Search、Azure Blob Storage、ローカル ファイル、さらには独自のライセンスデータからのデータを使用して、データをグラウンディングできるようになっています。エンタープライズ強化機能として、On-Behalf-Of (OBO)承認などのエンタープライズ グレードのセキュリティ機能により、データの保存、取得、アクセスが確実に行われ、プライバシーと保護が保証されるようになります。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/ca13f80d-a243-b0b4-f4f2-4cad19f57668.png)


設定できるアクションには、Code Interpreter や、OpenAPI 3.0 仕様、Azure Functions、Azure Logic Apps、Custom function が選択できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/3c788cb7-480c-5fdd-4b20-6bfdb622de1e.png)


また、組み込みの会話状態管理も実装されており、スレッドまたは会話状態の管理を行います。これにより、コンテキストを保持し、パーソナライズされた対話を提供し、時間の経過とともにパフォーマンスを向上させることが可能になるとのこと。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/89c9b00a-9eac-c834-6356-613c04982a18.png)

12/14 SDK プレビュー版がリリース

https://qiita.com/nohanaga/items/82335753e75445755d70


https://www.youtube.com/watch?v=dMEwpthSuhU

# Azure AI Foundry SDK
新たに登場した [Azure AI Foundry SDK](https://learn.microsoft.com/azure/ai-studio/how-to/develop/sdk-overview?tabs=sync) には Azure OpenAI Service、AI モデル推論、Azure AI Search、Azure AI Agent Service、評価、トレース、AI アプリ テンプレートが含まれています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/5ae9623e-7798-8995-cb9d-3959872a632d.png)

https://techcommunity.microsoft.com/blog/aiplatformblog/ignite-2024-announcing-the-azure-ai-foundry-sdk/4295862


# 参考
- https://techcommunity.microsoft.com/blog/azure-ai-services-blog/ground-your-ai-agents-with-knowledge-from-bing-search-microsoft-fabric-sharepoin/4303634
- https://techcommunity.microsoft.com/blog/azure-ai-services-blog/introducing-azure-ai-agent-service/4298357

# Azure AI Search
セマンティックリランキングモデルの[精度向上](https://techcommunity.microsoft.com/blog/azure-ai-services-blog/raising-the-bar-for-rag-excellence-query-rewriting-and-new-semantic-ranker/4302729)と、インデックス作成パイプラインの強化が行われました。新機能のクエリ書き換え機能では専用にファインチューニングした SLM が搭載されました。Microsoft は 1 年前に[RAG の 定量分析結果](https://qiita.com/nohanaga/items/95a4780757e89b29e93e)を出しましたが、そこからさらに精度を上げてきました。Out-of-the-Box で高い精度が望めるのは魅力的です。

![Social graphic -blog announcements.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/462b6db7-2360-0f4b-e58f-66fac2659eb1.jpeg)

- **新しいセマンティックランクモデル**: セマンティックランクがすべてのサポートされているリージョンで改善されたモデルで実行 <sup>[[↗]](https://techcommunity.microsoft.com/blog/azure-ai-services-blog/raising-the-bar-for-rag-excellence-query-rewriting-and-new-semantic-ranker/4302729)</sup>
- **セマンティックリランカーのクエリ書き換え**: セマンティッククエリを再作成して、L2 ランカーからより関連性の高い結果を生成 <sup>[[↗]](https://techcommunity.microsoft.com/blog/azure-ai-services-blog/raising-the-bar-for-rag-excellence-query-rewriting-and-new-semantic-ranker/4302729)</sup>
- **ドキュメントレイアウトスキル**: ドキュメント構造を解析し、構造に基づいたチャンク化を提供する新しいスキル <sup>[[↗]](https://learn.microsoft.com/en-us/azure/search/cognitive-search-skill-document-intelligence-layout)</sup>
- **Markdown解析モード**: Azure Storage および OneLake の Markdown ファイルから検索ドキュメントを生成できるインデクサーモード <sup>[[↗]](https://techcommunity.microsoft.com/blog/azure-ai-services-blog/prep-your-data-for-rag-with-azure-ai-search-content-layout-markdown-parsing--imp/4303538)</sup>

などなど、詳細のアップデートは別途解説します。

https://qiita.com/nohanaga/items/657d0d5cf483b1789492

https://learn.microsoft.com/en-us/azure/search/whats-new

# Azure OpenAI Service
## ファインチューニング
- ファインチューニングモデルのための PTU デプロイメントのサポート <sup>[[↗]](https://techcommunity.microsoft.com/blog/azure-ai-services-blog/exciting-enhancements-in-azure-openai-service-provisioned-deployment-and-global-/4299106)</sup>
- ファインチューニングモデル推論のためのグローバル標準サポート <sup>[[↗]](https://techcommunity.microsoft.com/blog/azure-ai-services-blog/exciting-enhancements-in-azure-openai-service-provisioned-deployment-and-global-/4299106)</sup>
- Azure OpenAI サービスにおけるモデル蒸留の導入 <sup>[[↗]](https://techcommunity.microsoft.com/blog/azure-ai-services-blog/introducing-model-distillation-in-azure-openai-service/4298627)</sup>
- 画像のファインチューニング <sup>[[↗]](https://techcommunity.microsoft.com/blog/azure-ai-services-blog/announcing-new-fine-tuning-capabilities-with-images-on-azure-openai-service/4303695)</sup>
- Weights & Biases (W&B)とのコラボレーション <sup>[[↗]](https://techcommunity.microsoft.com/blog/azure-ai-services-blog/how-weights--biases-and-microsoft-azure-are-empowering-enterprises-to-fine-tune-/4303716)</sup>

## Structured Outputs（GA）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/d042ba69-2390-0f50-280f-cd5b890528b1.png)

- GPT-4o、GPT-4o mini の response formats と Function calling に適用
- Function calling による古いモデルのサポート（Coming Soon）

## Predictive Outputs(Preview)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/2c949713-d906-da08-6c56-3875e66a424a.png)

https://ignite.microsoft.com/en-US/sessions/BRK100


# Azure AI モデルカタログ
主要なイノベーターによる最新の AI モデルが追加されており、企業は適切なユースケースに適切なモデルを選択することができます。NTTデータ（一般提供中）とBria AI（プレビュー中）のモデルが新たに加わりました。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/ef5cb83b-7dbf-b597-547c-75f14d52437b.png)

## tsuzumi 7b 登場
日本製 SLM の tsuzumi が Azure Marketplace および [Azure AI モデルカタログ](https://ai.azure.com/explore/models/tsuzumi-7b/version/2/registry/azureml-nttdata?tid=72f988bf-86f1-41af-91ab-2d7cd011db47)で利用可能になりました。Ignite のデモでは最新の日本の知識とファインチューニングによる精度向上が示されました。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/97db8dee-47d1-469f-97d9-11ff0079af4e.png)


https://go.microsoft.com/fwlink/?linkid=2272205&clcid=0x411

# ベンチマーク、CI/CD 統合などの新しい評価ツール 
- Azure AI Foundry のモデル ベンチマーク エクスペリエンスが強化
- 独自のプライベート データを使用してベース モデルを評価および比較
- 画像とマルチモーダル コンテンツの新しいリスクと安全性の評価 
- テキストベースの生成 AI モデルとアプリの品質メトリックの評価（GA）
- リモート評価用の Python API を発表
- GenAI評価用のGitHub Actionsが利用可能

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/62779088-e8e0-fbe3-3e7b-17294fe644ef.png)

https://techcommunity.microsoft.com/blog/AIPlatformBlog/new-evaluation-tools-for-multimodal-apps-benchmarking-cicd-integration-and-more/4301972

# AI レポート
開発者は、意図したビジネス ユース ケース、潜在的なリスクと損害、モデル カード、モデル エンドポイント構成、コンテンツ セーフティ フィルター設定、評価結果などの主要なプロジェクト詳細を統合 AI レポートにまとめることができます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/f6c4c806-e55f-4bba-71d4-bacc95bcd0ec.png)

# その他
## Azure AI Content Understanding
マルチモーダル データの取り込みとコンテンツの抽出を行う生成 AI ベースの新サービスです。このサービスは、ドキュメント、画像、音声、ビデオなどのさまざまなデータ タイプを取り込み、簡単に処理および分析できる構造化された形式に変換します。これは Azure Document Intelligence のマルチモーダル対応版ということか。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/815cf0a8-6d24-3fb2-0f1f-28560a4f4bf3.png)

動画からの情報抽出も可能で、チャプター、シーン、ショットなど、セグメントごとに特定のメタデータを生成します。マルチモーダル RAG のデータインジェストパイプラインに必要な機能となりそうですね。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/7452dcd6-a42d-ef15-0b1f-ef55016f06d8.png)

https://qiita.com/nohanaga/items/5d8009cd61ac60fb493a


- https://techcommunity.microsoft.com/blog/azure-ai-services-blog/announcing-azure-ai-content-understanding-transforming-multimodal-data-into-insi/4297196
- https://techcommunity.microsoft.com/blog/azure-ai-services-blog/transforming-video-into-value-with-azure-ai-content-understanding/4297114

# Azure Databases
## Azure Cosmos DB for NoSQL 
- Azure Cosmos DB for NoSQL のベクトル検索の一般提供 (GA)
- Microsoft DiskANN ベクトル インデックスの一般提供 (GA)
- 全文検索とランキングの公開プレビュー（BM25,英語のみ）
- ハイブリッド検索のパブリックプレビュー（RRF）
- 参考<sup>[[↗]]()</sup>

## おすすめセッション
https://qiita.com/nohanaga/items/093488c3a69c3c2d55ba

## Azure Database for PostgreSQL
- セマンティック ランキング ソリューション アクセラレータの一般提供<sup>[[↗]](https://techcommunity.microsoft.com/blog/adforpostgresql/introducing-the-semantic-ranking-solution-for-azure-database-for-postgresql/4298781)</sup>
- GraphRAG ソリューションアクセラレーターのパブリックプレビュー<sup>[[↗]](https://techcommunity.microsoft.com/blog/adforpostgresql/introducing-the-graphrag-solution-for-azure-database-for-postgresql/4299871)</sup>


# Microsoft Ignite 2024 BOOK OF NEWS

https://news.microsoft.com/ignite-2024-book-of-news/ja/