Azure Machine Learning のモデルカタログに OpenAI, Llama 2, Vision モデルが勢ぞろい！

[Azure Machine Learning](https://azure.microsoft.com/ja-jp/products/machine-learning) および今後発表が期待される [Azure AI Studio](https://www.youtube.com/watch?v=DaIYrlMOj7I) のモデルカタログを使うとどなたでも Azure OpenAI Service のモデルや [Llama 2](https://news.microsoft.com/ja-jp/2023/07/19/230719-microsoft-and-meta-expand-their-ai-partnership-with-llama-2-on-azure-and-windows/) のモデル、画像認識モデルなど様々なオープンソース、[Hugging Face](https://azure.microsoft.com/solutions/hugging-face-on-azure) モデルをファインチューニングしたりマネージドオンラインエンドポイントにデプロイできます。

モデルカタログは Azure のクラウド機械学習基盤である Azure Machine Learning 上に作られているため、簡単にトレーニング用の VM をアタッチできますし、MLOps/LLMOps で使える様々な機能がすでに準備されています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/6b076f06-00e7-74b2-46d7-c34e0ab67043.png)

# LLM
## Azure OpenAI Service
### 10/17 🎉 GPT-3.5-Turbo, Babbage-002, Davinci-002 モデルのファインチューニングが利用可能になりました。

現時点では米国中北部、スウェーデン中部リージョンのみで利用できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/d2cbd0c0-745a-26aa-1f24-f458ba517cdf.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/a8296a3d-805f-968e-f6c9-b4b9dce5c181.png)
`openai-whisper-large` もデプロイ可能です。音声認識の Whisper モデルは Azure OpenAI Service/Azure Speech Service のほうでも利用可能です。

9 月から**申請なしで GPT-4 が利用できるように**なりました。（高需要リージョンは制限あり）

## Llama 2
Meta 社と Microsoft は、Azure および Windows における大規模言語モデル (LLM) の Llama 2 ファミリーのサポートを[発表](https://news.microsoft.com/ja-jp/2023/07/19/230719-microsoft-and-meta-expand-their-ai-partnership-with-llama-2-on-azure-and-windows/)しました。Azure 上で、7B、13B、および 70B パラメータの Llama 2 モデルを簡単かつ安全にファインチューニングしてデプロイできるようになりました。さらに、Llama は Windows 上でローカルに実行できるように最適化されます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/173812fd-a4fe-ca6a-f68f-c922e389474b.png)
一部のタスクはファインチューニングを UI 上から可能になっています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/baa83e28-692a-87c1-7d9e-741579eb4d1f.png)
ML エンジニア、データサイエンティスト向けにサンプルノートブックが準備されていますので、そのまま Azure Machine Learning のノートブック上からトレーニングや評価が可能です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/c13ae4f0-af3f-cf68-1d58-169166cbe66e.png)

## Falcon
Technology Innovation Institute (TII) によって作成され、Hugging Face ハブでホストされている最先端の言語モデルの Falcon ファミリーが利用可能になりました。Falcon は、`Falcon-40B` と `Falcon-7B` の 2 つの基本モデルで構成される新しい言語モデル ファミリーです。Falcon ファミリーには、モデルの Instruct バージョンである `Falcon-7B-Instruct` および `Falcon-40B-Instruct` もあり、これらは指示と会話データに基づいてファインチューニングされており、アシスタント スタイルのタスクにより適しています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/b60f994e-5004-a45b-add2-4d67f8535152.png)

https://techcommunity.microsoft.com/t5/ai-machine-learning-blog/falcon-llms-in-azure-machine-learning/ba-p/3876847

## Databricks dolly
Build 2023 で披露された[デモ](https://github.com/microsoft/PodcastCopilot)に利用されていたモデルです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/f34fdfce-c691-ff26-73ad-ac69b6d6cae5.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/595d2812-eb08-6034-1f56-e763c2d506a7.png)

## 大量の Hugging Face モデル
Microsoft と Hugging Face 社とのパートナーシップの結果、さまざまなオープンソースモデルを提供しています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/3b4cc272-b9d8-fdb8-a2c0-01023d1ca6f3.png)

# ビジョンモデル
HuggingFace から一連の画像分類モデルを厳選しています。また MMDetection からの物体検出および画像セグメンテーション モデルが追加されています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/6613cdad-7a1f-ebde-6f30-bd2d191de5f9.png)

https://techcommunity.microsoft.com/t5/ai-machine-learning-blog/introducing-vision-models-in-azure-machine-learning-model/ba-p/3924500

# エンドポイントデプロイ
試してみたいと思ったモデルはマネージドオンラインエンドポイントにデプロイしてアプリケーションから簡単に利用することができます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/3d366b88-21b7-5ca9-c1eb-a0e9c2fb82ca.png)

# プロンプトフローへの連携
モデルをプロンプトフローと連携できます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/7fb26997-1fd2-f47c-9b56-99d46000d441.png)

複雑な AI オーケストレーター開発はプロンプトフローを使って開発・評価できます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/11523710-b19c-495c-a7f9-578230bb9a26.png)

エンドポイントにデプロイしたモデルは、プロンプトフローから呼び出して利用できます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/20749916-3dc8-4dba-0b1f-646d97db78bd.png)

プロンプトの評価についても、組み込みの評価メトリクスなどを簡単に活用できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/111986a6-0631-650e-38c8-83c8cf088e57.png)

https://qiita.com/nohanaga/items/b68bf5a65142c5af7969

# 生成 AI モデルモニタリング
生成 AI アプリケーションのモデル監視がプレビューで開始されました。運用中モデルデータ コレクター、責任ある AI 評価メトリック、アラート、ダッシュボードが利用可能です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/051e31ad-8f91-201b-3e71-24b932f211b1.png)

https://learn.microsoft.com/azure/machine-learning/prompt-flow/how-to-monitor-generative-ai-applications?view=azureml-api-2

# Azure GPU インフラ
[Azure ND H100 v5](https://learn.microsoft.com/azure/virtual-machines/nd-h100-v5-series) プレビューを筆頭に、様々な GPU インフラを備えていますので、PyTorch などのライブラリを利用したモデル開発・ファインチューニングにももちろん対応しています。

https://learn.microsoft.com/azure/virtual-machines/sizes-gpu