Azure OpenAI Service 周り 7-8 月までの Updates

夏休み明けで一気にキャッチアップしたい方向けに独自にキュレーションします。

# Azure OpenAI Service
## 8/7 東日本リージョンに GPT-4 が追加
`gpt-4(0613)` と `gpt-4-32k(0613)` モデルが東日本リージョンに[追加](https://learn.microsoft.com/azure/ai-services/openai/concepts/models#gpt-4-models)されました。

## 7/27 東日本リージョン GA
みんな待ってた `gpt-35-turbo(0613)`、`gpt-35-turbo-16k(0613)` が東日本リージョンで選択できるようになりました。Docs が[更新](https://learn.microsoft.com/azure/ai-services/openai/concepts/models#embeddings-models-1)され、`text-embedding-ada-002` もデプロイ可能になっています。これで一連の [RAG システム](https://learn.microsoft.com/azure/machine-learning/concept-retrieval-augmented-generation?view=azureml-api-2)を**すべて東日本リージョン内に閉じることが可能**になります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/f97a1613-7900-f761-04d0-00c16a69d3af.png)

https://learn.microsoft.com/azure/ai-services/openai/concepts/models#gpt-35-models

https://www.nikkei.com/article/DGXZQOUA25DE00V20C23A7000000/

## 7/25 プロンプトエンジニアリング周りのベストプラクティスの拡充
### 生成 AI の優れたプロンプト エンジニアになるための 15 のヒント
https://techcommunity.microsoft.com/t5/azure-ai-services-blog/15-tips-to-become-a-better-prompt-engineer-for-generative-ai/ba-p/3882935

### Docs の拡充
- [プロンプト エンジニアリングの概要](https://learn.microsoft.com/azure/ai-services/openai/concepts/prompt-engineering)
- [プロンプト エンジニアリングの手法](https://learn.microsoft.com/azure/ai-services/openai/concepts/advanced-prompt-engineering?pivots=programming-language-chat-completions)
- [システム メッセージテンプレート](https://learn.microsoft.com/azure/ai-services/openai/concepts/system-message)
- [レッド チーミングの大規模言語モデル (LLM) の概要](https://learn.microsoft.com/azure/ai-services/openai/concepts/red-teaming)

## 7/20 `0613` モデルで Function calling が利用可能に
MRKL や ReAct で使える Function calling が Azure OpenAI Service でも使えるようになりました。最新の `0613` バージョンの `gpt-35-turbo` および `gpt-4` に、リクエストに記述された関数に基づいて構造化された JSON 出力を生成する機能が提供されます。API バージョンは `2023-07-01-preview` で利用できます。

https://learn.microsoft.com/azure/ai-services/openai/how-to/function-calling

https://techcommunity.microsoft.com/t5/azure-ai-services-blog/function-calling-is-now-available-in-azure-openai-service/ba-p/3879241


## Embeddings 複数入力サポート
以下のように Embeddings API に複数配列で渡せるようになりました。
```python
inputs = ["A", "B", "C"] #max array size=16

embedding = openai.Embedding.create(
  input=inputs,
  deployment_id="text-embedding-ada-002"
)
```
## 7/19 Whisper モデルが Coming Soon
Microsoft Inspire 2023 での発表

## 7/7 モデルの追加と廃止計画

- GPT-3.5 Turbo シリーズの最新製品である `GPT-3.5 Turbo Instruct`(coming soon) へ移行し、`Text-Davinci-003/002/001`、`Text-Curie-001`、`Text-Babbage-001`、`Text-Ada-001` などの古いモデルは、**2024年7月5日**に廃止されます。
  - たとえば `text-davinci-003` の移行は使う API が変わるので、[アプリケーションの改修が必要](https://qiita.com/nohanaga/items/db5de65963c0abd8ecfb)となりますのでご注意ください。これからはメタプロンプトやルールを **system** に、指示やデータ、コンテキストを **user** に詰めて使います。
- `GPT-3.5-Turbo` および GPT-4 のファインチューニング用モデルを提供します。2023 年後半に限定プレビュー予定です。
- ファインチューニング用 `Ada`, `Babbage`, `Curie`, `Davinci` モデルが `002` へ進化します(coming soon)
- 埋め込みモデルは `text-embedding-ada-002` に一本化されます。

※**新規のお客様は利用できなくなり、すでにお使いのお客様は 2024年7月5日に廃止されます。**

![MicrosoftTeams-image (4).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/d3058550-541b-8a3c-57ce-bfc7859721de.png)
![MicrosoftTeams-image (5).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/4c186c0c-f561-4d47-0fde-3c3aae47859d.png)

https://youtu.be/cEynsEWpXdA?t=148

https://techcommunity.microsoft.com/t5/azure-ai-services-blog/announcing-updates-to-azure-openai-service-models/ba-p/3866757

# Azure Machine Learning
## 7/18 モデルカタログに Llama 2 が追加
Inspire で Meta と Microsoft は、Azure および Windows における大規模言語モデル (LLM) の Llama 2 ファミリーのサポートを発表しました。Azure 上で、`7B`、`13B`、および `70B` パラメータの Llama 2 モデルを簡単かつ安全にファインチューニングしてデプロイできるようになりました。さらに、Llama は Windows 上でローカルに実行できるように最適化されます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/11a4dda8-146f-f425-5006-19a4b18a59c1.png)
デプロイ可能な VM GPU に注意してください。一番デカい `70B` は [Standard_ND40rs_v2](https://azure.microsoft.com/pricing/details/machine-learning/#ndv2-series) か [Standard_ND96asr_v4](https://azure.microsoft.com/pricing/details/machine-learning/#ndasrv4-series) のクォータが無いとデプロイできないです… `7B` だと [Standard_NC12s_v3](https://azure.microsoft.com/pricing/details/machine-learning/#ncsv2-series) でもデプロイ可能です。

https://blogs.microsoft.com/blog/2023/07/18/microsoft-and-meta-expand-their-ai-partnership-with-llama-2-on-azure-and-windows/

## 7/18 モデルカタログに Falcon が追加
Technology Innovation Institute (TII) によって作成され、Hugging Face ハブでホストされている最先端の言語モデルの Falcon ファミリーが利用可能になりました。Falcon は、`Falcon-40B` と `Falcon-7B` の 2 つの基本モデルで構成される新しい言語モデル ファミリーです。Falcon ファミリーには、モデルの Instruct バージョンである `Falcon-7B-Instruct` および `Falcon-40B-Instruct` もあり、これらは指示と会話データに基づいてファインチューニングされており、アシスタント スタイルのタスクにより適しています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/3dbdd867-bba5-57aa-30d0-d96b52d1323b.png)
デプロイ可能な VM GPU は、`40B`、`7B` 共に A100 クラスのみです。

https://techcommunity.microsoft.com/t5/ai-machine-learning-blog/falcon-llms-in-azure-machine-learning/ba-p/3876847

モデルカタログは以下のように華やかになりました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/3e9c8be4-8132-89bc-ab44-453fe386753d.png)

# Azure Cognitive Search
## ベクトル検索がパブリックプレビューに
近似最近傍探索 (ANN) が可能になりました。キーワード検索と組み合わせたハイブリッド検索や Microsoft Turing LLM を使ったセマンティックハイブリッド検索も利用可能に。使用できる類似性メトリックに、`cosine` だけでなく、`euclidean(L2 norm)`、`dotProduct` も選べるようになりました。

https://learn.microsoft.com/azure/search/vector-search-overview

## セマンティック検索が東日本・西日本リージョンで利用可能に
これで[セマンティックハイブリッド検索](https://qiita.com/nohanaga/items/e156d8be60622b42e8eb#%E3%82%BB%E3%83%9E%E3%83%B3%E3%83%86%E3%82%A3%E3%83%83%E3%82%AF%E3%83%8F%E3%82%A4%E3%83%96%E3%83%AA%E3%83%83%E3%83%89%E6%A4%9C%E7%B4%A2)も日本リージョンに閉じて利用することができるようになりました。

https://azure.microsoft.com/explore/global-infrastructure/products-by-region/?products=search

## セマンティック検索が Basic プランでも利用可能に
これまでセマンティック検索機能を使うには Standard プラン以上が必要でしたが、これが Basic プランでも利用できるようになりました。

https://learn.microsoft.com/azure/search/semantic-search-overview#availability-and-pricing

# Azure AI 全体
Microsoft の AI ポートフォリオが以下のように変更になりました。Azure の AI 3 本柱を構成していた、Applied AI Services と Cognitive Services は **Azure AI services** へ統合されました。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/f4c998dd-0712-796b-7f82-5ef7d37a4d80.png)

### 気になる点
- Azure Form Recognizer は **Azure AI Document Intelligence** へ改名
- Azure OpenAI Service としてのロゴはまだできていない様子

:::note warn
注意
2023 年 7 月の時点で、Azure AI services には、以前は Cognitive Services と Azure Applied AI Services と呼ばれるものがすべて含まれています。価格に変更はありません。Cognitive Services と Azure Applied AI という名前は、Azure の課金、コスト分析、価格表、および価格 API で引き続き使用されます。API または SDK に破壊的変更はありません。
:::

https://learn.microsoft.com/azure/ai-services/what-are-ai-services

# Copilot stack × Copilot ecosystem
Inspire の Satya の [Keynote](https://www.youtube.com/watch?v=RhwVMt_XCUE) では [Copilot stack](https://qiita.com/nohanaga/items/c3e92c9adeca7c84a8d5) の第 3 層の部分に「**Your data**」という層が追加されました。私が [Azure OpenAI Developers セミナー](https://youtu.be/cEynsEWpXdA?t=398)ですでに何度も言及しているとおり、組織の持つデータの重要性について改めて明確化したと言えます。この中には [Microsoft Fabric](https://www.microsoft.com/microsoft-fabric) も入ってきます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/a2f9c1ef-17b1-b62f-432f-86cd2c138fee.png)

それだけではありません。この Copilot stack に合わせてアプリケーション開発を行う様々なパートナー様のロゴを挙げ、「Copilot ecosystem」の構造を示しました。このエコシステムこそが Microsoft が Azure OpenAI Service を使って取り組んでいきたい大きな戦略の一つです。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/9ab4811b-79a5-1285-ba37-74dd7f256530.png)

Copilot stack に合わせたアプリケーション開発の例としてはやはり ChatGPT 規格のプラグイン開発でしょう。多くのパートナー様がプラグイン開発に参画しています。さらに AI [CoE](https://learn.microsoft.com/azure/cloud-adoption-framework/organize/cloud-center-of-excellence) を持つ SIer が、お客様の環境に合わせたソリューションの構築を支援したり、AI を活用した独自の製品やサービス、さらにはビジネスモデル全体を開発する ISV やスタートアップもエコシステムに含まれます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/931bc2b4-c84a-0e75-0a19-6c801863f8ff.png)

# パートナービジネス
Inspire のアップデート全体は[こちら](https://news.microsoft.com/ja-jp/2023/07/19/230719-microsoft-inspire-accelerating-ai-transformation-through-partnership/)を参照してください。Inspire では、すべてのパートナー様が Microsoft AI と Microsoft クラウドを活用して顧客価値を提供できるようにする次世代のパートナー プログラム「**Microsoft AI Cloud Partner Program**」を発表しました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/674344/8ef26f47-c210-acaf-72ed-8b711d0fbf90.png)

## Microsoft AI Cloud Partner Program
Microsoft のパートナー様であればどなたでもこれらのリソースを活用することができます。

- 新しい [AI Transformation Partner Playbook](https://aka.ms/AIpartnerplaybook) の公開
  スキルの習得からイノベーション、マーケティングから販売までのガイダンスを提供するコンテンツモリモリのプレイブックです。**パートナー様は今すぐ[ダウンロード](https://aka.ms/AIpartnerplaybook)してください！** AI 技術に特化した専門集団 である **Azure AI Center of Excellence（[CoE](https://learn.microsoft.com/azure/cloud-adoption-framework/organize/cloud-center-of-excellence)）** を組織内に立ち上げて成功している世界各国のパートナー様の成功事例が掲載されています。
- 新しい「[AI の時代](https://partner.microsoft.com/en-US/asset/collection/era-of-ai#/)」の[マーケティングキャンペーン](https://dmc.partner.microsoft.com/product-areas/3/campaigns/222) アセットを使うことができます
  Azure OpenAI Service のプレゼン資料などをパートナー様の顧客に対してカスタマイズして利用できます。

プログラムの詳細は[コチラ](https://blogs.partner.microsoft.com/partner/fueling-partner-growth-and-profitability-in-the-era-of-ai/)。さらに新しい AI 固有のサービスとメリットに加えて、ソリューション パートナーの指定を拡大し、技術的能力を差別化し、顧客の成功を実証する機会を提供します。

また、日本での取り組みとして「Azure OpenAI Service リファレンスアーキテクチャ」への賛同パートナーを募集しており、[こちら](https://www.microsoft.com/ja-jp/biz/find-new-value-on-azure/ai-biz.aspx)のページにて賛同パートナーの掲載が始まりました。

# さいごに
あなたの組織に AI CoE はありますか？