MLflow 2.7と新たなLLMOps機能のご紹介

[Introducing MLflow 2\.7 with new LLMOps capabilities \| Databricks Blog](https://www.databricks.com/blog/mlflow-2-7-llmops-prompt-eng-ai-gateway-updates)の翻訳です。

:::note warn
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
:::

# プロンプトエンジニアリングの新たなUIとAIゲートウェイのアップデート

MLflow 2系のLLMOpsサポートの一部として、MLflow 2.7でプロンプトエンジニアリングをサポートするための最新のアップデートを発表できることを嬉しく思います。

# インタラクティブなプロンプトインタフェースによるLLMプロジェクトの実行可能性の評価

プロンプトエンジニアリングは、あるユースケースを大規模言語モデル(LLM)で解決できるかどうかをクイックに評価できる優れた手法です。MLflow 2.7の[新たなプロンプトエンジニアリングUI](https://mlflow.org/docs/latest/llms/prompt-engineering.html)によって、ビジネスのステークホルダーは、新規にプロジェクトをスタートするのに十分なアウトプットを得られるのかどうかを確認するために、様々なベースモデル、パラメータ、プロンプトを用いて実験することができます。インタラクティブなプロンプトエンジニアリングツールにアクセスするには、シンプルに新たな空のエクスペリメントを作成するか、(既存のエクスペリメントを開き)**New Run**をクリックします。[こちら](https://forms.gle/RrNrrSQrzfeZ4a4t7)からプレビューにサインアップできます。
![](https://cms.databricks.com/sites/default/files/inline-images/image1_7.png)

# 評価データセットを構築し、ベストなモデル候補を特定するために自動でプロンプトエンジニアリングの実験を追跡

新たなプロンプトエンジニアリングUIでは、ユーザーはMLflowの結果を記録するために**Create run**をクリックすることで、明示的に評価のランを追跡します。このボタンは、MLflowモデルとしてパラメータセット、ベースモデル、プロンプトを追跡し、アウトプットは評価用テーブルに格納されます。このテーブルは、手動による評価に用いられ、SQLでの詳細分析のためにDeltaテーブルに変換することができ、CI/CDプロセスにおけるテストデータセットとして活用することができます。
![](https://cms.databricks.com/sites/default/files/inline-images/image3_4.png)

プロダクションのためのベストなモデル候補を特定しやすくするために、MLflowは常にMLflow Evaluation APIで更なるメトリクスを追加し、今回ここに毒性やパープレキシティが追加されました。モデルのパフォーマンスを比較するために、MLflowのテーブルビューやチャートビューを活用することができます。
![](https://cms.databricks.com/sites/default/files/inline-images/image2_5.png)

パラメータセット、プロンプト、ベースモデルはMLflowモデルとして記録されるので、これはバッチ推論やDatabricksモデルサービングを用いたAPIとして、パラメータセットを持つベースモデルに対して固定されたプロンプトテンプレートをデプロイできることを意味します。MLflowはモデルのバージョン管理を提供するので、LangChainのユーザーにとっては特に有用です。

# ガードレールによる組織におけるアドホックな実験の民主化

MLflowのプロンプトエンジニアリングUIはいかなる[MLflow AI Gateway](https://qiita.com/taka_yayoi/items/789120e35a2f213eec94)のルートとも動作します。AIゲートウェイのルートによって、皆様の組織でSaaS LLMに対するガバナンスやポリシーを集中管理することができます。例えば、OpenAIのGPT-3.5-turboをどのユーザーがルートに対して問い合わせできるのかを管理するゲートウェイの背後に配備し、セキュアな資格情報の管理やレート制限を実現します。これによって、組織の実験におけるLLMへのアクセスを民主化する際に、乱用を防ぎ、プラットフォームチームは自信を持つことができます。

MLflow AI Gatewayは、OpenAI、Cohere、Anthropic、Databricksのモデルサービングエンドポイントをサポートしています。しかし、汎用的なオープンソースのLLMはこれまで以上にプロプライエタリな汎用LLMに匹敵するものとなっており、皆様の組織においては、これらのオープンソースモデルをクイックに評価、実験したいと思うかもしれません。そして、今では[MosaicMLがホスティングするLlama2\-70b\-chat](https://www.mosaicml.com/blog/llama2-inference)を呼び出すことができます。

# LLM開発でMLflowを試しましょう！

我々は、MLflowにおけるLLLM開発で最も一般的なワークフローをサポートし、標準化しようとしています。皆様のユースケースでMLflowをどのように活用できるのかを確認するには、デモノートブックをチェックしてみてください。その他のリソースは:

- [こちら](https://forms.gle/RrNrrSQrzfeZ4a4t7)から(プロンプトエンジニアリングを含む)MLflow AI Gatewayのプレビューにサインアップしてください。
- プロンプトエンジニアリングUIを使い始めるには、お使いのMLflowバージョンをアップグレード(`pip install –upgrade mlflow`)し、MLflowエクスペリメントを作成し、**New Run**をクリックします。
- 同じ質問に対して様々なモデルを評価するには、[MLflow Evaluation API](https://mlflow.org/docs/latest/models.html#evaluating-with-llms)を活用します。
- [MLflow AI Gateway](https://www.databricks.com/blog/announcing-mlflow-ai-gateway)でサポートしてほしいSaaS LLMのエンドポイントがあるのであれば、 MLflowリポジトリの[guidelines for contribution](https://github.com/mlflow/mlflow/blob/master/CONTRIBUTING.md)に従ってください。貢献をお待ちしています！

### Databricksクイックスタートガイド

[Databricksクイックスタートガイド](https://www.amazon.co.jp/dp/B09V1YXFVQ/)


### Databricks無料トライアル

[Databricks無料トライアル](https://databricks.com/jp/try-databricks)