DatabricksレイクハウスAIでLlama 2基盤モデルが利用可能に

[Llama 2 Foundation Models Available in Databricks Lakehouse AI \| Databricks Blog](https://www.databricks.com/blog/llama-2-foundation-models-available-databricks-lakehouse-ai)の翻訳です。

:::note warn
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
:::

[Meta AIのLlama 2](https://ai.meta.com/llama/)基盤チャットモデルをファインチューニングし、プライベートモデルサービングエンドポイントにデプロイできるように、[Databricksマーケットプレイス](https://marketplace.databricks.com/details/46527194-66f5-4ea1-9619-d7ec6be6a2fa/Databricks_Llama-2-Models)で利用できるようになったことを発表できて嬉しく思っています。Databricksマーケットプレイスは、クラウド、リージョン、プラットフォーム横断で、データセットやノートブックを含むデータ資産を共有、共有できるオープンなマーケットプレイスです。すでにマーケットプレイスで提供されているデータ資産に加えて、この新たなリスティングでは、Llama 2のチャット指向の70億から700億パラメーターの大規模言語モデル(LLM)、およびUnity Catalogで集中管理されるガバナンスとリネージを提供します。それぞれのモデルはMLflowにラップされているので、Databricksノートブックで[MLflow Evaluation API](https://mlflow.org/docs/latest/models.html#evaluating-with-llms)を容易に活用でき、[LLMに最適化されたGPUモデルサービングエンドポイント](https://qiita.com/taka_yayoi/items/f0ef1fae82197ec51725)に1クリックでデプロイすることができます。
![](https://cms.databricks.com/sites/default/files/inline-images/image2_6.png)
*Databricksマーケットプレイス*

# Llama 2とは？

Llama 2は、チャットユースケースに最適化されたMeta AIの生成テキストモデルのファミリーです。このモデルは他のオープンモデルのパフォーマンスを上回っており、ファインチューニングしたモデルはOpenAIのGPT-3.5-turboに匹敵するブレイクスルーを示しています。

# レイクハウスAIにおけるLlama 2

DatabricksレイクハウスのAIプラットフォームで、セキュアかつエンドツーエンドの体験を得ることができます:

1. Databricksマーケットプレイスにアクセスします。ノートブックをプレビューすることができ、[Databricksマーケットプレイス](https://marketplace.databricks.com/details/46527194-66f5-4ea1-9619-d7ec6be6a2fa/Databricks_Llama-2-Models)からすぐにLlama 2モデルのchatファミリーにアクセスすることができます。マーケットプレイスによって、Unity Catalogで管理できる最先端の基盤モデルの発見、評価が容易になります。
1. Unity Catalogでガバナンスを集中管理します。モデルはカタログに格納されているので、あなたのLlama 2モデルに対してUnity Catalogが提供する集中管理されたガバナンス、監査、リネージ追跡の全てを自動で活用できるようになります。
1. ご自身のモデルをDatabricksモデルサービングにプライベートにホスティングするために、1クリックでデプロイできるように、Llama 2モデルはMLflowにパッケージングされています。現在パブリックプレビューのGPUモデルサービングは、低レーテンシーと高スループットを提供するために、大規模言語モデルの取り扱いに[最適化](https://qiita.com/taka_yayoi/items/f0ef1fae82197ec51725)されています。これは、センシティブなデータを取り扱ったりするケースや、顧客データをサードパーティに送信できないケースでは優れた選択肢となります。
1. AIゲートウェイをプライベートエンドポイントと接続します。GPUにプライベートにホストされたモデルは高コストになる場合があるため、組織がエンドポイントへの接続を管理する際、それぞれのユースケースごとのルートを作成、分散できるように、我々は[MLflow AI Gateway](https://www.databricks.com/blog/announcing-mlflow-ai-gateway)の利用をお勧めしています。AIゲートウェイでは、Databricksモデルサービングエンドポイントや外部にホストされたSaaS LLMにおける資格情報管理をセキュアにすることに加え、コストコントロールの制限もサポートしています。

![](https://cms.databricks.com/sites/default/files/inline-images/image3_5.png)
*マーケットプレイスからLlama 2モデルを選択*

# Databricksで生成AIを始める

DatabricksレイクハウスAIプラットフォームによって、開発者は自信を持って生成AIアプリケーションを迅速に構築、デプロイできるようになります。

- [Marketplace](https://marketplace.databricks.com/details/46527194-66f5-4ea1-9619-d7ec6be6a2fa/Databricks_Llama-2-Models)に直行して、Llama 2チャットモデルを手に入れましょう！
- [Databricks GPU Model Serving](https://docs.databricks.com/en/machine-learning/model-serving/llm-optimized-model-serving.html)によるLLMのプライベートホスティングをチェックしましょう。Llama 2-70Bをデプロイしたい場合には、[こちらのフォーム](https://docs.google.com/forms/d/1-GWIlfjlIaclqDz6BPODI2j1Xg4f4WbFvBXyebBpN-Y/edit)を提出していただければ、次のステップをご連絡します。
- MLflow AI Gatewayのプライベートプレビューにサインアップしましょう。
- [Databricks Demo](https://www.databricks.com/resources/demos/tutorials/data-science-and-ai/lakehouse-ai-deploy-your-llm-chatbot)を用いて、ご自身の企業データでLLMを拡張するRetrieval Augmented Generation (RAG)チャットbotを構築しましょう。
- [GitHub repository with LLM examples](https://github.com/databricks/databricks-ml-examples)をチェックしましょう。

まもなく発表されるさらにエキサイティングな内容も楽しみにしていてください！

### Databricksクイックスタートガイド

[Databricksクイックスタートガイド](https://www.amazon.co.jp/dp/B09V1YXFVQ/)


### Databricks無料トライアル

[Databricks無料トライアル](https://databricks.com/jp/try-databricks)