DatabricksのLLM「DBRX」を動かしてみる

こちらのDollyの記事が発表されたのがほぼ一年前ですね。月日の経つのが本当に早い。

https://qiita.com/taka_yayoi/items/e9c895c169da652c6efb

https://qiita.com/taka_yayoi/items/59f0ba1a07c620a70a75

そして、昨日新たなLLMであるDBRXが発表されました。
<iframe width="560" height="315" src="https://www.youtube.com/embed/XjuGU6w8td4?si=qI-znfOJtPF6iOiW" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>

https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm

日本語のブログ記事はこちら。

https://www.databricks.com/jp/blog/announcing-dbrx-new-standard-efficient-open-source-customizable-llms

モデルの詳細は上の記事を見ていただくとして、早速動かしてみます。

[Foundation API](https://docs.databricks.com/ja/machine-learning/foundation-models/index.html)を利用できるDatabricks環境であれば、すぐに触れるようになっています。

![Screenshot 2024-03-28 at 6.56.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/e189648a-59a0-e579-01b0-62059568bbbf.png)
![Screenshot 2024-03-28 at 6.57.18.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/1a338742-230b-1da7-a118-fedaf4d3aad7.png)
![Screenshot 2024-03-28 at 6.57.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/29d1841f-4eb4-0915-cb85-dd0bf5d8aacd.png)
![Screenshot 2024-03-28 at 7.00.55.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/9731c4b0-377a-47b2-3016-0ee43330b7c0.png)

[Playground](https://docs.databricks.com/ja/large-language-models/ai-playground.html)で動かしてみます。
![Screenshot 2024-03-28 at 7.02.35.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/db42c2dd-1732-c9f2-5cc8-8f0962232784.png)

**リクエスト**
> Databricksの特徴を教えてください

**レスポンス**
> Databricksは、データエンジニア、データサイエンティスト、ビジネスアナリストが協力してデータ駆動型のイノベーションを加速できる統合型データプラットフォームです。主な特徴は以下のとおりです。
> 
> データインジェスト：Databricksは、様々なデータソースからのデータ取り込みを簡単に行うことができます。データは、ストリーミングやバッチ処理で取り込むことができ、リアルタイムで処理することができます。
> 
> データストレージ：Databricksは、データを保存するための高性能なデータストレージを提供しています。データは、列指向データベースやオブジェクトストレージなど、様々な形式で保存することができます。
> 
> データ処理：Databricksは、データ処理にSparkを使用しています。Sparkは、大規模データ処理に適した高性能なデータ処理エンジンです。Databricksは、Sparkを簡単に使用できるようにするための様々なツールを提供しています。
> 
> データ分析：Databricksは、データ分析にデータサイエンティストやビジネスアナリストが使用する様々なツールを提供しています。データサイエンティストは、PythonやRなどのプログラミング言語を使用してデータ分析を行うことができます。ビジネスアナリストは、SQLやビジネス
> 
> 最初のトークン送信まで0.31秒 + 6.92秒•毎秒72個のトークン•500個のトークン

![Screenshot 2024-03-28 at 7.03.33.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/20de5015-582f-4742-421b-9becdfa461ed.png)

**リクエスト**

> 江戸時代の概要を教えてください

**レスポンス**
> 江戸時代（えどじだい）は、1603年から1868年までの日本の時代を指します。江戸時代は、徳川家康が江戸幕府を開き、日本を統一したことで始まりました。江戸時代は、日本の歴史の中で最も安定した時代の一つでした。
> 
> 江戸時代は、日本の文化や芸術が大きく発展した時代です。この時代には、歌舞伎、浄瑠璃、能、狂言などの伝統芸能が興隆しました。また、浮世絵、俳句、川柳などの美術や文学も盛んになりました。
> 
> 江戸時代は、日本の経済も発展しました。この時代には、農業、手工業、商業が発達し、日本の経済は繁栄しました。また、江戸時代には、日本初の銀行、三井越後屋が設立されました。
> 
> 江戸時代は、日本の政治も安定しました。徳川家康は、日本を統一するとともに、政治体制を整備し、日本の安定に努めました。徳川家康は、徳川将軍家を創設し、将軍職を世襲しました。将軍は、日本の政治を担当し、日本を統治しました。
> 
> 江戸時代は、日本の歴史の中で最も安定した時代の一つでした。日本の文化、経済、政治などが大きく発展し、日本は、世界
> 
> 最初のトークン送信まで0.35秒 + 6.28秒•毎秒80個のトークン•500個のトークン

![Screenshot 2024-03-28 at 7.04.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/73e522b9-6563-99e6-0c4b-957b83c71ec5.png)

**リクエスト**
> カカポとはなんですか

**レスポンス**
> カカポ（Kakapo）は、世界で最も希少な鳥の一種です。カカポは、夜行性の鳥で、ニュージーランドの固有種です。カカポは、フクロウのような外見をしていますが、鳥類ではなく、哺乳類に近い性質を持っています。カカポは、翼を使って飛ぶことができません。
> 
> カカポは、体長60cm、体重4kg程度の大型の鳥です。カカポは、緑色や茶色の羽毛で覆われ、顔には白い斑点があります。カカポは、夜行性の鳥で、昼間は木の洞などで眠り、夜間になると活動します。カカポは、果実、種子、花、葉、昆虫などを食べます。
> 
> カカポは、ニュージーランドの固有種ですが、現在、野生のカカポは、ニュージーランドの小さな島々にのみ生息しています。カカポは、19世紀には、ニュージーランド本土にも生息していましたが、人間による狩猟や生息地の破壊などにより、野生のカカポは、絶滅の危機に瀕しています。現在、ニュージーランド政府などは、カカポの保護活動を行っています。
> 
> カカポは、世界で最も希少な鳥の一種です。カカポは、ニュージーランドの固有種で、夜行性の鳥です。カカポは、

> 最初のトークン送信まで0.45秒 + 6.76秒•毎秒74個のトークン•500個のトークン

![Screenshot 2024-03-28 at 7.04.53.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/84ef4066-5f87-4c61-cfdc-592e964b7515.png)

私が言っても手前味噌にしかなりませんが、自然な日本語で回答してくれています。そして、秒間70-80トークンを生成しているのでスピード的にはストレスを感じません。すごい(手前味噌)

Huggingfaceはこちら。あとでこちらでも動かしてみます。

https://huggingface.co/databricks/dbrx-base

https://huggingface.co/databricks/dbrx-instruct

**2024/3/31追記**

こちらで動かしてみました。

https://qiita.com/taka_yayoi/items/c67b3f5fb168342a4b90

**2024/4/3追記**

GitHubのものも動かしました。

https://qiita.com/taka_yayoi/items/bf9a20b83fb57caaa95a

マニュアルはこちら。

https://docs.databricks.com/ja/machine-learning/foundation-models/supported-models.html#dbrx-instruct



### はじめてのDatabricks

[はじめてのDatabricks](https://qiita.com/taka_yayoi/items/8dc72d083edb879a5e5d)

### Databricks無料トライアル

[Databricks無料トライアル](https://databricks.com/jp/try-databricks)