Databricks AI関数でGenie体験をターボチャージ: ビジネスユーザーにAIを解放

[Turbocharge your Genie experience with Databricks AI functions: Unlock AI for Business Users \| by Nikhil Chandna \| Medium](https://nikhil-chandna71.medium.com/turbocharge-your-genie-experience-with-databricks-ai-functions-unlock-ai-for-business-users-9b04965ef128)の翻訳です。

:::note warn
本書は著者が手動で翻訳したものであり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
:::

[Nikhil Chandna](https://www.linkedin.com/in/nikhil-chandna-7214b249/), Solutions Architect

[Puneet Jain](https://www.linkedin.com/in/puneetjain159/), Senior Specialist Solutions Architect

免責事項 - この記事は独立した公開物であり、Databricksに属したり、承認されたものではありません。この記事で表現されている視点や意見は著者によるものであり、Databricksの公式のポリシーやポジションを必ずしも表現しているわけではありません。提供される情報は、情報提供のみを意図しており、公式なガイダンスとは捉えないでください。

![](https://miro.medium.com/v2/resize:fit:1400/format:webp/1*QwFABpgBQpylDe3k813P9w.png)

> **「AIは市場においてあなたの企業を差別化すべきですが、企業内を平等にすべきです。」**

現在のデータドリブンの世界においては、洞察のためにAIを活用する能力は非常に価値のあるものです。生成AIと従来の機械学習(ML)技術の迅速な発展は、複雑なモデル開発をシンプルにし、予測分析の能力を強化することで、データサイエンティストやデータエンジニアの大きな助けとなっています。しかし、アナリストやビジネスユーザーにとっては、依然として前述のチームへの依存を必要としており、洞察獲得の時間の遅れや、やり取りでの誤解に繋がってしまう場合があります。

このため、AIテクノロジーがよりアクセス可能になり、データアナリストやビジネスユーザーがこれらのツールを独立して活用できるようになることが重要となります。

この2パートのシリーズでは、GenieやAI関数のような最新機能との連携を通じて、Databricksがアナリストをどのように支援するのかを探索します。パート1では、信頼された資産を用いてGenieスペースにAI関数を連携させる実際の例をデモンストレーションします。次のパートでは、ここで議論した例を再現するために、あなたが活用できる完全に再現可能なガイドを提供することを狙いとしています。

しかし、特定のトピックに飛び込む前に、Databricksとは何かとその機能についてクイックにみてみましょう。

Databricksのデータインテリジェンスプラットフォームは、あなたのデータのユニークなセマンティクスを理解するデータインテリジェンスエンジンを活用したレイクハウスアーキテクチャ上に構築されています。組織はデータとAIを包括的に活用できるようになり、データエンジニアリング、データウェアハウス、ビジネスインテリジェンス(BI)、AIの取り組みをシンプルにして加速させます。詳細に関しては、https://www.databricks.com/jp を訪問してください。

# DatabricksにおけるAI/BI Genieスペースとは？

現在パブリックプレビューである、AI/BI Genieによって、ドメイン専門家はデータセット、サンプルのクエリー、テキストのガイドでGenieスペースを設定できます。AI/BI Genieは、自然言語の入力の解釈、設定されたデータセットから適切なデータを取得するSQLクエリーへの変換を行うことで動作します。

この機能は、データの変更や新たな質問が提示されるにつれて、その意味的な知識ベースを更新することで進化し、深い技術的な専門性なしにデータドリブンの洞察を得たいと考えている非技術者にとってのパワフルのツールとなるように設計されています。詳細に関しては[こちら](https://learn.microsoft.com/ja-jp/azure/databricks/genie/)のリンクを訪問してみてください。

# DatabricksにおけるAI関数

Databricksでは、以下のようなGenieスペースで活用できるAI関数のスイートを提供しています:

- [ai\_mask](https://learn.microsoft.com/ja-jp/azure/databricks/sql/language-manual/functions/ai_mask)
- [ai\_query](https://learn.microsoft.com/ja-jp/azure/databricks/sql/language-manual/functions/ai_query)

完全なリストについては[こちら](https://learn.microsoft.com/ja-jp/azure/databricks/large-language-models/ai-functions)をご覧ください。

DatabricksでAI関数とGenieスペースを組み合わせることで、データ分析を誰でも利用できるようにするための大きな一歩を踏み出すことができます。自然言語でのやり取りを可能にすることで、自身たちのデータの完全なポテンシャルを活用するために、Databricksはすべての技術レベルにあるユーザーを支援します。これらのツールを探索すると、イノベーションを加速し、自信を持ってデータに基づく意思決定を行い、AIによって形作られる有望な将来を覗き見ることができます。

我々のサンプルシナリオを理解することから始めましょう。自身の店舗や製品における在庫に関してより理解したいと考えているサプライチェーンのディレクターであるLucyがいるものとしましょう。一緒に働いているデータチームが彼女のために、厳選された以下のテーブルを持つGenieデータルームを作成しました。

1. **Harmonised_retailer_inventory_dc** - このテーブルには、小売業者向けの在庫配送センターに関するデータが格納されています。
1. **Harmonised_retailer_inventory_store** - このテーブルには、小売店舗、在庫、関連する詳細情報が含まれています。
1. **Harmonised_retailer_sales** - このテーブルにはさまざまな小売業者からの売上データが含まれています。

これらのデータには、[こちら](https://marketplace.databricks.com/details/0a82f0ae-1709-4313-80f0-cdc8b29382bb/Crisp-Inc_CPG-Retail-and-Distributor-Data-Samples)のDatabricks Marketplaceからアクセスできます。

まとめると、これらのテーブルには、すべての店舗と配送センターにおけるそれぞれの製品の在庫レベル、それぞれの店舗の売上データが格納されています。また、このデータには場所、店舗と配送センターの名前も含まれています。これでLucyは、SQLクエリーを記述することなしに、自然言語でシンプルに会話するだけで、店舗や製品ごとの売上パフォーマンスに関して質問を行い、製品、店舗、配送センターにおける在庫レベルとの相関関係を構築できるようになります。

LucyがGenieに尋ねる質問をいくつか見てみましょう: 

![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*VkZ8KVkGKZJxMwfo)

また、データチームはGenieスペースの指示の中に幾つかのサンプルクエリーを追加しました。これらのクエリーは通常、最も人気のものであり、スペースを作成したチームか先に使い始めていたユーザーによって検証されたクエリーとその出力であることが期待され、ルームの指示の中のサンプルクエリーとして任意のクエリーが追加されます。

![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*xsqjsHDlnd4sCBeZ)

これで、Lucyは彼女の店舗や特定商品のパフォーマンスや、店舗の分布や時間の次元などの情報を用いて、他の可能で適切なクエリーとそれら2つの組み合わせに関して質問できるようになりました。

![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*KsNkJi7-NG2ZXFyW)

![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*t1ETANhymASCNZ_P)

あなたのデータに関して質問するためにどのようにGenieの動作原理に関する十分な情報が得られたので、GenieスペースにおけるAI関数の活用にのみフォーカスすることにします。

我々のケースでは、背後でAI関数を呼び出すように、データチームがスペース内でいくつかの定義済みの関数をすでに組み込んだデータルームを作成したことを想像してみます。

![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*GeH133EwH8WVWmrn)

# AI_FORECAST

それでは、製品売上の予測を数秒で得るためにGenieにどのようにシンプルな質問を行えるのかを見てみましょう。

![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*RnLl0CEy4cKIyXNO)

![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*OWomF3w_E6QcVlYy)

2022-12-31までしか利用できない実績データに基づいて2023年の予測を確認することができます。

自然言語だけであなたのデータのシンプルな予測を実行できるということは、アナリスト、リーダーシップ、非技術者ユーザーにとって非常に大きな生産性向上となり、データチームの負荷を削減します。

# AI_QUERY

また、以下の例のようにAI_QUERYのようなAI関数をGenieがどのように活用するのかを説明するためのクエリーを実行できます。

![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*m1wocIv6vvEBRjTy)

このレスポンスで生成されたクエリーも確認しましょう。

```sql
WITH ClassifiedProducts AS (
 SELECT
   product,
   main_category,
   detailed_description,
   ai_query(
     "databricks-meta-llama-3-70b-instruct",
     CONCAT(
       "Using the product_description as input, recategorize this product into the following categories: Battery-operated, manual. Limit your response to just one of the elements in that list and provide no explanation of your choice. Here is the product_description: ",
       detailed_description
     )
   ) AS classification
 FROM
   mlops_pj.crisp_data_room.product_description
 WHERE
   main_category = 'Toothbrush'
),
SalesData AS (
 SELECT
   hs.product,
   hs.store,
   hs.date_key,
   hs.sales_quantity,
   hs.sales_amount,
   (hs.sales_quantity * hs.sales_amount) AS total_revenue
 FROM
   crisp_retail_demo.examples.harmonized_retailer_sales hs
 WHERE
   hs.store = 'STORE 06067'
   AND hs.date_key BETWEEN '2022-10-01'
   AND '2022-10-31'
)
SELECT
 cp.classification,
 SUM(sd.total_revenue) AS total_sales
FROM
 ClassifiedProducts cp
 JOIN SalesData sd ON cp.product = sd.product
GROUP BY
 cp.classification
```

# AI_SUMMARY

Genieにインポートされるべき関数の定義。

![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*GOHVxKTY_U5nLTZo)

ここでも、データルームで利用できるデータから任意のカラムを要約するように、シンプルにGenieにお願いできます。

![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*GBM7EAe6MDkA61K2)

# AI_CLASSIFY

この例では、Lucyの会社で取り扱っているカテゴリーの一つに任意の既存製品を容易に分類するためにGenieを活用することができます。

![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*sSrOpv9rYTFjrVWB)

# AI_EXTRACT

![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*wojhqajQ-W_7e7XD)

# AI_MASK

Lucyは、より大規模なチームと出力データを共有する前に任意のカラムをマスクするようにGenieを活用できるようになりました。

![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*nqV2ZFvkAS9Q5sTA)

AI関数とGenieスペースの連携がデータ分析の民主化に大きな一歩を踏み出すことは明確です。これらの洞察と戦略を実装することで、あなたのデータの完全なポテンシャルを引き出す準備ができ、自身と迅速性を持って情報に基づいた意思決定を行うことができます。

これらのが院宣を実践する助けとなり、あなたのデータジャーニーから更なる価値を解放するハンズオンガイドを提供するパート2をお待ちください。それまでは、AIがもたらすであろう可能性を受け入れ、あなたのデータドリブンの取り組みで何が可能かを示す境界を押し広げましょう。

:::note info
**注意**
この記事で論じた機能の多くはプレビュー中であり、この時点ですべてのお客様では利用できない場合があることに注意してください。開発や改善が進むと、特定の機能や可用性は変更される場合があります。機能の可用性に関する最新情報については、Databricksアカウントチームにチェックすることをお勧めします
:::


### はじめてのDatabricks

[はじめてのDatabricks](https://qiita.com/taka_yayoi/items/8dc72d083edb879a5e5d)

### Databricks無料トライアル

[Databricks無料トライアル](https://databricks.com/jp/try-databricks)