各企業向けにカスタマイズしたチャットボットを大規模に構築するには

今日、あらゆる企業は、機械学習テクノロジーを補完し、業務を合理化し、ひいてはよりスマートに仕事をするために、生成AIの機能を活用する必要があると言えます。チャットベースのユースケースは、すぐに新しい標準になるでしょう。つまり、このようなユースケースを全社的に開発、展開したいという事業サイドからの要求は、今後ますます強いものになるということです。
しかし、多くのIT組織は、ChatGPTのような無料で利用可能なアプリケーションを業務で利用することを制限または禁止しています。それは、透明性、セキュリティー、信頼性といった現実的な懸念によるもので、規模に応じてこれらのリスクを軽減することは困難です。

たとえ従業員がメインストリームの[大規模言語モデル（LLM）](https://qiita.com/Dataiku/items/98bc30cec68b3db9c911)にアクセスできたとしても、これらのベースモデルは組織固有のデータにアクセスできません。究極的には、このような制限により、ChatGPTのようなアプリケーションの企業価値を著しく制限されるることになります。

## RAGを使ってAIの活用を拡大する

朗報は、独自のデータを活用するためのゲームチェンジャーとして、[検索拡張生成（RAG）](https://blog.dataiku.com/retrieval-augmented-generation-in-plain-english)が登場したことです。RAGは、LLMがコンテキストを意識した応答を生成できるようにする情報検索技術です。これは、ユーザーのクエリーに対して返す応答を作成する前に、関連する情報（例えば、企業のデータ、調査やニュース文書、ドメイン固有の知識）を検索します。例えば、LLMベースのチャットアプリケーションは、保険契約のコーパスに基づき、保険契約の質問に対して回答するのです。

企業における生成AIのためのRAGの役割を理解すれば、ユースケースは容易に想像できるでしょう。さまざまな部署が、さまざまなタスクの効率を向上させるために、複数のRAGベースのチャットアプリケーションを使用することになるでしょう。

そこで、次のような疑問が生じます：このようなアプリケーションを数十、数百の規模で構築するにはどうすればいいのでしょうか。生成AIやデータチームは、チャット用のインターフェースが欲しいという需要の急増に対して、拡大可能なフレームワークを使いどう対応できるでしょうか。これらのインターフェースの構築と保守に多くのリソースを消費しないようにするにはどうすればいいのでしょうか。

## スマートで責任ある変革のためのDataiku Answers

Dataiku Answersは、パッケージ化された拡張可能なWebアプリケーションです。Dataiku Answersを利用することで、ビジネスプロセスやチーム全体において、企業ユースに対応したLLMチャットとRAGの使用の民主化できます。Dataiku Answersを使いデータチームは、エンタープライズ規模でRAGを使った生成的なAIを活用したチャットアプリケーションを構築することができます。しかも、

### シンプル ＆ 拡張可能

なのです。

生成AIが急速に進化する中、データチームはモデルやサービスの選択に柔軟性を保つ必要があります。基礎となるLLMに"ハードワイヤード（しっかりと固定）"されたアプリケーションは、依存関係を生み出し、アプリケーションを組織内に展開した後に、それを取り除くのは困難でコストがかかります。

[Dataiku LLMメッシュ](https://qiita.com/Dataiku/items/f41e0846717bab462739)は、生成AIアプリケーションの共通バックボーンです。まさにこのような課題に対応するために設計されており、アナリティクスチームやITチームが生成AIモデルやサービスに安全にアクセスする方法を再構築します。

LLMメッシュのパワーにより、Dataiku AnswersをLLM、ベクターストア/データベース、ナレッジバンクに数クリックで接続できます。さらに、要件や新しい技術が出てきたときに、技術的な選択オプションを迅速に調整し、進化させることができます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1196881/c31e2192-1d6c-f183-218c-ebcb89429c52.png)

### カスタマイズ可能
Dataiku Answersは完全にカスタマイズ可能です。チームは、各ビジネスの目的に沿った結果を得るために、詳細なプロンプト、パラメータ、メタデータを設定することができます。

例えば、肯定的および否定的なフィードバックのためのオプションを設定することができ、エンドユーザーが対話し、彼らの経験を評価することができます。また、詳細なプロンプトを入力することにより、Dataiku Answersをカスタマイズすることができます。例えば、LLMをライフサイエンスのアナリストとして機能させたい場合、プロンプトは、応答するための基礎情報として、提供されたナレッジバンクから実証されたファクトだけを使用し、ライフサイエンスの分野に沿った言語で、可能な限り明確にするために箇条書きで、明確かつ時系列順序で、調査結果を引用し構成して出力するようにチャットボットを指示します。

<br>
Dataikuの製品およびビジネスソリューションズ担当のグローバルVPであるSophie Dionnetは次のように述べています。

*「データチームリーダーは、RAGを搭載したチャットボットを組織全体でより簡単に展開する方法を求めてきました。Dataiku Answersは、すでに20以上のグローバルの小売業や製造業の企業、あるいはその他の組織でこのニーズに対応しています。わずか数週間で、データチームリーダーは企業ドキュメントを活用した全社的なLLMチャットを開設したり、投資家向け広報、調達、営業、その他のチーム向けにドメイン別のチャットボットを作成したりして、さまざまなニーズに応えています。」*


### 透明性とガバナンス
Dataiku Answersは、正確な回答の信頼性を更に高めるために、引用を包含します。つまり、最大の信頼性と説明を得るために参照したい各回答項目について、そのソースとメタデータに、シンプルなステップでアクセスできるということです。また、すべての会話やユーザーフィードバックを監視する機能は包括的にガバナンスを効かせられます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1196881/bf7384dd-4ec0-5721-2368-af41ee404b90.png)

Dataiku AnswersはLLMメッシュ採用しているため、AIサービスのルーティング、個人を特定できる情報（PII）のスクリーニング、LLMレスポンスのモデレーション、パフォーマンスとコストのトラッキングのための専用コンポーネントを活用しています。また、Dataiku LLMメッシュは、キャッシュ機能を提供し、繰り返される質問に対して、費用対効果が高く、一貫性のある回答を提供するので、エクスペリエンスとインパクトを高めることができます。

Dataiku Answersはまた、異なる部署が異なる拡張モデルを使用できるよう、完全なアクセス分離を提供します。例えば、請求処理部門は、詳細な顧客ポリシー文書を"参照する"モデルにアクセスすることができます。法務部門は、ナレッジバンクにあるベンダーの契約や用語を含むモデルにアクセスすることができます。LLMメッシュはこの2つを区別し、それぞれのプライベートな「知る必要がある」セキュリティー性を保てるようにします。

結論としては、IT部門はLLMの使用をコントロールできるということです。IT部門は、組織全体の各チームがどのように生成AIを使用し、最適化しているかを完全に可視化できます。また、ビジネスチームは、共通のスケーラブルなバックボーンによる効果を最大限に発揮させるためにも、特定のコンテンツから回答を得ることができます。

ある世界的な製薬企業のAnalytics & Data Scienceプロダクトのオーナーは、[Forrester: The Total Economic Impact™ Of Dataiku Study](https://pages.dataiku.com/forrester-tei)の中で、次のように述べています。

*「LLMには期待しています。そこにイノベーションが生まれるからです。LLMメッシュは、データセキュリティーとコンプライアンスに関して本質的で抗えないイノベーションを可能にします」*


## 実際のDataiku Answersの使用例
世界中の大企業がすでにDataiku Answersを利用して、さまざまなユースケースにおいて、的確な回答を提供しています：
- ある調達チームは、Dataiku Answersを利用して、信頼できる自然言語による質問と回答のアプローチをすべての契約に導入しています。
- あるIRチームは、Dataiku Answersを使ってコール分析をスピードアップし、アナリストとのリレーションシップ管理における経営陣の準備態勢を改善しています。
- 世界最大レベルのある小売業者は、LLMチャットとインターナル文書AIアシスタントの両方を実装し、20,000人以上のユーザーにDataiku Answersを展開しています。
- ある世界的な製薬会社では、Dataiku Answersをすべてのフィールド営業チームに展開し、販売されている各医薬品の販売プロセスとプログラム活動の理解を促進しています。

さらに、他の何百もの企業がDataikuを使用して、実際の生成AIのユースケースを本番稼動させています：

- [DoosanがどのようにDataikuを使用して](https://www.dataiku.com/stories/detail/doosan/)、同社初の革新的なGenerative AIプロジェクトを1ヶ月未満で開発したかをご覧ください。
- [ファーストフードチェーンのWhataburgerは、DataikuでLLMを使用して](https://www.dataiku.com/stories/detail/whataburger/)、レビューから重要な情報を抽出し、視認性の高いダッシュボードを構築しています。
- [Ørsted社は、Dataikuと生成AIを利用して](https://www.dataiku.com/stories/detail/orsted/)、経営陣が市場ダイナミクスをより的確に理解できるようにし、手作業によるアプローチと比較して100％の時間短縮を実現しています。
- [Heraeusは、DataikuでLLMを使用して](https://www.dataiku.com/stories/detail/heraeus/)、リードの識別と認定プロセスをサポートし、最終的に時間を節約し、販売転換率を向上させています。
- 生成AIとDataikuを使い、[LG ChemはAIサービスを提供し](https://www.dataiku.com/stories/detail/lg-chem/)、従業員が安全規制情報を迅速かつ正確に検索できるようにしています。


## 企業向けチャットのニーズになぜDataikuが選ばれるか

[デロイトによると](https://www2.deloitte.com/content/dam/Deloitte/us/Documents/consulting/us-state-of-gen-ai-report.pdf)、ビジネスとテクノロジーのリーダーの実に79％が、今後3年間で生成AIが組織と業界内の実質的な変革を促進すると期待しています。しかし、同調査によると、（競合に対して)差別化されたAIを構築している組織は4社に1社にも満たないのです。大半は、差別化することなくコストを増加させる標準的な既製のAIソリューションに頼っています。

今日、企業はデータ管理、ストレージ、GPUなどAIインフラの管理に多くの時間と労力（予算は言うまでもありません）を費やしています。しかし将来的には、AIインフラはほぼ標準化されることになるでしょう。

つまり、企業にとっての真の差別化要因とは、人的資本への投資とAIによる変革の促進ということになります。

Dataikuでは、AIに対する、人間第一のアプローチで取り組んでいます。長期的な成功の鍵は、生産性の向上、人材開発の促進、強固なガバナンスの確保にあると考えています。

Dataikuは、（競合に対して)差別化された人工知能（AI）を構築、運用、管理できるユニバーサルAIプラットフォームです。Dataikuには、次のような柔軟性があります：

1. 既存のインフラへの接続。Dataikuは、既存および将来のテクノロジーと統合できるため、実験や基盤アーキテクチャーの切り替えを容易に行うことができます。
2. データを扱うすべての人をサポートします。データ専門から各事業ドメインの専門家まで、Dataikuは、ノーコード、ローコード、フルコードの機能で、企業がそれぞれの立場で専門家に対応できるよう支援します。
3. AIを大規模に活用しながら、かつリスクとリソースについて十分な情報に基づいた意思決定を行うために必要なガバナンスと適切なレベルの監視を提供し、すべてのプロセスを支えます。

## 生成AIブートキャンプ
生成AIブートキャンプ(英語)で、LLMメッシュや実用的なアプリケーションなどについて詳しく学びましょう。
Dataiku Answersにご興味のある方は、今後のセッション「Build a Secure, Effective Generative AI-Based Chatbot (Fast) With Snowflake & Dataiku」もお見逃しなく。

***→ 生成AIブートキャンプ（英語)の詳細は[こちら](https://events.dataiku.com/dataiku-generative-ai-bootcamp)***


<br>
<br>


*原文: [How to Build Tailored Enterprise Chatbots at Scale](https://blog.dataiku.com/dataiku-answers)*