ハイエンドRAG-チャットbot生成サービス

固有ローカル知識、情報を生成AIで分かり易く共有しビジネススピードを劇的にアップ！

2024.3 メタデータ株式会社
1

ChatGPTを取り巻く課題
主な課題：「情報が正確ではない可能性がある」「専門性の高い質問には答えられない」「フィッシング等への悪用可能性」「悪性コードの作成に使われる可能性」 正確性「著作権対応がグレー」「入力内容が学習され第三者に漏洩する可能性」

悪用

専門性
著作権速度低下や日本語性能の劣化問題も!
情報漏洩ChatBridが解決します
ChatBridとは• Knowledge ManagementのDX化• 社内、組織内に溢れている、固有のローカルな知識、情報を編集し、独自の自然言語処理で選考。ChatGPTに結びつけることによって、正確、適切にわかりやすく回答する支援ツール
社内ルール
マニュアル
専門知識
業務ノウハウ
業界知識
個別法律
etc

Slack, Teams, Line, etc.

ChatBrid

https://metadata.co.jp/services/chatbrid.html

ChatBridの概要～RAG命名より3か月先行。さらに高度化

ChatBrid
By Metadata Inc.

社内ナレッジ
ローカル情報従来のFAQ
シナリオ

ChatBrid
Enginechat APILINE Messaging API
対話ログ

LINE

ユーザID
好物
対話履歴
コンディション履歴etc.

ChatBrid Engine①Slack, Teams, LINE...
使い慣れたフロントエンドでのご利用が可能②Knowledge Management
独自の自然言語処理で高精度！人間回答者より分かりやすく好評！

何が ChatGPT API に送られるか？
Lv.0

Lv.1

Lv.2

Lv.3
マニュアル
知識

これら全て、エンドユーザには見えない「影プロンプト」• 左記、緑部分（質問文との類似検索で上位ランク入りしたナレッジ）＋各部をつなぐ文構造• 事例：• 17ジャンル、200数10のマニュアル類から約5000本のナレッジ素片をマークダウン形式でChatBridに取り込み• 質問文との関連度高い上位30本、最大15000文字をヒットさせる（濃い緑色部分）• 4階層プロンプト＋つなぎ文の指示＆内容を分かり易い言葉で表現してChatGPTが回答
特許出願済

ChatBrid導入のご提案プロセス• 社内で活用されていない（共有されていない）情報、社内サポートの問題点等の現状把握• 導入後の効果予測• お見積作成（期間、費用）• 実施• 全体構成• 情報、データのマイニング• テスト• 運用開始• 保守、メンテナンス

実施フェーズと参考規模の費用例• Phase 0 PoCフェーズ• 平均10数ページのWord, Excel, Powerpointマニュアル10本程度。
• 改善&マークダウン化、ChatBrid構築、精度評価:3～4w• 費用：60～100万• Phase 1 本番：知識開発フェーズ• 規模、情シス状況に応じNotePM等周辺ツールを適宜併用• マークダウン化&マニュアル改善の虎の巻をカスタマイズ、提供• 想定質問のタイプを共同で考案。定量評価用の質問文セット作り• 費用：500万円～3,000万円（規模,難易度,要求精度による）• Phase 2 導入初期重点サポート・改善フェーズ:• 定常運用フェーズのサービスに加え、評価フィードバックに応じてプロンプト等の改善、サポート• 費用：50万/月～• Phase 3 定常運用フェーズ:• 費用：ChatBridライセンス25万円/月～+ ChatGPT API利用料

ChatBrid活用事例1

社内マニュアル全て+α から答える総務ボット• 大手オンラインWebサービス提供社様• 各種ハルシネーションを１～２桁低減• 社内知識のみから回答• 大規模な知識体系を快適管理• 数10～数100の「データセット」に分割• 1000超の専門知識をデータセットごとのプロンプトに分割• GPT側の精度、応答速度を向上。課金も削減可能• 大規模化で精度急降下するRAGの欠点を解決• 標準搭載の評価ツールで1000件級の評価を毎日実施• 回答や質問との関連性をナレッジ上に多色付けて瞬時に把握• 単語だけでなく意味による関連・類似を事前把握してからChat APIに送付• 30数万単語にあらかじめ付与済の、1万種類5階層の意味分類コードにより、社内マニュアルにない言葉で質問されても高精度で回答ChatBrid活用事例２
店舗での模範顧客対話の生成

・顧客プロフィール、既購買歴、嗜好、生活習慣、今回の来店目的を入力 (ゆくゆくは顔画像認識・音声認識も参考に!)• 接客で外せない内容を網羅し、お買い上げに直結する対話を生成• 高々数10種類の対話例を影プロンプトに搭載• 過去の購買履歴ごとに商品名、数量、利用目的、クレーム履歴等の知識を搭載• 影プロンプトに例示していない
顧客プロフィールや商品についての、模範的な接客対話を生成• AIによる生成結果を範として新人販
売員の接客対話の内容を採点、評価

9

質問文を階層シソーラスで展開
単語だけでなく意味の類似性で候補を拾う～30数万単語を5階層約1万種の意味に分類済• 一般の質問者は様々な言葉、言い方で表現• ChatGPTはそれらの意味を解釈してくれるが、GPT側に送付前の普通のRAGは表現の違いに対応できない• ChatBridなら、程よく類義語に展開可能！
• 影プロンプトに、本命回答の素材を含める確率UP！

• 対義語（反対語）も含まれる•→否定表現でも関連性をカバーChatBrid Engine～様々なチャットツールと連携、慣れたGUIを活用～

ChatGPTからの回答を表示。一般論になっている呼び出す閾値を下げたり、GPTデータストア機能でアップロードした内容以外は回答させないことも可能ヴィジュアル類似検索で楽々評価改良
マニュアルに該当の意味の記述が無いことさえ数秒で判明！
• 社内ナレッジ、マニュアルには、抜け、矛盾、改版の漏れ等が、通常山ほど残っているのを発見し素早く改善へ
当社には会議室予約方法のマニュアルは【無い】！

悪魔の証明ができるツール！

マークダウン構造を自動解析しレコード分割
上位見出しを複製・追加するコンテクストフリー化オプション搭載
例：NDAの雛型を条文ごとに自動分割してナレッジ化

マークダウン化で精度向上！

野村 直之 松尾 豊 先生
2024年1月26日(Facebook)

一年前に、まだRAGという言葉ができる前、社内知識、ローカル情報をLLM に回答させるのに、文書ベクトルのcosine類似度で情報を高精度に絞り込む20数年前に私らがJustsystemで開発したConceptBaseの高精度化技術（複合語の処理など）、ノウハウ（stop word listやチャンクサイズなど）がめちゃくちゃ重要になることに気づき4/18にChatBridとしてリリースしました。
LLM 自体を作るよりこのような実用に直結する基礎技術を発展させる人材こそが重要で、まだまだ引退など出来ません（笑）何らかのコラボができれば幸いです。
松尾 豊

素晴らしいですね！！

博士論文が次世代高精度RAGの仕様書に！
... 認知科学的辞書と情報検索・要約に関する研究 (野村2002)
第５章 情報検索エンジンの研究開発による普遍辞書理論の有効性の検証

目次
第１章 序論第２章 用言格フレーム知識の記述、分類のためのアーキテクチャとその検証
第３章 大規模電子化辞書とイディオム的語彙、表現の知識表現
第４章 脳内辞書の制約能力と文法との接点～格フレームの交代現象を説明し中間言語の理論的基盤を強化する普遍辞書理論

5.1

言語学的知見、自然言語処理の高度化と相性の良いヴェクトル空間法
5.1.1 ヴェクトル空間法とそのターム・スコアを与えるtf*idf法
5.1.2 複合名詞句間照応(浅い文脈解析)によるデータ疎問題の解決と精度向上～タームの定義に言語学的知見、形態素解析結果を取り込む

5.2

複合名詞句間照応ルールに普遍辞書理論の知見を導入

5.2.1 非語彙的なNvV複合語に限った、名詞句と単文との照合

第５章 情報検索エンジンの研究開発による普遍辞書理論の有効性の検証→RAG改良の仕様書！

5.2.2 普遍辞書理論の知見による副作用の少ない精度向上効果

第６章 文の分割による長文短縮機能を備えた

5.3.3 なぜ関連性フィードバックが必要か？

文章要約システム第７章 知識管理の現場における検索・要約技術の活用・評価と今後の課題
謝辞
付録1

…

5.3

類似検索と関連性フィードバック

5.3.1 類似検索の特徴と長所
5.3.2 ConceptBase Searchの特徴のまとめ

5.3.3.1 事前に目的物を特定できない／表現できない問題
5.3.3.2 探索空間に含まれる予期せぬ不正解文書と関連性フィードバック

5.3.4 類似検索における新しい関連性フィードバック・パラダイム

5.4

ピンポイント検索：再現率重視から適合率重視の情報検索へ

5.4.1 主要な格要素の係受け解析による高精度文書検索
5.4.2 高速性、使用リソース、のバランスを維持しつつ係受け検索を実現
5.4.3 係受け検索の評価と考察

メタデータ代表 野村直之理学博士「RAG博士」による自然言語とナレッジマネジメントの40年のノウハウを生成AIに活かした最強のナレッジbotサービスを提供します。