Q&Aシートの保守・改善にMrテキスト分析を活用

メタデータ株式会社
2023年1月

Q&Aシートの保守・改善のための分析目的（例）分析目的の例• Bot(や人間)が回答できなかった質問への回答を作る• 類似検索により新回答の素材(一般に複数)を発見• この機会に他の質問、回答の欠落、不十分、冗長さをチェックし改善• ・・・• 知識の粒度が適切に揃っているか？
• その上でMECE ”Mutually Exclusive, Collectively Exhaustive”「モレなく、ダブりなく」• ・・・• ２つのFAQのマージ（まとまったボリュームの追加も同様）• 類似検索マクロ• ベン図の真ん中は重複・矛盾・統合対象か等、自動色付けを手掛かりにチェック。
• ・・・

http://metadata.co.jp/

どんなデータ？
・類似検索マクロの活用

PCサポート故、factsを淡々と記述~ネガポジ殆ど出ず ←Q 、A 各々をメインに、2通り取り込み

http://metadata.co.jp/

メモ欄に、改良案を記入

http://metadata.co.jp/

FAQ、botシナリオ楽々メンテの基本
基本1 回答出来なかった質問文でQAを類似検索
基本2 ‘イマイチな回答’とのフィードバックからRoutine 1

基本1 回答出来なかった質問文でQAを類似検索• 例：ログ中の質問文を類似検索 “後ろに隠れている画面を手前に表示させる方法を教えてください。”

http://metadata.co.jp/

→悪魔の証明をクリア →新規追加！
後ろに隠れている画面を表示させる方法は、次の3とおりです。お好みの方法を選んでご利用ください。

(1)タスクバーで切り替える
タスクバーにある、手前に表示させたいウィンドウのボタンをクリックすると、ウィンドウが手前に表示されます。
お使いの環境によっては、表示される画面が異なります。
(2)ウィンドウを動かして切り替える
手順は、次のとおりです。

表示させたいウィンドウのタイトルバーをクリックします。
クリックしたウィンドウが、手前に表示されます。
(3)【Alt】キーと【TAB】キーを押して切り替える
手順は、次のとおりです。
操作手順

お使いの環境によっては、表示される画面が異なります。
【Alt】キーを押したまま【Tab】キーを押します。
起動しているウィンドウの一覧が表示されます。

操作手順
お使いの環境によっては、表示される画面が異なります。

【Alt】キーを押したまま【Tab】キーを複数回押して、手前に表示させたいウィンドウを選択します。

手前に表示されているウィンドウのタイトルバーをドラックして、表示したいウィンドウのタイトルバーが見えるところまで移動します。

【Alt】キーを離します。
選択したウィンドウが手前に表示されます。

http://metadata.co.jp/

コラム：「悪魔の証明」 →類似検索でほぼ出来ちゃう!
• “衛星タイタンの炭化水素の海の底深くには、人間の100倍賢い知的生命体が1兆人住んでます！嘘だと思うなら、そうでないことを厳密に証明してください！”→不存在を証明するのは不可能に近い。

http://metadata.co.jp/

Routine 2

基本2 ‘イマイチな回答’とのフィードバックから• 例：ログ中の質問文を類似検索 “スタートメニューにアプリをピン留めする方法を教えてください。”“再度ピン留めをお願いします” との回答。そのやり方は記載なく、「原因特定後、対策を検討」などと利用者にとって驚愕の回答。

ID=719の新回答をメモ欄に記入すべし：「すべてのアプリ」をクリックして、ピン留めするアプリを右クリックします。
次の手順で、スタートメニューにアプリをピン留めします。
お使いの環境によっては、表示される画面が異なります。
・「スタート」ボタン→「すべてのアプリ」の順にクリックします。
・スタートメニューに表示させたいアプリを右クリックし、表示されるメニューから「スタートにピン留めする」をクリックします。
・アプリを右クリックし、表示されるメニューから「スタートにピン留めする」をクリック（「＠メニュー」をスタートメニューにピン留めする場合）
・「ピン留め済み」にピン留めしたアプリが表示されたことを確認します。

http://metadata.co.jp/

新質問バリエーションの１つ：「アプリをピン留めする」• 「について」「方法」などを含む他種の質問を探し、そのバリエーションを参考に、 「アプリをピン留め」質問のバリエーションを拡充する。 →対話botが賢ければ不要

http://metadata.co.jp/

質問文に適切なキーワードが無い、無さそうなときは、回答文にもcheck入れて類似検索~アプリを強調すべく１つ追加：”アプリをピン留め。アプリ”

http://metadata.co.jp/

回答文にもその方法の記述無し

２組のFAQをマージ~重なり具合をチェック
・類似検索マクロの活用

類似検索マクロで片側の全件を類似度チェック
FAQ1

FAQ2

• FAQ1の各項目で、FAQ2全体を類似検索• 重複を排除(1つに)• 矛盾や部分重複を解消しつつ統合→メモ欄にコピペ＆編集

http://metadata.co.jp/

類似検索マクロ実行画面• https://mrdata******.metadata.tokyo/ruiji_macro

http://metadata.co.jp/

• 関連Q,A無し!

http://metadata.co.jp/

セキュリティ関連は様々な単語で言い換えてるかな..

http://metadata.co.jp/

念のため意味コード検索しても無さそう~ファイヤーウォールとは何か?を答えても詮無い。

http://metadata.co.jp/

【解説】意味カテゴリ
意味カテゴリは、日本語の収録語彙約37万を5階層約1万種類の意味に分類したものです。Mrテキスト分析では、読み込んだレコード本文に含まれる語をもとに、各レコードは意味カテゴリで分類されます。
本（意味カテゴリを表示）

全レコード一覧画面の「意味カテゴリ」カラムにある「本」アイコンをクリック
すると、そのレコードの意味カテゴリ（階層）が一覧で表示されます。
絞り込みや分析の結果が出た後、結果に対して個々のレコードの詳細な分析をしたい、というような場合に便利な機能です。

Copy right© 2020 Metadata inc. All Rights Reserved.

20

単語ランキング、係り受けランキング
・単語ランキング、係り受けランキングで頻出語、頻出フレーズをチェック
・Q vs A の単語、フレーズ分布を比較→どの程度「客の言葉」を用いて回答しているか、逆に正式用語に言い換えているかの概要をつかむ
・２つの同種のFAQのトピック分布をつかみ、マージの基本方針を立案 etc.

http://metadata.co.jp/

http://metadata.co.jp/

付録：

ベクトル空間法

類似検索技術について・なぜ高精度なのか？
・再現性、説明性 ～深層学習等と対比したメリット

ベクトル空間法による類似検索に進化する以前に、、文字列検索から単語検索への “進化”• 文字列検索の欠点• 同綴異語、単語の一部の文字列の一致による適合率低下• 「親」→「親族」• 「子」→「骨子」• 文字列検索 vs 単語検索

• 文字列検索は再現率微増、つまり取りこぼしは防げるが、余分な検索結果が増えて適合率が、単語検索より著しく低くなりがち• 単語境界をまたぐ文字列が偶然、欲しい単語に一致すると最悪• いわゆる”義経”問題• 義経千本桜の戯曲について知りたい人が、「義経」と入れると：• 資本主義経済、社会主義経済を見出しに含むマルクス経済本が上位を占めてしまう• 単語検索の欠点• 分かち書きの精度が100%でないので、取りこぼしが若干発生。

• 文字列検索・単語検索共通の課題：AND OR検索式• 検索式のメンテナンスが大変
http://metadata.co.jp/→これを自動化したのが類似検索、ともいえる。

単語検索よりさらに進化した類似検索• 出現した全単語（自立語）の重要度・関連度を、tf*idfによって重みづけを行う。 出現単語のtf*idf値を各要素にもつ記事ベクトルを計算しておく。
• tf : term frequency：その単語(term)の記事中の出現頻度• idf: inverted document frequency ：DB(全記事集合)中にその単語が出現する記事数を分母にして1を割った数値。言い換えればDB中でその単語がいかに稀に現われるかの度合い。
• tf*idf = その単語がその記事をDB全体の中で特徴つけるパワー(KW性の高さ）

記事Aと記事Bの類似度は、記事ベクトルA、Bの「矢印の重なりの大きさ」すなわち、cosine(コサイン）の値や内積値で求められる。
内積：全単語の重み付き一致度の総和をとることに相当。
言い換えれば、「精妙に自動付与された重み付きの単語OR 検索」
http://metadata.co.jp/

記事A

Cosine値！
記事B
この長さが類似度になる！

なぜ類似検索が、気味が悪いほど高精度か？
• 「犬」「人」「噛む」が近傍に揃って出現すると、どんな構文、助詞・助動詞、語順で出てきても99%「犬(主語)が」 「人(目的語)を」「噛む」という意味関係が文脈に出現することになる。類似文書A,Bの両方にこれらが出てきたとき、このような事象記述がどちらにも現れたことになり、意味内容、文脈が非常によく似た記事が高いcosine類似度をもつようになる。
• 主体－客体等の関係を、より厳密に、明確に類似判定させるには、「係り受けターム」を超多次元ベクトルの要素に追加した、「係り受け類似検索」として精度向上をはかる手法も追加可能。

• このような類似性をとらえ、積算して文章内容間の類似度を、あたかも意味を理解しているかのごとくに、気味が悪いほど人間の理解による類似度に近い形で類似の判例をランキングし、上位から並べることができる。
• さらに、5階層約1万カテゴリ、30数万語に付与済の意味ラベル（概念分類）の共通性によって類似概念の共起をもとらえることができる。意味ラベルの共通性を勘案する度合いは、0%から10%刻みで、100%までコントロール可能。
http://metadata.co.jp/

メタデータ株式会社