生成AIを活用したお客様の声分析の紹介～利用時品質向上を目指して～

リコーITソリューションズ株式会社
狩野 薫・増子 聡・森 孝司
2024/3/15© Ricoh本日お話したいこと

利用時の品質向上のために、お客様の声分析活動で実践したアプローチについてご紹介します© Ricoh1

目次▪ 活動の背景・目的– 活動の背景– 私たちが実現したい事▪ 「お客様の声分析」の対象・期待する結果– 「お客様の声分析」の対象– 「お客様の声分析」で期待する結果▪ お客様の声分析アプローチの紹介– ①トピックモデル分析– ②フレーズに基づく問合せ分類法– ③生成AIを用いた問合せ分類法▪ 活動の成果・今後の取り組み© Ricoh2

活動の背景・目的© Ricoh3

活動の背景プロジェクト目標

顧客満足度の高い製品の提供※満足度が高い状態 ＝ 不具合、不平・不満がない状態

やりたい事
不平・不満の放置

不平・不満をなくして、更なる顧客満足度アップに繋げる

現状製品の不具合のみ解決© Ricoh4

私たちが実現したい事お客様の声を分析することで、製品・サービスの不平・不満を検知し、将来の満足度低下を未然防止すること© Ricoh5参考：RICOH Chatbot Service▪ RICOH Chatbot Serviceとは、お問合せに自動で即答できるアプリケーションです。
▪ 画像イメージ
タッチor
自動立上クリックor自動立上▪ 商品コンセプト– かんたん導入– らくらく運用

お客さまが使い慣れているExcelをベースとしたフローにより実現できます。
IT知識が無くても、誰もが分かりやすい改善可能なフローにより実現できます。

RICOH Chatbot Service スペシャルサイト
© Ricoh6

「お客様の声分析」の対象・期待する結果© Ricoh7

「お客様の声分析」の対象
顧客の問合せ対応フロー
問合せ
顧客回答

連携して解決コールセンター

開発者

やり取りの例
開発の皆様お疲れ様です。佐藤です。
株式会社○○様より、管理アプリにログインできないとの問い合わせがありました。
昨日パスワード変更した際はログインできていたとのことです。
何か原因についてお分かりになりますでしょうか。お忙しいところ恐縮ですが、何卒宜しくお願い致します。

▪ コールセンターと開発者の連絡手段：
Microsoft teamsのチャット▪ やり取りの頻度：20～30件/月▪ やり取りの情報量：20～150行/件

調査しますので、お待ち下さい。
原因がわかりました。▲▲によるため、■■を試していただくよう連絡をお願いします。その際に、××に注意してください。
お忙しいところご回答ありがとうございます。
そのようにご案内させていただきます。
本件につきまして、お客様より追加で下記質問がありました。・・・

2024/3/19© Ricoh8

「お客様の声分析」で期待する結果▪ お客様の声を、問合せ区分に分類できること
問合せ区分

概要

苦情

顧客の不平・不満の訴え

要望

顧客のニーズや希望、要求

質問

仕様に関する疑問や不明点

不具合

製品・サービスの不具合や問題の報告▪ 問合せの対象（製品・サービスの機能や操作等）が特定できること© Ricoh9

お客様の声分析アプローチの紹介①トピックモデル分析②フレーズに基づく問合せ分類法③生成AIを用いた問合せ分類法© Ricoh10

①トピックモデル分析▪ トピックモデルとは– 大量の文書からトピック（主題やテーマ）を形成するモデル– 文書内の形態素の出現率に着目して、文書をトピックに分類する

トピック
A

文書

太陽 晴れ 気温
寒空 雲

トピック毎に分類

トピック
B

太陽, 晴れ, 熊, キリン,尻尾, 気温, 毛並, 寒空・・・© Ricoh

熊 キリン 毛並尻尾 カバ

11

①トピックモデル分析▪ アプローチの概要– 1年間の問合せ200件からトピックを形成する– 名前付けしたトピック（=問合せの対象）を問合せ区分に分類する
苦情
管理者 ログイン
エラー 失敗 パス
ワード

ログイン
できない

"ログイン
できない"

問合せ

トピック毎に分類

要望
他社事例の提供

トピックに名前を付ける"カテゴリ名の表示仕様""類義語登録の質問"

質問
カテゴリ名の表示仕様

類義語登録の質問

不具合
ボットの応答なし© Ricoh12

①トピックモデル分析の結果▪ 結果– トピックを形成できなかった▪ 問題– データ量が少ないと、トピックを形成できない▪ 課題
1. 少ない問合せ件数でも、問合せ区分に分類可能にする
2. 形態素解析で得た形態素の特徴を分析に用いる© Ricoh13②フレーズに基づく問合せ分類法▪ アプローチの概要– 各問合せを特徴付けるフレーズに着目する• ①区分判定辞書とフレーズをマッチングし、問合せ区分を決定する• ②意味付け辞書とフレーズをマッチングし、該当する問題を特定する• マッチングしたフレーズが複数ある場合の優先度ポリシーで決定する①区分判定辞書

形態素に
分解

問合せ

お客様

からログインができない

問合せがあり…と区分フレーズ

問合せ区分

づらい

苦情

でき,ない

苦情

ほしい

要望

②意味付け辞書© Ricoh

意味フレーズ

該当する問題

画面遷移しない

表示不可

ログイン,でき,ない

ログイン不可ログイン,が,でき,ない

ログイン不可ログイン,エラー,に,なる

ログイン不可

ログアウトしない

ログアウト不可14②フレーズに基づく問合せ分類法の結果▪ 結果– 問合せ区分の決定、該当する問題の特定が可能▪ 問題– 新規フレーズを辞書へ追加する場合の判定結果が属人化する• 意味付け辞書の判定：同義の意味フレーズが辞書にあるか• 区分判定辞書の判定：新しいフレーズがどの問合せ区分に該当するか

▪ 課題

NEW

– 属人化を排除した分類法を使う

フレーズ© Ricoh15

③生成AIを用いた問合せ分類法▪ アプローチの概要– 様々な表現方法や文脈を学習した生成AI（ChatGPT）を活用する– ChatGPTに問合せ区分と問合せの対象を出力するプロンプトを用いる「この問合せを、不具合、苦情、要望、質問に区分してください」
プロンプト
問合せ区分
ChatGPT
問合せの対象問合せ© Ricoh16

プロンプトの構造の変遷 Step１▪ 構造– 問合せ区分の定義と、区分の判定指示を記述する※プロンプトの例
プロンプト①区分の定義②区分判定の指示①区分の定義顧客からの問合せは、以下の4つの問合せ区分に分類されます。
1. 苦情: 製品・サービスが達成できない顧客の要求で、困っていること
2. 要望: 製品・サービスが達成できない顧客の要求で、まだ困っていないこと
3. 質問: 苦情と要望に当てはまらないもの
4. 不具合: 製品・サービスが正しく動作しないこと②区分判定の指示与えられた文章を、問合せ区分に分類してください。

▪ 結果– ほぼ全ての問合せが「質問」に区分された• 顧客の問合せ以外の箇所で、区分判定していると判明▪ 課題・次の実施事項

この文章は、質問に分類されます。
理由は、顧客で発生した●●の問題について、担当者が対策時期を確認したものです。

– 問合せの余計な情報を排除する ⇒問合せの要約化© Ricoh17

プロンプトの構造の変遷 Step２▪ 構造– Step1の構造に「問合せの要約化を指示する」を追加する※追加したプロンプトの例

プロンプト
③要約の
指示

①区分の定義②区分判定の指示③要約の指示与えられた文書を要約してください。

▪ 結果– 区分付けできないケースがあった• 文章の構造を要約したものだったと判明▪ 課題・次の実施事項

この文章は該当する問合せ区分がありません。質問者と回答者で、議論のやり取りを繰り返しています。

– 文章が対話の構造であることを示す© Ricoh18

プロンプトの構造の変遷 Step３▪ 構造– Step2の構造に「問合せ対話の構造を与える」を追加する※プロンプトの例

プロンプト–④対話の構造③要約の指示①区分の定義④対話の構造②区分判定の指示

この文章は顧客窓口と開発者とのやり取りです。
顧客窓口が発している情報は、顧客情報と、顧客から聞き取りした内容です。

▪ 結果– 問合せを、問合せ区分で分類可能になった• 問合せの対象は必ず出力するとは限らない▪ 課題・次の実施事項

この文書は苦情に該当します。管
理画面の認証エラーが原因で、顧客に不都合が生じているからです。

– 問合せの対象を特定するプロンプトを設計する
この文書は質問です。
© Ricoh19

プロンプトの構造の変遷 Step４▪ 構造– Step3の構造に「要約時に、問合せ対象を識別する条件を指定する」を追加する※プロンプトの例

プロンプト④対話の構造⑤識別条件③要約の指示①区分の定義②区分判定の指示⑤識別条件
与えられた文書を、以下の形式で要約してください。
・顧客名
・顧客が遭遇した現象
・顧客からの用件▪ 結果–・顧客名：●●株式会社様チャットボットサービス以外の現象を基に区分を判定した ・顧客が遭遇した現象：チェックシートの入力• チャットボットサービスの具体的な仕様を・顧客からの用件：顧客は、チェックシートの定期的な記入を希望しています。
ChatGPTが学習していないため▪ 課題・次の実施事項

この文書は要望です。

– 製品仕様書、ユーザーガイド、SLA等のチャットボットサービスに関する情報の学習による精度向上© Ricoh20

活動の成果・今後の取り組み© Ricoh21

活動の成果と今後の取り組み▪ 活動の成果– お客様の声の表現の多様性やコールセンターでの複雑なやり取りであっても、お客様の声から感情や意見を抽出することが可能になることがわかった– データの特性に応じて手法を使い分けることが大切– シンプルかつ明確な構造を持つプロンプトをChatGPTに与えることで精度が高くなる– お客様の声は常に変化している。変化を想定した運用を考えることが大切▪ 今後の取り組み– 製品仕様書、ユーザーガイド、SLA等のチャットボットサービスに関する情報の学習による精度向上© Ricoh22

ご清聴ありがとうございました。