言語処理学会 第30回年次大会 発表論文集（2024年3月）

コンタクトセンターにおける人と言語モデルの協働による対話データの作成
伊藤拓海 1,2 阿部香央莉 1 日高雅俊 1,3 野田健一 4 岩浅佑一 4
1 Machine Learning Solutions 株式会社 2 Langsmith 株式会社
3 Edge Intelligence Systems 株式会社4 トランスコスモス株式会社
ito@langsmith.co.jp abe@machine-learning.co.jp hidaka@edgeintelligence.jp{noda.kenichi,iwasa.yuichi}@trans-cosmos.co.jp

概要
コンタクトセンターにおける自然言語処理は顧客サービスの自動化と効率化において重要な役割を担っているが、個人情報や著作権等の観点から研究用として扱うことのできるデータは少ない。そこで本研究では研究用データの構築のため、仮想の家電メーカを設定し回答に必要なナレッジと対話データの作成に取り組んだ。特に、効率的なデータ作成と実用後の継続的なデータ収集を見据え、人と大規模言語モデルの協働によってデータを作成するアプ
ローチを検討し、461 件のナレッジと 2, 308 件の対話データを作成した。

1

仮想の家電メーカ
を作成

仮想家電
メーカ
ナレッジ

参照して
質問に回答
エアコンの電源が点かない
電源が点かないのですね。
リモコンには何か表⽰されて
いますか？
修正

カスタマー役（コンタクトセンター従業員）

オペレータ役
（LLM）

電源が点かないのですね。
リモコンにはエラーメッセージなどは表⽰されていませんでしょうか？

図1

データ作成手法の概略図

はじめに

近年、大規模言語モデル（LLM）の登場により、チャットボットの性能が飛躍的に向上している。そのチャットボットの主要な応用先として、コンタ
クトセンターでの利用が期待されている [1, 2, 3]。
チャットボットを導入することにより、24 時間対応
やオペレーションコスト軽減が期待できる [4]。
しかし、チャットボットの実応用が進んでいる一方で、その研究開発のためのデータが限られているという現状がある。この要因は大きく二つあり、一つはコンタクトセンターのデータが個人情報等を含
むため公開しにくいという点である [3]。またもう一つの点として、オペレータはカスタマーからの問い合わせを受け必要に応じてナレッジ等の資料を参照し回答を作成するが、既存の知識参照タスクのためのデータセットの多くが Wikipedia 等を参照して
おり [5]、実際のコンタクトセンターでのドメインとは大きくかけ離れているという点が挙げられる。
そのため我々は、実応用を志向したコンタクトセ

ンターのチャットボット開発のためのデータセットの構築を目指す。今回は、家電におけるテクニカル
サポート業務を想定して、対話データセットを作成する。仮想の家電メーカーを作成し、新たなナレッ
ジを作成した。作成したナレッジに基づき、実際のコンタクトセンターのオペレータと LLM の協働によって対話データを作成を目指す。LLM を用いる
ことで、十分な訓練データがない場合でも、プロンプトの調整によって、一定レベルの性能を持つ対話モデルの構築が期待できる。そのため、本研究では、オペレータがカスタマーのふりをして問い合わ
せをし、LLM の回答をオペレータが確認・修正を行うことで対話データを収集した。図 1 に本データ作成手法の概略図を示す。本研究にて、我々は 461 件のナレッジと 2, 308 件の対話データを作成した。将来的には、LLM をコンタクトセンターにて実運用を行いながら継続的なデータ作成を行うことを目指している。

― 1463 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 洗濯機・衣類乾燥機に関するナレッジの例
タイトル 給水ホース・排水ホースは自分で交換可能ですか？
文章
給水ホースはお客様ご自身での交換が可能です。排水ホースは外に出る蛇腹部分が外付となる外部排水ホース部分については交換可能です。製品を購入された販売店で在庫・価格などご確認の上でご注文をお願い致します。
内部側の排水ホースについては補修部品となりお客様ご自身での交換は出来かねる部分です。弊社ご相談窓口へ点検・修理をご依頼ください。外部排水ホースがなく内部側の排水ホースと一体化しているタイプも同様となります。
排水ホースの仕様は製品によって異なるため、お使いの製品の取扱説明書・据付説明書
をご確認ください。

関連研究

2

人と LLM の協働によってデータを作成する取表 2 仮想のエアコン家電エアリーに関するナレッジの例
タイトル エアリーのリモコンを紛失・故障したら運転できる？
文章
エアリーの室内機前面パネルを開けた右下部分にある運転・停止ボタンによって、手動で運転と停止を選択できます。運転・停止ボタ
ンを一回押すと冷房運転、二回素早く押すと暖房運転が開始されます。稼働中は、一回押すことで運転を停止します。
なお、温度変更や除湿運転は行えず自動運転となります。
表 3 プ ロ ン プ ト の 例。{context} は ナ レ ッ ジ の 検 索 結
果 が 入 り、{chat history} に は、そ れ ま で の 対 話 履 歴、{question} には直前のカスタマーの発話が入る。
### 指 示：以 下 の 検 索 結 果 と 対 話 履 歴 を 元 に、
コールセンターのオペレーターとして適切な応答をしてください。
### 検索結果：{context}### 対話履歴：{chat history}
ユーザー: {question}### 応答：り 組 み は、近 年 盛 ん に 行 わ れ る よ う に な っ て い
る [6, 7, 3]。本研究と同様に、Lu ら [3] は、人と LLMれている。また、表 2 の仮想エアコン “エアリー” のの協働によってコンタクトセンター向けの対話デー

ように、仮想製品もいくつか作成した（エアリーのタ作成手法を提案している。日本語のデータセット

製品詳細は付録 B を参照）。一般的な LLM が学習しとしては、宿を探しているカスタマーとオペレータていない仮想製品を含むことにより、システム検証の擬似的な対話を収録した、宿泊施設探索対話コーパスがある [8, 9]。宿泊施設探索対話コーパスは人時にモデル内の知識と外部知識の切り分けが容易にと人の対話によって対話データが作成されている。

トだけで構成されており、画像などの情報はない。

これらの研究と比較すると、我々のデータセットに

著者らを含む、著者らの所属する複数組織の従業は回答に必要な参照ナレッジが付いている点が異員によって作成された。なお、コンタクトセンター

なる。

での業務経験がある従業員も含まれる。ナレッジ
は、Notion1）によって管理され、複数人が共同で作データ作成手法

3

なることを期待している。なお、ナレッジはテキス成した。またナレッジは、対話データ作成に並行

ここでは、データ作成の手順について説明する。

して、加筆・修正がされた。最終的に、461 件のナ

我々は、個人情報や著作権の問題を回避するため、レッジを作成した。2）そのうち 425 件は対話データ

仮想の家電メーカを設定し、ナレッジと対話データが紐づいている。

を作成した。データの作成においては、個人情報、著作権等に関する問題を避けるため、次のような指3.2

対話データ作成示を行った。(1) 実在の企業名・商品名、またはそ本研究では、データ作成の効率化および今後の継れを連想されるキーワードを入力しないこと (2) 個
人情報を入力しないこと (3) 既存の FAQ サイトのコ

続的なデータ収集のため、人間の作業者と LLM のピー＆ペーストをしないこと。

作成の概略図を示す。インターフェースは付録 A に

3.1

協働による対話データ作成を試みる。図 1 にデータ示す。

ナレッジの構築

作業者はカスタマー役を行い、LLM はオペレー

表 1 と 2 に作成したナレッジの例を示す。今回タ役を担う。オペレータ役の LLM には、ナレッジ

は、エアコン、冷蔵庫、洗濯機・衣類乾燥機、掃除機、炊飯器の 5 つの家電に焦点を当てた。これらの検索結果をプロンプトに含める形での、検索拡張
生成 (RAG) [10] を用いた。

は比較的身近な家電であり、仮想家電の設計が比本取り組みは探索的なものであり、対話データの較的容易と考えた。ナレッジは、主に製品の詳細と Frequently Asked Questions (FAQ) によって構成さ

1） https://www.notion.so/2） Notion の 1 ページを 1 件とカウントした。

― 1464 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

作成と並行して、LLM 側のプロンプトや検索機構などのシステム改善を随時行った。実際に用いたプ
ロンプトの例を表 3 に示す。LLM としては、LINE
提供の 3.6B モデル3）及び、LLM-jp 提供の 13B モデル4）を使用した。また、対話データが一定程度作成できた後に、LLM-jp 提供の 13B モデルに対して、
LoRA チューニング [11] を行い、その LoRA チュー
ニング後のモデルを使用した。検索については、ベクトル検索と BM25 [12] を使用し、Reciprocal Rank
Fusion [13] でアンサンブルを行った。ベクトル検索
時の埋め込みには、日本語 LUKE [14]5）を使用した。
また、LoRA チューニング後は、HyDE [15] も併用した。なお、第一位の検索結果のみを使用して回答を
生成した。

3.3

対話データ作成の作業者と作業手順

コンタクトセンターでの業務経験がある従業員10 人（作業者と呼ぶ）に対話データを作成してもらった。作業者にはナレッジを一つ選択してもらい、そのナレッジに関連した課題を抱えるカスタ
マーの立場で質問を行ってもらった。表 3 に示すプロンプトを用いてオペレータ側の応答を LLM で生成した。LLM の出力は不十分な場合が多いため、必要に応じて作業者に適切な応答となるよう修正してもらった。カスタマーの課題が解決するまで、質問および応答の修正を数ターン行ってもらった。LLMの出力の修正時には、LLM の生成品質を定量化するため、応答の 5 段階評価を求めた。また、RAG の過程で適切なナレッジが取得されなかった場合を考慮し、取得されたナレッジの 5 段階評価（質問内容
によっては、「ナレッジは不要」を選択）および、本来参照されるべきナレッジ（Notion のページ URL）の入力を求めた。詳細は、付録 A に示す。

4

LLM の生成結果と作業者による修正後の編集距離を調べたところ、平均 280.93（最大 1, 161、最小0）で、収集した全応答のうち 17.55%の応答（1, 977
件）が LLM の出力をそのまま受け入れたものであった。また、ナレッジの多くは、表 1 に示したよ
うに FAQ となっている。カスタマーからの質問と対話データの分析

FAQ がどの程度表層的に異なるかを調べるため、質我々は 2, 308 対話のデータを作成した。表 4 に作成した対話データの例を示す。対話のターン数は平均 10.71 ターン（最大 27、最小 3）で、応答は 11, 267件である。また、1 応答の長さは、平均 275.77（最大 1, 259、最小 2）文字であった。

表 4 対話データの例。OPR はオペレータ、CTM はカス
タマーを示す。オペレータは LLM の出力を作業者によって修正したものである。この対話の正解ナレッジは表 1である。
OPR お問い合わせありがとうございます。何かお手伝
いできることはありますでしょうか。
CTM 洗濯機のホースなんですが、もし破れたり劣化したりしたら自分で付け替えられますか？
OPR 給水ホースはお客様ご自身での交換が可能です。
排水ホースは外に出る蛇腹部分が外付となる外部
排水ホース部分については交換可能です。
CTM 外部ではない排水ホースってあるんですか？
OPR 内部側の排水ホースと、外部排水ホースのあるタ
イプと、外部排水ホースがなく内部側の排水ホースと一体化しているタイプがございます。内部のホースや、一体化しているタイプは補修部品となりお客様ご自身での交換は出来かねる部分です。
弊社ご相談窓口へ点検・修理をご依頼ください。
CTM ちなみに自分のやつがどっちかっていうのは判断できるんですか？
OPR 排水ホースの仕様は製品によって異なるため、お使いの製品の取扱説明書・据付説明書にてご確認ください。
CTM もし外部ホースがあるタイプで、外部側と給水ホースだけ交換したい場合どうすればいいですか？
OPR お客様ご自身で交換可能な給水ホースと外部排水ホースについては、製品を購入された販売店で在庫・価格などご確認の上で部品としてご注文をお願い致します。
CTM 分かりました。参考になりました。
OPR お役に立てたのであれば幸いです。何か他にお困りのことはございますか？
CTM いえ、聞きたいことは聞けたので今のところ他は特にないので、また何かわからないことがある時は改めてご相談します。
OPR かしこまりました。何かございましたら、お気軽にお問い合わせください。本日はお忙しいとこ
ろ、お問い合わせいただきありがとうございました。

問と本来参照されるべきナレッジとして作業者が指定したナレッジのタイトルとの編集距離を調べた6）。編集距離の平均は 47.99（最大 261、最小 0）で、ナレッジのタイトルと完全に同じ質問をしている応答は 0.013%（100 件）であった。

4.1
3） https://huggingface.co/line-corporation/
japanese-large-lm-3.6b-instruction-sft4） https://huggingface.co/llm-jp/
llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.05） https://huggingface.co/studio-ousia/
luke-japanese-base-lite

LoRA チューニングによる影響分析

LLM の LoRA チューニングによる影響を調べる。
以降、「再学習前」「再学習後」と述べる際は LLM-jp
6） ここでは、評価において「ナレッジは不要」と選択された応答以外の応答 7, 792 件を対象として分析を行った。

― 1465 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 5 LLM 再学習前・後の各応答に対する「応答の総合評価」の割合の変化。丸括弧内は件数を示す。
再学習前
再学習後
とても良い
5.94% (362) 37.43% (1,402)
良い
21.55% (1,314) 28.19% (1,056)
どちらとも言えない 0.00%(0) 0.05%(2)
悪い
45.02% (2746) 25.49% (955)
とても悪い27.47% (1675) 8.84% (331)

提供の 13B モデルを再学習する前と後の結果について記述する。LLM の生成品質について、作業者に評価してもらった 5 段階評価のうち「応答の総合評
価」の結果についての LLM 再学習前・後の変化を表5 に示す。表より、LLM を再学習した後は再学習前と比べて「とても良い」と評価された応答が大きく増加傾向にあり、また反対に「悪い」「とても悪い」と評価された応答は大きく減少傾向にあった。これは、LLM の再学習によって生成品質が向上し、普段実務を行なっている作業者から見ても品質の良い応答が生成できるようになったことを示している。
また、再学習により、作業者にとって望ましい応答を生成できるようになっていれば、作業者の応
答修正の負荷も減っていると考えられる。そこで、
LLM の再学習前・後での LLM の生成結果と作業者による修正後の編集距離の差異を比較した。結果、LLM の出力をそのまま受け入れたもの（編集距離が0 のもの）が再学習前は 4.80%（293/6, 097）だったのに対し、再学習後は 35.80%（1, 341/3, 746）にも上った。これは、再学習によって生成品質が向上した LLM を用いることで、データ作成の効率が上昇させることができることを示唆する結果となった。

5

議論：データ作成手順の課題の作成を同時進行的に行うことにしたため、ナレッ
ジに紐づいていない対話データができてしまった。
表 1 を参考に例を挙げると、対話データ作成途中に、「給水ホースは自分で交換可能ですか？」と「排水ホースは自分で交換可能ですか？」といった 2 つの FAQ が表 1 のように 1 つにまとめられるといった場合があった。そうした場合、2 つの FAQ がある
時点で作成された対話データは、最新のナレッジとリンクしなくなっている。今回は、ナレッジに紐づいていない対話データはフィルタリングにより除いている。FAQ を定期的に更新することは、実際のコ
ンタクトセンターでも行われることであり、実環境
でデータを収集する場合にも起きうる課題である。

今後の展望

6

自然言語処理の応用先としてコンタクトセンター
は有望であるものの、個人情報等の課題もあり、データがあまり充実していなかった。我々が作成したデータセットは、対話データだけでなくナレッジも付随していることが特徴である。コンタクトセン
ターのチャットボットのみならず、FAQ の編集支援など、様々な業務支援システムの研究開発に応用可能だと考えている。
本研究は探索的な取り組みであり、データやその作成方法に関して十分に評価できていない点も多い。データ作成のためのインストラクションなど多くの改善点があると考えている。今後は、本データを基準に、より高品質なデータを効率的に作成可能な方法論の開発を目指す。具体的には、人対人でのデータ作成方法と人対 LLM を比較することを計画している。

データ作成の手順にはいくつかの課題があった。
まず、ナレッジの構築に長時間を要した。特に、実際の家電製品が存在しない中でのナレッジの作成であったため、表 2 のような独自家電の設計は容易ではなかった。第 3.1 節で述べたように、画像等は作成しなかったが、先に擬似的な製品画像でイメージを共有した後にナレッジを作成するなどのアプロー
チをとることで、より高品質なナレッジの作成に繋がった可能性がある。なお、今回は、著者を含む作業者間で Notion 上でインタラクティブに議論をしながら作成した。対話データ作成時にナレッジの不備
や誤りを発見した際は修正するようにして、ナレッ
ジの推敲を行なった。
一方で、仮想家電メーカのナレッジと対話データ

今回作成したデータはあくまで擬似的なものであり、実世界の複雑さを完全に反映していない可能性がある。そのため、実データとの比較や作成したデータで学習した LLM を実運用を行い、データ作成手法の改善を行う予定である。

おわりに

7

本論文では、コンタクトセンターにおける対話
データを人と LLM の協働によって作成するアプ
ローチについて検討した。仮想の家電メーカを設定し、擬似的なナレッジと対話データを作成した。
データセットは、自然言語処理の応用研究に貢献できると考えており、学術研究の用途に限定して公開する予定である。

― 1466 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究を進めるにあたり、データ作成とナレッジ整理に尽力くださったトランスコスモスの従業員の方々に感謝申し上げます。

参考文献[1] 坂田亘, 田中リベカ, 黒橋禎夫. 公式ウェブサイトをベースにした qa チャットボットの自動構築. 言語処理学会第 26 回年次大会発表論文集, pp. 327–330,
2020.
[2] 邊土名朝飛, 友松祐太, 佐々木翔大, 阿部香央莉, 乾健太郎. 多様なタスク指向対話データの収集を目的としたクラウドソーシングにおけるインストラク
ションの設計. 人工知能学会全国大会論文集, Vol.
JSAI2023, pp. 4Xin102–4Xin102, 2023.
[3] Bo-Ru Lu, Nikita Haduong, Chia-Hsuan Lee, Zeqiu Wu,
Hao Cheng, Paul Koester, Jean Utke, Tao Yu, Noah A.
Smith, and Mari Ostendorf. DIALGEN: Collaborative
Human-LM Generated Dialogues for Improved Understanding of Human-Human Conversations, 2023.
[4] チャットボットはコールセンター運営に必要！事例や活用方法を解説, Aug 2021. Accessed: 2024-01-11.
[5] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也.
Jaqket: クイズを題材にした日本語 qa データセットの構築. 言語処理学会第 26 回年次大会, pp. 237–240,
2020.
[6] Alisa Liu, Swabha Swayamdipta, Noah A. Smith, and Yejin
Choi. WANLI: Worker and AI Collaboration for Natural Language Inference Dataset Creation. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 6826–6847, Abu Dhabi, United

Arab Emirates, December 2022. Association for Computational Linguistics.
[7] Helena Bonaldi, Sara Dellantonio, Serra Sinem Tekiroğlu,
and Marco Guerini. Human-Machine Collaboration Approaches to Build a Dialogue Dataset for Hate Speech
Countering. In Yoav Goldberg, Zornitsa Kozareva, and
Yue Zhang, editors, Proceedings of the 2022 Confer-Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-Augmented
Generation for Knowledge-Intensive NLP Tasks. In
H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and
H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 9459–9474. Curran Associates, Inc., 2020.
[11] Edward J Hu, yelong shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu
Chen. LoRA: Low-Rank Adaptation of Large Language
Models. In International Conference on Learning
Representations, 2022.
[12] Andrew Trotman, Antti Puurula, and Blake Burgess. Improvements to BM25 and Language Models Examined.
In Proceedings of the 19th Australasian Document
Computing Symposium, ADCS ’14, p. 58–65, New
York, NY, USA, 2014. Association for Computing Machinery.
[13] Gordon V. Cormack, Charles L A Clarke, and Stefan
Buettcher. Reciprocal Rank Fusion Outperforms Condorcet and Individual Rank Learning Methods. In Proceedings of the 32nd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR ’09, p. 758–759, New York, NY,

USA, 2009. Association for Computing Machinery.
[14] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki
Takeda, and Yuji Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention.
In Bonnie Webber, Trevor Cohn, Yulan He, and Yang
Liu, editors, Proceedings of the 2020 Conference on
Empirical Methods in Natural Language Processing(EMNLP), pp. 6442–6454, Online, November 2020. Asso-

ciation for Computational Linguistics.
[15] Luyu Gao, Xueguang Ma, Jimmy Lin, and Jamie Callan.
Precise Zero-Shot Dense Retrieval without Relevance Labels. In Anna Rogers, Jordan Boyd-Graber, and Naoaki
Okazaki, editors, Proceedings of the 61st Annual
Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1762–1777,

Toronto, Canada, July 2023. Association for Computational Linguistics.

ence on Empirical Methods in Natural Language Processing, pp. 8031–8049, Abu Dhabi, United Arab Emi-

rates, December 2022. Association for Computational Linguistics.
[8] Yuta Hayashibe. Self-contained utterance description corpus for Japanese dialog. In Nicoletta Calzolari, Frédéric
Béchet, Philippe Blache, Khalid Choukri, Christopher
Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara,
Bente Maegaard, Joseph Mariani, Hélène Mazo, Jan Odijk,
and Stelios Piperidis, editors, Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 1249–1255, Marseille, France, June 2022. Eu-

ropean Language Resources Association.
[9] 祐太林部. 要約付き宿検索対話コーパス. 言語処理学会第 27 回年次大会論文集, pp. 340–344, 2021.
[10] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio
Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich― 1467 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

データ作成手法の詳細
作業者がデータを作成する際に使用したユーザー

7）まず、作業者
インターフェイスを図 2 と 3 に示す。

がカスタマーのふりをして質問をする（図 2）。質問が送信されると、LLM を用いてオペレータ側の回答が生成される。次に、作業者はオペレータ側の回
答を確認し、以下の要素について 5 段階評価を入力する（図 3）。
• 対話としての流暢性
図2• 応答の適切性

カスタマー側の発話の入力画面• 応答の丁寧さ• 応答の事実性（選択肢「評価できない」を含む）• 応答の総合評価
この際、応答が適切でない・流暢でない場合には、回答を直接書き換える。なお、「総合評価」と他 4 種類の軸の評価結果のスピアマン相関が 0.8 以上と高かった。そのため、本文中での分析では、総合評価の結果のみを使用した（第 4.1 節）。
LLM が参照したナレッジも提示され、ナレッジ自体が適切であるかの評価及び、参照先が誤っている場合には修正を行う。ナレッジの内容が不適切である場合は、Notion 上で編集作業を行う。以上の操作を終えるとオペレータ側の回答が確定し、カスタ
マー側の発話の入力画面に戻る。カスタマー側の課

図 3 オペレータ側の発話の評価・修正画面

題が解決するまで対話を続行した後、対話終了ボ
タンをクリックすることにより一連の対話を保存する。

がないよう配慮した。Web サーバ側には NVIDIA L4

データ作成作業は複数の作業者が同時に進めたたにより推論速度の高速化に取り組んだ。オペレータ

め、一部のナレッジに関する対話が複数生成されるのレスポンスを極力短時間で返すことで、データ作

一方で、全く対話の紐付かないナレッジが多数残る

成作業の効率化が期待できる。

状況が見られた。この問題を軽減するため、使用さBれていないナレッジを自動的に抽出し、そのナレッジに関連した対話を行うよう促す表示を追加した。
また作業者ごとにデータ作成作業に費やせる時間に差異があったため、より多くの作業者が対話作成に携わり多様性をもたせられるよう、作業者ごとのナレッジ作成と対話に費やす時間のバランスを管理者側で調整した。
ユーザーインターフェースは Web ブラウザで利用可能な Web アプリケーションとして実装し、作業者のパソコンにはソフトウェアを導入する必要
7） Streamlit (https://github.com/streamlit/streamlit) とStreamlit Component (https://github.com/AI-Yash/st-chat)を使用して構築した。

GPU を搭載し、LLM の量子化技術を適用すること

ナレッジの例

表 6 仮想のエアコン家電エアリーの詳細ナレッジの一部
タイトル エアリー
文章# 製品名 エアリー## 仕様
【製品コンセプト】よくあるスタンダードモ
デル【型番】UFE-F2322 冷暖房時おもに 10 畳（冷房 8〜12 畳：暖房 8〜10 畳）UFE-OT2328 冷
暖 房 時 お も に 14 畳（冷 房 11〜17 畳：暖 房
11〜14 畳）UFE-OT2350 冷暖房時おもに 18
畳（冷房 15〜23 畳：暖房 15〜18 畳）【価格】 オープン価格

仮想製品 “エアリー” の製品詳細の一部をを表 6に示す。

― 1468 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).