訓練不要レビュー生成のための会話形式プロンプト

ユーザの商品へのレビューは、ニーズ把握やマーケティング、商品開発における重要情報である。従来は人手によるアンケートやインタビューで商品レビューを収集してきたが、時間も費用もかさむという課題があるため、その課題を解消するためにレビュー生成の研究が行われてきた[1,2,3,4,5]。これらの多くは教師有り手法であるため、モデルを作る前に多くのユーザレビューが必要であり、レビューが集まらないという課題に再び直面する。近年の大規模言語モデル（LLM）を用いると、訓練不要でも商品レビューを生成できることが知られている[4]。特定の人物になりきらせるRole-Play技術[6,7,8,9]を用いると高精度なレビューが出来上がるが、そのユーザに対して多くのレビュー履歴など豊富なプロフィール情報[8]が必要であり、再びデータ不足問題に直面する。本研究は、過去レビューが少ない一般消費者という、現実のマーケティングでよくある条件に焦点を当てる。このような状況に対し、本研究では、会話形式しがちであった。提案法（右）はレビュー履歴を会話化することで、LLMが対象ユーザの文体を反映しやすくする。誤ったレビューの挿入で品質がさらに向上。プロンプトの活用を提案する。具体的には過去レビューにおける、アイテム情報をLLMにおけるuserロールからの入力に、対応する過去レビューをassistantロールからの応答として会話に変換する（図1）。他ユーザのレビューがあれば、誤応答として挿入し、その不一致を指摘するメッセージを追加することで、正誤比較を通じてユーザの嗜好や文体をLLMに学習させる。他ユーザのレビューを負例として用いる手法をContrastiveConversationalPrompting（CCP）と呼ぶ。負例を用いないものはSimpleConversationalPrompting（SCP）と呼び、CCPは外部レビューを要し、SCPは不要という違いがある。ただし、ここでの外部レビュー自体もLLMで作ることができるため訓練不要の状況は変えずに実行することができる。数値実験では、8つの実世界データセットでSCPとCCPを評価し、履歴長2～10、5種のLLMを比較した。結果として、非会話形式プロンプトはランダムなユーザレビューに近いことが多い一方、SCPとCCPは対象ユーザにより近いレビューを生成した。CCPは一部でSCPを上回るが、負例収集コストとのトレードオフがある。そのため予算に応じて適切な手法を使い分けることができる。この研究の内容は[10]に基づくものである。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).す。各列で太字と下線は、それぞれ最良と次点の手法を表す。SCPより有意に良いプロンプトには∗を付した（片側Wilcoxon検定、𝑝<0.01）。MoviesMusicBooksKindleGroceriesGamesSportsElectronicsAvgROUGEBaseline0.8440.8470.8520.8520.8460.8500.8480.8430.8480.133SCP0.8540.8590.8640.8600.8540.8600.8570.8500.8570.154CCP(B)0.860∗0.864∗0.866∗0.863∗0.857∗0.863∗0.858∗0.853∗0.861∗0.161∗CCP(R)0.857∗0.863∗0.866∗0.863∗0.857∗0.861∗0.8570.852∗0.860∗0.160∗CCP(G)0.858∗0.865∗0.867∗0.863∗0.8560.8610.8570.8500.860∗0.164∗CCP(B)−0.8540.8620.8630.8610.8540.8610.8570.851∗0.858∗0.154CCP(R)−0.857∗0.8620.866∗0.862∗0.856∗0.8610.8570.851∗0.859∗0.15795%信頼区間、破線はBaseline。レビューを用いると多くの場合でSCPを優位に超えており、低品質（−）なものだと改善幅は小さくなった。これは決定境界近傍のハードネガティブが有効であるためだと考えられる。また、負例を選択する基準としてはROUGEよりBERTScoreが有利という結果になった。(4)CCP(G)は統計的にSCPを上回るケースが多く、性能はCCP(B)に近い。そのため、LLMが生成するレビューであっても高品質な負例として機能することが確認できた。RQ2:会話回数と負例数RQ1では𝑛=5の履歴のうち、最新のℓ=𝑛−1件をassistant応答として会話化し、残り1件を最初の指示に用いた。ここでは、会話回数ℓと負例数𝑚が精度に与える影響を、(4,4)：毎ターン負例の会話を用いる、(4,1)：毎ターン会話するが負例を用いるのは最後のみ、(1,1)：初回の指示に𝑛−1件のレビュー履歴を用いて、会話は最後の1回のみ、の3設定で比較する。推論コストを抑えるため、以降は各データセットで200ユーザから50ユーザに縮小し、8データセットを統合して計400ユーザで評価する。(1,1)<(4,1)<(4,4)の順で精度が向上した2）。これにより各レビューを会話形式に変換し、各ターンで負例を挿入することが重要であるとわかった。CCPは負例収集に追加コスト（実レビューの取得またはLLM生成）が必要となるため、最小の追加コストで2）SCPは負例数𝑚に依存しないため、(4,4)と(4,1)は同スコア。図では(4,4)を省略。95%信頼区間。ある(4,1)を導入したが、このスコアは(1,1)であるSCPと差が小さい。そのため、追加コストを許容できるなら(ℓ,𝑚)=(𝑛−1,𝑛−1)が最も効果的で、コスト制約のある状況ではℓ=𝑛−1のSCPが性能と費用の良好なトレードオフを達成する。RQ3:レビュー数LLMは十分な履歴があるとユーザレビューの特徴を捉えられるが[8,9]、実運用では多くのレビュー収集は難しい。そこで過去レビュー数を𝑛∈{2,3,4,5,10}に変化させて、生成されるレビューの品質がどう変化するかを評価する。るに従って精度が向上したが、Baselineは増加による改善が小さかった。これは入力例が増えるほど性能が上がるというin-contextlearningのスケーリング則[15]と反する結果であった。𝑛=2でもSCPとCCPはROUGE>0.14,BERTScore>0.85を達成しランダムレビューを上回っている。つまり、1回の会話と1つの負例だけでも品質が向上する。RQ4:LLMによる性能差これまではgpt-4.1-miniを用いたが、ここではSCPやCCPが他LLMでも安定的に機能するかを調べるために、gpt-4.1,o4-mini,llama3.3-70b,claude-sonnet-4を調査対象に加える。設定はRQ2の𝑛=5に戻す。がBaselineを上回った。ただし、推論モデルであるo4-miniは低スコアあり、overthinking[16,17]の可能性があることから、以降の分析では除外する。Baselineの中ではgpt-4.1が最良である一方、org/licenses/by/4.0/).に基づく95%信頼区間。よる95%信頼区間、破線はランダムのスコア。SCPはo4-mini以外の全LLMでより高スコアを示し、会話形式がLLMを問わず性能を向上させることを示した。CCPは、CCP(B)が多くの場合でSCPを上回り、CCP(G)は一部で劣ることがあるが差は小さく信頼区間も重なる。負例が用意できる場合はCCP(B)、難しい場合はSCPを使うことが良いという結果になった。LLM間の比較ではllama3.3-70bが概して高いが、信頼区間は他モデルと重なり、会話形式プロンプトの効果は各LLMで安定している。3.2下流タスクでの評価本研究ではレビュー生成の応用に焦点を当て、二つの下流タスクで有用かを検証する。ユーザ同一性判定生成レビューが対象ユーザらしさをどれだけ反映するかを測るため、UserIndentityLinkage[18,19]に着想を得たマッチングタスクを設計した。各アイテムについて、真のレビュー、生成レビュー、他ユーザのレビューを用意し、真のレビューとのBERTScoreに基づいてランク付けし、生成レビューの順位を評価する。指標はHit@5とMRR（meanreciprocalrank）を用い、ブートストラップ法（1000再標本）で信頼区間を算出した。比較として、他ユーザのレビューからのランダム選択を含める3）。程度で、非会話形式ではユーザらしさを捉えられていない。一方で、会話形式プロンプトはいずれも両指標を改善し、なかでもCCP(B)が一番良かった。この傾向は図4と整合的である。感情分析タスク生成レビューが対象ユーザの感3）各アイテムは他ユーザのレビューが多数（中央値60、平均285；表2）のためHit@5を採用。KLダイバージェンス。情傾向をどの程度反映するかを、RoBERTaベースの感情分類器[20]4）で評価する。分類器はテキストからポジティブ,ニュートラル,ネガティブの3次元ベクトルを出力する。各ユーザについて最大のラベルを集計してヒストグラムを作り、真の分布との類似度をKLダイバージェンス[21]で測定した5）。ている。対照的に会話形式プロンプトは批判的視点も含むよりバランスの取れたレビューを生成し、KLダイバージェンスが小さく、ユーザの感情傾向をより偏りなく再現した。4考察本研究は、少数事例かつ訓練不要の設定において、会話形式プロンプトがレビュー生成に有効であることを実証的に示した。しかし、理論的分析は本論文の範囲外であり、今後の課題である。近年、単一プロンプトにおけるin-contextlearningのメカニズムが研究されている[22,23,24]。これらの知見を会話形式に適用することは有望な方向性である。もう1つの方向性は推論コストである。精度向上の一案として、CCP(G)を改変して複数レビューを生成し、類似度が最も高いものを選択する方法が考えられる。いくつかの場合でCCP(B)がCCP(G)を上回ったため、この改変は性能改善に寄与する可能性がある。しかし、複数出力の生成はコストを増加させ、SCPの数十倍にもなりうる。大規模シミュレーション[25,26]のように多くのユーザを処理する場面では、効率性が重要となる。負例としてウェブからアイテムレビューを検索することも一案だが、サイトの利用規約がこのような利用を制限する場合が多い。今後は、コストを抑えつつ精度を維持または改善できる会話形式プロンプトの探究を進める。4）https://huggingface.co/cardiffnlp/twitter-roberta-base-sentiment-latest5）Amazonデータセットの実評価分布（例：{5:259,4:67,3:35,2:16,1:23}）は、分類器ラベルの傾向と概ね整合する。org/licenses/by/4.0/).