LLMを対象としたプロンプトのテキスト分析

本研究の目的は、ユーザが大規模言語モデルに入力するプロンプトをユーザが実際に入力しているテキストとして捉え、その特徴と生成結果に対する信頼のあり方を明らかにすることである。ChatGPTのリンク共有機能を用いて実際の対話ログを収集し、プロンプトの文字数、入力回数、記述パターンといった形式的特徴を分析するとともに、生成結果に対するユーザの評価および信頼度を調査した。分析の結果、プロンプトの量的特徴にかかわらず高い満足度と信頼が示される一方で、課題内容によって評価傾向に差が生じることが明らかとなった。