LLMを対象としたプロンプトのテキスト分析

近年，大規模言語モデル（LargeLanguageModels:LLMs）の発展に伴い，ChatGPTをはじめとする生成AIの活用が急速に拡大している[1,2]．キーワード検索中心の利用から自然言語による対話へと移行するなかで，ユーザが入力する文章（プロンプト）は，生成される回答の品質を左右する重要な要素として位置づけられている[3]．ユーザは対話的なプロンプトのやり取りを通じて，要約文の生成，英文校正，提案作成などを行い，得られた出力をさまざまな場面で利用している[4]．このような状況では，自由記述式アンケートやレポート等の提出文がLLMにより生成・編集された可能性を含み，提出文が必ずしもユーザ自身の直接的な記述のみから構成されるとは限らない．したがって，ユーザの実質的な記述行為を捉えるには，最終生成文だけでなく，生成に至るまでのプロンプトと出力の相互作用を分析対象として位置づける必要がある．そこで，本研究では，ユーザがLLMに入力するプロンプトに焦点を当て，「ChatGPTのリンク共有」機能を活用して，プロンプトおよび出力結果を分析する．具体的には、プロンプトの特徴（文字数、入力回数、記述方法など）を定量的に整理する。さらに、アンケート調査によってChatGPTの出力に対するユーザの信頼を測定し、プロンプトの特徴と信頼との関連を分析する。