自由記述回答から選択肢設問を生成するモデルの構築とMCA参照空間への射影による生成内容の解釈

調査票(本稿では従来からの紙の調査票に限らずWebページによる調査票も含めて調査票と呼ぶ)は,調査対象に対するセンサーの役割を果たす.それゆえ,調査票の設計に不備があった場合,データの収集後の統計処理によっては,収集されてない情報の「回復」は原理的に不可能である.調査票は,構造化された選択肢回答部分(close-end)と非構造化部分である自由記述回答部分(open-end)によって構成されている.テキスト処理が未発達の段階では,採取した自由記述回答の分析は困難であったが,昨今のNLPの発展の中で自由記述部分の活用がひらけてきた.調査票の構造化部分は,ある時点でのスナップショットとしての調査仮説に対応しているが,そこに拾いきれない要素は必ず存在するため,調査票の設計では常に更新作業が求められる.求められる新抽出アップデート選択肢回答項目SystemPrompt改善してほしい点を教えてください・研修の進行速度はどうでしたか？・早い・適切・遅い・研修の教材についてどうでしたか？・良かった・どちらでもない・悪かった・研修の空調についてどうでしたか？・暑すぎる・適切・寒すぎるO2C-自由記述回答LLM・モニター見づらい。・クーラーの下で寒かった。・スクリーンオンリーの部分も教材に記載が欲しい。たな視点は,一般的に外的要素からもたらされるが,調査結果自身のなかにもヒントはある.それが,自由記述部分である.こうした調査票設計の現場における要請のサポートとして,我々は次回以降の調査票の改善のために初回の回答結果に含まれた自由記述回答を元に選択肢設問を作成する機能を開発した.本稿では,調査票改善に向けた選択肢設問生成モデルの構築と,その生成した選択肢設問の評価と分析を行う.まず,自由記述回答から選択肢設問を生成するモデルOpen-end2Close-endLLM(O2C-LLM)を構築する.我々はデータ漏洩のリスクを考慮して,GPT[1]などのClosed-sourceLLMではなくLlama[2]などのOpen-sourceLLMを採用した.次に,O2C-LLMの生成した設問を評価,分析した.評価において,我々は1)Formatviolation,2)生成した設問の多様性,3)自由記述回答と選択肢設問の紐付けの3つの観点から評価した.また,分析において,MCAを用いて採取された選択肢回答の集計表から回答者空間を生成し,その空間に生成した設問を射影することで,ど.1)Preprocessing2)Generator3)Refiner4)Assignerアンケート結果GeneratedOptions&Choices-教材についてどう思いましたか？-演習についてどう思いましたか？-会場についてどう思いましたか？D1:深い内容が欲しいT1D1Llama3.1SwallowBatchProcessingD2:会場の空調が寒いD2・・・D3-どちらでもない-どちらでもない-どちらでもないDn:演習時間の増加D4質問部分の抽出・・・・・・TB-満足-不満-満足-不満-満足-不満DN:教材のボリュームDNのような回答者がどのような選択肢設問を生成するかという傾向を分析可能にした.その結果,生成設問としては類似性があっても,MCAによって生成された参照空間での幾何学的配置を考慮することで特異性を確認できることを示し,システムとして探索的なアプローチが可能であることを示す.