評価対象抽出における関連タスクを利用したfew-shot選択手法

自然言語処理分野においては，評判分析が広く研究されている．評判分析は，製品レビューやSNSの投稿，カスタマーサービスにおけるユーザーフィードバックなどから，ユーザーの意見や感情を抽出・分析するタスクである．評判分析は企業や組織が消費者のニーズを理解し，製品やサービスの改善につなげるために重要な役割を果たす．評判分析の代表的なタスク例として，極性分類が挙げられる．極性分類は，テキストがポジティブ（肯定的）であるか，ネガティブ（否定的）であるかを判別するタスクである．このタスクは，製品やサービスに対するユーザーの意見を迅速に把握するために広く活用されている．極性分類は評判分析の中でも代表的なタスクであり，研究が進んでいる分野であるため，公開されたデータセットが豊富に存在する．一方，評判分析のタスクの中には，データセットが十分に存在しないタスクも存在する．その一つとして評価対象抽出が挙げられる．評価対象抽出では，テキスト中から評価の対象となる特定の要素や項目を抽出することを目的とする．たとえば，製品レビューでは「品質」「デザイン」「価格」など，ユーザーが特定の製品のどの要素について評価しているかを自動的に抽出する．例文と，その評価対象を以下に示す．•例文：このホテルは何より価格が安い•評価対象：価格この抽出によって，ユーザーの意見がどの要素に関連しているかを明確に理解でき，より詳細な評判分析が可能となる．しかし，評価対象抽出ではデータセットの作成において，単語やフレーズごとにラベル付けを行う必要があるため，極性分類などと比較してより多くの労力とコストを要する．そのため，極性分類のように学習のための豊富なデータが利用できない場合もある．しかし，近年GPTのようなLLMは多量のデータを必要とせず，プロンプトと呼ばれる指示をモデルに与えることによって，タスクを遂行することが可能になってきた．追加学習を行わずにプロンプトを介してタスクを実行する手法はIn-ContextLearning（ICL）と呼ばれる．ICLの中でも，プロンプトにタスクの入出力例（few-shot）を挿入したタスク遂行手法をfew-shotlearningという．few-shotをLLMに提供することにより，LLMはタスクのパターンや解決方法を学び，より精度の高い結果を導くことができる[1]．これにより，ラベル付け作業を数件に抑えながら，評価対象抽出の精度向上が可能となる．しかし，few-shotlearningは，提供されるfew-shotによってタスクのパフォーマンスが大きく変動するという問題が報告されている[2]．LLMはfew-shotの内容に敏感であるため，ラベルを付けるデータの選択はICLにおいて重要なプロセスである．そこで本論文では，対象タスクに関連するタスクからの情報を用いた効果的なfew-shot選択手法を提案する．ここでは，対象タスクを前述のように評価対象抽出とし，関連タスクを極性分類とする．データセットが豊富に存在する極性分類のデータを利用して，few-shot選択モデルを構築し，対象タスクである評価対象抽出の精度向上を試みる．few-shotの.選択にはLiuら[3]のInformationGain（IG）を参考にする．IGとは，あるデータを観察することで予測の不確実性がどれだけ減少するかを定量化した指標であり，データの情報の価値を測るために用いられる．提案手法の概要を図1に示す．提案手法ではまず，極性分類データセットを利用して極性分類モデルを作成する．この極性分類モデルを用いて，few-shot候補の極性（ポジティブまたはネガティブ）を判別する．本論文では，以下の仮定をおく．•極性分類が容易であると判断された事例は，対象タスクである評価対象抽出での評価対象が明示的であり，few-shot候補として適切であるこの容易さを「予測の不確実性が減少する」と見なし，IGの値が大きいものをfew-shot候補として選択する．得られた数個の事例に対して人間が事例中に存在する評価対象のラベル付けをし，それらを実際のfew-shotとしてLLMに提供することで，評価対象抽出を実現する．