LLMを利用したZeroShot評判分析の性能調査

近年，大規模言語モデル（LLM）は，自然言語処理の分野で急速に発展しており，さまざまなタスクにおいて優れた性能を発揮している．特に，GPT-3.5[1]やGPT-4[2]などの大規模なトランスフォーマーモデルは，従来の教師あり学習の枠を超え，事前学習された知識を活用することで，特定のタスクに対してデータセットを準備せずとも高い精度を達成できる「ZeroShot学習」が可能となっている．このアプローチは，ラベル付けや学習データの収集が困難な場合においても有効であり，効率的な問題解決手段として注目を集めている．本研究では，LLMを利用したZeroShotの評判分析における性能調査について報告する．具体的には，Amazonレビューの評判分析をタスクとして選定し，日本語のレビューに対する評判分析を行う実験を実施した．実験では，GPT-3.5-turbo，GPT-4o，Swallowといった複数のLLMを使用し，レビュー文書のラベルを「ポジティブ」または「ネガティブ」といった2値分類および4値分類で評価した．また，極性判定以外の文書分類タスクについても性能調査を行った．具体的には，Livedoorニュース記事の分類をタスクとして実験を行い，評判分析で使用したモデルと同じLLMを利用した．実験の結果，極性判定の2値分類および4値分類において，ZeroShot評判分析が教師あり学習と同等以上の性能を示すことが確認された．一方で，文書分類タスクでは，ZeroShot学習の精度が教師あり学習を下回る結果となった．また，LLMを利用したZeroShotで日本語のAmazonレビューの評判分析を実施する際，LLMにその判定根拠を提示させると精度が低下することが確認された．