LLMを利用したZeroShot評判分析の性能調査

本論文では，LLMを利用したZeroShotの評判分析における性能調査について報告する．実験では，評判分析のデータとしてWebis-CLS-10データセットを使用し，LLMとしてGPT-3.5-turbo，GPT-4o，Llama3.1-Swallow-8Bを用いた．結果として，極性判定では，LLMを利用した場合，ZeroShotでも高い精度が得られることが確認された．一方で，livedoor記事のカテゴリ分類を行う場合には，ZeroShotの精度が低いという結果となった．また，ZeroShotで日本語のAmazonレビューの評判分析を実施する際，LLMにその判定根拠を提示させると精度が低下することが確認された．