大規模言語モデルを用いたニュース類似度の算出

意味的テキスト類似度(SemanticTextSimilarity)は，予め定めた基準に沿って２文書の類似度をスコア化するものである[1][2][3][4]．金融分野での主要なテキストの１つにニュースデータがある．ニュース分析はセンチメント分析[5]，クラスタリング分析[6]，金融資産との相関分析[7]，ニュース推薦[8]など多岐に渡る．ニュース類似度分析は，異なる２つのニュース記事について複数基準で類似度を測り，総合評価値を与えるタスクである[9]．クラスタリング分析やニュース推薦など，様々な用途に応用可能である．[9]では，各ニュース記事ペアについて複数人のアノテーターが，複数個の基準での類似度と総合類似度を付与したデータセットを提供している．ニュース記事は文章長が比較的長い事，地理的情報・エンティティ・時間・トピックなどの類似度を各々評価する事，各評価を組み合わせて総合評価を行う必要がある事など，データセット作成コストが高い事が課題である．本稿では，ここ１，２年で急速に発展・応用が進む大規模言語モデル（LLM）を用い，少数のアノテーション済みサンプルを利用してニュース類似度の算出をし，高精度の分類モデルが構築可能か検証した．低資源下でのモデル構築を目指すため，学習データが必要なFine-Tuneは行わず，プロンプトエンジニアリングのみを利用した．実験データセット[9]は多言語ニュースから構成され，各ニュースの文脈を高度に理解する必要があるため，GPT-3.5TurboおよびGPT-4Turbo(AzureOpenAI)を利用した．精度の高いモデル構築を目指して，まず，入力テキストの工夫，CARPをベースにしたプロンプトエンジニア手法を実施した．結果，比較対象としたコンペティション１位のHFLモデル[10](本稿でSOTAモデルとも呼ぶ)に迫る高精度を達成した．更なる精度向上を目指すべく，地理的情報など各基準の類似度から段階的に解くアプローチ（本稿でサブタスク推論と呼ぶ）を検証し，提案モデルはSOTAモデルと同水準の精度を達成した．