意味的テキスト類似度(SemanticTextSimilarity)は，予め定めた基準に沿って２文書の類似度をスコア化するものである．金融分野ではニューステキストへの応用が考えられるが，地理的情報・エンティティ・時間・トピックなど，複数基準を総合判断する必要があるため，教師データセット作成の人的コストが高くなってしまう．本稿では，大規模言語モデル（LLM）を用い，少数のアノテーション済みサンプルを利用したニュース類似度の算出を試みた．特に，Few-shot、手がかり・推論の中間生成手法，自己整合性といったプロンプトエンジニアリング手法の有効性の検証を行い，SOTAの教師あり学習手法に迫る精度を達成した．更なる精度向上を目指すべく、地理的情報など各基準の類似度から段階的に解くサブタスク推論アプローチを検証し，提案モデルはSOTAと同水準の精度を達成した．

意味的テキスト類似度(SemanticTextSimilarity)は，予め定めた基準に沿って２文書の類似度をスコア化するものである[1][2][3][4]．金融分野での主要なテキストの１つにニュースデータがある．ニュース分析はセンチメント分析[5]，クラスタリング分析[6]，金融資産との相関分析[7]，ニュース推薦[8]など多岐に渡る．ニュース類似度分析は，異なる２つのニュース記事について複数基準で類似度を測り，総合評価値を与えるタスクである[9]．クラスタリング分析やニュース推薦など，様々な用途に応用可能である．[9]では，各ニュース記事ペアについて複数人のアノテーターが，複数個の基準での類似度と総合類似度を付与したデータセットを提供している．ニュース記事は文章長が比較的長い事，地理的情報・エンティティ・時間・トピックなどの類似度を各々評価する事，各評価を組み合わせて総合評価を行う必要がある事など，データセット作成コストが高い事が課題である．本稿では，ここ１，２年で急速に発展・応用が進む大規模言語モデル（LLM）を用い，少数のアノテーション済みサンプルを利用してニュース類似度の算出をし，高精度の分類モデルが構築可能か検証した．低資源下でのモデル構築を目指すため，学習データが必要なFine-Tuneは行わず，プロンプトエンジニアリングのみを利用した．実験データセット[9]は多言語ニュースから構成され，各ニュースの文脈を高度に理解する必要があるため，GPT-3.5TurboおよびGPT-4Turbo(AzureOpenAI)を利用した．精度の高いモデル構築を目指して，まず，入力テキストの工夫，CARPをベースにしたプロンプトエンジニア手法を実施した．結果，比較対象としたコンペティション１位のHFLモデル[10](本稿でSOTAモデルとも呼ぶ)に迫る高精度を達成した．更なる精度向上を目指すべく，地理的情報など各基準の類似度から段階的に解くアプローチ（本稿でサブタスク推論と呼ぶ）を検証し，提案モデルはSOTAモデルと同水準の精度を達成した．