LLMの出力を用いた擬似ラベル学習による契約書OCRテキストの圧縮

大規模言語モデル（LLM）は情報抽出に有効だが、契約書のOCRテキストは長文化しやすく、LLMの最大入力長を超えるという課題がある。既存のテキスト圧縮手法は、圧縮データの作成コストが高く、OCRテキスト特有のノイズや文の順序の乱れにより重要部分を適切に圧縮することが難しい。本研究では、ノイズを多く含むOCRテキストを対象に、ファインチューニング済みLLMの出力に基づく擬似ラベルで学習した小型言語モデルを活用し、必要な部分のみを抽出する圧縮手法を提案する。契約書データセットでの評価により、提案手法はLLMや人手による圧縮データを用いずに、既存手法を上回る情報抽出精度を達成した。