日本語テキストにおける省略された時間表現の復元

大規模言語モデル（LargeLanguageModel;LLM）の発展に伴い，ウェブ上の膨大なテキスト群の価値は高まっている．テキスト群の大きさはLLMの性能に直結する[1]ため，スクレイピングなどを通じた大規模なテキスト収集がLLMの開発で一般的になっている．大量のテキスト群は，推論時の検索拡張生成[2]の情報源としても活用される．新聞記事のようなウェブ上のテキストでは，掲載日が本文外の文脈として提示されることが多く，本文中の時間表現は省略される傾向がある．例えば図1のように2025年10月21日が掲載日として明らかな場合，読者は本文中の「21日」が掲載日当日を指すことを容易に推測し時間情報を補完できる．しかしLLMはテキストのみを情報として処理するため，掲載日の文脈が欠けたテキストを用いると，記述内容の理解や時系列推論が不完全になる懸念がある[3]．例えば，事前学習において時間情報が曖昧な形で表象される可能性がある他，検索拡張生成においても時間表現の解釈の安定性に影響を及ぼす恐れがある．∗株式会社日本経済新聞社でのインターンシップ自民党の高市早苗総裁は21日、衆参両院の本会議で第104代首相に指名された。事前学習検索拡張生成掲載日：2025-10-21自民党の高市早苗総裁は2025年10月21日、衆参両院の本会議で第104代首相に指名された。高市首相は、何年に就任？載日をもとに省略された時間表現を復元する．本研究ではこの問題に対し，掲載日をもとに日本語テキストの省略された時間表現を復元するルールベース手法として，jaROTE（ReproducingOmittedTimeExpressionsforJapanese）を提案する．日本語テキストの時間表現に関する研究は限定的[4,5,6,7,8]で，本研究の要件を満たす実装は存在しなかった．ここでは英語テキストを対象にした同等の取り組み[9]に倣い，時間表現を復元する処理を，抽出と正規化1）に分割する．前者に関しては日本語テキストを対象としたja-timex2）ライブラリを活用し，本研究では後者に焦点を当てる．最初に，省略された時間表現の傾向を明らかにするため，日本語の新聞記事97記事を含むデータセット「日本経済新聞記事オープンコーパス」[10]を利用し，著者2人が掲載日をもとに期待する復元結果を作成した（2節）．次に傾向をもとにルールベース手法を実装し（3節），最後に別途アノテーションした997記事のデータセットを用いた実験で性能を評価した（4節）．実験では，提案したルールベース手法がF1-score95.8を達成し，LLMを用いた場合を上回る性能を実現した．省略された時間表現の大多数が掲載日を基準に復元可能で，処理時間が高速なルールベース手法によって，LLMの事前学習や検索拡張生成に用いるテキスト群の品質を向上できる可能性が示唆された．1）さまざまな時間表現を統一的な形式に変換する処理を指す．例えば図1の例では「21日」を「2025年10月21日」といった表現に揃える．2）https://github.com/yagays/ja-timexThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).ば「3月」という表現が抽出された場合，掲載日が2013年2月であれば「2013年3月」と正規化する．「昨日」などの相対表現も，掲載日との関係に基づいて推論し，正規化する．3.5文脈を用いた時制の簡易判定掲載日を基準とすると，過去・未来の時制解釈が曖昧となる場合がある．例えば掲載日が2月1日の場合，「5日」という表現は文脈によって過去（1月5日）または未来（2月5日）のいずれとも解釈できる．このような日付単位の時間表現を解釈する場合に限り，時間表現が出現した直後の局所的文脈を参照し，簡易的に時制を判定する．具体的には，未来を表す定型的な記述（例：「する予定」「する方針」「まで」）が後続文脈に出現する場合のみ未来，それ以外の場合は過去として解釈する．3.6復元結果の生成省略された時間表現を復元したテキストを生成する．なお，前処理で一時的にマスクした表現は，時間表現の復元後に元の表現へ置換する．4時間表現の復元性能の評価実験提案手法jaROTEの有効性を検証するため，時間表現の復元性能をLLMを用いた手法と比較する．4.1LLMを用いた復元手法LLMによる手法では，テキストから時間表現を抽出・正規化することで復元を実施する．具体的には，LLM-jp-13B3）[11]およびSwallow-13B4）[12]にはQLoRAチューニング[13]を適用し，GPT-4o（2024-05-13）5）にはfew-shot（4-shot）を実施する．学習用データとして，2015年から2024年に公開された日本経済新聞社の「日経電子版」の997記事を用いた．記事は複数のジャンルからランダムに抽出されており，特定の分野に偏らない構成となっている．各記事について，著者が記事中に含まれる省略された時間表現を特定し，掲載日と周辺文脈を参照して正規化後の時間表現を人手で付与した．QLoRAチューニングでは，LLMにテキストと掲載日を与え，出力として時間表現復元後のテキスト3）https://huggingface.co/llm-jp/llm-jp-3.1-13b-instruct44）https://huggingface.co/tokyotech-llm/Swallow-13b-instruct-v0.15）https://openai.com/index/chatgpt/を生成するタスクを学習させる．学習設定の詳細は付録Aに示す．学習および推論には，時間表現の復元を指示する共通のプロンプト（付録B）を用いた．few-shotでは，カテゴリごとの代表例を含むプロンプト（付録C）を与えた．4.2評価方法評価データ