日付入りLLM文書翻訳評価用データセット

大規模言語モデル（LLM）の評価にあたっては，評価用のデータがLLMの事前学習データに含まれていること（リーク）による影響が懸念されている[1]。これは機械翻訳にも同様に当てはまり，実際にリークの影響により正しく評価できないことが指摘されている[2]。公開されている評価用データセットは，それ自体だけでなく，その出典や引用等が事前学習データに含まれる場合がある。この問題を回避するためには，モデルが構築された時点よりも後に作成された文書を評価に用いることが考えられる。そこで，本研究では，各文書の公開日の情報が付与されているLLM文書翻訳評価用のデータセットを構築したi。これによって，評価したいLLMの事前学習データに含まれていないと考えられるデータのみを用いて適切に翻訳の評価を行うことができる。また，新たに公開されるLLMを評価するためには，データセット自体も更新される必要がある。本データセットは不定期に更新される予定であり，既に2024年5月，9月，12月に更新済みである。また，データセットの更新を利用者が自ら行えるよう，構築に必要なソースコードも合わせて公開する。i公開先：https://github.com/miraitranslate/mirai-full-document-eval作成したデータセットを用いて，英日方向の翻訳評価実験を行った。まず，2021～2022年の文書データを用いて，4種類のLLMをLoRA[3]によりファインチューニングした。続いて，リークの可能性がない2024年10～11月のデータと，可能性がある2023年2～4月のデータ（一部，後述）を用いて翻訳を行い，各LLMのCOMET[4]とBLEU[5]を算出した。結果として，最新でない文書による評価はリークの影響を受ける可能性が示唆され，構築したデータセットの有用性が示された。