日本語自然言語処理リポジトリ分類データセットの構築

大規模言語モデルの登場に伴い，自然言語処理研究の重要性が増している．この傾向は，日本語を解析対象とする言語処理の研究開発の活性化に寄与している．例えば，2023年5月より国立情報学研究所が中心となり主催とするLLM勉強会2）が開催され，産学連携し日本語大規模言語モデルの構築と，そのモデルの公開3）が行われている．さらに，企業間においても大規模言語モデルの開発競争が加熱している．例えば，大規模な日本語データセットで学習を行ったモデル[1,2]や，LLaMA2[3]をベースとし日本語データセットで追加学習を行ったモデル[4,5]が公開されている．このように新たな大規模言語モデルが次々と登場する中，これらのモデルの言語理解能力を網羅的に評価し，効率的な性能向上を実現するためには，既存の言語資源の有効活用が不可欠である．しかしながら，これまで日本語の自然言語処理に関連する言語資源（ツール，コーパス，辞書，モデル）の情報が十分に集約されていない現状であり，情報の効率性に欠けるという問題が存在していた．1）https://huggingface.co/datasets/taishi-i/awesome-japanese-nlp-classification-dataset2）https://llm-jp.nii.ac.jp/3）https://huggingface.co/llm-jpそこで本研究では，日本語の自然言語処理に関連する言語資源の情報集約を行い，日本語自然言語処理リポジトリ分類データセット（awesome-japanese-nlp-classiﬁcation-dataset）を構築した．このデータセットは，6752件のGitHubリポジトリに対して，日本語の自然言語処理に関連するか否かの二値の分類ラベルを付与したものである．データセット構築の初期段階では，日本語の自然言語処理に関連する言語資源を人手により収集，構造化した情報をGitHubリポジトリを通じて公開した．ここで公開したリポジトリ情報を正例と位置づけ，対照的な負例を収集することにより，テキスト分類のためのデータセットの構築を行った．本データセットは，以下の特徴を有する．•不均衡なラベル分布•日本語と英語のテキストが混在•主観的な判断に基づくアノテーションこれらの特性は，実世界おけるテキスト分類タスクが直面する一般的な課題である．そのため，本データセットを利用することで，現実的なテキスト分類タスクを想定し，モデル性能の評価を行うことが可能となる．さらに，本データセットを利用することで，日本語の自然言語処理に関連する言語資源を新たに検出するモデルの作成に活用でき，情報集約の効率化の観点で日本語の自然言語処理研究に貢献できると考える．