日本語自然言語処理リポジトリ分類データセットの構築

日本語の自然言語処理に関連する言語資源を集約し，「日本語自然言語処理リポジトリ分類データセット」を構築した．本研究では，6752件のGitHubリポジトリに対して，日本語の自然言語処理に関連するか否かの二値の分類ラベルを付与した．本データセットのタスク難易度を評価するために，テキスト分類による実験を行った．本稿では，本データセットの構築方法，テキスト分類の実験結果，既存研究との差分，今後の展望を述べる．本データセットは，HuggingFace1）で公開されている．