日本語自然言語処理リポジトリに対する研究分野マルチラベルの付与

大規模言語モデルの普及を背景として，日本語言語資源の開発および公開が活発化している．例えば，「日本語言語資源の構築と利用性の向上ワークショップ1）」が継続的に開催されるなど，日本語言語資源の整備に向けた取り組みが進められている．しかし，日本語言語資源の体系的な整理は道半ばであり，特定の研究分野に関連する言語資源を効率的に検索することが難しいという課題がある[1]．また，GitHub上には多種多様な日本語自然言語処理に関するリポジトリが存在するが，これらがどの研究分野に属し，どのような用途に活用できるかといった情報が明確に整理されていないのが現状である．そのため，研究者や開発者が必要な言語資源を見つけ出すまでに時間を要するケースが少なくない．そこで本研究では，日本語自然言語処理に関連する484件のGitHubリポジトリを対象として，Schopfら[2]が提案した自然言語処理に関する研究分類体系に基づいて，合計1537件の研究分野マルチラベルを付与したデータセットを構築した．先行研究[1]では，「日本語の自然言語処理に関連するリポ1）https://jedworkshop.github.io/JLR2024/ジトリをGitHubから抽出する」という二値分類を行っていたが，「機械翻訳」や「対話」など具体的な研究分野名を手がかりに言語資源を検索することは困難であった．そこで，Schopfら[2]の分類体系を参考に，リポジトリにより細分化されたラベルを付与することで，日本語自然言語処理に関するリポジトリがどの研究分野に属するのかを明確化した．実験では，キーワード検索とラベル予測の手法を比較し，本データセットを活用したラベル予測の結果が，日本語言語資源の検索性向上に寄与することを示す．本データセットは，HuggingFace2）で公開している．2）https://huggingface.co/datasets/taishi-i/awesome-japanese-nlp-multilabel-dataset.テキストデータ画像データリポジトリ概要READMEファイルPDFドキュメント幅(ピクセル)高さ(ピクセル)最小最大平均最小最大平均最小最大平均最小最大平均最小最大平均学習534857.80812924389.498671074046.7128012801280.0904448514084.0開発1222659.5683108093424.088451643006.6128012801280.0152872583648.9評価1423366.30949777614.498398755789.9128012801280.01123391115850.4ファイル，PDFドキュメント）の文字数と，画像データ（幅，高さ）のピクセル数について，最小値，最大値，および平均値を示す．最小最大平均合計学習1123.121270開発