データセット説明文からの数値メタデータ自動抽出

機械学習モデルの訓練と評価においてデータセットは不可欠な要素であり，様々な分野において数千を超えるデータセットが公開されている．これらのデータセットを選択する際には，データサイズや収集方法，アノテーション方式など複数の要因を考慮する必要がある．しかし，データセット情報は論文やリポジトリページに散在しており，その多くは非構造化テキストである．数値情報が統一的な形式で記述されていないため，研究者は実験要件を満たすデータセットを見つけることが困難な場合がある．この問題に対する一つのアプローチとして，非構造化文書から数値情報を自動抽出することが挙げられる（図1）．このようなシステム構築には，ラベル体系の設計，対象領域におけるアノテーション済みコーパスの構築，エンティティ抽出モデルの学習が必要となる．しかしデータセット文書を対象とした一貫性のあるアノテーション済みコーパスや標準的なベンチマークは存在せず，モデル開発と公平な比較評価が制限されている．本論文ではこれらの課題に対処するため，データセット文書からの数値情報抽出コーパスNIED（NumericalInformationExtractionfromDatasetdescriptions）を提案する．NIEDは学術論文，リポジトリ説明文から収集した3,926件のアノテーション付き文書で構成される．実際のデータセット作成手順を反映した二層のラベル体系として，データ量やアノテーションの種類数などの数値エンティティと，その意味的文脈を提供する非数値エンティティを区別することで，データセットの様々な特性を表すメタデータを生成する．七つの事前学習済み言語モデルを用いた二段階抽出手法によるベースライン評価では，最良モデルが数値エンティティに対してF1スコア72.0%，非数値エンティティに対してF1スコア63.4%を達成し，データセットメタデータ整理のための自動抽出の実現可能性を示した．本リソース1）はデータセットの定量的特性を活用した検索・比較ツールの開発を促進することを目的とする．