whole-NWJC:『国語研日本語ウェブコーパス』全データ

本研究では、国立国語研究所プロジェクト「日本語記述の緻密化を目指した超大規模コーパスの構築」において整備された『国語研日本語ウェブコーパス』(NINJALWebJapaneseCorpus:NWJC)全体（以下、whole-NWJC）について概説する。『国語研日本語ウェブコーパス』は、2014年第4四半期（2014-4Q）に検索システム「梵天」および「中納言」を通じて共有された1）ほか、語彙表およびn-gramデータの形式で公開されてきた。本稿では、特に大規模言語モデルの構築に資するデータとして、2012年第4四半期から2015年第2四半期に収集されたWARC形式のデータを新たに共有することを報告する。以下において、共有データの概要とその詳細について解説する。