| # 日本語話し言葉BERT | |
| 日本語の書き言葉データ(Wikipedia)で学習したBERTに対して、日本語の話し言葉データを使ってFine-Tuningを行っています。 | |
| 話し言葉データとしては、国立国語学研究所(https://www.ninjal.ac.jp/)より提供されたCSJと、国会議事録データを使用しています。 | |
| モデルのパラメータのみの公開のため、各種設定ファイル等は別途ダウンロードして頂く必要があります。 | |
| 以下の3つのモデルを公開します。: | |
| - 1-6 layer-wise (フォルダ名: models/1-6_layer-wise) | |
| CSJで1~6層のみをFine-Tuneしたモデルです。 | |
| - TAPT512 60k (フォルダ名: models/tapt512_60k) | |
| CSJでFine-Tuneしたモデルです。 | |
| - DAPT128-TAPT512 (フォルダ名: models/dapt128-tap512) | |
| 国会議事録データとCSJでFine-Tuneしたモデルです。 | |
| # 依存モジュール | |
| - python >= 3.6 | |
| - torch | |
| - torchvision | |
| - transformers | |
| # 使い方 | |
| 1. 下記のようなコマンドでdownload_wikipedia_bert.pyを実行することで、モデルの使用に必要な設定ファイル等がダウンロードされます。 | |
| ``` | |
| python download_wikipedia_bert.py | |
| ``` | |
| こちらのスクリプトでダウンロードされるのは、東北大学乾研究室により作成された日本語BERTです。 | |
| https://github.com/cl-tohoku/bert-japanese | |
| 2. 以下のコマンドを実行することで、MLMの実行結果が表示されます。 | |
| ``` | |
| python sample_mlm.py | |
| ``` | |
| # ライセンス | |
| Copyright (c) 2021 National Institute for Japanese Language and Linguistics and Retrieva, Inc. Licensed under the Apache License, Version 2.0 (the “License”); | |
| # 謝辞 | |
| 国立国語学研究所の浅原正幸様、前川喜久雄様、小磯花絵様には有益な助言をいただき、岡照晃様には研究環境管理などのご支援を賜りました。 | |
| また、本研究では、書き言葉のBERTとして東北大学乾研究室から提供されている日本語BERTを使用させて頂きました。 | |
| この場を借りて深く御礼申し上げます。 | |
| # 引用 | |
| 本モデルを使用した場合は以下の論文を引用してください。 | |
| モデルの詳細についても以下の論文に記載しています。 | |
| ```bibtex | |
| @inproceedings{csjbert2021, | |
| title = {CSJを用いた日本語話し言葉BERTの作成}, | |
| author = {勝又智 and 坂田大直}, | |
| booktitle = {言語処理学会第27回年次大会}, | |
| year = {2021}, | |
| } | |
| ``` | |