|
--- |
|
widget: |
|
- text: "ドクウツボはインド洋とどの海域の熱帯域に分布しますか?" |
|
context: "ドクウツボ(毒鱓)Gymnothoraxjavanicus(Bleeker,1859)は体長3メートルの記録がある大型種で、鰓孔が黒いことで近縁種と区別できる。 インド洋と太平洋の熱帯域に広く分布し、日本では琉球列島で見られる。 " |
|
--- |
|
|
|
## モデル詳細 |
|
- [cl-tohoku/bert-base-japanese](https://huggingface.co/cl-tohoku/bert-base-japanese) を JaQuAD で fine-tuning した [SkelterLabsInc/bert-base-japanese-jaquad](https://huggingface.co/SkelterLabsInc/bert-base-japanese-jaquad) に対して [TextPruner](https://github.com/airaria/TextPruner) を使って |
|
Transformer Pruning したモデル。 |
|
- 枝刈りには，JaQuAD の訓練データのうち1024件を使用し，10イテレーションで実施。 |
|
- FFNのサイズを30%，attention head の数を 10 % 削減 (ffn: 3072, head: 12 -> ffn: 2150, head: 10)。 |
|
- ※ [JaQuAD の実験コード](https://github.com/SkelterLabsInc/JaQuAD/blob/main/JaQuAD.ipynb)と同じ前処理をした上で使用してください。 |
|
- ※ 上記の理由で， hf hub の Hosted inference API 上では適切な予測が出力されません。 |
|
|
|
|
|
|
|
## JaQuAD の validation データでの性能 |
|
- フルモデル |
|
- F1 score: 0.779 |
|
- Exact Match: 0.614 |
|
- 枝刈り後のモデル |
|
- F1 score: 0.756 |
|
- Exact Match: 0.587 |
