File size: 1,142 Bytes
933dc0c |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
---
widget:
- text: "ドクウツボ(毒鱓)Gymnothoraxjavanicus(Bleeker,1859)は体長3メートルの記録がある大型種で、鰓孔が黒いことで近縁種と区別できる。 インド洋と太平洋の熱帯域に広く分布し、日本では琉球列島で見られる。 ドクウツボはインド洋とどの海域の熱帯域に分布しますか? "
---
## モデル詳細
[cl-tohoku/bert-base-japanese](https://huggingface.co/cl-tohoku/bert-base-japanese) を JaQuAD で fine-tuning した [SkelterLabsInc/bert-base-japanese-jaquad](https://huggingface.co/SkelterLabsInc/bert-base-japanese-jaquad) に対して [TextPruner](https://github.com/airaria/TextPruner) を使って
Transformer Pruning したモデル。
枝刈りには,JaQuADの訓練データのうち1024件を使用し,10イテレーションで実施。
FFNのサイズを30%, attention head の数を 10 % 削減 (ffn: 3072, head: 12 -> ffn: 2150, head: 10)。
## JaQuAD の validation データでの性能
- フルモデル
- F1 score: 0.779
- Exact Match: 0.614
- 枝刈り後のモデル
- F1 score: 0.756
- Exact Match: 0.587 |