| pipeline_tag: fill-mask | |
| license: mit | |
| language: ko | |
| mask_token: <mask> | |
| widget: | |
| - text: 대한민국의 수도인 서울은 현대적인 고층 빌딩, 첨단 기술의 지하철, 대중문화와 사찰, 고궁, 노점상이 공존하는 <mask>입니다. | |
| # roberta-base-ko | |
| A roberta model trained from the scratch. It has almost the same structure as [roberta-base](https://huggingface.co/roberta-base), but with a few differences. | |
| - hidden_act: `mish` | |
| - position_embedding_type: `relative_key_query` | |