---
pipeline_tag: fill-mask
license: mit
language: ko
mask_token: <mask>
widget:
  - text: 대한민국의 수도인 서울은 현대적인 고층 빌딩, 첨단 기술의 지하철, 대중문화와 사찰, 고궁, 노점상이 공존하는 <mask>입니다.
---

# roberta-base-ko

A roberta model trained from the scratch. It has almost the same structure as [roberta-base](https://huggingface.co/roberta-base), but with a few differences.

- hidden_act: `mish`
- position_embedding_type: `relative_key_query`