Trofish commited on
Commit
f587c13
β€’
1 Parent(s): e9b2c81

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -3
README.md CHANGED
@@ -13,15 +13,15 @@ metrics:
13
 
14
  ## λͺ¨λΈ μ„€λͺ…
15
  이 RoBERTa λͺ¨λΈμ€ λ‹€μ–‘ν•œ ν•œκ΅­μ–΄ ν…μŠ€νŠΈ λ°μ΄ν„°μ…‹μ—μ„œ **음절** λ‹¨μœ„λ‘œ 사전 ν•™μŠ΅λ˜μ—ˆμŠ΅λ‹ˆλ‹€.
16
- 자체 κ΅¬μΆ•ν•œ ν•œκ΅­μ–΄ 음절 λ‹¨μœ„ vocab(1,428개)을 μ‚¬μš©ν•˜μ˜€μŠ΅λ‹ˆλ‹€.
17
 
18
  ## μ•„ν‚€ν…μ²˜
19
  - **λͺ¨λΈ μœ ν˜•**: RoBERTa
20
  - **μ•„ν‚€ν…μ²˜**: RobertaForMaskedLM
21
  - **λͺ¨λΈ 크기**: 512 hidden size, 8 hidden layers, 8 attention heads
22
  - **max_position_embeddings**: 514
23
- - **intermediate_size**: 2048
24
- - **vocab_size**: 1428
25
 
26
  ## ν•™μŠ΅ 데이터
27
  μ‚¬μš©λœ 데이터셋은 λ‹€μŒκ³Ό κ°™μŠ΅λ‹ˆλ‹€:
 
13
 
14
  ## λͺ¨λΈ μ„€λͺ…
15
  이 RoBERTa λͺ¨λΈμ€ λ‹€μ–‘ν•œ ν•œκ΅­μ–΄ ν…μŠ€νŠΈ λ°μ΄ν„°μ…‹μ—μ„œ **음절** λ‹¨μœ„λ‘œ 사전 ν•™μŠ΅λ˜μ—ˆμŠ΅λ‹ˆλ‹€.
16
+ 자체 κ΅¬μΆ•ν•œ ν•œκ΅­μ–΄ 음절 λ‹¨μœ„ vocab을 μ‚¬μš©ν•˜μ˜€μŠ΅λ‹ˆλ‹€.
17
 
18
  ## μ•„ν‚€ν…μ²˜
19
  - **λͺ¨λΈ μœ ν˜•**: RoBERTa
20
  - **μ•„ν‚€ν…μ²˜**: RobertaForMaskedLM
21
  - **λͺ¨λΈ 크기**: 512 hidden size, 8 hidden layers, 8 attention heads
22
  - **max_position_embeddings**: 514
23
+ - **intermediate_size**: 2,048
24
+ - **vocab_size**: 1,428
25
 
26
  ## ν•™μŠ΅ 데이터
27
  μ‚¬μš©λœ 데이터셋은 λ‹€μŒκ³Ό κ°™μŠ΅λ‹ˆλ‹€: