|
--- |
|
license: cc-by-nc-sa-4.0 |
|
--- |
|
|
|
## Model Details |
|
|
|
**Model Developers** Seungyoo Lee (DopeorNope) |
|
|
|
์ด ๋ชจ๋ธ์ Mistral Base์ ์๋ก์ด ์ํคํ
์ณ์ด๋ฉฐ, 10.7B์ ํ๋ผ๋ฏธํฐ๋ก ๊ตฌ์ฑ๋์์ต๋๋ค. (Solar๋, ์๋ํธ๋ผ ๋ฒ ์ด์ค ๋ชจ๋ธ์ด ์๋๋๋ค.) |
|
|
|
์ฝ 1.5B์ ํ ํฐ์ผ๋ก pretrain ๋์์ผ๋, ์คํ๋จ๊ณ๋ก ํฅํ ๋ค์ ํ๋ จ๋์ด ์๋กญ๊ฒ ๋์ฌ ์์ ์
๋๋ค. |
|
|
|
ํ
์คํธ์ฉ์ผ๋ก ์ฌ๋ ค๋ด
๋๋ค. |
|
|
|
Context length๊ฐ 32k ๊น์ง์ง์ ๊ฐ๋ฅํ ๋ชจ๋ธ์ด๋ฉฐ, ํฅํ ๋ ์๋ฒฝํ๊ฒ ์ค๊ณํ์ฌ ์ฌ๋ฆฌ๋๋ก ํ๊ฒ ์ต๋๋ค. |
|
|
|
|