The license is cc-by-nc-sa-4.0
.
๐ปโโ๏ธDopeorNope/COKAL-ko-v1-70B๐ปโโ๏ธ
Model Details
Model Developers DopeorNope (Seungyoo Lee)
์๋ ํ์ธ์? ์คํ ์์ค ์ง์์ ๋ฐ์ ์ ์ํด์ ๊ณต๊ฐํ๊ฒ ๋ COKAL-ko-v1-70B ๋ชจ๋ธ์ ๋๋ค.
์ด ๋ชจ๋ธ์ ๊ธฐ์กด์ ๋ชจ๋ธ๋ค๊ณผ ๋ค๋ฅด๊ฒ ํ๊ตญ์ด๋ก ์ค๋ช ์ ๋๋ฆฌ๊ณ ์ ํฉ๋๋ค.
์ ์ด์ ๋ชฉ์ ์ด, ํ๊ตญ์ด ํนํ ๋ชจ๋ธ์ด๊ธฐ๋ ํ์๊ณ , ๋ค์ํ ์ฌ๋๋ค์ด ํธํ๊ฒ ์ฌ์ฉํ ์ ์๊ฒ ์ด๋ ๊ฒ ๊ณต๊ฐํ๊ณ ์ ํฉ๋๋ค.
์ด ๋ชจ๋ธ์ ๋ฒ ์ด์ค ๋ชจ๋ธ์, beomi๋์ beomi/llama-2-ko-70b์ ๋๋ค.
๋ฒ ์ด์ค ๋ชจ๋ธ์ ์์ํ ํ์ฌ์ ํ๊ฒ๋ชจ๋ ๊ฐ๋ฅํ ๋๋ถ๋ถ ๋๋ฆฌ๊ณ ์ฝ 15,000,000๊ฐ์ ํ๊ตญ์ด ํ ํฐ์ ๋จน์์ต๋๋ค.
ํ๋ จ์๊ฐ์ ์ฝ ์ผ์ฃผ์ผ ์์ ๋์์ผ๋ฉฐ, A100x8๋๋ฅผ ํ์ฉํ์ฌ ํ๋ํ์์ต๋๋ค.
๋ฒค์น๋งํฌ๋ ๋ฐ๋ก ์ก์ง ์์์ผ๋, ํ๋ฒ ์๋ํด๋ณด์๋ฉด ์ข์๋ฏ ํ๋ค์.
ํ๊ตญ์ด ๋ชจ๋ธ์ค ํฐ ๋ชจ๋ธ๋ค์ด ๋ง์ด ์์ด์ ์ด๋ ๊ฒ ํ๋ฒ ์๋ํด๋ณด๊ณ , ์คํ์ผ๋ก ๊ณต๊ฐํ๊ฒ ๋์์ต๋๋ค.
์ต๋ํ ์ผ๋ฐ ์์์ ๋๋ฆฌ๊ธฐ์ํด ์น์คํ ๋ชจ๋ธ๋ก, ๊ฐ๊ฐ ๊ฐ๋ณ๋ง๋ค ํ๊ฒํ๊ณ ์ task๋ง๋ค ์ฑ๋ฅ์ด ๋ค๋ฅผ ์ ์์ต๋๋ค.
๊ฐ์ฌํฉ๋๋ค.
Implementation Code
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
dir = "DopeorNope/COKAL-ko-v1-70B"
model = AutoModelForCausalLM.from_pretrained(
dir,
return_dict=True,
torch_dtype=torch.float16,
device_map='auto'
)
tokenizer = AutoTokenizer.from_pretrained(dir)
- Downloads last month
- 12