cocoirun's picture
Update README.md
7c772e3 verified
metadata
license: cc-by-sa-4.0

instruct ๋ชจ๋ธ v1.7

<ํ•™์Šต ๋ฐ์ดํ„ฐ ๊ตฌ์ถ•>

Open-Orca-ko ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•˜์—ฌ ํƒœ์Šคํฌ๋ฅผ ์ถ”์ถœํ•œ ๋’ค ํ•ด๋‹น ํƒœ์Šคํฌ์— ๋งž์ถฐ์„œ NLP ๊ด€๋ จ ์˜คํ”ˆ์†Œ์Šค ๋ฐ์ดํ„ฐ๋ฅผ ํ™œ์šฉํ•˜์—ฌ ํ•™์Šต๋ฐ์ดํ„ฐ๋ฅผ ์ž์ฒด์ ์œผ๋กœ ์•ฝ 4๋งŒ๊ฑด(์—ญ์‚ฌ, ๊ณผํ•™, ์ˆ˜ํ•™, ๊ธฐ๊ณ„๋…ํ•ด, ๋ฆฌ๋ทฐ ๋ถ„์„) ๊ตฌ์ถ•ํ•˜์˜€๊ณ , ๊ทธ ์™ธ์— Open-Orca-Ko์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ผ๋ถ€ ํ•„ํ„ฐ๋งํ•˜์—ฌ ์ •์ œํ•ด๊ฑฐ๋‚˜ KoBEST ๋ฐ์ดํ„ฐ๋ฅผ ํ•จ๊ป˜ ์ถ”๊ฐ€ํ•˜์˜€์Šต๋‹ˆ๋‹ค. aihub ์ผ๋ฐ˜์ƒ์‹ ๋ฐ ๊ธฐ๊ณ„๋…ํ•ด ๋ฐ์ดํ„ฐ๋ฅผ ํ™œ์šฉํ•˜์—ฌ ์ถ”๊ฐ€๋กœ ํ•™์Šต ๋ฐ์ดํ„ฐ๋ฅผ ๊ตฌ์ถ•(ํ˜•ํƒœ์†Œ ๊ด€๋ จ, ๊ธฐ๊ณ„๋…ํ•ด ๊ด€๋ จ ๋ฐ ์š”์•ฝ) ๊ฐ์ข… ๋ธ”๋กœ๊ทธ์—์„œ ์—ญ์‚ฌ ๋ฐ ์ƒ์‹ ํ€ด์ฆˆ๋ฅผ ์‚ฌ๋žŒ์ด ์ง์ ‘ ํ•™์Šต๋ฐ์ดํ„ฐ ํ˜•ํƒœ๋กœ ๋ณ€๊ฒฝ AI2AI Challenge ๋ฐ์ดํ„ฐ๋ฅผ ํŒŒํŒŒ๊ณ ๋ฅผ ํ†ตํ•ด ๋ฒˆ์—ญ ๋ฐ ์˜ค์—ญ๋œ ๋ถ€๋ถ„์„ ์‚ฌ๋žŒ์ด ์ง์ ‘ ์ˆ˜์ • ํ•˜๋Š” ์ž‘์—…์„ ์ˆ˜ํ–‰ ์˜์–ด ๋ฒˆ์—ญ ๋ฐ์ดํ„ฐ ์˜ํ•œ/ํ•œ์˜ ๋ฐ์ดํ„ฐ ํ•™์Šต ๋ฐ์ดํ„ฐ๋กœ ํ™œ์šฉ ์ง„ํ–‰

์ด 11๋งŒ๊ฐœ์˜ ํ•™์Šต๋ฐ์ดํ„ฐ๋กœ sft๋ฅผ ์ง„ํ–‰ํ•˜์˜€์Šต๋‹ˆ๋‹ค.
ํ˜„์žฌ, ์ƒˆ๋กœ์šด ๋ฒ„์ „์˜ ๋ชจ๋ธ ํ•™์Šต ๋ฐ ์„ฑ๋Šฅ์„ ์œ„ํ•ด Open-Orca ๋ฐ์ดํ„ฐ์…‹ ์ผ๋ถ€๋ฅผ ๋ฒˆ์—ญํ•˜์—ฌ ์ •์ œ ์ค‘์— ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๊ณ ๋“ฑํ•™๊ต ์—ญ์‚ฌ ๋ฌธ์ œ ๋ฐ TruthfulQA ๊ด€๋ จ ๋ฌธ์ œ ์ถ”๊ฐ€๋ฅผ ์ง„ํ–‰ํ•˜์˜€์Šต๋‹ˆ๋‹ค.
  • ๊ฐ์ข… it ์ง€์‹ ๋ฐ์ดํ„ฐ ์ถ”๊ฐ€์ง„ํ–‰.
  • ๊ธฐ๊ณ„๋…ํ•ด ๊ด€๋ จ ํ•™์Šต ๋ฐ์ดํ„ฐ๋ฅผ ChatGPT๋ฅผ ํ†ตํ•ด์„œ ๋‹ต๋ณ€์„ ์–ป์–ด ํ•™์Šต
  • ๋ฌธ๋ฒ•๊ด€๋ จ ํ•™์Šต ๋ฐ์ดํ„ฐ

###ํ•™์Šต ๋ฐ์ดํ„ฐ ํŒŒ์ผ์€ ๋น„๊ณต๊ฐœ์ž…๋‹ˆ๋‹ค.
<ํ•™์Šต> ํ•™์Šต์€ LoRA๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ A100 40G *2์—์„œ ํ•™์Šต์„ ์ง„ํ–‰ํ•˜์˜€์Šต๋‹ˆ๋‹ค.