🚧 Note: this repo is under construction, current uploaded version is based on KoRWKV-6B, ~28Billion tokens trained ckpt 🚧

🐧 KoAlpaca-KoRWKV-6B (v1.1a)

This model is a fine-tuned version of beomi/KoRWKV-6B on an KoAlpaca v1.1a Dataset.

Detail Codes are available at KoAlpaca Github Repository

Generation Code

Install Requirements

pip install -U transformers tokenizers accelerate safetensors

Generation Code with HF pipeline

from transformers import pipeline

pipe = pipeline('text-generation', model='beomi/KoAlpaca-KoRWKV-6B', device=0)

def gen(x):
    a = pipe(
        f'### 질문: {x}\n\n### λ‹΅λ³€:', 
        max_new_tokens=1024, 
        return_full_text=False, 
        do_sample=True,
        top_p=0.9,
        temperature=0.7,
        early_stopping=True,
        repetition_penalty=1.2,
    )
    print(a[0]['generated_text'])

Generated Samples

gen("였늘 기뢄은 μ’€ μ–΄λ•Œ?")

 μ˜€λŠ˜μ€ 기뢄이 쒋은 λ‚ μž…λ‹ˆλ‹€. μ™œλƒν•˜λ©΄, μ˜€λŠ˜μ€ 기쁜 일이 생길 수 μžˆλŠ” λ‚ μ΄λ‹ˆκΉŒμš”! 
1. 아침에 일찍 μΌμ–΄λ‚˜μ„œ κΈ°λΆ„ μ’‹μ•˜μŠ΅λ‹ˆλ‹€. 2. λ§›μžˆλŠ” μŒμ‹μ„ λ¨Ήμ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 3. μˆ˜μ—…μ‹œκ°„μ— μ—΄μ‹¬νžˆ λ“€μ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 4. μΉœκ΅¬κ°€ 생일 선물을 μ€˜μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 5. 내일이 ν† μš”μΌμ΄λΌμ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 6. μˆ™μ œλ₯Ό ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 7. λΆ€λͺ¨λ‹˜κ»˜μ„œ 생일 μΆ•ν•˜ λ…Έλž˜λ₯Ό λΆˆλŸ¬μ€˜μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 8. λ°© μ²­μ†Œλ₯Ό ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 9. λ§›μžˆλŠ” 과자λ₯Ό λ¨Ήμ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 10. 였늘 날씨λ₯Ό λ³΄λ‹ˆ λΉ„κ°€ μ•ˆμ™€μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 11. λΆ€λͺ¨λ‹˜μ΄ λ‚˜λ₯Ό μ‚¬λž‘ν•΄μ£Όμ…”μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 12. λΆ€λͺ¨λ‹˜κ³Ό ν•¨κ»˜ 외식을 ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 13. μΉœκ΅¬λž‘ 같이 λ†€μ•„μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 14. 곡뢀λ₯Ό ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 15. μˆ™μ œλ₯Ό 잘 ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 16. λ§›μžˆλŠ” μŒμ‹μ„ λ¨Ήμ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 17. μΉœκ΅¬λ“€κ³Ό μ–΄μšΈλ € λ†€μ•„μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 18. λ‚΄κ°€ μ’‹μ•„ν•˜λŠ” 책을 μ½μ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 19. 였늘 ν•˜λ£¨ 쒅일 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 20. μ—„λ§ˆμ™€ μ•„λΉ κ°€ λ‚˜λ₯Ό μ‚¬λž‘ν•΄ μ£Όμ…”μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€.
gen("칸트의 μ •μ–Έλͺ…령에 λ”°λ₯Έλ‹€λŠ” 점이 일반적인 선함과 λ‹€λ₯Έ μ΄μœ κ°€ 뭐야?")

 μΉΈνŠΈλŠ” λ„λ•μ˜ 법칙을 두 κ°€μ§€λ‘œ κ΅¬λΆ„ν–ˆμŠ΅λ‹ˆλ‹€. 첫 번째 법칙은 'μ •μ–Έλͺ…λ Ή'으둜, 이 법칙은 μ–΄λ–€ μƒν™©μ—μ„œλ“  μ ˆλŒ€μ μœΌλ‘œ μ§€μΌœμ•Ό ν•˜λŠ” 보편적인 λ²•μΉ™μž…λ‹ˆλ‹€. 이에 따라 μΉΈνŠΈλŠ” "이성이 λͺ…λ Ήν•œ λŒ€λ‘œ ν–‰λ™ν•˜λΌ"λŠ” 원칙을 μ œμ‹œν–ˆμŠ΅λ‹ˆλ‹€. 
두 번째 법칙은 "λͺ¨λ“  인간은 ν‰λ“±ν•˜κ²Œ νƒœμ–΄λ‚¬κ³ , μ°½μ‘°μ£Όλ‘œλΆ€ν„° 양도할 수 μ—†λŠ” ꢌ리λ₯Ό λΆ€μ—¬λ°›μ•˜λ‹€"λŠ” κ²ƒμž…λ‹ˆλ‹€. 이 μ›μΉ™μ—λŠ” λͺ¨λ“  인간이 ν‰λ“±ν•˜κ³ , λͺ¨λ“  인간은 λ™λ“±ν•˜κ²Œ 쑴쀑받아야 ν•œλ‹€λŠ” μ˜λ―Έκ°€ 담겨 μžˆμŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ 칸트의 도덕 법칙을 λ”°λ₯΄λ©΄, 선함과 악함은 상황에 따라 λ‹€λ₯΄κ²Œ 적용될 수 μžˆμŠ΅λ‹ˆλ‹€. 예λ₯Ό λ“€μ–΄, λ²”μ£„μžλ‚˜ μž₯애인 λ“± νŠΉλ³„ν•œ μƒν™©μ—μ„œλŠ” 선이 될 수 μžˆλŠ” 상황이 μ‘΄μž¬ν•©λ‹ˆλ‹€.
gen("λ‹€μŒ 글을 μ˜μ–΄λ‘œ λ²ˆμ—­ν•΄μ£Όμ„Έμš”. μ˜μ–΄ λ¬Έμž₯: 'She looks handsome.' λ²ˆμ—­ ν•œκΈ€ λ¬Έμž₯:")

 "She looks handsome."은 μ§μ—­ν•˜λ©΄ "κ·Έλ…€λŠ” μž˜μƒκ²¨ λ³΄μž…λ‹ˆλ‹€"λΌλŠ” λœ»μ΄μ§€λ§Œ, ν•œκ΅­μ–΄λ‘œλŠ” "κ·Έλ…€λŠ” μ•„λ¦„λ‹€μ›Œ λ³΄μž…λ‹ˆλ‹€"둜 ν•΄μ„λ©λ‹ˆλ‹€. 이 λ¬Έμž₯은 μ›λž˜ 'The saddest thing'μ΄λΌλŠ” μ˜ν™”μ˜ OST 가사 쀑 μΌλΆ€λΆ„μž…λ‹ˆλ‹€. 이 μ˜ν™”λŠ” 제인 폰닀가 주연을 맑은 μž‘ν’ˆμœΌλ‘œ, κ·Έλ…€κ°€ 맀λ ₯적인 λ―Έλͺ¨μ™€ λͺΈλ§€λ₯Ό 가지고 μžˆμ§€λ§Œ λΆˆν–‰ν•œ 삢을 μ‚¬λŠ” μ—¬μ„±μ˜ λͺ¨μŠ΅μ„ 그리고 μžˆμŠ΅λ‹ˆλ‹€. λ”°λΌμ„œ κ·Έλ…€λŠ” μ•„λ¦„λ‹΅μ§€λ§Œ λΆˆν–‰ν•΄λ³΄μ΄λŠ” λͺ¨μŠ΅μ΄λΌλŠ” μ˜λ―Έμ—μ„œ μ‚¬μš©λ˜μ—ˆμŠ΅λ‹ˆλ‹€.
gen("μ„œμšΈμ΄ μΈκΈ°μžˆλŠ” λ„μ‹œμΈ μ΄μœ λŠ”?")

 μ„œμšΈμ€ λ§Žμ€ μ‚¬λžŒλ“€μ΄ κ±°μ£Όν•˜κ³  μžˆλŠ” λŒ€λ„μ‹œμ΄κΈ° λ•Œλ¬Έμž…λ‹ˆλ‹€. λ˜ν•œ, λ‹€λ₯Έ λ‚˜λΌμ—μ„œλŠ” μ„œμšΈλ³΄λ‹€ 더 큰 λŒ€λ„μ‹œλ“€μ΄ 많이 μžˆμ§€λ§Œ, μˆ˜λ„κ°€ μ„œμšΈμ— μœ„μΉ˜ν•œ λ‚˜λΌλŠ” μ—†μŠ΅λ‹ˆλ‹€. μ΄λŠ” μ„œμšΈμ˜ λ„μ‹œ 규λͺ¨κ°€ 크고 ꡐ톡과 톡신 λ“± 인프라가 잘 κ΅¬μΆ•λ˜μ–΄ 있기 λ•Œλ¬Έμž…λ‹ˆλ‹€. 
 μΆ”κ°€ μ„€λͺ…: 
μ„œμšΈμ˜ μΈκ΅¬λ‚˜ μœ λ™μΈκ΅¬ 등을 μ‚΄νŽ΄λ³΄λ©΄, μ„œμšΈμ„ λ°©λ¬Έν•˜λŠ” 외ꡭ인 관광객도 맀우 λ§ŽμŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ 이유둜 μ„œμšΈμ€ ν•œκ΅­ λ‚΄μ—μ„œ κ°€μž₯ 인기 μžˆλŠ” λ„μ‹œ 쀑 ν•˜λ‚˜λ‘œ 자리작고 μžˆμŠ΅λ‹ˆλ‹€.
gen("칸트 μ² ν•™μ˜ μ˜ˆμ‹œλ₯Ό λ“€κ³ , ν•΄λ‹Ή 철학이 κ°€μ§€λŠ” 의의λ₯Ό 3가지 μ•Œλ €μ€˜.")

 μΉΈνŠΈλŠ” μΈκ°„μ˜ 지식을 κ²½ν—˜λ‘ μ  μž…μž₯μ—μ„œ λΆ„μ„ν•˜κ³  μ’…ν•©ν•˜μ—¬ 도덕철학을 μ •λ¦½ν•˜μ˜€μŠ΅λ‹ˆλ‹€. 이 κ³Όμ •μ—μ„œ κ·ΈλŠ” λͺ¨λ“  인간은 이성을 가지고 있으며, 도덕법칙을 인식할 수 μžˆλ‹€κ³  λ³΄μ•˜μŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ 인간 μ΄μ„±μ˜ κΈ°λŠ₯을 톡해, μΉΈνŠΈλŠ” 'μ‹€μ²œμ΄μ„±'κ³Ό 'νŒλ‹¨λ ₯'을 μ€‘μ‹œν•©λ‹ˆλ‹€. 즉, μ΄μ„±μ μœΌλ‘œ νŒλ‹¨ν•˜μ—¬ μ˜¬λ°”λ₯Έ νŒλ‹¨μ„ 내릴 수 μžˆλŠ” λŠ₯λ ₯이 μΈκ°„μ—κ²ŒλŠ” μžˆλ‹€λŠ” κ²ƒμž…λ‹ˆλ‹€. λ˜ν•œ, μΉΈνŠΈλŠ” 인간이 가진 μ„ μ²œμ μΈ 관념둠적 사고방식을 κ±°λΆ€ν•˜κ³ , κ²½ν—˜μ„ ν†΅ν•œ μ‹€μ²œμ μΈ μ‚¬κ³ λ°©μ‹μœΌλ‘œμ„œμ˜ 이성을 κ°•μ‘°ν•©λ‹ˆλ‹€. 
 μΆ”κ°€ μ„€λͺ…:
칸트의 철학은 ν˜•μ΄μƒν•™, 인식둠, μœ€λ¦¬ν•™, μ •μΉ˜ν•™ λ“± λ‹€μ–‘ν•œ λΆ„μ•Όμ—μ„œ 영ν–₯을 미치고 μžˆμŠ΅λ‹ˆλ‹€. 특히, κ·ΈλŠ” κ²½ν—˜λ‘ κ³Ό ν•©λ¦¬λ‘ μ˜ λŒ€λ¦½μœΌλ‘œ 인해 λΆ„μ—΄λœ 유럽의 사상계λ₯Ό ν†΅ν•©ν•˜μ—¬ μƒˆλ‘œμš΄ 철학을 μ œμ‹œν•˜κ³ μž λ…Έλ ₯ν•˜μ˜€μŠ΅λ‹ˆλ‹€. 이λ₯Ό 톡해 κ·ΌλŒ€ 철학에 큰 영ν–₯을 μ£Όμ—ˆμœΌλ©°, ν˜„μž¬λŠ” κ·Έ 영ν–₯λ ₯이 μ—¬μ „νžˆ μœ μ§€λ˜κ³  μžˆμŠ΅λ‹ˆλ‹€.
gen("λ¦¬νŠ¬μ΄μ˜¨μ „μ§€μ—μ„œ λ°œμƒν•˜λŠ” ν™”ν•™ ν˜„μƒμ„ 화학식을 기반으둜 μžμ„Ένžˆ μ„€λͺ…ν•΄μ£Όμ„Έμš”.")

 λ¦¬νŠ¬μ΄μ˜¨μ „μ§€λŠ” μ–‘κ·Ήκ³Ό 음극 사이에 μžˆλŠ” 뢄리막을 톡해 이온이 μ΄λ™ν•˜λ©΄μ„œ μΆ©μ „κ³Ό 방전을 ν•˜λŠ” μ›λ¦¬λ‘œ μž‘λ™ν•©λ‹ˆλ‹€. λ”°λΌμ„œ, μ „κ·Ήμ˜ λ°˜μ‘μ— μ˜ν•΄ ν™”ν•™ λ°˜μ‘μ΄ μΌμ–΄λ‚©λ‹ˆλ‹€. 
1. λ¦¬νŠ¬μ΄μ˜¨μ „μ§€ λ‚΄λΆ€μ—λŠ” λ¦¬νŠ¬μ΄μ˜¨λ“€μ΄ μ΄λ™ν•˜κΈ° μœ„ν•œ ν†΅λ‘œκ°€ μžˆλŠ”λ°, 이λ₯Ό μ „ν•΄μ§ˆμ΄λΌκ³  ν•©λ‹ˆλ‹€. 즉, 앑체 μ „ν•΄μ§ˆμ„ μ±„μš°κ³  μžˆλŠ” μ΄μ˜¨λ“€μ˜ 농도 차이 λ•Œλ¬Έμ— μ „κ·Ήμ—μ„œ μ „μžκ°€ μ΄λ™ν•˜λŠ” κ²ƒμž…λ‹ˆλ‹€. μ΄λ•Œ μ „ν•΄μ§ˆμ€ 물질이 μ•„λ‹Œ ν™”ν•™λ°˜μ‘μ„ μΌμœΌν‚€λŠ” 역할을 ν•©λ‹ˆλ‹€. 2. μŒκ·Ήμ€ μ „μžλ₯Ό λ°›μ•„ 이온으둜 μƒμ„±ν•˜λŠ” λΆ€λΆ„μž…λ‹ˆλ‹€. 3. μŒκ·Ήμ—μ„œλŠ” μ‚°ν™” ν™˜μ› λ°˜μ‘μ„ 톡해 μ „μžμ™€ μˆ˜μ†Œ 이온이 μ΄λ™ν•˜λ©°, 이λ₯Ό 톡해 μ „κΈ°κ°€ λ°œμƒν•©λ‹ˆλ‹€. 4. μ „μžλŠ” μŒκ·Ήμ—μ„œ μ–‘κ·ΉμœΌλ‘œ μ΄λ™ν•˜λ©°, μ΄λŠ” μ „μžμ˜ 흐름이며, 이λ₯Ό 톡해 μ „λ₯˜κ°€ 흐λ₯΄κ²Œ λ©λ‹ˆλ‹€. 5. μ „μžλŠ” μ–‘κ·Ήμ—μ„œ 음극으둜 μ΄λ™ν•˜λŠ”λ°, μ΄λŠ” μ „μžκ°€ μ „μžμ΄λ™μ„ ν•˜λ©΄μ„œ λ°œμƒν•œ μš΄λ™μ—λ„ˆμ§€λ‘œ 인해 λ°œμƒν•©λ‹ˆλ‹€. 6. μ „κΈ°μ μœΌλ‘œ κ°€μž₯ μ•ˆμ •λœ μƒνƒœμΈ λ¦¬νŠ¬μ΄μ˜¨μ€ κ°€μž₯ 높은 μ˜¨λ„(μ•½ 700도)μ—μ„œλ„ 잘 κ²¬λ”œ 수 μžˆμŠ΅λ‹ˆλ‹€.
gen("투자 μ΄ˆμ‹¬μžκ°€ ν•˜κΈ° 쒋은 μ„ λ¬Ό 투자 μ’…λ₯˜λ₯Ό μ•Œλ €μ£Όμ„Έμš”.")

 주식, μ±„κΆŒ, 금, μ›μœ  λ“± λ‹€μ–‘ν•œ μƒν’ˆμ΄ μžˆμŠ΅λ‹ˆλ‹€. 
1. 주식 (μ£Όμ‹νˆ¬μž) - μž₯기적인 κ΄€μ μ—μ„œ νˆ¬μžν•  λ•Œ μ ν•©ν•œ μƒν’ˆμž…λ‹ˆλ‹€.
2. 금 (금투자) - μ•ˆμ „ν•œ 투자λ₯Ό μ›ν•˜λŠ” μ‚¬λžŒμ—κ²Œ μ’‹μŠ΅λ‹ˆλ‹€.
3. μ›μœ  (μ›μžμž¬νˆ¬μž) - μ•ˆμ •μ μΈ 수읡과 가격 변동성이 μ μŠ΅λ‹ˆλ‹€.
4. 뢀동산 (λΆ€λ™μ‚°νˆ¬μž) - μΈν”Œλ ˆμ΄μ…˜μ΄ λ°œμƒν•˜λŠ” μ‹œκΈ°μ— κ°€μž₯ μ ν•©ν•œ 투자 방법 쀑 ν•˜λ‚˜μž…λ‹ˆλ‹€.
5. λ³΄ν—˜ (λ³΄ν—˜νˆ¬μž) - 보μž₯μžμ‚°μ— λŒ€ν•œ λ‹ˆμ¦ˆκ°€ μžˆλŠ” μ‚¬λžŒμ—κ²Œ μ ν•©ν•œ μƒν’ˆμž…λ‹ˆλ‹€.

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 1
  • seed: 42
  • gradient_accumulation_steps: 8
  • total_train_batch_size: 8
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 1.0
  • mixed_precision_training: Native AMP
  • Trained on 1x H100(80G PCI-E) GPU

Framework versions

  • Transformers 4.29.2
  • Pytorch 1.13.1
  • Datasets 2.12.0
  • Tokenizers 0.13.3
Downloads last month
4,349
Safetensors
Model size
6.53B params
Tensor type
BF16
Β·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for beomi/KoAlpaca-KoRWKV-6B

Base model

beomi/KoRWKV-6B
Finetuned
(1)
this model
Adapters
1 model

Dataset used to train beomi/KoAlpaca-KoRWKV-6B