KoAlpaca-KoRWKV-6B / README.md
beomi's picture
Librarian Bot: Add base_model information to model (#2)
427ee72
metadata
language:
  - ko
license: apache-2.0
library_name: transformers
tags:
  - generated_from_trainer
  - KoRWKV
  - KoAlpaca
datasets:
  - beomi/KoAlpaca-v1.1a
pipeline_tag: text-generation
base_model: beomi/KoRWKV-6B
model-index:
  - name: KoRWKV-6B-koalpaca-v1.1a
    results: []

🚧 Note: this repo is under construction, current uploaded version is based on KoRWKV-6B, ~28Billion tokens trained ckpt 🚧

🐧 KoAlpaca-KoRWKV-6B (v1.1a)

This model is a fine-tuned version of beomi/KoRWKV-6B on an KoAlpaca v1.1a Dataset.

Detail Codes are available at KoAlpaca Github Repository

Generation Code

Install Requirements

pip install -U transformers tokenizers accelerate safetensors

Generation Code with HF pipeline

from transformers import pipeline

pipe = pipeline('text-generation', model='beomi/KoAlpaca-KoRWKV-6B', device=0)

def gen(x):
    a = pipe(
        f'### 질문: {x}\n\n### λ‹΅λ³€:', 
        max_new_tokens=1024, 
        return_full_text=False, 
        do_sample=True,
        top_p=0.9,
        temperature=0.7,
        early_stopping=True,
        repetition_penalty=1.2,
    )
    print(a[0]['generated_text'])

Generated Samples

gen("였늘 기뢄은 μ’€ μ–΄λ•Œ?")

 μ˜€λŠ˜μ€ 기뢄이 쒋은 λ‚ μž…λ‹ˆλ‹€. μ™œλƒν•˜λ©΄, μ˜€λŠ˜μ€ 기쁜 일이 생길 수 μžˆλŠ” λ‚ μ΄λ‹ˆκΉŒμš”! 
1. 아침에 일찍 μΌμ–΄λ‚˜μ„œ κΈ°λΆ„ μ’‹μ•˜μŠ΅λ‹ˆλ‹€. 2. λ§›μžˆλŠ” μŒμ‹μ„ λ¨Ήμ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 3. μˆ˜μ—…μ‹œκ°„μ— μ—΄μ‹¬νžˆ λ“€μ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 4. μΉœκ΅¬κ°€ 생일 선물을 μ€˜μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 5. 내일이 ν† μš”μΌμ΄λΌμ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 6. μˆ™μ œλ₯Ό ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 7. λΆ€λͺ¨λ‹˜κ»˜μ„œ 생일 μΆ•ν•˜ λ…Έλž˜λ₯Ό λΆˆλŸ¬μ€˜μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 8. λ°© μ²­μ†Œλ₯Ό ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 9. λ§›μžˆλŠ” 과자λ₯Ό λ¨Ήμ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 10. 였늘 날씨λ₯Ό λ³΄λ‹ˆ λΉ„κ°€ μ•ˆμ™€μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 11. λΆ€λͺ¨λ‹˜μ΄ λ‚˜λ₯Ό μ‚¬λž‘ν•΄μ£Όμ…”μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 12. λΆ€λͺ¨λ‹˜κ³Ό ν•¨κ»˜ 외식을 ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 13. μΉœκ΅¬λž‘ 같이 λ†€μ•„μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 14. 곡뢀λ₯Ό ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 15. μˆ™μ œλ₯Ό 잘 ν•΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 16. λ§›μžˆλŠ” μŒμ‹μ„ λ¨Ήμ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 17. μΉœκ΅¬λ“€κ³Ό μ–΄μšΈλ € λ†€μ•„μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 18. λ‚΄κ°€ μ’‹μ•„ν•˜λŠ” 책을 μ½μ–΄μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 19. 였늘 ν•˜λ£¨ 쒅일 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€. 20. μ—„λ§ˆμ™€ μ•„λΉ κ°€ λ‚˜λ₯Ό μ‚¬λž‘ν•΄ μ£Όμ…”μ„œ 기뢄이 μ’‹μŠ΅λ‹ˆλ‹€.
gen("칸트의 μ •μ–Έλͺ…령에 λ”°λ₯Έλ‹€λŠ” 점이 일반적인 선함과 λ‹€λ₯Έ μ΄μœ κ°€ 뭐야?")

 μΉΈνŠΈλŠ” λ„λ•μ˜ 법칙을 두 κ°€μ§€λ‘œ κ΅¬λΆ„ν–ˆμŠ΅λ‹ˆλ‹€. 첫 번째 법칙은 'μ •μ–Έλͺ…λ Ή'으둜, 이 법칙은 μ–΄λ–€ μƒν™©μ—μ„œλ“  μ ˆλŒ€μ μœΌλ‘œ μ§€μΌœμ•Ό ν•˜λŠ” 보편적인 λ²•μΉ™μž…λ‹ˆλ‹€. 이에 따라 μΉΈνŠΈλŠ” "이성이 λͺ…λ Ήν•œ λŒ€λ‘œ ν–‰λ™ν•˜λΌ"λŠ” 원칙을 μ œμ‹œν–ˆμŠ΅λ‹ˆλ‹€. 
두 번째 법칙은 "λͺ¨λ“  인간은 ν‰λ“±ν•˜κ²Œ νƒœμ–΄λ‚¬κ³ , μ°½μ‘°μ£Όλ‘œλΆ€ν„° 양도할 수 μ—†λŠ” ꢌ리λ₯Ό λΆ€μ—¬λ°›μ•˜λ‹€"λŠ” κ²ƒμž…λ‹ˆλ‹€. 이 μ›μΉ™μ—λŠ” λͺ¨λ“  인간이 ν‰λ“±ν•˜κ³ , λͺ¨λ“  인간은 λ™λ“±ν•˜κ²Œ 쑴쀑받아야 ν•œλ‹€λŠ” μ˜λ―Έκ°€ 담겨 μžˆμŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ 칸트의 도덕 법칙을 λ”°λ₯΄λ©΄, 선함과 악함은 상황에 따라 λ‹€λ₯΄κ²Œ 적용될 수 μžˆμŠ΅λ‹ˆλ‹€. 예λ₯Ό λ“€μ–΄, λ²”μ£„μžλ‚˜ μž₯애인 λ“± νŠΉλ³„ν•œ μƒν™©μ—μ„œλŠ” 선이 될 수 μžˆλŠ” 상황이 μ‘΄μž¬ν•©λ‹ˆλ‹€.
gen("λ‹€μŒ 글을 μ˜μ–΄λ‘œ λ²ˆμ—­ν•΄μ£Όμ„Έμš”. μ˜μ–΄ λ¬Έμž₯: 'She looks handsome.' λ²ˆμ—­ ν•œκΈ€ λ¬Έμž₯:")

 "She looks handsome."은 μ§μ—­ν•˜λ©΄ "κ·Έλ…€λŠ” μž˜μƒκ²¨ λ³΄μž…λ‹ˆλ‹€"λΌλŠ” λœ»μ΄μ§€λ§Œ, ν•œκ΅­μ–΄λ‘œλŠ” "κ·Έλ…€λŠ” μ•„λ¦„λ‹€μ›Œ λ³΄μž…λ‹ˆλ‹€"둜 ν•΄μ„λ©λ‹ˆλ‹€. 이 λ¬Έμž₯은 μ›λž˜ 'The saddest thing'μ΄λΌλŠ” μ˜ν™”μ˜ OST 가사 쀑 μΌλΆ€λΆ„μž…λ‹ˆλ‹€. 이 μ˜ν™”λŠ” 제인 폰닀가 주연을 맑은 μž‘ν’ˆμœΌλ‘œ, κ·Έλ…€κ°€ 맀λ ₯적인 λ―Έλͺ¨μ™€ λͺΈλ§€λ₯Ό 가지고 μžˆμ§€λ§Œ λΆˆν–‰ν•œ 삢을 μ‚¬λŠ” μ—¬μ„±μ˜ λͺ¨μŠ΅μ„ 그리고 μžˆμŠ΅λ‹ˆλ‹€. λ”°λΌμ„œ κ·Έλ…€λŠ” μ•„λ¦„λ‹΅μ§€λ§Œ λΆˆν–‰ν•΄λ³΄μ΄λŠ” λͺ¨μŠ΅μ΄λΌλŠ” μ˜λ―Έμ—μ„œ μ‚¬μš©λ˜μ—ˆμŠ΅λ‹ˆλ‹€.
gen("μ„œμšΈμ΄ μΈκΈ°μžˆλŠ” λ„μ‹œμΈ μ΄μœ λŠ”?")

 μ„œμšΈμ€ λ§Žμ€ μ‚¬λžŒλ“€μ΄ κ±°μ£Όν•˜κ³  μžˆλŠ” λŒ€λ„μ‹œμ΄κΈ° λ•Œλ¬Έμž…λ‹ˆλ‹€. λ˜ν•œ, λ‹€λ₯Έ λ‚˜λΌμ—μ„œλŠ” μ„œμšΈλ³΄λ‹€ 더 큰 λŒ€λ„μ‹œλ“€μ΄ 많이 μžˆμ§€λ§Œ, μˆ˜λ„κ°€ μ„œμšΈμ— μœ„μΉ˜ν•œ λ‚˜λΌλŠ” μ—†μŠ΅λ‹ˆλ‹€. μ΄λŠ” μ„œμšΈμ˜ λ„μ‹œ 규λͺ¨κ°€ 크고 ꡐ톡과 톡신 λ“± 인프라가 잘 κ΅¬μΆ•λ˜μ–΄ 있기 λ•Œλ¬Έμž…λ‹ˆλ‹€. 
 μΆ”κ°€ μ„€λͺ…: 
μ„œμšΈμ˜ μΈκ΅¬λ‚˜ μœ λ™μΈκ΅¬ 등을 μ‚΄νŽ΄λ³΄λ©΄, μ„œμšΈμ„ λ°©λ¬Έν•˜λŠ” 외ꡭ인 관광객도 맀우 λ§ŽμŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ 이유둜 μ„œμšΈμ€ ν•œκ΅­ λ‚΄μ—μ„œ κ°€μž₯ 인기 μžˆλŠ” λ„μ‹œ 쀑 ν•˜λ‚˜λ‘œ 자리작고 μžˆμŠ΅λ‹ˆλ‹€.
gen("칸트 μ² ν•™μ˜ μ˜ˆμ‹œλ₯Ό λ“€κ³ , ν•΄λ‹Ή 철학이 κ°€μ§€λŠ” 의의λ₯Ό 3가지 μ•Œλ €μ€˜.")

 μΉΈνŠΈλŠ” μΈκ°„μ˜ 지식을 κ²½ν—˜λ‘ μ  μž…μž₯μ—μ„œ λΆ„μ„ν•˜κ³  μ’…ν•©ν•˜μ—¬ 도덕철학을 μ •λ¦½ν•˜μ˜€μŠ΅λ‹ˆλ‹€. 이 κ³Όμ •μ—μ„œ κ·ΈλŠ” λͺ¨λ“  인간은 이성을 가지고 있으며, 도덕법칙을 인식할 수 μžˆλ‹€κ³  λ³΄μ•˜μŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ 인간 μ΄μ„±μ˜ κΈ°λŠ₯을 톡해, μΉΈνŠΈλŠ” 'μ‹€μ²œμ΄μ„±'κ³Ό 'νŒλ‹¨λ ₯'을 μ€‘μ‹œν•©λ‹ˆλ‹€. 즉, μ΄μ„±μ μœΌλ‘œ νŒλ‹¨ν•˜μ—¬ μ˜¬λ°”λ₯Έ νŒλ‹¨μ„ 내릴 수 μžˆλŠ” λŠ₯λ ₯이 μΈκ°„μ—κ²ŒλŠ” μžˆλ‹€λŠ” κ²ƒμž…λ‹ˆλ‹€. λ˜ν•œ, μΉΈνŠΈλŠ” 인간이 가진 μ„ μ²œμ μΈ 관념둠적 사고방식을 κ±°λΆ€ν•˜κ³ , κ²½ν—˜μ„ ν†΅ν•œ μ‹€μ²œμ μΈ μ‚¬κ³ λ°©μ‹μœΌλ‘œμ„œμ˜ 이성을 κ°•μ‘°ν•©λ‹ˆλ‹€. 
 μΆ”κ°€ μ„€λͺ…:
칸트의 철학은 ν˜•μ΄μƒν•™, 인식둠, μœ€λ¦¬ν•™, μ •μΉ˜ν•™ λ“± λ‹€μ–‘ν•œ λΆ„μ•Όμ—μ„œ 영ν–₯을 미치고 μžˆμŠ΅λ‹ˆλ‹€. 특히, κ·ΈλŠ” κ²½ν—˜λ‘ κ³Ό ν•©λ¦¬λ‘ μ˜ λŒ€λ¦½μœΌλ‘œ 인해 λΆ„μ—΄λœ 유럽의 사상계λ₯Ό ν†΅ν•©ν•˜μ—¬ μƒˆλ‘œμš΄ 철학을 μ œμ‹œν•˜κ³ μž λ…Έλ ₯ν•˜μ˜€μŠ΅λ‹ˆλ‹€. 이λ₯Ό 톡해 κ·ΌλŒ€ 철학에 큰 영ν–₯을 μ£Όμ—ˆμœΌλ©°, ν˜„μž¬λŠ” κ·Έ 영ν–₯λ ₯이 μ—¬μ „νžˆ μœ μ§€λ˜κ³  μžˆμŠ΅λ‹ˆλ‹€.
gen("λ¦¬νŠ¬μ΄μ˜¨μ „μ§€μ—μ„œ λ°œμƒν•˜λŠ” ν™”ν•™ ν˜„μƒμ„ 화학식을 기반으둜 μžμ„Ένžˆ μ„€λͺ…ν•΄μ£Όμ„Έμš”.")

 λ¦¬νŠ¬μ΄μ˜¨μ „μ§€λŠ” μ–‘κ·Ήκ³Ό 음극 사이에 μžˆλŠ” 뢄리막을 톡해 이온이 μ΄λ™ν•˜λ©΄μ„œ μΆ©μ „κ³Ό 방전을 ν•˜λŠ” μ›λ¦¬λ‘œ μž‘λ™ν•©λ‹ˆλ‹€. λ”°λΌμ„œ, μ „κ·Ήμ˜ λ°˜μ‘μ— μ˜ν•΄ ν™”ν•™ λ°˜μ‘μ΄ μΌμ–΄λ‚©λ‹ˆλ‹€. 
1. λ¦¬νŠ¬μ΄μ˜¨μ „μ§€ λ‚΄λΆ€μ—λŠ” λ¦¬νŠ¬μ΄μ˜¨λ“€μ΄ μ΄λ™ν•˜κΈ° μœ„ν•œ ν†΅λ‘œκ°€ μžˆλŠ”λ°, 이λ₯Ό μ „ν•΄μ§ˆμ΄λΌκ³  ν•©λ‹ˆλ‹€. 즉, 앑체 μ „ν•΄μ§ˆμ„ μ±„μš°κ³  μžˆλŠ” μ΄μ˜¨λ“€μ˜ 농도 차이 λ•Œλ¬Έμ— μ „κ·Ήμ—μ„œ μ „μžκ°€ μ΄λ™ν•˜λŠ” κ²ƒμž…λ‹ˆλ‹€. μ΄λ•Œ μ „ν•΄μ§ˆμ€ 물질이 μ•„λ‹Œ ν™”ν•™λ°˜μ‘μ„ μΌμœΌν‚€λŠ” 역할을 ν•©λ‹ˆλ‹€. 2. μŒκ·Ήμ€ μ „μžλ₯Ό λ°›μ•„ 이온으둜 μƒμ„±ν•˜λŠ” λΆ€λΆ„μž…λ‹ˆλ‹€. 3. μŒκ·Ήμ—μ„œλŠ” μ‚°ν™” ν™˜μ› λ°˜μ‘μ„ 톡해 μ „μžμ™€ μˆ˜μ†Œ 이온이 μ΄λ™ν•˜λ©°, 이λ₯Ό 톡해 μ „κΈ°κ°€ λ°œμƒν•©λ‹ˆλ‹€. 4. μ „μžλŠ” μŒκ·Ήμ—μ„œ μ–‘κ·ΉμœΌλ‘œ μ΄λ™ν•˜λ©°, μ΄λŠ” μ „μžμ˜ 흐름이며, 이λ₯Ό 톡해 μ „λ₯˜κ°€ 흐λ₯΄κ²Œ λ©λ‹ˆλ‹€. 5. μ „μžλŠ” μ–‘κ·Ήμ—μ„œ 음극으둜 μ΄λ™ν•˜λŠ”λ°, μ΄λŠ” μ „μžκ°€ μ „μžμ΄λ™μ„ ν•˜λ©΄μ„œ λ°œμƒν•œ μš΄λ™μ—λ„ˆμ§€λ‘œ 인해 λ°œμƒν•©λ‹ˆλ‹€. 6. μ „κΈ°μ μœΌλ‘œ κ°€μž₯ μ•ˆμ •λœ μƒνƒœμΈ λ¦¬νŠ¬μ΄μ˜¨μ€ κ°€μž₯ 높은 μ˜¨λ„(μ•½ 700도)μ—μ„œλ„ 잘 κ²¬λ”œ 수 μžˆμŠ΅λ‹ˆλ‹€.
gen("투자 μ΄ˆμ‹¬μžκ°€ ν•˜κΈ° 쒋은 μ„ λ¬Ό 투자 μ’…λ₯˜λ₯Ό μ•Œλ €μ£Όμ„Έμš”.")

 주식, μ±„κΆŒ, 금, μ›μœ  λ“± λ‹€μ–‘ν•œ μƒν’ˆμ΄ μžˆμŠ΅λ‹ˆλ‹€. 
1. 주식 (μ£Όμ‹νˆ¬μž) - μž₯기적인 κ΄€μ μ—μ„œ νˆ¬μžν•  λ•Œ μ ν•©ν•œ μƒν’ˆμž…λ‹ˆλ‹€.
2. 금 (금투자) - μ•ˆμ „ν•œ 투자λ₯Ό μ›ν•˜λŠ” μ‚¬λžŒμ—κ²Œ μ’‹μŠ΅λ‹ˆλ‹€.
3. μ›μœ  (μ›μžμž¬νˆ¬μž) - μ•ˆμ •μ μΈ 수읡과 가격 변동성이 μ μŠ΅λ‹ˆλ‹€.
4. 뢀동산 (λΆ€λ™μ‚°νˆ¬μž) - μΈν”Œλ ˆμ΄μ…˜μ΄ λ°œμƒν•˜λŠ” μ‹œκΈ°μ— κ°€μž₯ μ ν•©ν•œ 투자 방법 쀑 ν•˜λ‚˜μž…λ‹ˆλ‹€.
5. λ³΄ν—˜ (λ³΄ν—˜νˆ¬μž) - 보μž₯μžμ‚°μ— λŒ€ν•œ λ‹ˆμ¦ˆκ°€ μžˆλŠ” μ‚¬λžŒμ—κ²Œ μ ν•©ν•œ μƒν’ˆμž…λ‹ˆλ‹€.

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 1
  • seed: 42
  • gradient_accumulation_steps: 8
  • total_train_batch_size: 8
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 1.0
  • mixed_precision_training: Native AMP
  • Trained on 1x H100(80G PCI-E) GPU

Framework versions

  • Transformers 4.29.2
  • Pytorch 1.13.1
  • Datasets 2.12.0
  • Tokenizers 0.13.3