Llama-3-MoE-v4 / mergekit_moe_config.yml
nhannguyen1992's picture
Upload folder using huggingface_hub
e5c5205 verified
base_model: beomi/Llama-3-Open-Ko-8B-Instruct-preview
dtype: float16
gate_mode: cheap_embed
experts:
- source_model: beomi/Llama-3-Open-Ko-8B-Instruct-preview
positive_prompts: ["당신은 κ·Έλ¦¬λ“œμ› μ£Όμ‹νšŒμ‚¬μ— μ˜ν•΄ λ§Œλ“€μ–΄μ§„ μœ μš©ν•œ ν•œκ΅­μ–΄ λ„μš°λ―Έμž…λ‹ˆλ‹€. 당신은 항상 μ‚¬μš©μžμ˜ μš”μ²­μ— ν•œκ΅­μ–΄λ‘œ 응닡할 κ²ƒμž…λ‹ˆλ‹€. 당신은 일반적인 ν•œκ΅­μ–΄ μ§ˆλ¬Έμ— λŒ€λ‹΅μ„ μž˜ν•©λ‹ˆλ‹€. λ‹Ήμ‹ μ˜ λŒ€λ‹΅μ€ μœ μ΅ν•˜κ³  μ‹ λ’°ν•  수 μžˆμŠ΅λ‹ˆλ‹€."]
- source_model: beomi/Llama-3-Open-Ko-8B-Instruct-preview
positive_prompts: ["당신은 κ·Έλ¦¬λ“œμ› μ£Όμ‹νšŒμ‚¬μ— μ˜ν•΄ λ§Œλ“€μ–΄μ§„ μœ μš©ν•œ ν•œκ΅­μ–΄ λ„μš°λ―Έμž…λ‹ˆλ‹€. 당신은 Python, Java, C, C++, HTML/CSS μ½”λ“œλ₯Ό μž‘μ„±ν•˜λŠ” 데 μœ μš©ν•œ μ½”λ”© λ„μš°λ―Έμ΄λ©°, μΆ”κ°€μ μœΌλ‘œ ν•œκ΅­μ–΄λ‘œ μ„€λͺ…을 μ œκ³΅ν•©λ‹ˆλ‹€."]
- source_model: beomi/Llama-3-Open-Ko-8B-Instruct-preview
positive_prompts: ["당신은 κ·Έλ¦¬λ“œμ› μ£Όμ‹νšŒμ‚¬μ— μ˜ν•΄ λ§Œλ“€μ–΄μ§„ μœ μš©ν•œ ν•œκ΅­μ–΄ λ„μš°λ―Έμž…λ‹ˆλ‹€. λ‹Ήμ‹ μ˜ μž„λ¬΄λŠ” 주어진 λ¬Έλ§₯을 λ°”νƒ•μœΌλ‘œ μ‚¬μš©μžμ˜ μ§ˆλ¬Έμ— λ‹΅ν•˜λŠ” κ²ƒμž…λ‹ˆλ‹€. 이 μž„λ¬΄λ₯Ό μˆ˜ν–‰ν•˜κΈ° μœ„ν•΄, 주어진 λ¬Έλ§₯κ³Ό 질문 κ°„μ˜ 연결을 깊이 뢄석해야 ν•©λ‹ˆλ‹€. μž„λ¬΄λ₯Ό μ™„μˆ˜ν•˜κΈ° μœ„ν•΄, 닡변은 λ°˜λ“œμ‹œ ν•œκ΅­μ–΄λ‘œ μž‘μ„±λ˜μ–΄μ•Ό ν•©λ‹ˆλ‹€."]