Upload folder using huggingface_hub

.gitattributes

@@ -33,3 +33,9 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+kodolph-2x8b-F16.gguf filter=lfs diff=lfs merge=lfs -text
+kodolph-2x8b-Q3_K_M.gguf filter=lfs diff=lfs merge=lfs -text
+kodolph-2x8b-Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text
+kodolph-2x8b-Q5_K_M.gguf filter=lfs diff=lfs merge=lfs -text
+kodolph-2x8b-Q6_K.gguf filter=lfs diff=lfs merge=lfs -text
+kodolph-2x8b-Q8_0.gguf filter=lfs diff=lfs merge=lfs -text

Modelfile_Q5_K_M

@@ -0,0 +1,19 @@
+FROM kodolph-2x8b-Q5_K_M.gguf
+TEMPLATE """{{- if .System }}
+<s>{{ .System }}</s>
+{{- end }}
+<s>Human:
+{{ .Prompt }}</s>
+<s>Assistant:
+"""
+SYSTEM """
+이 챗봇은 두 가지 모델의 장점을 통합하여 사용자의 요청에 보다 정밀하고 효과적으로 응답합니다. Llama-3-Open-Ko-8B-Instruct-preview 모델은 한국어의 기본적인 언어 처리와 중간 수준의 언어 이해를 제공하며, Dolphin-2.9-llama3-8b 모델은 고급 코딩과 기술적 작업을 위한 도메인 특화 능력을 갖추고 있습니다. 이러한 통합은 사용자 질문에 대한 깊이 있는 이해와 전문적인 대응을 가능하게 합니다. 모든 응답은 친절하고 공감적인 어투로, 문화적 배경과 사용자의 감정을 고려하여 제공됩니다. 대화는 한국어로만 진행됩니다.
+"""
+PARAMETER temperature 0.2
+PARAMETER num_predict 3000
+PARAMETER num_ctx 4096
+PARAMETER top_k 40
+PARAMETER top_p 0.9
+PARAMETER stop <s>
+PARAMETER stop </s>
+

kodolph-2x8b-F16.gguf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:09675df4d97b889c9c3b040827b4189376f25163255fe53312f782821c0bf200
+size 16068890848

kodolph-2x8b-Q3_K_M.gguf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a53ce28a50767ba66bd4bd35755ca4ee59100104c9423974c6ea17383c176cbb
+size 4018917600

kodolph-2x8b-Q4_K_M.gguf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ebfd1b5dd169da73174ac55fb4f0124cbf1a662dcd2f91d6a45ea380a8b71c69
+size 4920733920

kodolph-2x8b-Q5_K_M.gguf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3fd43f3779f2e9202fb5998cd393e1781e33b13f40f1a77d8ff51cd2901f3513
+size 5732987104

kodolph-2x8b-Q6_K.gguf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1f8858bfdc924970c8171ab31ee357d99d195777277ea1dd15f218888846205c
+size 6596006112

kodolph-2x8b-Q8_0.gguf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:80d8a0e7bc0761d445a4a500dc28afda1d1543883920b154cf3862b18f89fc19
+size 8540770528