--- license: cc-by-nc-4.0 language: - ko - en tags: - 42dot - PLM --- # 42dot_LLM-PLM-1.3B_GGUF # * 모델 만든 사람: [42dot](https://huggingface.co/42dot) * 원본 모델: [42dot_LLM-PLM-1.3B](https://huggingface.co/42dot/42dot_LLM-PLM-1.3B) ## 설명 ## 42dot 모델의 GGUF 경량화 모델을 만들어 뒀습니다. [42dot_LLM-PLM-1.3B](https://huggingface.co/42dot/42dot_LLM-PLM-1.3B) ## 파일 ## 링크에 연결 해두었으니 필요하신 분은 하트 주고 챙겨 가세요. gguf 원본 파일 * [42dot_LLM-PLM-1.3B.gguf](https://huggingface.co/StatPan/42dot_LLM-PLM-1.3B_GGUF/resolve/main/ggml-model-f32.gguf?download=true) Q4, Q8 경량화 파일 * [42dot_LLM-PLM-1.3B-Q4_K_M](https://huggingface.co/StatPan/42dot_LLM-PLM-1.3B_GGUF/resolve/main/gguf-42dot_PLM-q4_k_m.gguf?download=true) * [42dot_LLM-PLM-1.3B-Q8_K](https://huggingface.co/StatPan/42dot_LLM-PLM-1.3B_GGUF/resolve/main/gguf-42dot_PLM-q8_k.gguf?download=true) 이외 모델은 근본 없어서 올릴까 하다가 안 올리려고 합니다. ## 사용법 ## [원본](https://huggingface.co/42dot/42dot_LLM-PLM-1.3B) 원본 링크에서 사용 법을 확인하세요. ### Llama.cpp로 사용법 샘플 ### For simple inferencing, use a command similar to ``` ./main -m gguf-q4_k_m.gguf --temp 0 --top-k 4 --prompt "who was Joseph Weizenbaum?" ``` ### Llama.cpp로 토크나이징 샘플 ### To get a list of tokens, use a command similar to ``` ./tokenization -m gguf-q4_k_m.gguf --prompt "who was Joseph Weizenbaum?" ``` ### Llama.cpp로 임베딩 샘플 ### Text embeddings are calculated with a command similar to ``` ./embedding -m gguf-q4_k_m.gguf --prompt "who was Joseph Weizenbaum?" ``` ## License ## 원본 모델 라이센스는 Creative Commons Attribution-NonCommercial 4.0 (CC BY-NC 4.0) 참고하세요.