File size: 1,400 Bytes
e02979a ea7830b e02979a ea7830b e02979a ea7830b e02979a ea7830b |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 |
!git clone https://github.com/ggerganov/llama.cpp
%cd llama.cpp
!make
!./llama-cli -h
!./llama-gguf-split --split-max-size 5G /content/dracarys2-72b-instruct.Q2_K.gguf dracarys2-72b-instruct.gguf
from huggingface_hub import upload_file
# رفع جزء النموذج الأول
upload_file(
path_or_fileobj="/content/llama.cpp/dracarys2-72b-instruct.gguf-00001-of-00006.gguf", # استبدل <PATH_TO_PART_1> بمسار الجزء الأول
path_in_repo="dracarys2-72b-instruct.gguf-00001-of-00006.gguf", # اسم الملف في المستودع
repo_id=repo_name, # اسم المستودع
)
# رفع جزء النموذج الثاني
upload_file(
path_or_fileobj="/content/llama.cpp/dracarys2-72b-instruct.gguf-00002-of-00006.gguf", # استبدل <PATH_TO_PART_2> بمسار الجزء الثاني
path_in_repo="dracarys2-72b-instruct.gguf-00002-of-00006.gguf", # اسم الملف في المستودع
repo_id=repo_name, # اسم المستودع
)
# وهكذا لبقية الأجزاء
!./llama-cli -m "/content/dracarys2-72b-instruct.Q2_K.gguf" -p "who is ai?" -n 50 -e -t 4 --no-warmup
!./bin/llama-cli -m "/content/dracarys2-72b-instruct.Q2_K.gguf" -p "Hi you how are you" -n 50 -e -ngl 33 -t 4
run it
!./llama-cli -m "/content/llama.cpp/dracarys2-72b-instruct.gguf-00001-of-00006.gguf" -p "who is ai?" -n 50 -e -t 4 --no-warmup
|