Instructions to use bytecode66/Froged_N1 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use bytecode66/Froged_N1 with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf bytecode66/Froged_N1:Q6_K # Run inference directly in the terminal: llama cli -hf bytecode66/Froged_N1:Q6_K
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf bytecode66/Froged_N1:Q6_K # Run inference directly in the terminal: llama cli -hf bytecode66/Froged_N1:Q6_K
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf bytecode66/Froged_N1:Q6_K # Run inference directly in the terminal: ./build/bin/llama cli -hf bytecode66/Froged_N1:Q6_K
Use Docker
docker model run hf.co/bytecode66/Froged_N1:Q6_K
- Llama new
- LM Studio
- Jan
- vLLM
How to use bytecode66/Froged_N1 with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "bytecode66/Froged_N1" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "bytecode66/Froged_N1", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/bytecode66/Froged_N1:Q6_K
- Ollama
How to use bytecode66/Froged_N1 with Ollama:
ollama run hf.co/bytecode66/Froged_N1:Q6_K
- Unsloth Desktop
- Docker Model Runner
How to use bytecode66/Froged_N1 with Docker Model Runner:
docker model run hf.co/bytecode66/Froged_N1:Q6_K
- Lemonade
How to use bytecode66/Froged_N1 with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull bytecode66/Froged_N1:Q6_K
Run and chat with the model
lemonade run user.Froged_N1-Q6_K
List all available models
lemonade list
- Atomic Chat
Froged_N1
Repositori ini berisi kuantisasi GGUF Q6_K dari Trinity-33B-v1.0. Berkas model disalin dari LoneStriker/Trinity-33B-v1.0-GGUF. Ini adalah berkas kuantisasi komunitas; repo ini tidak mengklaim telah melatih atau melakukan fine-tuning ulang model.
Berkas
Trinity-33B-v1.0-Q6_K.ggufβ sekitar 27,36 GB.
GGUF ditujukan untuk runtime yang mendukung format ini, seperti llama.cpp. File ini bukan checkpoint Transformers biasa dan tidak dapat dimuat dengan contoh AutoModelForCausalLM.from_pretrained() langsung dari repo ini.
Menjalankan
Dengan versi llama.cpp yang mendukung unduhan model dari Hugging Face:
llama-cli -hf bytecode66/Froged_N1:Trinity-33B-v1.0-Q6_K.gguf
Atau unduh file GGUF dari tab Files and versions lalu jalankan secara lokal:
llama-cli -m ./Trinity-33B-v1.0-Q6_K.gguf -p "Jelaskan konsep keamanan siber untuk lingkungan lab yang berizin." -n 200
Pemakaian model 33B memerlukan RAM/VRAM yang memadai. Kebutuhan aktual bergantung pada runtime, panjang konteks, dan jumlah layer yang ditempatkan di GPU.
Penggunaan yang bertanggung jawab
Model ini ditujukan untuk pembelajaran, pengembangan, dan pengujian keamanan siber di sistem yang Anda miliki atau yang penggunaannya telah diizinkan, termasuk lab lokal dan CTF. Jangan gunakan untuk mengakses, mengganggu, atau mengeksploitasi sistem tanpa izin.
Model dasar dan lisensi
Model dasar: WhiteRabbitNeo/Trinity-33B-v1.0. Tinjau kartu model dan lisensi model dasar sebelum penggunaan atau redistribusi. Kuantisasi GGUF ini berasal dari LoneStriker; lihat repositori sumber untuk rincian kuantisasi dan atribusi.
- Downloads last month
- 27
6-bit
Model tree for bytecode66/Froged_N1
Base model
WhiteRabbitNeo/Trinity-33B-v1.0