Instructions to use speakleash/Bielik-11B-v3.0-Instruct with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use speakleash/Bielik-11B-v3.0-Instruct with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="speakleash/Bielik-11B-v3.0-Instruct")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("speakleash/Bielik-11B-v3.0-Instruct")
model = AutoModelForCausalLM.from_pretrained("speakleash/Bielik-11B-v3.0-Instruct", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Inference
HuggingChat
Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use speakleash/Bielik-11B-v3.0-Instruct with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "speakleash/Bielik-11B-v3.0-Instruct"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "speakleash/Bielik-11B-v3.0-Instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/speakleash/Bielik-11B-v3.0-Instruct

SGLang

How to use speakleash/Bielik-11B-v3.0-Instruct with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "speakleash/Bielik-11B-v3.0-Instruct" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "speakleash/Bielik-11B-v3.0-Instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "speakleash/Bielik-11B-v3.0-Instruct" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "speakleash/Bielik-11B-v3.0-Instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use speakleash/Bielik-11B-v3.0-Instruct with Docker Model Runner:
```
docker model run hf.co/speakleash/Bielik-11B-v3.0-Instruct
```

Konwersja do formatu OpenVINO IR.

by jermalk - opened 16 days ago

Discussion

jermalk

16 days ago

Zajmuję się tworzeniem oprogramowania z wykorzystaniem Intel OpenVINO.
Skonwertowałem ten model do formatu INTEL OpenVINO IR w kwantyzacji int4 i int8 i chciałbym opublikować konwersje na swoim koncie HF.

Rzeczy dla mnie oczywiste które muszę umieścić to:

wskazanie Waszej organizacji jako twórcy i źródła oryginalnego modelu,
dołączenie licencji Apache 2.0 wraz z NOTICE oraz jasne oznaczenie, co zostało zmienione .

Chciałbym natomiast dopytać o kwestie, których sama licencja nie rozstrzyga:

Nazewnictwo / znak towarowy. Apache 2.0 nie udziela praw do znaków towarowych.
Czy mogę użyć nazwy „Bielik" w nazwie repozytorium (np. Bielik-11B-v3.0-Instruct-int4-ov), czy preferujecie inną konwencję?
Bramka dostępu. Oryginalne repo jest chronione przed dostępem anonimowym.
Czy oczekujecie, żeby konwersje również były umieszczone na tych samych warunkach?
EU AI Act - czy dokumentację transparentności mam dołączyć, czy zlinkować do Waszej?
Czy kwantyzacja wymaga z Waszej perspektywy dodatkowej adnotacji o możliwym spadku jakości względem wersji referencyjnej?
Czy chcielibyście, żebym poinformował Was po publikacji, np. gdybyście chcieli dodać konwersje do swojej kolekcji?

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment