Instructions to use SykoSLM/SykoLLM-Phi3-Test with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use SykoSLM/SykoLLM-Phi3-Test with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="SykoSLM/SykoLLM-Phi3-Test")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("SykoSLM/SykoLLM-Phi3-Test")
model = AutoModelForCausalLM.from_pretrained("SykoSLM/SykoLLM-Phi3-Test")

Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use SykoSLM/SykoLLM-Phi3-Test with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "SykoSLM/SykoLLM-Phi3-Test"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "SykoSLM/SykoLLM-Phi3-Test",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/SykoSLM/SykoLLM-Phi3-Test

SGLang

How to use SykoSLM/SykoLLM-Phi3-Test with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "SykoSLM/SykoLLM-Phi3-Test" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "SykoSLM/SykoLLM-Phi3-Test",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "SykoSLM/SykoLLM-Phi3-Test" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "SykoSLM/SykoLLM-Phi3-Test",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use SykoSLM/SykoLLM-Phi3-Test with Docker Model Runner:
```
docker model run hf.co/SykoSLM/SykoLLM-Phi3-Test
```

burak commited on Mar 4

Commit

b3a2891

verified ·

1 Parent(s): 8cc3fb7

Update README.md

Browse files

Files changed (1) hide show

README.md +6 -6

README.md CHANGED Viewed

@@ -23,16 +23,16 @@ datasets:
   - turkish-nlp-suite/InstrucTurca
 ---
-# 🚀 SykoLLM Phi-3 Mini (233M) - Experimental
 > **⚠️ Uyarı / Disclaimer:** Bu model şu anda aktif bir **test ve araştırma aşamasındadır**. Temel amacı, yeni nesil **Phi-3** mimarisinin yeteneklerini sıfırdan eğitilmiş (trained from scratch) bir yapıyla küçük ölçekte test etmektir. Üretime (production) hazır bir model değildir; halüsinasyon görebilir, mantıksal hatalar yapabilir veya beklenmedik yanıtlar verebilir.
-## 📌 Model Özeti (Model Description)
 Bu model, Microsoft'un **Phi-3** mimarisi temel alınarak sıfırdan eğitilmiş **233 Milyon** parametreli, deneysel bir dil modelidir. Hem **İngilizce** hem de **Türkçe** dillerinde genel bilgi, kodlama yeteneği ve mantıksal yürütme kapasitesini ölçmek amacıyla çeşitli yüksek kaliteli veri setleri harmanlanarak eğitilmiştir.
 Ayrıca model için `BPE` (Byte-Pair Encoding) tabanlı **özel bir tokenizer** sıfırdan eğitilip kullanılmıştır.
-## 🏗️ Model Mimarisi (Architecture Details)
 Model, daha kompakt bir konfigürasyonda tasarlanmış olup standart bir Phi-3 yapısına dayanır:
 * **Mimari Türü:** `Phi3ForCausalLM`
 * **Parametre Sayısı:** ~233M
@@ -43,7 +43,7 @@ Model, daha kompakt bir konfigürasyonda tasarlanmış olup standart bir Phi-3 y
 * **Bağlam Penceresi (Context Size):** 1024 Token
 * **Sözlük Boyutu (Vocab Size):** 32,000
-## 📚 Eğitim Verisi (Training Data)
 Eğitim verisi, modelin çok yönlü olabilmesi için özenle seçilmiş, yapay zeka kalıntıları (AI-robots) temizlenmiş ve filtrelenmiş şu veri setlerinden oluşmaktadır:
 **1. Genel Bilgi ve Mantık (İngilizce):**
@@ -60,14 +60,14 @@ Eğitim verisi, modelin çok yönlü olabilmesi için özenle seçilmiş, yapay
 * `uonlp/CulturaX` (Türkçe alt kümesi, CJK ve gürültü temizlenmiş)
 * `turkish-nlp-suite/InstrucTurca`
-## ⚙️ Eğitim Konfigürasyonu (Training Procedure)
 * **Optimizasyon:** 8-bit AdamW (`adamw_bnb_8bit`)
 * **Öğrenme Oranı (Learning Rate):** 3e-4 (Cosine Scheduler ile)
 * **Hassasiyet (Precision):** FP16
 * **Max Adım Sayısı (Steps):** 6000
 * **Ağırlık Azalması (Weight Decay):** 0.05
-## 💻 Örnek Kullanım (How to Use)
 Modeli test etmek için aşağıdaki Python kodunu kullanabilirsiniz. `trust_remote_code=True` parametresinin ekli olduğundan emin olun.
 ```python

   - turkish-nlp-suite/InstrucTurca
 ---
+# SykoLLM Phi-3 Mini (233M) - Experimental
 > **⚠️ Uyarı / Disclaimer:** Bu model şu anda aktif bir **test ve araştırma aşamasındadır**. Temel amacı, yeni nesil **Phi-3** mimarisinin yeteneklerini sıfırdan eğitilmiş (trained from scratch) bir yapıyla küçük ölçekte test etmektir. Üretime (production) hazır bir model değildir; halüsinasyon görebilir, mantıksal hatalar yapabilir veya beklenmedik yanıtlar verebilir.
+##  Model Özeti (Model Description)
 Bu model, Microsoft'un **Phi-3** mimarisi temel alınarak sıfırdan eğitilmiş **233 Milyon** parametreli, deneysel bir dil modelidir. Hem **İngilizce** hem de **Türkçe** dillerinde genel bilgi, kodlama yeteneği ve mantıksal yürütme kapasitesini ölçmek amacıyla çeşitli yüksek kaliteli veri setleri harmanlanarak eğitilmiştir.
 Ayrıca model için `BPE` (Byte-Pair Encoding) tabanlı **özel bir tokenizer** sıfırdan eğitilip kullanılmıştır.
+##  Model Mimarisi (Architecture Details)
 Model, daha kompakt bir konfigürasyonda tasarlanmış olup standart bir Phi-3 yapısına dayanır:
 * **Mimari Türü:** `Phi3ForCausalLM`
 * **Parametre Sayısı:** ~233M
 * **Bağlam Penceresi (Context Size):** 1024 Token
 * **Sözlük Boyutu (Vocab Size):** 32,000
+##  Eğitim Verisi (Training Data)
 Eğitim verisi, modelin çok yönlü olabilmesi için özenle seçilmiş, yapay zeka kalıntıları (AI-robots) temizlenmiş ve filtrelenmiş şu veri setlerinden oluşmaktadır:
 **1. Genel Bilgi ve Mantık (İngilizce):**
 * `uonlp/CulturaX` (Türkçe alt kümesi, CJK ve gürültü temizlenmiş)
 * `turkish-nlp-suite/InstrucTurca`
+##  Eğitim Konfigürasyonu (Training Procedure)
 * **Optimizasyon:** 8-bit AdamW (`adamw_bnb_8bit`)
 * **Öğrenme Oranı (Learning Rate):** 3e-4 (Cosine Scheduler ile)
 * **Hassasiyet (Precision):** FP16
 * **Max Adım Sayısı (Steps):** 6000
 * **Ağırlık Azalması (Weight Decay):** 0.05
+##  Örnek Kullanım (How to Use)
 Modeli test etmek için aşağıdaki Python kodunu kullanabilirsiniz. `trust_remote_code=True` parametresinin ekli olduğundan emin olun.
 ```python