Instructions to use rokoman/siem-triage-35b-th with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use rokoman/siem-triage-35b-th with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="rokoman/siem-triage-35b-th")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("rokoman/siem-triage-35b-th")
model = AutoModelForMultimodalLM.from_pretrained("rokoman/siem-triage-35b-th", device_map="auto")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use rokoman/siem-triage-35b-th with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "rokoman/siem-triage-35b-th"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "rokoman/siem-triage-35b-th",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/rokoman/siem-triage-35b-th

SGLang

How to use rokoman/siem-triage-35b-th with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "rokoman/siem-triage-35b-th" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "rokoman/siem-triage-35b-th",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "rokoman/siem-triage-35b-th" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "rokoman/siem-triage-35b-th",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use rokoman/siem-triage-35b-th with Docker Model Runner:
```
docker model run hf.co/rokoman/siem-triage-35b-th
```

siem-triage-35b-th

โมเดลคัดกรอง log ด้านความปลอดภัย (SIEM/SOC triage) ภาษาไทย — fine-tune จาก Qwen/Qwen3.6-35B-A3B ด้วย LoRA อ่าน log ดิบของ WAF (nginx + ModSecurity) และ NDR (Zeek) แล้วตอบกลับเป็น JSON ที่บอกหมวดเหตุการณ์ ระดับความรุนแรง สรุปเหตุการณ์และคำแนะนำเป็นภาษาไทย

รุ่นใหญ่สุดในชุด 3 ขนาด แม่นสุดทุกงานโดยเฉพาะงาน SOC/MITRE — เป็นตัวที่ใช้งานจริง (production) รองรับการเสริม RAG สำหรับ MITRE ATT&CK (การ์ด ~48GB ขึ้นไป เมื่อใช้ FP8)

A Thai-language SIEM/SOC log-triage model fine-tuned from Qwen/Qwen3.6-35B-A3B (LoRA) — the largest / most capable of a 4B/9B/35B family. It reads raw WAF (nginx + ModSecurity) and NDR (Zeek) logs and returns a JSON incident report (category, severity, Thai summary and recommended action).

งานที่โมเดลทำ (Intended use)

WAF triage: blocked_by_firewall / blocked_by_waf / passed_no_impact / passed_needs_review / false_positive / benign
NDR triage: intel_inbound/outbound_*, internal_scan, external_ssh_login, protocol_anomaly, perimeter_drop, noise, benign
ให้ severity (info→critical), key_evidence, IP ที่เกี่ยวข้อง, summary_th, action_th
เน้นแยก "การใช้งานปกติที่ถูกเตือนผิด" (แอดมิน / crawler / CDN beacon / ลิงก์แชร์) ออกจากการโจมตีจริง และไม่แนะนำบล็อก IP ภายใน

ไม่ใช่สำหรับ: ตัดสินใจบล็อก/ตอบโต้อัตโนมัติโดยไม่มีคนตรวจ — ผลทุกชิ้นควรผ่านการอนุมัติของนักวิเคราะห์

ผลทดสอบ (round 3) — ชุดทดสอบ log 1,377 เคส

โมเดล	คัด log ผ่านทุกเกณฑ์	ความเร็ว (c=16)	SOC verdict (สาธารณะ/ชุด B)
4B	94.3%	2.02 เคส/วิ	68.6% / 78.1%
9B	93.6%	1.39 เคส/วิ	70.0% / 86.0%
35B	94.4%	1.09 เคส/วิ	84.7% / 90.6%

ตัวนี้ (35B (MoE, active ~3B)): คัด log ผ่านทุกเกณฑ์ 94.4%, ความเร็ว 1.09 เคส/วิ, SOC verdict 84.7% (สาธารณะ) / 90.6% (ชุด B), FP8 ~~35GB

วิธีใช้ (vLLM, OpenAI-compatible)

vllm serve rokoman/siem-triage-35b-th --served-model-name siem --max-model-len 8192 \
  --reasoning-parser qwen3 --limit-mm-per-prompt '{"image":0,"video":0}'

ส่ง system prompt ที่อธิบายความหมายของ log + schema แล้วหุ้ม log ดิบด้วย <UNTRUSTED_LOG_DATA>...</UNTRUSTED_LOG_DATA> ตั้ง temperature=0, chat_template_kwargs={"enable_thinking": false}, และใช้ structured output (JSON schema) ตาม field ด้านบน โมเดลถูกฝึกให้ ไม่ทำตามคำสั่งที่ฝังมาใน log และตอบ JSON เท่านั้น

ข้อมูลฝึกและความเป็นส่วนตัว (Training data & privacy)

LoRA r=16 (attention + linear_attn + shared_expert), 1 epoch, max length 6144
ข้อมูลเป็น log ของระบบจริงที่ ผ่านการซ่อนข้อมูลจริงแบบสม่ำเสมอ (pseudonymize IP/โดเมน/ชื่อ/token เป็นค่าสมมติ เช่น *.example) ก่อนนำมาฝึก ร่วมกับงาน SOC สังเคราะห์ คำตอบเขียน/ตรวจใหม่ตามคู่มือการเฉลยที่กำหนด
ตรวจการรั่วไหลแล้ว: ข้อมูลฝึกไม่มีโดเมน/ชื่อองค์กรจริงตกค้าง และโมเดลไม่เผยโดเมนจริงหรือตารางแมปค่าจริง↔ค่าสมมติเมื่อถูกถาม

ข้อจำกัด (Limitations)

ฝึกจากทราฟฟิกของสภาพแวดล้อมเดียว รูปแบบ log ต่างออกไปอาจต้องปรับ prompt/ประเมินใหม่
ภาษาไทยอาจเพี้ยนเป็นครั้งคราว
แม้ข้อมูลฝึกถูกซ่อนข้อมูลจริงแล้ว โมเดล fine-tune มีโอกาสจำบางรูปแบบของข้อมูลฝึกได้

การสนับสนุน (Acknowledgement)

โครงการนี้ได้รับการสนับสนุนจาก บริษัท โกลบอลเทคโนโลยีอินทิเกรเทด จำกัด (Global Technology Integrated Co., Ltd.) ทั้ง ข้อมูลสำหรับการฝึก และ ค่าใช้จ่ายในการพัฒนาโมเดล

This project is supported by Global Technology Integrated Co., Ltd. — providing both the training data and the funding for model development.

License

Apache-2.0 (ตาม base model Qwen/Qwen3.6-35B-A3B)

Downloads last month: -

Safetensors

Model size

35B params

Tensor type

BF16

Model tree for rokoman/siem-triage-35b-th

Base model

Qwen/Qwen3.6-35B-A3B

Adapter

(361)

this model