Instructions to use armanibadboy/WAL2-Ternary-27B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Notebooks
Google Colab
Kaggle
Local Apps Settings

How to use armanibadboy/WAL2-Ternary-27B with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf armanibadboy/WAL2-Ternary-27B
# Run inference directly in the terminal:
llama cli -hf armanibadboy/WAL2-Ternary-27B

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf armanibadboy/WAL2-Ternary-27B
# Run inference directly in the terminal:
llama cli -hf armanibadboy/WAL2-Ternary-27B

Build from source code

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-app
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama serve -hf armanibadboy/WAL2-Ternary-27B
# Run inference directly in the terminal:
./build/bin/llama cli -hf armanibadboy/WAL2-Ternary-27B

Use Docker

docker model run hf.co/armanibadboy/WAL2-Ternary-27B

Llama new
LM Studio
Jan

vLLM

How to use armanibadboy/WAL2-Ternary-27B with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "armanibadboy/WAL2-Ternary-27B"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "armanibadboy/WAL2-Ternary-27B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/armanibadboy/WAL2-Ternary-27B

Ollama
How to use armanibadboy/WAL2-Ternary-27B with Ollama:
```
ollama run hf.co/armanibadboy/WAL2-Ternary-27B
```
Unsloth Desktop

How to use armanibadboy/WAL2-Ternary-27B with Pi:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf armanibadboy/WAL2-Ternary-27B

Configure the model in Pi

# Install Pi:
npm install -g @earendil-works/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "armanibadboy/WAL2-Ternary-27B"
        }
      ]
    }
  }
}

Run Pi

# Start Pi in your project directory:
pi

Docker Model Runner
How to use armanibadboy/WAL2-Ternary-27B with Docker Model Runner:
```
docker model run hf.co/armanibadboy/WAL2-Ternary-27B
```

Lemonade

How to use armanibadboy/WAL2-Ternary-27B with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull armanibadboy/WAL2-Ternary-27B

Run and chat with the model

lemonade run user.WAL2-Ternary-27B-{{QUANT_TAG}}

List all available models

lemonade list

Hermes Agent

How to use armanibadboy/WAL2-Ternary-27B with Hermes Agent:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf armanibadboy/WAL2-Ternary-27B

Configure Hermes

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default armanibadboy/WAL2-Ternary-27B

Run Hermes

hermes

Atomic Chat

OpenClaw

How to use armanibadboy/WAL2-Ternary-27B with OpenClaw:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf armanibadboy/WAL2-Ternary-27B

Configure OpenClaw

# Install OpenClaw:
npm install -g openclaw@latest
# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "armanibadboy/WAL2-Ternary-27B" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

Run OpenClaw

openclaw agent --local --agent main --message "Hello from Hugging Face"

WAL2 Ternary 27B — карточка модели

Исторический идентификатор ветви и файлов — Vol2. WAL2 использует новую исходную Qwen3.8-FP8; старый WAL RC1 на Qwen3.6 со sparse/WALB2 не является parent этих весов.

Идентичность и область выпуска

Основной свежий артефакт этого снимка — E022-Fixed128, потомок E020-B1024. Завершённая диагностика: 69/136 (50,74%), лучше родителя 64/136 по сумме, но AIME25 0/30 против 2/30. E020-B1024 сохранён отдельно как контрольный кандидат. Утверждения о превосходстве E022 по всем задачам нет. Полный GSM8K 84,69% относится только к E017. Слабое AIME25 и регрессии более новых вариантов сохранены в отчёте.

Артефакт текстовый. Визуальная часть исходной conditional-generation модели не преобразовывалась, не обучалась и не выпускается. Нельзя переносить на него мультимодальные возможности исходного Qwen.

Основа: Qwen/Qwen3.8-27B-FP8, зафиксированная ревизия 017b9c7af6b5689d5dd426a76e0bc077eb5ca20a. В загруженной конфигурации используется архитектура Qwen3.5: Qwen3_5ForCausalLM для текстовой части; это описание фактического config, а не переименование основы.

Архитектура

64 блока: 48 Gated DeltaNet и 16 блоков полного attention. Hidden size 5120, промежуточная размерность MLP 17408, словарь 248320. Всего 26 895 998 464 параметра в текстовой модели. Тернаризованы 402 матрицы — 26 869 760 000 параметров (99,9024%), в том числе embedding и lm_head. Исключения — 26 238 464 параметра: 96 небольших in_proj_a/in_proj_b и параметры нормализации, свёртки, состояния и прочие небольшие тензоры. Группа масштаба — 128. Ротация — нормализованная H128, sign_mode identity.

Что означает битность

Трит имеет три значения; информационный нижний предел — log₂(3)=1,58496 бита. В нашем базовом контейнере пять тритов записаны в один байт: 8/5=1,6 бита на символ без масштабов и исключений. BF16-масштаб на 128 весов добавляет 16/128=0,125 бита. С учётом высокоточных исключений и заголовков файлы тензоров занимают 5 846 382 464 байта, 1,73896 бита на параметр всей текстовой модели. Каталог с токенизатором и конфигурацией — 5 869 422 733 байт, 1,74581 бита на параметр. Поэтому краткое «около 1,74–1,75 бита» допустимо только с названием этого формата и учтённых файлов.

Быстрый native GGUF использует PQ2_0: 32 байта двухбитных кодов плюс 2 байта FP16-масштаба на 128 весов, то есть 34×8/128=2,125 бита на тернарный вес. Из четырёх кодов используются три. 402 тензора имеют GGUF type 142 (PQ2_0); 449 небольших тензоров — F32. Веса тензоров занимают 7 242 233 856 байт; весь файл, включая токенизатор, метаданные и выравнивание, — 7 253 239 808 байт: 7,253 ГБ / 6,755 ГиБ / 2,15742 бита на параметр.

Сравнение с идеальным BF16 для тех же параметров: 53 791 996 928 байт без метаданных; native GGUF примерно в 7,42 раза меньше, base3-тензоры — в 9,20 раза меньше. Это сравнение форматов хранения, не скорости и не размера исходного FP8-мультимодального каталога.

Вычисления и память

Native inference читает PQ2, а не создаёт постоянную полную BF16-копию всех весов. Отдельные ядра используют декодирование блоков, высокоточные активации и накопление; «всё вычисляется в двух битах» не заявляется. Проверка включает формат 402 тензоров, allocator/source audit и наблюдение GPU; полного kernel-by-kernel трассирования нет.

При E018, 25 слотах на каждой из двух H200 и контексте 32768 наблюдалось около 62517 МиБ на GPU. Значительная часть — KV-кэш, около 50 ГиБ на один сервер такой конфигурации; сам quantized payload модели около 7,24 ГБ. Поэтому файл 7,25 ГБ не означает, что любой режим запуска занимает ровно 7,25 ГБ VRAM. Требования одного слота не измерены здесь новым запуском и не объявляются равными этому большому batch-замеру.

Во время QAT хранится FP32 latent weight, а forward представляет тернарные значения в BF16. Обучение использует большую память и обычные матричные операции. Native ускорение inference не переносится автоматически на backward.

Оценки и ограничения

E022-Fixed128:69/136 на наборе разработки, AIME25 0/30; E020-B1024:64/136 и AIME25 2/30; режим greedy, thinking medium, до 8192 новых токенов, контекст 32768. Длинные рассуждения и корректное завершение пока слабы. Число правильных конечных ответов не доказывает корректность всего рассуждения.

Последний полный большой тест: E017, GSM8K 1117/1319 (84,69%), Bonsai 1275/1319 (96,66%). Этот показатель не относится к GGUF E020/E022. Прерванный широкий тест и свежая диагностика приведены отдельно. Наборы разработки использовались многократно; отсутствие точных совпадений с подготовленным корпусом не исключает близкие формулировки и неизвестные данные предобучения Qwen.

Файл, происхождение и лицензии

Имя: vol2-e022-fixed128-pq2.gguf. SHA256: f403e7b38258769f7e915af9de7cef3a46fdef723e5d5764c0d224862eb26f23. Оба кандидата опубликованы на Hugging Face; исходный код и протоколы — на GitHub. model/artifact.json — машинный паспорт E022, model/e020-b1024.json — паспорт E020; model/export-audit.json — исходный отчёт экспорта. Его статус exported_not_yet_validated означает момент экспорта; последующая завершённая генерация 136 задач подтверждается в evidence/diagnostic136/e022-fixed128.jsonl.

Веса — собственные производные Qwen после преобразования и обучения, Apache-2.0 с атрибуцией Qwen. Метаданные/схема тензоров GGUF сверялись с совместимым Bonsai-шаблоном; тензоры его весов не переносились. Движок PrismML-Eng/llama.cpp используется по MIT, коммит 9a9394a895b96003ca842a6041cb28ac49a108f7. Проект не связан организационно с PrismML или Qwen и не заявляет их одобрения.

Скачать и запустить

Вариант	Файл	Диагностика	AIME25
E022-Fixed128	GGUF	69/136	0/30
E020-B1024	GGUF	64/136	2/30

Compact base3: base3/e022-fixed128/ и base3/e020-b1024/. Нужен Prism runtime, указанный выше; FP32 QAT masters отсутствуют.

hf download armanibadboy/WAL2-Ternary-27B vol2-e022-fixed128-pq2.gguf --local-dir models/hf

Сборка runtime и запуск.

Downloads last month: 456

GGUF

Model size

27B params

Architecture

qwen35

Hardware compatibility

We're not able to determine the quantization variants.

View all variants

Model tree for armanibadboy/WAL2-Ternary-27B

Base model

Qwen/Qwen3.8-27B

Quantized

Qwen/Qwen3.8-27B-FP8

Quantized

(9)

this model