Aurora Clary 2 Cyber
Collection
2 items • Updated
🇷🇺 Русская версия
Clary 2 Cyber Heavy — флагманская открытая языковая модель семейства Clary 2, разработанная исследовательской командой Aurora System.
Модель построена на базе Qwen/Qwen3-4B и специализирована для практических задач информационной безопасности, аудита исходного кода, бинарной эксплуатации (pwn/rev), криптоанализа и системного программирования.
Веса модели поставляются в нативном формате Safetensors (==bfloat16==) с объединёнными адаптерами DoRA.
📌 Ключевые возможности
Бинарная эксплуатация и низкоуровневый анализ
Построение ROP-цепочек под x86_64, автоматизация сценариев через ==pwntools==, обход защитных механизмов (NX, ASLR, Canary), анализ выравнивания стека, разбор уязвимостей типа Use-After-Free (UAF) и переполнений буфера.
Аудит веб-безопасности (OWASP Top 10)
Поиск и эксплуатация SQL-инъекций (включая blind time-based векторы), обход аутентификации JWT (атаки на алгоритмическую подпись), CSRF, SSRF, IDOR/BOLA.
Реверс-инжиниринг
Анализ ассемблерных листингов x86_64/ARM, восстановление C-псевдокода, разбор кастомных виртуальных машин (девиртуализация байткода) и трассировка системных вызовов.
Прикладная криптография
Атаки на блочные шифры (AES-ECB Cut-and-Paste), анализ уязвимостей RSA при малом показателе открытого ключа ( e ) (атака Хастада через CRT), решётчатые методы редукции (теорема Копперсмита).
Алгоритмы и системный код
Генерация нетривиальных структур данных (персистентные деревья отрезков, кастомные аллокаторы), глубокое понимание архитектуры ядра Linux (механизмы синхронизации RCU, манипуляция дескрипторами ==cred==).
Полноценный двуязычный контекст (RU/EN)
Точное владение англоязычной терминологией компьютерной безопасности и естественным русским языком.
📊 Результаты бенчмарков
Тестирование проводилось в автономной среде с использованием движка vLLM с детерминированным декодированием (==temperature=0.0==) и независимым слепым судейством.
1. Профильный домен: Кибербезопасность (Cybersecurity Suite)
| Бенчмарк | Фокус / Организация | Clary 2 Heavy (4B) |
|---|---|---|
| SecEval | Tencent Xuanwu Lab (пентест, аудит уязвимостей) | 82.50% |
| SecQA v1 | Компьютерная безопасность и защита систем | 95.00% |
| SecQA v2 | Многошаговые рассуждения в ИБ-сценариях | 88.33% |
| CyberMetric-500 | Криптография, аудит и стандарты (IEEE CSR) | 78.75% |
| MMLU Security Studies | Архитектура и политика безопасности | 48.00% |
2. Алгоритмы, программирование и точные науки (STEM)
| Бенчмарк | Дисциплина | Clary 2 Heavy |
|---|---|---|
| MMLU College CS | Алгоритмы и архитектура ЭВМ (университет) | 60.00% |
| MMLU High School CS | Программирование и структуры данных | 70.00% |
| MMLU Abstract Algebra | Абстрактная алгебра и теория групп | 44.00% |
| MMLU High School Math | Алгебра, геометрия и тригонометрия | 58.00% |
| MMLU College Math | Математический анализ и линейная алгебра | 48.00% |
| MMLU Formal Logic | Символическая и формальная логика | 58.00% |
3. Стресс-тест решения олимпиадных и системных задач (Blind Review)
В закрытом тестировании на генерацию сложного функционального кода модель показала результат 8.5 / 10 баллов:
- 10 / 10 — Реализация персистентного дерева отрезков на Python с нуля за ( O(\log N) ) времени и памяти с корректным переиспользованием неизменённых узлов.
- 9.5 / 10 — Изоморфизм Карри — Говарда: определение оператора управления потоком ==call/cc== (call-with-current-continuation) для закона снятия двойного отрицания.
- 9.0 / 10 — Внутреннее устройство ядра Linux: механизмы барьеров RCU, Grace Period и различие между блокирующим ==synchronize_rcu()== и асинхронным ==call_rcu()==.
- 8.5 / 10 — Деобфускация VM-байткода (VPC, VRegs, подъём в IR и реконструкция графа потока управления CFG).
4. Сравнительные бенчмарки (Clary 2 / Aurora System)
SecEval (Tencent Xuanwu Lab)
| Модель | Результат |
|---|---|
| chatglm 3 6B | 41.6% |
| Mistral v0.1 | 43.7% |
| Orca 2 7B | 51.6% |
| Yi 6B | 53.6% |
| GPT-3.5 Turbo | 62.1% |
| Clary 2 Heavy | 82.50% |
CyberMetric 500
| Модель | Результат |
|---|---|
| Zephyr 7B | 73.5% |
| Gemma 1.1 7B | 75.8% |
| Clary 2 Heavy | 78.75% |
| Mistral v0.2 | 78.4% |
| Qwen 2 7B | 82.0% |
| Qwen 2.5 7B | 89.2% |
MMMLU
| Модель | Результат |
|---|---|
| Qwen 3.5 | 44.3% |
| Clary 2 Heavy | 60.00% |
| GPT-4.1 nano | 66.9% |
| Mistral Large 3 | 74.2% |
| Claude Haiku 4.5 | 83.0% |
| Gemma 4 12B | 83.4% |
Aurora System Benchmark (внутренний)
| Модель | Результат |
|---|---|
| Clary 2 Flash | 21.25% |
| Clary 2 Mini | 37.50% |
| Clary 2 Heavy | 47.50% |
🚀 Инструкции по использованию
Запуск через Hugging Face Transformers
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_ID = "AuroraSystem/Aurora-Heavy-4B"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
MODEL_ID,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True
)
prompt = "Опиши по шагам, как выравнивать стек под 16 байт при ROP-атаке на x86_64 перед вызовом system()."
messages = [
{"role": "system", "content": "You are Aurora, an expert cybersecurity assistant developed by Aurora System."},
{"role": "user", "content": prompt}
]
inputs = tokenizer.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_tensors="pt"
).to(model.device)
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=512,
do_sample=True,
temperature=0.2, # Рекомендуется диапазон 0.2 – 0.3 для кода и CTF
repetition_penalty=1.15
)
print(tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True))
Высокопроизводительный инференс через vLLM
vllm serve AuroraSystem/Clary-2-Cyber-Heavy-4B \
--dtype bfloat16 \
--max-model-len 4096 \
--gpu-memory-utilization 0.90 \
--trust-remote-code
Пример запроса через ==curl==:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "AuroraSystem/Clary-2-Cyber-Heavy-4B",
"messages": [
{"role": "system", "content": "You are Aurora, an expert autonomous CTF solver."},
{"role": "user", "content": "Разбери логику уязвимости в функции: char buf[64]; strcpy(buf, input);"}
],
"temperature": 0.2,
"max_tokens": 512
}'
🛠️ Детали обучения
- Базовая архитектура: Qwen/Qwen3-4B
- Метод адаптации: DoRA (Weight-Decomposed Low-Rank Adaptation)
- Конфигурация: ранг ( r = 32 ), ( \alpha = 32 ), Dropout = 0.05
- Модули внимания и MLP: ==q_proj==, ==k_proj==, ==v_proj==, ==o_proj==, ==gate_proj==, ==up_proj==, ==down_proj==
- Обучающая выборка (~32 000 примеров):
- Сценарии решения CTF и бинарных эксплойтов (TrueNix/ctf-solver-dataset)
- Набор логического программирования и алгоритмов (Magicoder-Evol-Instruct-110K)
- Корпус русскоязычных диалогов (IlyaGusev/saiga_scored)
- Синтетический доменный слой терминов информационной безопасности
- Слияние весов: Адаптеры DoRA нативно объединены с базовыми весами через ==merge_and_unload()== без деградации точности.
⚠️ Отказ от ответственности (Responsible Use)
Модель Aurora Clary 2 Cyber Heavy (4B) создана исключительно в исследовательских и образовательных целях, а также для содействия специалистам по информационной безопасности при аудите исходного кода, защите инфраструктуры и участии в соревнованиях CTF.
Разработчики не несут ответственности за несанкционированное или деструктивное применение генерируемых материалов в реальных вычислительных сетях.
🏢 Разработчик
Aurora AI by Aurora System
⸻
🇬🇧 English Version
Clary 2 Cyber Heavy (4B) is the flagship open-source language model of the Clary 2 family, developed by the Aurora System research team.
The model is built on top of Qwen/Qwen3-4B and specialized for practical cybersecurity tasks, source code auditing, binary exploitation (pwn/rev), cryptanalysis, and systems programming.
Model weights are provided in native Safetensors format (==bfloat16==) with merged DoRA adapters.
📌 Key Capabilities
Binary Exploitation & Low-Level Analysis
ROP chain construction for x86_64, automation via ==pwntools==, bypassing protections (NX, ASLR, Canary), stack alignment analysis, Use-After-Free (UAF) and buffer overflow vulnerability analysis.
Web Security Auditing (OWASP Top 10)
Detection and exploitation of SQL injections (including blind time-based vectors), JWT authentication bypass (algorithm confusion attacks), CSRF, SSRF, IDOR/BOLA.
Reverse Engineering
Analysis of x86_64/ARM assembly listings, C pseudocode recovery, custom virtual machine analysis (bytecode devirtualization), and system call tracing.
Applied Cryptography
Attacks on block ciphers (AES-ECB Cut-and-Paste), RSA vulnerabilities with small public exponent ( e ) (Hastad’s attack via CRT), lattice-based reduction methods (Coppersmith’s theorem).
Algorithms & Systems Code
Generation of non-trivial data structures (persistent segment trees, custom allocators), deep understanding of Linux kernel architecture (RCU synchronization mechanisms, ==cred== descriptor manipulation).
Full Bilingual Context (RU/EN)
Precise command of English cybersecurity terminology and natural Russian language.
📊 Benchmark Results
Testing was performed in an isolated environment using the vLLM engine with deterministic decoding (==temperature=0.0==) and independent blind review.
1. Domain Focus: Cybersecurity Suite
| Benchmark | Focus / Organization | Clary 2 Heavy (4B) |
|---|---|---|
| SecEval | Tencent Xuanwu Lab (pentest, vulnerability audit) | 82.50% |
| SecQA v1 | Computer security and system protection | 95.00% |
| SecQA v2 | Multi-step reasoning in security scenarios | 88.33% |
| CyberMetric-500 | Cryptography, audit and standards (IEEE CSR) | 78.75% |
| MMLU Security Studies | Security architecture and policy | 48.00% |
| TOTAL Cybersecurity | Average domain score | 75.06% |
2. Algorithms, Programming & Exact Sciences (STEM)
| Benchmark | Discipline | Clary 2 Heavy (4B) |
|---|---|---|
| MMLU College CS | Algorithms and computer architecture (university) | 60.00% |
| MMLU High School CS | Programming and data structures | 70.00% |
| MMLU Abstract Algebra | Abstract algebra and group theory | 44.00% |
| MMLU High School Math | Algebra, geometry and trigonometry | 58.00% |
| MMLU College Math | Mathematical analysis and linear algebra | 48.00% |
| MMLU Formal Logic | Symbolic and formal logic | 58.00% |
3. Stress Test: Olympiad & Systems Tasks (Blind Review)
In closed testing on complex functional code generation the model scored 8.5 / 10:
- 10 / 10 — Implementation of a persistent segment tree in Python from scratch with ( O(\log N) ) time and memory complexity and correct reuse of unmodified nodes.
- 9.5 / 10 — Curry–Howard isomorphism: definition of the ==call/cc== (call-with-current-continuation) control-flow operator for the double-negation elimination law.
- 9.0 / 10 — Linux kernel internals: RCU barrier mechanisms, Grace Period, and the difference between blocking ==synchronize_rcu()== and asynchronous ==call_rcu()==.
- 8.5 / 10 — VM bytecode deobfuscation (VPC, VRegs, lifting to IR and CFG reconstruction).
4. Comparative Benchmarks (Clary 2 / Aurora System)
SecEval (Tencent Xuanwu Lab)
| Model | Score |
|---|---|
| chatglm 3 6B | 41.6% |
| Mistral v0.1 | 43.7% |
| Orca 2 7B | 51.6% |
| Yi 6B | 53.6% |
| GPT-3.5 Turbo | 62.1% |
| Clary 2 Heavy | 82.50% |
CyberMetric 500
| Model | Score |
|---|---|
| Zephyr 7B | 73.5% |
| Gemma 1.1 7B | 75.8% |
| Clary 2 Heavy | 78.75% |
| Mistral v0.2 | 78.4% |
| Qwen 2 7B | 82.0% |
| Qwen 2.5 7B | 89.2% |
MMMLU
| Model | Score |
|---|---|
| Qwen 3.5 | 44.3% |
| Clary 2 Heavy | 60.00% |
| GPT-4.1 nano | 66.9% |
| Mistral Large 3 | 74.2% |
| Claude Haiku 4.5 | 83.0% |
| Gemma 4 12B | 83.4% |
Aurora System Benchmark (internal)
| Model | Score |
|---|---|
| Clary 2 Flash | 21.25% |
| Clary 2 Mini | 37.50% |
| Clary 2 Heavy | 47.50% |
🚀 Usage Instructions
Hugging Face Transformers
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_ID = "AuroraSystem/Clary-2-Cyber-Heavy-4B"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
MODEL_ID,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True
)
prompt = "Describe step by step how to align the stack to 16 bytes in an x86_64 ROP attack before calling system()."
messages = [
{"role": "system", "content": "You are Aurora, an expert cybersecurity assistant developed by Aurora System."},
{"role": "user", "content": prompt}
]
inputs = tokenizer.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_tensors="pt"
).to(model.device)
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=512,
do_sample=True,
temperature=0.2, # Recommended range 0.2 – 0.3 for code and CTF
repetition_penalty=1.15
)
print(tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True))
High-Performance Inference with vLLM
vllm serve AuroraSystem/Clary-2-Cyber-Heavy-4B \
--dtype bfloat16 \
--max-model-len 4096 \
--gpu-memory-utilization 0.90 \
--trust-remote-code
Example request via ==curl==:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "AuroraSystem/Clary-2-Cyber-Heavy-4B",
"messages": [
{"role": "system", "content": "You are Aurora, an expert autonomous CTF solver."},
{"role": "user", "content": "Analyze the vulnerability logic in the function: char buf[64]; strcpy(buf, input);"}
],
"temperature": 0.2,
"max_tokens": 512
}'
🛠️ Training Details
- Base architecture: Qwen/Qwen3-4B
- Adaptation method: DoRA (Weight-Decomposed Low-Rank Adaptation)
- Configuration: rank ( r = 32 ), ( \alpha = 32 ), Dropout = 0.05
- Attention and MLP modules: ==q_proj==, ==k_proj==, ==v_proj==, ==o_proj==, ==gate_proj==, ==up_proj==, ==down_proj==
- Training dataset (~32 000 examples):
- CTF and binary exploit solving scenarios (TrueNix/ctf-solver-dataset)
- Logical programming and algorithms set (Magicoder-Evol-Instruct-110K)
- Russian dialogue corpus (IlyaGusev/saiga_scored)
- Synthetic domain layer of cybersecurity terminology
- Weight merging: DoRA adapters natively merged with base weights via ==merge_and_unload()== without accuracy degradation.
⚠️ Responsible Use Disclaimer
The **Clary 2 Heavy ** model is created exclusively for research and educational purposes, as well as to assist cybersecurity specialists in source code auditing, infrastructure protection, and participation in CTF competitions.
The developers accept no responsibility for unauthorized or destructive use of generated materials in real computing networks.
🏢 Developer
Aurora AI by AuroraSystem
- Downloads last month
- 464