Hugging Face's logo

AhiskaAI
/
AhiskaAI-v0.4-35M-IT

Text Generation
Transformers
Safetensors
Turkish
llama
ahiskaai
slm
small-language-model
turkish
turkish-llm
ahiska-turkish
causal-lm
35m
text-generation-inference
Model card Files
xet
 Community

AhıskaAI v0.4 35M IT

(Türkçe Açıklama Aşağıda)

AhıskaAI v0.4 Series

AhıskaAI is an independent open-source AI research project focused on small language models, custom tokenization, Turkish and Ahıska Turkish, and reproducible low-resource AI experiments.

The AhıskaAI v0.4 series explores different model sizes and training approaches while keeping the models lightweight and accessible.

This release is the instruction-tuned (IT) version of the AhıskaAI v0.4 35M Base model.

AhıskaAI v0.4 35M IT

AhıskaAI v0.4 35M IT is a small instruction-tuned language model designed for Turkish question answering, instruction following, text transformation, and conversational experiments.

The underlying Base model was trained completely from scratch. This version was then instruction-tuned using a ChatML-style conversation format with system, user, and assistant roles.

Despite the "35M" release name, the actual model contains approximately 43.2M parameters.

This is an experimental small language model developed as part of the AhıskaAI research project.

Model Specifications

Specification Value
Model name AhıskaAI v0.4 35M IT
Parameters ~43.2M
Architecture LlamaForCausalLM
Hidden size 384
Hidden layers 16
Attention heads 8
Key/Value heads 2
Intermediate size 1024
Head dimension 48
Maximum context length 2048
Vocabulary size 24,000
Activation SiLU
Data type bfloat16
Position encoding RoPE
Word embeddings Tied
Attention dropout 0.0
Attention bias None
MLP bias None

The model uses the LlamaForCausalLM architecture, but the underlying Base model was trained completely from scratch rather than initialized from the weights of an existing Llama model.

Training

The underlying AhıskaAI v0.4 35M Base model was trained completely from scratch for a total of 3 epochs.

The pretraining data was based entirely on:

FineWeb-2 HQ Turkish

The Base model was not initialized from a larger pretrained model and was not fine-tuned from a 1.7B parameter model.

After the Base model training, this version received an instruction-tuning stage.

The instruction-tuning data uses a ChatML-style conversation format consisting of:

  • system
  • user
  • assistant

roles.

A typical training example follows this structure:

<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Aşağıdaki cümleyi daha okunaklı hale getirmek için metin biçimlendirmesini değiştirin. Öğrencinin tamamlaması gereken karmaşık bir problemi vardı.<|im_end|>
<|im_start|>assistant
Öğrencinin tamamlaması gereken karmaşık bir problem vardı.<|im_end|>

This format was used to teach the model to respond to user instructions while maintaining a conversational structure.

The instruction-tuning stage focused on improving:

  • Instruction following
  • Question answering
  • Text transformation
  • Conversational responses
  • Simple task completion
  • Turkish response quality

Tokenizer

AhıskaAI v0.4 uses a custom 24K vocabulary BPE tokenizer.

The tokenizer is shared across the AhıskaAI v0.4 model series and was designed with a strong focus on:

  • Turkish
  • Ahıska Turkish
  • Turkish morphology
  • Efficient tokenization for Turkish text

A custom tokenizer was used instead of simply relying on the tokenizer of another pretrained language model.

Intended Use

AhıskaAI v0.4 35M IT can be used for:

  • Turkish question answering
  • Instruction following
  • Text transformation
  • Simple conversational applications
  • Turkish text generation
  • Small language model research
  • Low-resource language experiments
  • Educational AI experiments
  • Lightweight local AI experiments
  • Instruction-tuning research on small models

The model is particularly intended for experimentation and research rather than production-critical applications.

How to Run

You can run the model using the Hugging Face Transformers library.

Installation 

pip install -U transformers torch

Basic Chat Example

The model can be used with the system/user/assistant conversation structure used during instruction tuning.

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.4-35M-IT"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

messages = [
    {
        "role": "system",
        "content": "Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın."
    },
    {
        "role": "user",
        "content": "Ahıska Türkleri hakkında kısa bir bilgi ver."
    }
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

inputs = tokenizer(
    prompt,
    return_tensors="pt"
).to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]

print(
    tokenizer.decode(
        generated_tokens,
        skip_special_tokens=True
    )
)

Note: This example uses apply_chat_template(). The tokenizer should provide the appropriate chat template for the model's ChatML-style format.

Manual Prompt Format

If you want to construct the prompt manually, the model's instruction format is:

<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Kullanıcı sorusu buraya gelir.<|im_end|>
<|im_start|>assistant

Generation should begin after the assistant header.

AhıskaAI v0.1 Lite Benchmark

AhıskaAI v0.1 Lite Benchmark is an experimental benchmark consisting of 100 questions and evaluating:

  • Turkish quality
  • Topic relevance
  • Factual/logical correctness

Each criterion is evaluated using a binary scoring system, and the final score is calculated as an overall average.

AhıskaAI v0.1 Lite Benchmark

Note: AhıskaAI v0.1 Lite Benchmark is an experimental benchmark and should not be considered a standardized benchmark.

Overall Benchmark

Rank Model Score
1 Gemma 3 1B 85.86%
2 Qwen 3 0.6B 55.22%
3 AhıskaAI v0.4.1 135M 54.88%
4 AhıskaAI v0.4 235M 51.18%
5 AhıskaAI v0.4 135M 50.17%
6 Gemma 3 270M 46.46%
7 Qwen 2.5 0.5B 43.77%
8 AhıskaAI v0.4 35M 43.43%
9 Llama 3.2 1B 35.35%
10 SmolLM2 1.7B 22.89%
11 SmolLM2 360M 12.12%
12 SmolLM2 135M 1.01%

The benchmark result above belongs to the AhıskaAI v0.4 35M Base model, which is the underlying Base model of this IT release.

Turkish Performance

Rank Model Score
1 AhıskaAI v0.4 135M 100.00%
1 Gemma 3 1B 100.00%
3 AhıskaAI v0.4.1 135M 97.98%
4 AhıskaAI v0.4 235M 96.97%
4 Gemma 3 270M 96.97%
6 AhıskaAI v0.4 35M 87.88%
7 Qwen 3 0.6B 86.87%
8 Qwen 2.5 0.5B 81.82%
9 Llama 3.2 1B 48.48%
10 SmolLM2 1.7B 46.46%
11 SmolLM2 360M 28.28%
12 SmolLM2 135M 3.03%

Topic Relevance

Rank Model Score
1 Gemma 3 1B 84.85%
2 Qwen 3 0.6B 47.47%
3 AhıskaAI v0.4.1 135M 44.44%
4 Llama 3.2 1B 40.40%
5 AhıskaAI v0.4 235M 38.38%
6 AhıskaAI v0.4 135M 36.36%
7 Qwen 2.5 0.5B 33.33%
8 AhıskaAI v0.4 35M 32.32%
9 Gemma 3 270M 26.26%
10 SmolLM2 1.7B 13.13%
11 SmolLM2 360M 5.05%
12 SmolLM2 135M 0.00%

Correctness

Rank Model Score
1 Gemma 3 1B 72.73%
2 Qwen 3 0.6B 31.31%
3 AhıskaAI v0.4.1 135M 22.22%
4 AhıskaAI v0.4 235M 18.18%
5 Llama 3.2 1B 17.17%
6 Qwen 2.5 0.5B 16.16%
6 Gemma 3 270M 16.16%
8 AhıskaAI v0.4 135M 14.14%
9 AhıskaAI v0.4 35M 10.10%
10 SmolLM2 1.7B 9.09%
11 SmolLM2 360M 3.03%
12 SmolLM2 135M 0.00%

Limitations

This model is intentionally very small and experimental.

Because of its size, it may:

  • Produce factually incorrect information
  • Generate meaningless or incomplete text
  • Fail to follow complex instructions
  • Lose context in longer prompts
  • Repeat words or phrases
  • Produce off-topic responses
  • Struggle with reasoning and multi-step tasks
  • Hallucinate information

Instruction tuning improves the model's usability and instruction-following behavior, but it does not eliminate these limitations.

Do not rely on this model for medical, legal, financial, safety-critical, or other high-stakes decisions.

Base Model

This model is instruction-tuned from:

AhıskaAI v0.4 35M Base

The Base model was trained completely from scratch before the instruction-tuning stage.

Other Versions

  • AhıskaAI v0.4 35M Base — Base language model
  • AhıskaAI v0.4 35M IT — Instruction-tuned version
  • AhıskaAI v0.4 135M — 135M release
  • AhıskaAI v0.4.1 135M — Retrained 135M release
  • AhıskaAI v0.4 235M — Larger 235M release

License

This model is released under the Apache 2.0 License.

If you use this model in a project, publication, application, or other public work, attribution to AhıskaAI is appreciated.

Suggested Citation

AhıskaAI v0.4 35M IT — An instruction-tuned small language model for Turkish and Ahıska Turkish research.

Project: AhıskaAI Model: AhıskaAI v0.4 35M IT

Türkçe

AhıskaAI v0.4 Serisi

AhıskaAI; küçük dil modelleri, özel tokenizasyon, Türkçe ve Ahıska Türkçesi ve düşük kaynaklı yapay zekâ deneyleri üzerine çalışan bağımsız, açık kaynaklı bir AI araştırma projesidir.

AhıskaAI v0.4 serisi, farklı model boyutlarını ve eğitim yaklaşımlarını deneyerek hafif ve erişilebilir dil modelleri geliştirmeyi amaçlamaktadır.

Bu sürüm, AhıskaAI v0.4 35M Base modelinin instruction-tuned (IT) sürümüdür.

AhıskaAI v0.4 35M IT

AhıskaAI v0.4 35M IT, Türkçe soru-cevap, talimat takibi, metin dönüştürme ve sohbet deneyleri için geliştirilmiş küçük bir instruction-tuned dil modelidir.

Modelin temelini oluşturan Base model tamamen sıfırdan eğitilmiştir. Bu sürüm ise daha sonra system, user ve assistant rollerinden oluşan ChatML tarzı bir konuşma formatı kullanılarak instruction tuning sürecinden geçirilmiştir.

Modelin sürüm adı 35M olsa da gerçek parametre sayısı yaklaşık 43.2M'dir.

Bu model, AhıskaAI araştırma projesinin bir parçası olarak geliştirilmiş deneysel bir küçük dil modelidir.

Model Özellikleri

Özellik Değer
Model adı AhıskaAI v0.4 35M IT
Parametre sayısı ~43.2M
Mimari LlamaForCausalLM
Hidden size 384
Hidden layers 16
Attention heads 8
Key/Value heads 2
Intermediate size 1024
Head dimension 48
Maksimum context 2048
Vocabulary 24,000
Aktivasyon SiLU
Veri tipi bfloat16
Position encoding RoPE
Word embeddings Tied
Attention dropout 0.0
Attention bias Yok
MLP bias Yok

Model LlamaForCausalLM mimarisini kullanmaktadır ancak temel model mevcut bir Llama modelinin ağırlıkları kullanılarak oluşturulmamıştır. Base model tamamen sıfırdan eğitilmiştir.

Eğitim

AhıskaAI v0.4 35M Base modeli tamamen sıfırdan toplam 3 epoch boyunca eğitilmiştir.

Ön eğitim verisi tamamen:

FineWeb-2 HQ Turkish

verisine dayanmaktadır.

Base model daha büyük bir pretrained modelin ağırlıkları kullanılarak başlatılmamış ve 1.7B parametreli bir model üzerinden fine-tune edilmemiştir.

Base model eğitiminden sonra bu sürüme instruction tuning uygulanmıştır.

Instruction tuning verileri ChatML tarzı bir konuşma formatı kullanmaktadır.

Format şu rollerden oluşmaktadır:

  • system
  • user
  • assistant

Örnek eğitim verisi:

<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Aşağıdaki cümleyi daha okunaklı hale getirmek için metin biçimlendirmesini değiştirin. Öğrencinin tamamlaması gereken karmaşık bir problemi vardı.<|im_end|>
<|im_start|>assistant
Öğrencinin tamamlaması gereken karmaşık bir problem vardı.<|im_end|>

Bu format kullanılarak modelin kullanıcı talimatlarına uygun cevaplar üretmesi ve konuşma yapısını takip etmesi hedeflenmiştir.

Instruction tuning aşamasında özellikle:

  • Talimat takibi
  • Soru-cevap
  • Metin dönüştürme
  • Sohbet tarzı cevaplar
  • Basit görev tamamlama
  • Türkçe cevap kalitesi

üzerine odaklanılmıştır.

Tokenizer

AhıskaAI v0.4 serisinde özel olarak geliştirilmiş 24K vocabulary BPE tokenizer kullanılmaktadır.

Tokenizer tüm AhıskaAI v0.4 serisi ile ortaktır ve özellikle:

  • Türkçe
  • Ahıska Türkçesi
  • Türkçe morfolojisi
  • Türkçe metinlerde verimli tokenizasyon

üzerine odaklanmaktadır.

Başka bir pretrained dil modelinin tokenizer'ı doğrudan kullanılmamıştır.

Kullanım Alanları

AhıskaAI v0.4 35M IT şu alanlarda kullanılabilir:

  • Türkçe soru-cevap
  • Talimat takibi
  • Metin dönüştürme
  • Basit sohbet uygulamaları
  • Türkçe metin üretimi
  • Küçük dil modeli araştırmaları
  • Düşük kaynaklı dil deneyleri
  • Eğitim amaçlı AI deneyleri
  • Hafif yerel AI uygulamaları
  • Küçük modeller üzerinde instruction tuning araştırmaları

Model öncelikli olarak deneysel ve araştırma amaçlıdır.

Çalıştırma

Modeli Hugging Face Transformers ile çalıştırabilirsiniz.

Kurulum 

pip install -U transformers torch

Temel Chat Örneği

Model, instruction tuning sırasında kullanılan system/user/assistant konuşma yapısıyla çalıştırılabilir.

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.4-35M-IT"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

messages = [
    {
        "role": "system",
        "content": "Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın."
    },
    {
        "role": "user",
        "content": "Ahıska Türkleri hakkında kısa bir bilgi ver."
    }
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

inputs = tokenizer(
    prompt,
    return_tensors="pt"
).to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]

print(
    tokenizer.decode(
        generated_tokens,
        skip_special_tokens=True
    )
)

Not: Bu örnekte apply_chat_template() kullanılmaktadır. Tokenizer'ın model için uygun chat template bilgisini içermesi gerekir.

Manuel Prompt Formatı

Prompt'u manuel olarak oluşturmak isterseniz modelin instruction formatı şu şekildedir:

<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Kullanıcı sorusu buraya gelir.<|im_end|>
<|im_start|>assistant

Üretim işlemi assistant başlığından sonra başlatılmalıdır.

AhıskaAI v0.1 Lite Benchmark

AhıskaAI v0.1 Lite Benchmark, 100 sorudan oluşan deneysel bir benchmark'tır ve:

  • Türkçe kalitesi
  • Konu ilgisi
  • Bilgisel/mantıksal doğruluk

kriterlerini değerlendirmektedir.

Her kriter binary scoring sistemiyle değerlendirilmiş ve genel skor ortalama üzerinden hesaplanmıştır.

AhıskaAI v0.1 Lite Benchmark

Not: AhıskaAI v0.1 Lite Benchmark deneysel bir benchmark'tır ve standartlaştırılmış bir benchmark olarak değerlendirilmemelidir.

Genel Benchmark

Sıra Model Skor
1 Gemma 3 1B 85.86%
2 Qwen 3 0.6B 55.22%
3 AhıskaAI v0.4.1 135M 54.88%
4 AhıskaAI v0.4 235M 51.18%
5 AhıskaAI v0.4 135M 50.17%
6 Gemma 3 270M 46.46%
7 Qwen 2.5 0.5B 43.77%
8 AhıskaAI v0.4 35M 43.43%
9 Llama 3.2 1B 35.35%
10 SmolLM2 1.7B 22.89%
11 SmolLM2 360M 12.12%
12 SmolLM2 135M 1.01%

Yukarıdaki benchmark sonucu bu IT modelinin temelini oluşturan AhıskaAI v0.4 35M Base modeline aittir.

Türkçe Performansı

Sıra Model Skor
1 AhıskaAI v0.4 135M 100.00%
1 Gemma 3 1B 100.00%
3 AhıskaAI v0.4.1 135M 97.98%
4 AhıskaAI v0.4 235M 96.97%
4 Gemma 3 270M 96.97%
6 AhıskaAI v0.4 35M 87.88%
7 Qwen 3 0.6B 86.87%
8 Qwen 2.5 0.5B 81.82%
9 Llama 3.2 1B 48.48%
10 SmolLM2 1.7B 46.46%
11 SmolLM2 360M 28.28%
12 SmolLM2 135M 3.03%

Konu İlgisi

Sıra Model Skor
1 Gemma 3 1B 84.85%
2 Qwen 3 0.6B 47.47%
3 AhıskaAI v0.4.1 135M 44.44%
4 Llama 3.2 1B 40.40%
5 AhıskaAI v0.4 235M 38.38%
6 AhıskaAI v0.4 135M 36.36%
7 Qwen 2.5 0.5B 33.33%
8 AhıskaAI v0.4 35M 32.32%
9 Gemma 3 270M 26.26%
10 SmolLM2 1.7B 13.13%
11 SmolLM2 360M 5.05%
12 SmolLM2 135M 0.00%

Doğruluk

Sıra Model Skor
1 Gemma 3 1B 72.73%
2 Qwen 3 0.6B 31.31%
3 AhıskaAI v0.4.1 135M 22.22%
4 AhıskaAI v0.4 235M 18.18%
5 Llama 3.2 1B 17.17%
6 Qwen 2.5 0.5B 16.16%
6 Gemma 3 270M 16.16%
8 AhıskaAI v0.4 135M 14.14%
9 AhıskaAI v0.4 35M 10.10%
10 SmolLM2 1.7B 9.09%
11 SmolLM2 360M 3.03%
12 SmolLM2 135M 0.00%

Sınırlamalar

Bu model özellikle küçük ve deneysel bir modeldir.

Model:

  • Yanlış bilgiler üretebilir
  • Anlamsız veya eksik metinler oluşturabilir
  • Karmaşık talimatları takip etmekte zorlanabilir
  • Uzun promptlarda bağlamı kaybedebilir
  • Kelime veya ifadeleri tekrarlayabilir
  • Konu dışı cevaplar verebilir
  • Mantıksal çıkarım ve çok adımlı görevlerde zorlanabilir
  • Halüsinasyon üretebilir

Instruction tuning modelin kullanılabilirliğini ve talimat takip yeteneğini geliştirmeyi amaçlamaktadır ancak bu sınırlamaları tamamen ortadan kaldırmaz.

Model tıbbi, hukuki, finansal, güvenlik açısından kritik veya yüksek riskli kararlar için kullanılmamalıdır.

Base Model

Bu model şu temel model üzerine instruction tuning uygulanarak oluşturulmuştur:

AhıskaAI v0.4 35M Base

Base model instruction tuning aşamasından önce tamamen sıfırdan eğitilmiştir.

Diğer Sürümler

  • AhıskaAI v0.4 35M Base — Base dil modeli
  • AhıskaAI v0.4 35M IT — Instruction-tuned sürüm
  • AhıskaAI v0.4 135M — 135M sürümü
  • AhıskaAI v0.4.1 135M — Yeniden eğitilmiş 135M sürümü
  • AhıskaAI v0.4 235M — Daha büyük 235M sürümü

Lisans

Bu model Apache 2.0 License altında yayınlanmıştır.

Bu modeli bir proje, yayın, uygulama veya başka bir kamuya açık çalışmada kullanıyorsanız AhıskaAI'ye atıfta bulunmanız rica edilir.

Önerilen Atıf

AhıskaAI v0.4 35M IT — Türkçe ve Ahıska Türkçesi araştırmaları için geliştirilmiş instruction-tuned küçük dil modeli.

Proje: AhıskaAI Model: AhıskaAI v0.4 35M IT

Downloads last month
159
Safetensors
Model size
34M params
Tensor type
BF16
·
Inference Providers NEW
Text Generation
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Collection including AhiskaAI/AhiskaAI-v0.4-35M-IT