AhiskaAI/AhiskaAI-25m-Chat-v0.1-Experimental

AhiskaAI 25M Chat v0.1 (Experimental)

AhiskaAI 25M Chat v0.1 is an extremely lightweight, experimental Small Language Model (SLM) with only ~25 Million parameters. This specific version is fine-tuned using a specialized 3-turn deep conversational schema to evaluate historical knowledge retention limits in ultra-low parameter architectures.

The primary objective of this model is to test if an ultra-small network can accurately retain complex historical and cultural facts regarding the history of Ahıska Turks (Meskhetian Turks) using highly curated datasets.

---

📊 Real Terminal Inference Showcase (The Proof)

Below is the actual, unedited runtime log from our local inference pipeline (checkpoint-800). It showcases the stunning density of cultural facts captured by just 25 million parameters, alongside its eventual failure modes in prolonged multi-turn context switching:

User: Ahıska Türkleri kimdir ? 
AhıskaAI: Ahıska Türkleri, Gürcistan'ın Ahıska bölgesinde yaşamış Müslüman bir Türk nüfusudur. Daha fazla bilgi ister misiniz?

User: Evet, Fergana olaylarını anlatır mısın ? 
AhıskaAI: Fergana Olayları, 1989 yılında Özbekistan'da yaşanan trajik etnik çatışmalardır. Bu olaylar sonucunda evlerini terk etmek zorunda kalmış ve ikinci büyük göç dalgasını yaşamıştır.

User: Peki 1944 sürgünü ? 
AhıskaAI: 1944 Sürgünü sonrası Orta Asya'ya sürülen halk, Özbekistan, Kazakistan ve Kırgızistan'da "özel yerleşimci" statüsüyle kamplarda tutulmuştur. Bu acı yolculuğunda binlerce insan hayatını kaybetmiştir.

User: kim yaptı ?
🔄 [System Context Cleared]
AhıskaAI: Sürgün süreci şu zorluklarla geçmiştir:
- Havasız Vagonlar: İnsanlar hayvan taşımacılığında kullanılan, dondurucu kış şartlarına uygun olmayan vagonlara istiflenmiştir.
- Salgın Hastalıklar: İzin almadan yaşadıkları kasabaların dışına çıkmaları kesinlikle yasaklanmıştır.
- Ağır Cezalar: Kural ihlali yapanlar Sibirya 25 yıllık ağır çalışma sürgününe gönderilmiştir.

User: Peki Sürgünü kim yaptı
🔄 [System Context Cleared]
AhıskaAI: Rica ederim, Ahıska Türklerinin tarihini ve kültürlerini aktarmak görevimdir. (Failure Mode: Hallucinated loop / Repetitive drift)

🧠 Evaluation & Analysis ("Fail Forward") The Success: For a 25M parameter model, the semantic alignment regarding historical timelines (1944, 1989) and geolocations (Georgia, Fergana, Uzbekistan, Kazakhstan, Siberia) is unusually dense and highly accurate. This proves that high-quality data curation can bypass size limitations to an extent.

The Failure Mode (Why it's Semi-Successful): As seen in the 4th and 5th turns, once the strict context window limit is hit and the history pruning mechanism triggers, the model loses track of pronouns (e.g., failing to map "who did it?" back to the Soviet Union regime) and drifts into polite loop phrases ("Rica ederim...").

🛠️ Hardware & Training Specs Hardware: NVIDIA GeForce RTX 4050 Laptop GPU (6GB VRAM)

Dataset:Hand-filtered 75 MB specialized Turkish Wikipedia subset focused on cultural identity milestones and historical timelines.

Optimization: Custom multi-turn SFT formatting.

Architecture: Custom ultra-lightweight Llama variant (~25M parameters).

Driven by passion. Documenting and preserving cultural heritage through tiny neural networks.

📌 Historical Milestone: This is officially the first-ever Turkish language model specifically trained and optimized to capture, preserve, and recall the historical heritage and cultural chronology of the Ahıska Turks (Meskhetian Turks).

---

Driven by passion. Officially the first Turkish SLM dedicated to Ahıska Turkish History. Powered by local compute (RTX 4050 Laptop).