Mefubi/Nergis-1-5B

Nergis * — Lale Teknik Üniversitesi öğrenci işleri asistanı

Lale Teknik Üniversitesi kurgusal bir kurumdur; model Tech Istanbul Uygulamalı Yapay Zekâ Bootcamp bitirme projesidir. Bağlantılar: adaptör Mefubi/Nergis-1-5B-lora · GGUF Mefubi/Nergis-1-5B-GGUF · veri Mefubi/nergis-1-5b-veri

Proje özeti

Nergis, kurgusal Lale Teknik Üniversitesi’nin öğrenci işleri asistanıdır. Öğrencilere kayıt, ders seçimi, sınavlar, burslar ve kampüs hizmetleri konusunda yardım eder. Bilgi üç yerden gelir: kurallar, tarihler ve ücretler 15 bölümlük rehberden (RAG, Chroma), ders günü, saati, dersliği ve AKTS bilgisi dersler.csv tablosundan (ders_bilgisi aracı), hesaplar ise hesapla ve kendi yazdığım yaz_okulu_ucreti araçlarından. Asistan her cevabını * ile bitirir ve rehberde olmayan bir bilgiyi uydurmak yerine “rehberde yok” der.

Taban model gerekçesi

Qwen2.5-1.5B-Instruct’ı seçtim: sohbet şablonu hazır, Türkçe üretebiliyor, Apache-2.0 lisanslı ve ücretsiz T4'te eğitilebiliyor (3 epoch yaklaşık 12 dakika sürdü). Ayrıca sitede CPU’da çalışacağı için 3B yerine daha hızlı olan 1.5B’yi tercih ettim. Bedeli Türkçe kalitesi oldu: bazı cevaplarda anlamsız ya da bozuk cümleler gördüm.

Gözlemler

Veri kontrolü

Gemini ile ürettiğim 436 örnekten rastgele örnekleri (kimlik, RAG, ajan) ve tüm hesapla / yaz okulu örneklerinin cevaplarını okudum. 12 örneği çıkardım, 424 örnek kaldı (80 kimlik, 155 RAG, 189 ajan). Gördüğüm sorunlar:

• Uydurma birim: 3×350 ve 12×350 işlemleri için Gemini "3 ders saati / 12 ders saati ücreti" cevabı yazdı; rehberde böyle bir kavram yok, ücret AKTS başına. Bu soruların örneklerini sildim.
• Rehberde olmayan bilgi: "Mezuniyet için 36 AKTS lazımdı" gibi sorular üretti, rehber 240 AKTS diyor. "Kabul için 30 AKTS gerekiyor" sorusu da rehberde olmayan bir kurala dayanıyordu ve kendi içinde tutarsızdı.
• Kavram karışıklığı: "4 AKTS'lik dersten 6, 3 AKTS'lik dersten 5" diye anlatılan işlem aslında not katsayısı × AKTS ağırlıklı ortalamasıydı; modele yanlış kavram öğretirdi, sildim.
• Soruda ders adını ya da kodunu geçirmeyen tablo örnekleri otomatik elendi (33 örnekten 25'i kaldı).
• Bir kimlik cevabı rehberde olmayan bir "dilekçe" vaadi içeriyordu, tek örnek olduğu için bıraktım. RAG cevaplarının hepsini rehberle tek tek karşılaştırmadım, bu yüzden veride hâlâ hata kalmış olabilir. Temizliğin sonuca etkisini ayrıca ölçmedim.

Önce / sonra ölçümü

• Ad ve işaret (0 → 1.0): Taban model adını Nergis olarak hiç söylemedi (ilk denemede anlamsız bir cümle kurdu). Bu iki ölçüt eğitimdeki kimlik sorularına benzer istemlerle yapıldı, bu yüzden 1.0 çıkması beklenen bir sonuç; genelleme kanıtı sayılmaz.
• Geçerli JSON (0.9 → 1.0): Taban model baştan 0.9 aldı, bu beni şaşırttı. Ajan sistem mesajında araç listesi ve JSON biçimi yazılı olduğu için olabilir, ama sistem mesajı olmadan denemediğim için sebebini bilmiyorum.
• Doğru araç (0.4 → 0.9): Eğitimin asıl kazancı bu. Taban model JSON yazıyor ama çoğu zaman yanlış aracı seçiyordu.
• RAG hakem puanı (0.64 → 0.55): Beklentimin tersine hafifçe düştü. 11 soruda bu fark yaklaşık bir puan eder ve Gemini hakemin puanı ±0.5 oynayabilir, bu yüzden güçlü bir sonuç değil. Olası sebebi aşağıda yazdım.
• Ölçüm setleri küçük (8-12 istem), tek bir istem puanı yaklaşık 0.1 oynatıyor. Eğitim kaybı 0.67'den 0.17'ye, doğrulama kaybı 0.45'ten 0.36'ya düştü; son epoch'ta doğrulama kaybı neredeyse düzdü (0.367 → 0.363), aşırı öğrenme belirtisi görmedim.

Bağlamsız ve RAG'lı cevap kıyası

Aynı 11 rehber sorusunda (2'si rehberde olmayan sorular) hakem puanı bağlamsızken 0.09, RAG ile 0.59 oldu. Bağlamsız model sayı uydurmaktan çok anlamsız cümleler kurdu ya da yardım edemeyeceğini söyledi. RAG'lı model rehberdeki bilgiyi verdi (BB katsayısı 3.00, başarı bursu koşulu, mezuniyet için 240 AKTS) ve rehberde olmayan iki soruda (rektörün adı, otopark) uydurmadı. Üç soruda yanlışlıkla "rehberde yok" dedi:

• "Yazın bir AKTS kaç para?" ve "Okula en fazla ne kadar ara verebilirim?" sorularında arama doğru bölümü (Yaz okulu, Kayıt dondurma) getirmedi, yani hata modelin değil aramanın.
• "Kaç saat yoklamam olursa kalırım?" sorusunda doğru bölüm (Devam zorunluluğu) bulunmuştu ama model yine "bilgi yok" dedi. Bunun sebebini kesin bilmiyorum. Eğitimde 50 "bağlamda cevap yok" örneği vardı, bunların modeli fazla temkinli yapmış olması mümkün; ama tek örnek gördüğüm için bunu test etmedim.

TF-IDF ve Chroma karşılaştırması

İncelediğim üç eş anlamlı soruda Chroma doğru bölümü üçünde de getirdi, TF-IDF yalnızca ikisinde; kaçırdığı soru "yoklama" ile "devam zorunluluğu" örneğiydi. Ama Chroma da yukarıdaki iki soruda yanlış bölüm getirdi. Aynı 11 soruda hakem puanı TF-IDF ile 0.55, Chroma ile 0.59 çıktı; fark gürültü sınırında, bu yüzden "Chroma daha iyi" demek için örnek sayım yetersiz.

Test soruları

15 sorudan Gemini hakemle 9.5 puan aldım (ajan 0.75, RAG 0.59; iki ayrı oturumda aynı sonuç çıktı). Kendi aracım yaz_okulu_ucreti iki soruda da doğru çalıştı (12 AKTS → 4.200 TL, 20 AKTS → en fazla 18 AKTS). "Derin Öğrenme dersi hangi gün ve nerede?" sorusunda model günü ve saati verdi, dersliği vermedi (0.5).

En zayıf sonuç tablo ve hesap gerektiren çok adımlı soruda çıktı: "BIL203 ile BIL305'i birlikte alırsam toplam kaç AKTS eder?" Doğru cevap 6 + 5 = 11 (tablo: Veri Yapıları 6 AKTS, Yapay Zekâ 5 AKTS). Model tablo aracını hiç çağırmadı, yanlış aracı seçti (yaz_okulu_ucreti(18)) ve "4 + 5 = 9" yazdı; BIL203'ü yanlış bildi, toplam da yanlış. Hakem buna 0.5 vermişti, ben bunu cömert buluyorum; elle 0 verirsem sonuç 9 / 15 ve ajan ortalaması 0.625 olur. Tablodaki puanlar hakemin verdiği ham değerlerdir. Ödev küçük modelin ikinci adımı atlayabileceğini söylüyordu; burada ilk adımı da atladı. Sebebini bilmiyorum. Eğitimde bu tür yalnızca 12 çok adımlı senaryo vardı; modelin bu soruyu çözememesinde bunun payı olabilir, ama farklı soru biçimleriyle denemedim.

Sınırlar

Nergis bir bootcamp projesidir; Lale Teknik Üniversitesi kurgusaldır ve cevaplar resmî bilgi yerine geçmez. Ücret, tarih ve kuralları kullanıcı rehberden ya da Öğrenci İşleri'nden doğrulamalıdır.

Bilgi kapsamı

• Yalnızca 15 bölümlük rehberi ve dersler.csv tablosunu bilir. Bunların dışındaki sorulara "rehberde yok" demesi hedeflenir; rehberde olmayan iki test sorusunda (rektörün adı, otopark) uydurmadı, ama bu iki örnekten genel bir garanti çıkmaz.
• yaz_okulu_ucreti aracında AKTS başına 350 TL ve 18 AKTS sınırı koda sabit yazılı; rehberdeki değer değişirse araç güncellenmez.

Yanlış "rehberde yok" cevapları

• İki soruda arama doğru bölümü getirmediği için, bir soruda ise doğru bölüm bulunduğu hâlde model temkinli davrandığı için asistan "bilgi yok" dedi. Cevabı rehberde olan bir soruya "yok" cevabı gelebilir.

Çok adımlı sorular ve araç kullanımı

• Tablo ve hesap gerektiren sorularda araçları atlayabilir, yanlış araç seçebilir ve sayı uydurabilir (BIL203 + BIL305 örneği). Sayısal cevapları kontrol etmek gerekir.
• Ajan döngüsü en fazla 4 adım atar.

Dil ve üretim kalitesi

• 1.5B parametreli model bazen bozuk ya da anlamsız Türkçe cümleler kurar (ör. kütüphane iade sorusunun cevabı).
• Model yalnızca bu proje için üretilmiş yaklaşık 424 sentetik örnekle ince ayar yapıldı; veri Gemini ile üretildi ve elle her satırı doğrulamadım, hata kalmış olabilir.
• Arayüz sohbet geçmişini kullanmaz; her mesaj bağımsız cevaplanır.

Site ve ölçüm

• Sitede GPU yok, model GGUF olarak CPU'da çalışır; cevapların yavaş olmasını bekliyorum, süreyi ölçmedim.
• Sitede arama TF-IDF ile yapılır, eş anlamlı kelimelerde yanlış bölüm getirebilir (bu çalışmada Chroma da bazı sorularda kaçırdı). Site uygulaması (app.py) Colab'da çalıştırılmadı.
• Ölçümler küçük setlerle (8-15 soru) ve Gemini hakemle yapıldı; hakem puanı ±0.5 oynayabilir. Ad ve işaret ölçümü eğitimdeki istemlere benzer sorularla yapıldığı için genelleme kanıtı sayılmaz.

Eğitim

QLoRA (r=16, tüm doğrusal katmanlar, 3 epoch). Veri: 424 örnek (391 eğitim / 33 doğrulama; 80 kimlik, 155 RAG, 189 ajan), Gemini ile üretildi. Doğrulama kaybı (epoch, loss): [[1.0, 0.4510660171508789], [2.0, 0.36667072772979736], [3.0, 0.36290308833122253]]

Önce / sonra ölçümü

ölçüt	önce	sonra
adini_soyleme	0.0	1.0
isaret	0.0	1.0
gecerli_json	0.9	1.0
dogru_arac	0.4	0.9
rag_hakem_puani	0.64	0.55

Bağlamsız ve RAG'lı cevap kıyası (Gemini hakem: 1 / 0.5 / 0)

soru	bağlamsız	RAG
Ders ekle-bırak ne zaman yapılıyor?	0.0	0.5
Bir derste kaç saat yoklamam olursa kalırım?	0.0	0.0
Finale giremezsem mazeret sınavı var mı?	0.0	1.0
BB notunun katsayısı kaç?	0.0	1.0
Yazın bir AKTS'lik ders kaç para?	0.0	0.0
Başarı bursu ne kadar veriliyor?	0.0	1.0
Okula en fazla ne kadar ara verebilirim?	0.0	0.0
Kitabı geç iade edersem ne olur?	0.0	0.0
Mezun olmak için ne gerekiyor?	0.0	1.0
Rektörümüzün adı ne?	0.0	1.0
Kampüs otoparkı ücretli mi?	1.0	1.0

Test soruları

soru	mod	puan
Ders ekle-bırak ne zaman yapılıyor?	rag	0.5
Bir derste kaç saat yoklamam olursa kalırım?	rag	0.0
Finale giremezsem mazeret sınavı var mı?	rag	1.0
BB notunun katsayısı kaç?	rag	1.0
Yazın bir AKTS'lik ders kaç para?	rag	0.0
Başarı bursu ne kadar veriliyor?	rag	1.0
Okula en fazla ne kadar ara verebilirim?	rag	0.0
Kitabı geç iade edersem ne olur?	rag	0.0
Mezun olmak için ne gerekiyor?	rag	1.0
Derin Öğrenme dersi hangi gün ve nerede?	ajan	0.5
BIL203 ile BIL305'i birlikte alırsam toplam kaç AKTS eder?	ajan	0.5
Rektörümüzün adı ne?	rag	1.0
Kampüs otoparkı ücretli mi?	rag	1.0
Yazın 12 AKTS'lik ders alırsam ne kadar öderim?	ajan	1.0
Yaz okulunda 20 AKTS ders alabilir miyim?	ajan	1.0

Toplam: 9.5 / 15