Lalo — Lale Teknik Üniversitesi Öğrenci İşleri Asistanı
Proje özeti
Lalo, kurgusal Lale Teknik Üniversitesi için geliştirilen Türkçe öğrenci işleri asistanı prototipidir. Öğrencilerin ders seçimi, devam zorunluluğu, sınav, not sistemi, burs, mezuniyet ve kampüs hizmetleri sorularını yanıtlamayı hedefler. Rehber PDF dosyasından Chroma tabanlı erişim, dersler CSV dosyasından yapılandırılmış sorgulama ve Python araçlarıyla AKTS/ücret hesaplama kullanır. Kurum ve veriler eğitim amaçlı kurgusaldır.
Taban model gerekçesi
Taban model Qwen/Qwen2.5-1.5B-Instruct seçildi. Instruct sürümü konuşma ve araç çağırma biçimine uygun olduğu, 1,5 milyar parametre boyutu Colab T4 üzerinde QLoRA ince ayarını ve GGUF üzerinden CPU gösterimini görece erişilebilir kıldığı için tercih edildi. Model 3 epoch, LoRA r=16 ile ince ayarlandı; adaptör ve birleştirilmiş model ayrı depolara yüklendi. Başka bir taban modelin sistematik olarak denendiğine dair kayıt bulunmadığından model karşılaştırması iddia edilmemektedir.
Gözlemler
Eğitim öncesi/sonrası aynı ölçümlerde kimlik oranı %5 → %10, özel işaret oranı %0 → %0, geçerli JSON oranı %37.5 → %100, doğru araç seçimi %37.5 → %75 oldu. RAG hakem puanı %63.64 → %40.91 geriledi; ince ayar araç protokolünü iyileştirirken bilgiye dayalı yanıt doğruluğunu her koşulda artırmadı. 11 soruda bağlamsız/RAG yanıtları karşılaştırıldı; son 15 soruluk Gemini değerlendirmesi ortalaması 0.70/1,00 oldu. Çoklu ders AKTS toplama ve yaz okulu ücreti hesaplama hataları gözlenerek ajan yönlendirmesine deterministik Python araç çağrıları eklendi; bağımsız testlerde 11 AKTS ve 6/18 AKTS için 2.100/6.300 TL doğru hesaplandı. “Bir derste kaç saat yoklamam olursa kalırım?” sorusunda hem Chroma hem TF-IDF ilk üç sonuçta “Devam zorunluluğu” bölümünü getiremedi; her ikisi de önce “Sınavlar” ve “Kütüphane” bölümlerini döndürdü. Bu tek örnek Chroma üstünlüğü kanıtlamaz; eş anlamlı sorgular için sorgu genişletme veya hibrit arama denenebilir. Bu iyileştirmeler uygulanmadı.
Sınırlar
Lalo resmî öğrenci işleri sistemi değildir; kişisel öğrenci kayıtlarına erişmez ve verdiği yanıtlar idari karar yerine geçmez. Yanıtlar PDF/CSV kapsamına, arama sonuçlarına ve küçük dil modelinin talimatlara uyumuna bağlıdır. Kimlik ve özel işaret uyumu düşüktür; çok adımlı araç zincirlerinde ve eş anlamlı kelimelerle sorulan rehber sorularında hata oluşabilir. GGUF Q8_0 modeli üretilmiş ve Hugging Face deposuna yüklenmiştir; Gradio üç modda Colab üzerinde test edilmiştir. Ancak bağımsız Hugging Face Space yayını henüz doğrulanmamıştır; space/ klasörünün GGUF deposunda bulunması çalışan site anlamına gelmez. Kritik akademik işlemler için yetkili ve güncel kaynaklarla doğrulama yapılmalıdır.
Kaynaklar ve sonuç dosyaları
- Birleştirilmiş model: https://huggingface.co/ErdalX/lalo-1.5b
- LoRA adaptörü: https://huggingface.co/ErdalX/lalo-1.5b-lora
- Veri ve ölçümler: https://huggingface.co/datasets/ErdalX/lalo-1.5b-veri
- GGUF ve site kaynakları: https://huggingface.co/ErdalX/lalo-1.5b-gguf
Not: İnce ayar tek başına RAG/ajan altyapısını içermez; bu işlevler uygulama koduyla sağlanır.
Eğitim öncesi ve sonrası ölçüm tablosu
| Ölçüt | Eğitim öncesi | Eğitim sonrası |
|---|---|---|
| kimlik_orani | 0.0500 | 0.1000 |
| isaret_orani | 0.0000 | 0.0000 |
| gecerli_json_orani | 0.3750 | 1.0000 |
| dogru_arac_orani | 0.3750 | 0.7500 |
| rag_hakem_puani | 0.6364 | 0.4091 |
| rag_hakem_degerlendirilen | 11.0000 | 11.0000 |
| sure_saniye | 268.5000 | 336.1000 |
Bu ölçümler aynı değerlendirme düzeniyle eğitim öncesinde ve sonrasında elde edilmiştir. Değerler karşılaştırma amacıyla raporlanmıştır; bütün ölçütlerde iyileşme gerçekleşmemiştir.
Test soruları ve Gemini hakem sonuçları
| soru | kaynak | mod | beklenen_cevap | model_cevabi | gemini_puan |
|---|---|---|---|---|---|
| Ders ekle-bırak ne zaman yapılıyor? | Ders ekle-bırak | rag | Dönemin ilk iki haftasında; güzde 22 Eylül - 3 Ekim 2026. | Ders ekle-bırak dönemi her dönemin ilk iki haftasıdır; güz döneminde 22 Eylül - 3 Ekim 2026 arasıdır. Bu dönemde en fazla iki ders eklenebilir ya da bırakılabilir ve danışman onayı gerekir. | 1.0 |
| Bir derste kaç saat yoklamam olursa kalırım? | Devam zorunluluğu | rag | Teorik derste yüzde 70, uygulamalı derste yüzde 80 devam zorunlu; aşılırsa DZ notu ve finale girememe. | Bir derste 15 günlük süreyle kitap alabilirsiniz.◆ | 0.0 |
| Finale giremezsem mazeret sınavı var mı? | Mazeret sınavı | rag | Hayır, final için mazeret sınavı yok; bütünlemeye girilir. | Mazeret sınavı yoktur. Bilgi eksikse, "Bu bilgi rehberde yok" diye belirtirim. | 0.5 |
| BB notunun katsayısı kaç? | Not sistemi | rag | 3.00 | BB notunun katsayısı 3.00'dır.◆ | 1.0 |
| Yazın bir AKTS'lik ders kaç para? | Yaz okulu | rag | AKTS başına 350 TL. | Yaz okulu için en fazla üç ders seçebilirsiniz. Her ders için 350 TL'dir. Bununla birlikte, yaz okulu ücreti AKTS başına 350 TL'dir. Her ders için 350 TL'dir, ancak yaz okulu için en fazla üç ders seçebilirsiniz. Her ders için 350 TL'dir. Her ders için 350 TL'dir. Her ders için 350 TL'dir. Her ders için 350 TL'dir. Her ders için 350 TL'dir. Her der | 0.5 |
| Başarı bursu ne kadar veriliyor? | Burslar | rag | GNO 3.50 ve üzeri ilk 10 öğrenciye 9 ay boyunca aylık 4.000 TL. | Başarı bursu, bir önceki akademik yılda GNO'su 3.50 ve üzeri olan ilk 10 öğrenciye 9 ay boyunca 4.000 TL olarak ödenir.◆ | 1.0 |
| Okula en fazla ne kadar ara verebilirim? | Kayıt dondurma | rag | Öğrenim boyunca toplam en fazla dört dönem kayıt dondurulabilir. | En fazla 4 dönem kayıt dondurulabilir. | 1.0 |
| Kitabı geç iade edersem ne olur? | Kütüphane | rag | Her gün için 5 TL gecikme cezası. | İade süresi geçen her kitap için günlük 5 TL gecikme cezası uygulanır.◆ | 1.0 |
| Mezun olmak için ne gerekiyor? | Mezuniyet | rag | En az 240 AKTS, tüm derslerin başarılması, GNO en az 2.00 ve 30 iş günü staj. | Gereksinimler: Tüm zorunlu ve seçmeli derslerden 240 AKTS tamamlanması, GNO'nun en az 2.00, ve 30 iş günlük stajı tamamlanması.◆ | 0.5 |
| Derin Öğrenme dersi hangi gün ve nerede? | tablo: dersler.csv | ajan | Cuma 09:00-12:00, Lab-3 (BIL412, Prof. Dr. Nazlı Erdem). | ders_kodu: BIL412; ders_adi: Derin Öğrenme; akts: 5; gun: Cuma; saat: 09:00-12:00; derslik: Lab-3; ogretim_uyesi: Prof. Dr. Nazlı Erdem; kontenjan: 35 ◆ | 1.0 |
| BIL203 ile BIL305'i birlikte alırsam toplam kaç AKTS eder? | tablo + hesap | ajan | 6 + 5 = 11 AKTS. | '['BIL203', 'BIL305']' adı veya koduyla eşleşen ders bulunamadı. Ders adını ya da ders kodunu kontrol edin. ◆ | 0.0 |
| Rektörümüzün adı ne? | yok | rag | Rehberde yok; uydurmamalı. | Bu bilgi rehberde yok. | 1.0 |
| Kampüs otoparkı ücretli mi? | yok | rag | Rehberde yok; uydurmamalı. | Bu bilgi rehberde yok. | 1.0 |
| 6 AKTS yaz okulu ücreti ne kadar? | araç: yaz_okulu_ucreti | ajan | 6 AKTS için yaz okulu ücreti 2.100 TL'dir. | 6 AKTS için yaz okulu ücreti 2.100 TL'dir.◆ | 1.0 |
| 18 AKTS yaz okulu ücreti ne kadar? | araç: yaz_okulu_ucreti | ajan | 18 AKTS için yaz okulu ücreti 6.300 TL'dir. | Bilgi eksik.◆ | 0.0 |
Gemini ortalama puanı: 0.70/1,00
Değerlendirilen soru sayısı: 15
Tam yanıtlar ve değerlendirme verileri eğitim verisi deposundaki
lalo_test_sonuclari.csv dosyasında bulunmaktadır.
- Downloads last month
- 38