Update app.py

app.py

@@ -566,17 +566,18 @@ def generate_answer(question: str, chatbot_history: List[List[str]]) -> Tuple[st
         print("ERROR: Model, tokenizer, embedder veya RL Agent başlatılmamış.")
         return generate_alternative_response(question), []
 
-    try:
+    try: # Fonksiyonun tüm ana mantığını kapsayan try bloğu
         gen_params = rl_agent.get_generation_params()
-        
+                
         # Bağlamı al (hem metin hem de doküman listesi olarak)
+        # retrieve_context fonksiyonuna chatbot_history'yi doğru bir şekilde iletiyoruz.
+        # Eğer retrieve_context kendi içinde previous_paragraphs adında bir değişken bekliyorsa,
+        # o fonksiyonun içindeki tanımlama/atama doğru yapılmalı.
         retrieved_docs, context_text = retrieve_context(question, chatbot_history, k=2)
 
         history_text = ""
         # Son 3 konuşma çiftini geçmişe dahil et (emojileri temizleyerek)
         if chatbot_history:
-            recent_dialogue = []
-            # Sadece gerçek Q&A çiftlerini geçmişe dahil et
             for user_msg, assistant_msg in chatbot_history[-3:]: 
                 if user_msg and not (("Montag düşünüyor..." in user_msg) or ("saniyede üretildi" in user_msg) or user_msg.strip() == ""):
                     cleaned_user_msg = user_msg.replace('📚', '').replace('🧠', '').replace('🔥', '').strip()
@@ -593,18 +594,18 @@ def generate_answer(question: str, chatbot_history: List[List[str]]) -> Tuple[st
             f"Kullanıcı: {question}\n"
             f"Montag: "
         )
-                
-        # Prompt uzunluğunu kontrol et ve gerekirse kısalt (tokenizer'ın truncation'ına güveniyoruz)
+                        
+        # Prompt uzunluğunu kontrol et ve gerekirse kısalt
         encoded_inputs = tokenizer.encode_plus(
             prompt,
             return_tensors="pt",
-            truncation=True, # Max_length'i aşarsa kırp
-            max_length=512, # Modelin alabileceği maksimum token sayısı (modelinizin limitine göre ayarlayın)
+            truncation=True, 
+            max_length=512, 
         ).to(DEVICE)
 
         inputs = encoded_inputs["input_ids"]
         attention_mask = encoded_inputs["attention_mask"]
-        
+
         outputs = model.generate(
             inputs,
             attention_mask=attention_mask,
@@ -612,21 +613,33 @@ def generate_answer(question: str, chatbot_history: List[List[str]]) -> Tuple[st
             do_sample=True,
             top_p=0.9,
             temperature=gen_params["temperature"],
-            repetition_penalty=gen_params["repetition_penalty"], # RL ajanından gelen değeri kullanmaya devam ediyoruz
-            no_repeat_ngram_size=6, # <<< no_repeat_ngram_size'ı 6'ya yükselttik
+            repetition_penalty=gen_params["repetition_penalty"], 
+            no_repeat_ngram_size=6, 
             num_beams=1,
             pad_token_id=tokenizer.eos_token_id,
             eos_token_id=tokenizer.eos_token_id,
         )
-        
+                
         raw_response_with_prompt = tokenizer.decode(outputs[0], skip_special_tokens=True)
         response = raw_response_with_prompt # Tüm temizlikler bu 'response' değişkeni üzerinde yapılacak
 
+        # --- Filtreleme için Gerekli Listelerin Tanımlaması (BURADA OLMALIDIR) ---
+        # "aggressive_words" hatasını çözmek için bu listeler burada tanımlanıyor.
+        aggressive_words = ["salak", "gerizekalı", "saçma", "boş konuşma", "kaba", "agresif"] 
+        
+        generic_or_nonsense_phrases = [
+            "içir unidur", "aligutat fakdam", "tetal inlay", "pessotim elgun", 
+            "nisman tarejoglu", "faksom", "achisteloy vandleradia", "vęudis",
+            "eltareh", "eldlar", "fotjid", "zuhalibalyon",
+            "etiketler:", 
+        ]
+
+        montag_keywords = ["kitap", "yakmak", "itfaiyeci", "clarisse", "faber", "beatty", "bilgi", "sansür", "düşünce", "gerçek", "televizyon", "alev", "kül", "mildred", "yangın", "fireman",
+                           "düşünmek", "anlamak", "hissetmek", "arayış", "isyan", "toplum", "cehalet", "yalnızlık", "monotonluk", "gerçeklik"] 
+
         # --- ADIM 1: Önceki Montag Cevabını Temizleme (En yüksek öncelik) ---
         last_assistant_response_in_history = ""
-        # Chatbot geçmişi boş değilse, son öğe bir tuple ise ve ikinci elemanı (cevap) boş değilse
         if chatbot_history and len(chatbot_history[-1]) > 1 and chatbot_history[-1][1] is not None:
-            # Geçmişteki son Montag cevabını al ve emojileri, meta bilgileri temizle
             last_assistant_response_in_history = chatbot_history[-1][1]
             last_assistant_response_in_history = (
                 last_assistant_response_in_history.replace('📚', '')
@@ -635,147 +648,102 @@ def generate_answer(question: str, chatbot_history: List[List[str]]) -> Tuple[st
                                                   .replace('✅', '')
                                                   .strip()
             )
-            # Eğer önceki cevap "Cevap X saniyede üretildi" gibi bir metin içeriyorsa, onu atla
             if "saniyede üretildi" in last_assistant_response_in_history.lower():
-                last_assistant_response_in_history = "" # Bu durumda önceki cevabı temizlemeye çalışma
+                last_assistant_response_in_history = "" 
 
         if last_assistant_response_in_history:
-            # Modelin ham çıktısının ve önceki cevabın boşluklarını normalleştir
             cleaned_raw_response_norm_space = re.sub(r'\s+', ' ', raw_response_with_prompt).strip()
             cleaned_last_response_norm_space = re.sub(r'\s+', ' ', last_assistant_response_in_history).strip()
             
-            # Eğer ham cevap, önceki cevabın normalleştirilmiş haliyle başlıyorsa
             if cleaned_raw_response_norm_space.lower().startswith(cleaned_last_response_norm_space.lower()):
-                # Orijinal ham cevaptan, temizlenmiş önceki cevabın uzunluğu kadarını kes
-                # (Dikkat: Buradaki uzunluk hesabı, boşluk normalizasyonu nedeniyle biraz karmaşıklaşabilir.
-                # En güvenlisi, regex ile kesmektir, ancak basit string kesimi de denenebilir.)
-                
-                # Daha güvenli kesim için, normalleştirilmiş metin üzerinden indeksleme yapıp sonra orijinal metne dönmek
-                # veya direkt regex ile kesmek daha iyi olabilir. Şimdilik basit kesimi bırakıyoruz.
-                # Eğer hatalar devam ederse burayı regex ile baştan kesme şeklinde değiştirebiliriz.
                 response = raw_response_with_prompt[len(last_assistant_response_in_history):].strip()
                 print(f"DEBUG: Önceki Montag cevabı tespit edildi ve temizlendi: '{last_assistant_response_in_history[:50]}...'")
-            # else: response zaten raw_response_with_prompt olarak ayarlı, bir şey yapmaya gerek yok
-
 
         # --- ADIM 2: İlk "Montag:" Etiketini ve Prompt Kalıntılarını Temizleme ---
-        # Önceki temizlikten sonra kalan 'response' üzerinde işlem yapıyoruz
         match = re.search(r'(?i)Montag:\s*(.*)', response, re.DOTALL)
         if match:
             response = match.group(1).strip()
         else:
-            # Eğer 'Montag:' etiketi bulunamazsa, prompt'un tamamını veya başlangıcını temizlemeye çalış
             prompt_decoded_for_comparison = tokenizer.decode(inputs[0], skip_special_tokens=True)
             if response.startswith(prompt_decoded_for_comparison):
                 response = response[len(prompt_decoded_for_comparison):].strip()
-            # else: response zaten temizlenmeye çalışılmıştı, bir şey yapmaya gerek yok
-
 
         # --- ADIM 3: Persona Talimatları ve Genel Gürültüyü Temizleme ---
-        # Persona talimatlarının cevapta tekrarlanmasını engelle (güncel MONTAG_PERSONA'ya göre)
         persona_lines = [line.strip() for line in MONTAG_PERSONA.split('\n') if line.strip()]
         for line in persona_lines:
-            # Sadece cevabın başında tekrar eden persona talimatlarını temizle
             if response.lower().startswith(line.lower()):
                 response = response[len(line):].strip()
         
-        # Fazladan "Kullanıcı: " veya "Montag: " tekrarlarını ve anlamsız tokenleri temizle
         response = response.replace("<unk>", "").strip()
         response = response.replace(" .", ".").replace(" ,", ",").replace(" ?", "?").replace(" !", "!")
         
-        # Ek olarak, cevabın içinde hala kalmış olabilecek "Kullanıcı:" veya "Montag:" etiketlerini temizle
         response = re.sub(r'Kullanıcı:\s*', '', response, flags=re.IGNORECASE)
         response = re.sub(r'Montag:\s*', '', response, flags=re.IGNORECASE)
         
-        # Cevabın içinde "ETİKETLER:" gibi ifadeler varsa temizle
         if "ETİKETLER:" in response:
             response = response.split("ETİKETLER:", 1)[0].strip()
         
-        # Cevabın sonundaki "[...]" gibi ifadeleri temizle
         response = re.sub(r'\[\s*\.{3,}\s*\]', '', response).strip()         
 
         # --- ADIM 4: Spesifik Tekrar Eden ve İstenmeyen Kalıpları Temizleme ---
         irrelevant_dialogue_patterns = [
-            # Modelin sürekli tekrarladığı "Nasılsın, iyi misin" ve devamı kalıbı (regex'e escape ekli)
             re.escape("Nasılsın, iyi misin \" diye sordu Sesin oldukça tizdi, hatta neredeyse boğuluyordu Sesi artık iyice boğuklaşmıştı Gözlerindeki donukluk ve akıl almaz kararlılık, Montag'ın aklını karıştırıyordu Ne söyleyeceğini bilemiyormuş gibiydi"),
             re.escape("Ne düşünüyorsun ', sorusuna, — İyi değil miyim (Tıslayarak) Hayır, kötü değil miyim diyerek cevabı yapıştırdı"),
-            # Kullanıcının sorusunu doğrudan tekrar etme (önceki örneklerdeki gibi)
-            re.escape("kitaplar neden yasaklanmalı"), # Bu soruyu dinamik olarak da ekleyebilirsiniz
-            # Montag'ın önceki metinlerinden tekrar eden spesifik cümleler
-            re.escape("Bu soruda ne kadar samimi olduğumu bilmiyorum "), # Boşluklara dikkat!
+            re.escape("kitaplar neden yasaklanmalı"), 
+            re.escape("Bu soruda ne kadar samimi olduğumu bilmiyorum "), 
             re.escape("diyor Bunu söyleyen kişi siz misiniz yoksa o mu Tuhaf bir insan gibi görünüyordu Sanki Montag'dan önce hiç kimse cevap vermemiş gibiydi Bana sanki sadece bir şaka yapıyordu ve gülüp eğleniyorduk ✅"),
             re.escape("'Kitabı yakamazsınız, eğer yaktığınız kanıtlanırsa, kitabı yakmayı bırakırsınız ' Ben bunun için bir sebep yok diyorum Ve sonra, bana, 'Neden ' diye soruyorsunuz — çünkü'sadece' demek istiyorum Neden olmasın ki Bu sorunun bir cevabı var 📚 ✅"),
-            
-            # Genel anlamsız tokenler ve uzun tekrarlayan metinler
-            r'içir unidur', r'aligutat fakdam', r'tetal inlay', r'pessotim elgun',
+                        
+            r'içir unidur', r'aligutat fakdam', r'tetal inlay', r'pessotim elgun',            
             r'nisman tarejoglu', r'faksom', r'achisteloy vandleradia', r'vęudis',
             r'eltareh', r'eldlar', r'fotjid', r'zuhalibalyon',
             r'ne zaman kendimi, her şeyi daha iyi anlayabileceğim, daha gerçekleştirebileceğim ve her şeyin üstesinden geleceğim bir yere koysam, daha sonra o yerin bana hiçbir şey öğretmediğini ve hiçbir şeyi öğretmediğini fark ediyorum. Ben kendimi daha fazla kandırmak istemiyorum. Ama ben, beni gerçekten etkileyen başka biri tarafından yönetilen bir.',
             r'her şeyi en ince ayrıntısına kadar anladım ama aynı zamanda da inanılmaz derecede utanıyorum. İnan bana, ben çok utangaçım.',
-            
-            # Sonundaki gereksiz ✅ ve 📚 işaretlerini de temizle
-            r' ✅',
-            r' 📚',
+                        
+            r' ✅',            
+            r' 📚',        
         ]
-        
+                
         for pattern in irrelevant_dialogue_patterns:
             response = re.sub(pattern, '', response, flags=re.IGNORECASE).strip()
-
-        # Fazla boşlukları tek boşluğa indirge (Tüm temizliklerden sonra son kez)
+        
         response = re.sub(r'\s+', ' ', response).strip()
 
-        # --- Filtreleme Mantığına Puanlama Sistemi Eklendi ---
+        # --- ADIM 5: Filtreleme Mantığı (Puanlama Sistemi) ---        
         rejection_score = 0
         filter_reasons = []
 
-        # 1. Kısa Cevap Kontrolü (Daha esnek, örneğin 5 kelime)
         if len(response.split()) < 5:
-            rejection_score += 2 # Hafif ceza
+            rejection_score += 2 
             filter_reasons.append(f"Çok kısa ({len(response.split())} kelime).")
-                
-        # 2. Sadece Harf İçermiyor Kontrolü (Bu genellikle iyi bir filtre)
+                        
         if not any(char.isalpha() for char in response):
-            rejection_score += 10 # Ciddi ceza
+            rejection_score += 10 
             filter_reasons.append("Hiç harf içermiyor (sadece noktalama/sayı).")
-                
-        # 3. Genel/Anlamsız İfade Kontrolü (Listeyi yukarıda temizlemiştik)
-        generic_or_nonsense_phrases = [
-            "içir unidur", "aligutat fakdam", "tetal inlay", "pessotim elgun", # Modelin ürettiği anlamsız tokenler
-            "nisman tarejoglu", "faksom", "achisteloy vandleradia", "vęudis",
-            "eltareh", "eldlar", "fotjid", "zuhalibalyon",
-            "etiketler:", # Meta bilgi sızıntısı
-            # Sadece gerçekten anlamsız olanları bırakın        
-        ]                
+                        
         triggered_generic_phrases = [phrase for phrase in generic_or_nonsense_phrases if phrase in response.lower()]
         if triggered_generic_phrases:
-            rejection_score += len(triggered_generic_phrases) * 3 # Her anlamsız ifade için ceza
+            rejection_score += len(triggered_generic_phrases) * 3 
             filter_reasons.append(f"Anlamsız/istenmeyen ifade tespit edildi: {triggered_generic_phrases}.")
 
-        # 4. Montag Karakteriyle Alaka Kontrolü (Daha esnek)
-        # Montag'ın iç dünyasına ve genel temalara uygun yeni anahtar kelimeler eklendi
-        montag_keywords = ["kitap", "yakmak", "itfaiyeci", "clarisse", "faber", "beatty", "bilgi", "sansür", "düşünce", "gerçek", "televizyon", "alev", "kül", "mildred", "yangın", "fireman",
-                           "düşünmek", "anlamak", "hissetmek", "arayış", "isyan", "toplum", "cehalet", "yalnızlık", "monotonluk", "gerçeklik"]        
         has_montag_relevance = any(keyword in response.lower() for keyword in montag_keywords)
-                
-        # Eğer cevap uzunsa (örneğin 20 kelimeden fazla) ve alakasızsa ceza ver
-        if len(response.split()) > 20 and not has_montag_relevance: # Buradaki kelime sayısını artırabilirsiniz
-            rejection_score += 1 # Cezayı düşürdük
+                        
+        if len(response.split()) > 20 and not has_montag_relevance: 
+            rejection_score += 1 
             filter_reasons.append("Montag/bağlamsal anahtar kelime yok ve cevap uzun.")
-                
-        # 5. Agresif Kelime Kontrolü
+                        
         aggressive_words_found = [word for word in aggressive_words if word in response.lower()]
         if aggressive_words_found:
-            rejection_score += 5 # Ciddi ceza
+            rejection_score += 5 
             filter_reasons.append(f"Agresif/istenmeyen kelime tespit edildi: {aggressive_words_found}.")
-                
-        # --- Karar verme eşiği ---        
-        if rejection_score >= 5: # Bu eşik değerini test ederek ayarlamanız gerekebilir.
+                        
+        if rejection_score >= 5: 
             print(f"DEBUG: FİLTRELEME - Cevap YETERSİZ/ANLAMSIZ/ALAKASIZ. Toplam Puan: {rejection_score}")
             for reason in filter_reasons:
                 print(f"  - Sebep: {reason}")
             print(f"INFO: Üretilen cevap ('{response}') filtreleri geçemedi. Alternatif üretiliyor.")
-            return generate_alternative_response(question), retrieved_docs # Alternatif ve dokümanları döndür
-        
+            return generate_alternative_response(question), retrieved_docs 
+                
         # Cümle Bölme ve Limitleme Mantığı
         sentences = []
         split_by_punctuation = re.split(r'[.!?]', response)
@@ -783,21 +751,21 @@ def generate_answer(question: str, chatbot_history: List[List[str]]) -> Tuple[st
             s_stripped = s.strip()
             if s_stripped:
                 sentences.append(s_stripped)
-                if len(sentences) >= 6: # Maksimum 6 cümle
+                if len(sentences) >= 6: 
                     break
         final_response_text = ' '.join(sentences).strip()
-        
-        # Eğer filtreleri geçerse ve boş değilse
+                
         if not final_response_text: 
             print("INFO: Filtrelerden geçen cevap boş kaldı. Alternatif üretiliyor.")
             return generate_alternative_response(question), retrieved_docs
-        
+                
         final_response = add_emojis(final_response_text)
-        return final_response, retrieved_docs # Cevap ve alınan dokümanları döndür
-    
-    except Exception as e:
+        return final_response, retrieved_docs 
+        
+    except Exception as e: # Try bloğunun sonu ve hata yakalama
         print(f"Error generating answer: {e}")
         return generate_alternative_response(question), [] 
+      
 
 
 # === Gradio callback fonksiyonları ===