SupplierDebugging

app.py

@@ -29,7 +29,6 @@ from extractors import (
 # HuggingFace Token (если нужен для моделей)
 HF_TOKEN = os.getenv("HF_TOKEN")
 
-DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
 _WHISPER_MODEL: Optional[Any] = None
 _WHISPER_PROCESSOR: Optional[Any] = None
 
@@ -64,76 +63,78 @@ TEST_PHRASES = [
     "Через 3 дня Влад был в Wellness & spa Thermal на 1200,70 лей",
     "вчера Олечка заплатил в вольта 425,40 лей",
     "Сегодня Олюня купил в velmart на 755,50 лей",
-    "Вчера Оля платил в vatsak 185,80 лей",
-    "Сегодня был в Vasconi на 455,30 lei",
-    "Вчера платил в Valconi 325,90 lei",
-    "Сегодня заказал в тему на 895,60 лей",
-    "Вчера купил в temix на 185,50 лей",
-    "Сегодня оплатил в телемаркет Крикова 655,80 лей",
-    "Вчера был в такуме на 425,7 лей",
-    "Сегодня купил в tagaer на 285,40 лей",
-    "Вчера оплатил в Supraten 1200,50 лень",
-    "Сегодня был в стоматологии о фамилии на 455,90 лень",
-    "Я на следующей неделе заказал в стартур билеты на 855,60 лень",
-    "Сегодня оплатил в Sankos 245,70 лей",
-    "Вчера купил в Samurai на 325,40 лей",
-    "Сегодня был в Salomer на 185,50 lei",
-    "Вчера купил vragob na 655,80 lei",
-    "Сегодня купил в primul discounter на 425,03 лей",
-    "Вчера оплатил Premier Energy 985,90 lei",
+    # "Вчера Оля платил в vatsak 185,80 лей",
+    # "Сегодня был в Vasconi на 455,30 lei",
+    # "Вчера платил в Valconi 325,90 lei",
+    # "Сегодня заказал в тему на 895,60 лей",
+    # "Вчера купил в temix на 185,50 лей",
+    # "Сегодня оплатил в телемаркет Крикова 655,80 лей",
+    # "Вчера был в такуме на 425,7 лей",
+    # "Сегодня купил в tagaer на 285,40 лей",
+    # "Вчера оплатил в Supraten 1200,50 лень",
+    # "Сегодня был в стоматологии о фамилии на 455,90 лень",
+    # "Я на следующей неделе заказал в стартур билеты на 855,60 лень",
+    # "Сегодня оплатил в Sankos 245,70 лей",
+    # "Вчера купил в Samurai на 325,40 лей",
+    # "Сегодня был в Salomer на 185,50 lei",
+    # "Вчера купил vragob na 655,80 lei",
+    # "Сегодня купил в primul discounter на 425,03 лей",
+    # "Вчера оплатил Premier Energy 985,90 lei",
     "Сегодня заказали в пицце 9 на 285,60 лей",
-    "На прошлой неделе ходили в piața centrală, купили на 455,7 lei",
-    "Сегодня купил в peon farm на 325,40 лей",
-    "Вчера Wallach купила в Peach Girl на 755,50 лей",
+    "Сегодня заказали в пицце 91 на 285,60 лей",
+    "Сегодня заказали в пицце 912 на 285,60 лей",
+    # "На прошлой неделе ходили в piața centrală, купили на 455,7 lei",
+    # "Сегодня купил в peon farm на 325,40 лей",
+    # "Вчера Wallach купила в Peach Girl на 755,50 лей",
     "Через 2 дня купил в Pandashop на 895,80 лей",
-    "Pazavchora był vivația i kupil na 185,30 lei",
-    "Сегодня оплатил в oldcom 655,90 лей",
-    "Вчера купил рыбу в Ocean Fish на 280 lei",
-    "Сегодня купил в номер 1 на 420 лей",
-    "вчера воля купила в nanu market на 250 lei",
-    "Сегодня купил в Mozza на 380 lei",
-    "Вчера оплатил moldpressa 90 lei",
-    "Сегодня заплатил в Moldova-Presa 180 lei",
-    "Вчера платил MoldovaGaz 1250 lei",
-    "Сегодня был в modus vivendi, я ставил 420 lei",
-    "Вчера купил в Micov na 150 lei",
-    "Сегодня оплатил в метрах 890,13 лей",
-    "Вчера купил в Мерси на 210 lei",
-    "Сегодня заплатил в Megapolis 680 lei",
-    "Вчера Оля купила лекарство в Medical Market на 340 лей",
-    "Сегодня оплатил в максимум 450 lei",
-    "Вчера купил десерт в maestro delice на 120 lei",
-    "Сегодня оплатил в maestro 750 lei",
-    "вчера оля купила в local на 190 лей",
+    # "Pazavchora był vivația i kupil na 185,30 lei",
+    # "Сегодня оплатил в oldcom 655,90 лей",
+    # "Вчера купил рыбу в Ocean Fish на 280 lei",
+    # "Сегодня купи�� в номер 1 на 420 лей",
+    # "вчера воля купила в nanu market на 250 lei",
+    # "Сегодня купил в Mozza на 380 lei",
+    # "Вчера оплатил moldpressa 90 lei",
+    # "Сегодня заплатил в Moldova-Presa 180 lei",
+    # "Вчера платил MoldovaGaz 1250 lei",
+    # "Сегодня был в modus vivendi, я ставил 420 lei",
+    # "Вчера купил в Micov na 150 lei",
+    # "Сегодня оплатил в метрах 890,13 лей",
+    # "Вчера купил в Мерси на 210 lei",
+    # "Сегодня заплатил в Megapolis 680 lei",
+    # "Вчера Оля купила лекарство в Medical Market на 340 лей",
+    # "Сегодня оплатил в максимум 450 lei",
+    # "Вчера купил десерт в maestro delice на 120 lei",
+    # "Сегодня оплатил в maestro 750 lei",
+    # "вчера оля купила в local на 190 лей",
     "Сегодня был в Linelo 115 и купил на 280 лей",
     "Вчера купил продукты в Linel на 420,55 лей",
     "Сегодня оплатил vats 320 lei",
-    "Вчера Олечка была в Kiss Beauty Salon на 450 lei",
-    "Сегодня купил кебаб в кебаб на 150 лей",
-    "Вчера Оля была в Кауфленд и потратила 890,15 лей",
-    "Сегодня купил в cat shop на 650 lei",
-    "Вчера вечером был выкатан суши на 300 восьятлей",
-    "Оля вчера заказала в Joom на 1200 lei",
-    "Сегодня купили рассаду в Ярди Маркет на 280 лей",
-    "Вчера Влад оплатил в uiti credit 950 lei",
-    "Сегодня оплатил в U.T. Credit очередной платеж 1800 лей",
-    "Вчера заказал в iherb витамина на 420 лей",
-    "На прошлой неделе покупали в Ярмареку на 950,13 лей",
-    "Оля вчера была в Хипократис и оставила 650 lei",
-    "Сегодня я купил витамины в herb на 180 лей",
-    "Вчера купил хлеб в Граньер на 70 лей",
-    "Сегодня ходил в Global Store за техникой на 2100 лей",
-    "Вчера я оплатил интернет в Giganet 450,35 лей",
-    "Сегодня Оля купила хлеб Франзелуца на 80 петлей",
-    "вчера купил рыбу в эфилете на 420 лей",
-    "На прошлой неделе заплатил в Fidesco 1300 lei",
-    "Сегодня Влад был в Феличи и купил сыр на 95 лей",
-    "Вчера вечером купили fast food на 180 lei",
-    "Олечка вчера купила лекарство фармачия Familia на 240 лей",
-    "Я сегодня утром оплатил Eurotelicom 310 lei",
-    "Вчера Владислав оплатил энергоком 560 lei",
-    "Сегодня оплатил в Елика 420 лей",
-    "На следующей неделе в субботу хочу зайти в дёйнер-кебаб",
+    # "Вчера Олечка была в Kiss Beauty Salon на 450 lei",
+    # "Сегодня купил кебаб в кебаб на 150 лей",
+    # "Вчера Оля была в Кауфленд и потратила 890,15 лей",
+    # "Сегодня купил в cat shop на 650 lei",
+    # "Вчера вечером был выкатан суши на 300 восьятлей",
+    # "Оля вчера заказала в Joom на 1200 lei",
+    # "Сегодня купили рассаду в Ярди Маркет на 280 лей",
+    # "Вчера Влад оплатил в uiti credit 950 lei",
+    # "Сегодня оплатил в U.T. Credit очередной платеж 1800 лей",
+    # "Вчера заказал в iherb витамина на 420 лей",
+    # "На прошлой неделе покупали в Ярмареку на 950,13 лей",
+    # "Оля вчера была в Хипократис и оставила 650 lei",
+    # "Сегодня я купил витамины в herb на 180 лей",
+    # "Вчера купил хлеб в Граньер на 70 лей",
+    # "Сегодня ходил в Global Store за техникой на 2100 лей",
+    # "Вчера я оплатил интернет в Giganet 450,35 лей",
+    # "Сегодня Оля купила хлеб Франзелуца на 80 петлей",
+    # "вчера купил рыбу в эфилете на 420 лей",
+    # "На прошлой неделе заплатил в Fidesco 1300 lei",
+    # "Сегодня Влад был в Феличи и купил сыр на 95 лей",
+    # "Вчера вечером купили fast food на 180 lei",
+    # "Олечка вчера ��упила лекарство фармачия Familia на 240 лей",
+    # "Я сегодня утром оплатил Eurotelicom 310 lei",
+    # "Вчера Владислав оплатил энергоком 560 lei",
+    # "Сегодня оплатил в Елика 420 лей",
+    # "На следующей неделе в субботу хочу зайти в дёйнер-кебаб",
 ]
 
 
@@ -443,7 +444,7 @@ def health():
 @app.get("/test-data")
 def test_data():
     """Тестирует извлечение данных из текста без использования Whisper."""
-    debug = (request.args.get("debug") or "").strip().lower() in {"1", "true", "yes"}
+    debug = (request.args.get("debug") or "1").strip().lower() in {"1", "true", "yes"}
     extractor = build_default_pipeline(suppliers=TEST_SUPPLIERS, users=TEST_USERS)
 
     started = time.time()

extractors/amount_extractor.py

@@ -70,6 +70,8 @@ class ExpenseAmountExtractor:
                 payload = {"amount": amount, "amount_text": amount_text}
                 if debug:
                     payload["amount_debug"] = {
+                        "matched_date_phrase": matched_date_phrase,
+                        "matched_supplier_phrase": matched_supplier_phrase,
                         "date_span": list(date_span) if date_span else None,
                         "supplier_span": list(supplier_span) if supplier_span else None,
                         "candidates": candidates,
@@ -80,6 +82,8 @@ class ExpenseAmountExtractor:
         payload = {"amount": None, "amount_text": None}
         if debug:
             payload["amount_debug"] = {
+                "matched_date_phrase": matched_date_phrase,
+                "matched_supplier_phrase": matched_supplier_phrase,
                 "date_span": list(date_span) if date_span else None,
                 "supplier_span": list(supplier_span) if supplier_span else None,
                 "candidates": candidates,

extractors/date_extractor.py

@@ -507,10 +507,18 @@ class ExpenseDateExtractor:
         ref_date = self.to_date(reference_date or date.today().isoformat())
         parsed = self.parser.parse(text=text, reference_date=ref_date)
 
+        matched_phrase = parsed.matched_expression if parsed else None
+        matched_span = None
+        if matched_phrase:
+            idx = text.lower().find(matched_phrase.lower())
+            if idx != -1:
+                matched_span = [idx, idx + len(matched_phrase)]
+
         payload = {
             "date": datetime.strptime(parsed.date_iso, "%Y-%m-%d").strftime("%d.%m.%Y") if parsed else None,
             "date_iso": parsed.date_iso if parsed else None,
-            "matched_date_phrase": parsed.matched_expression if parsed else None,
+            "matched_date_phrase": matched_phrase,
+            "matched_date_span": matched_span,
         }
 
         if debug:
@@ -518,6 +526,7 @@ class ExpenseDateExtractor:
                 "reference_date": ref_date.isoformat(),
                 "input_text": text,
                 "matched_date_phrase": payload["matched_date_phrase"],
+                "matched_date_span": payload["matched_date_span"],
                 "date_iso": payload["date_iso"],
             }
 

requirements.txt

@@ -8,6 +8,4 @@ dateparser
 python-dateutil
 iuliia
 torch
-sentence-transformers
 scikit-learn
-gliner