Update data_manager.py

data_manager.py

@@ -1,5 +1,5 @@
 # ml_engine/data_manager.py
-# (V12.5 - Lazy Loading Fix + V15.6 App-Compat Fix)
+# (V12.5 - Lazy Loading Fix + V15.6 App-Compat Fix + Detailed Logging)
 
 import os
 import asyncio
@@ -37,7 +37,6 @@ class DataManager:
         # ==================================================================
         # ⚙️ إعدادات التحكم المركزية (V12.3 Hybrid Thresholds)
         # ==================================================================
-        # العتبة الرئيسية للنظام الهجين (Titan + Patterns + MC)
         self.HYBRID_ENTRY_THRESHOLD = 0.60
         # ==================================================================
 
@@ -45,7 +44,6 @@ class DataManager:
         self.whale_monitor = whale_monitor
         self.r2_service = r2_service
         
-        # تهيئة منصة التبادل (KuCoin كمثال)
         self.exchange = ccxt.kucoin({
             'enableRateLimit': True,
             'timeout': 30000,
@@ -62,41 +60,48 @@ class DataManager:
 
     async def initialize(self):
         """تهيئة مدير البيانات والاتصالات"""
+        print("   > [DM Log] 0. بدء تهيئة DataManager...")
         self.http_client = httpx.AsyncClient(timeout=30.0)
         await self._load_markets()
         
-        print("   > [DataManager] إنشاء النماذج المساندة (Lazy Load)...") # (تغيير الرسالة)
+        print("   > [DataManager] إنشاء النماذج المساندة (Lazy Load)...")
         try:
             self.layer1_ranker = Layer1Ranker(model_path="ml_models/layer1_ranker.lgbm")
-            # [ 🔴🔴🔴 LAZY LOAD 🔴🔴🔴 ]
-            # await self.layer1_ranker.initialize() # (تم الإلغاء - سيتم تحميله عند الحاجة)
-            # [ 🔴🔴🔴 END LAZY LOAD 🔴🔴🔴 ]
-            
             if ChartPatternAnalyzer:
                 self.pattern_analyzer = ChartPatternAnalyzer(r2_service=self.r2_service)
-                # [ 🔴🔴🔴 LAZY LOAD 🔴🔴🔴 ]
-                # await self.pattern_analyzer.initialize() # (تم الإلغاء - سيتم تحميله عند الحاجة)
-                # [ 🔴🔴🔴 END LAZY LOAD 🔴🔴🔴 ]
                 
         except Exception as e:
             print(f"⚠️ [DataManager] تحذير أثناء إنشاء النماذج المساندة: {e}")
 
         print(f"✅ DataManager V12.5 initialized (Hybrid Threshold: {self.HYBRID_ENTRY_THRESHOLD})")
+        print("   > [DM Log] 4. اكتملت تهيئة DataManager.")
+
 
     async def _load_markets(self):
         """تحميل بيانات الأسواق وتخزينها مؤقتاً"""
+        print("   > [DM Log] 1. بدء _load_markets...")
         try:
             if self.exchange:
+                print("   > [DM Log] 2. استدعاء exchange.load_markets()... (قد يستغرق وقتاً)")
                 await self.exchange.load_markets()
                 self.market_cache = self.exchange.markets
+                
+                if self.market_cache and len(self.market_cache) > 0:
+                     print(f"   > [DM Log] 3. ✅ نجاح! تم تحميل {len(self.market_cache)} سوق.")
+                else:
+                     print("   > [DM Log] 3. ⚠️ تحذير: load_markets() نجح ولكن لم يتم إرجاع أسواق.")
+            else:
+                print("   > [DM Log] 2. ❌ خطأ: self.exchange هو None.")
+                
         except Exception as e:
-            print(f"❌ [DataManager] فشل تحميل الأسواق: {e}")
+            print(f"   > [DM Log] 3. ❌❌❌ فشل فادح في _load_markets: {e}")
+            traceback.print_exc()
 
     async def close(self):
         """إغلاق جميع الاتصالات بأمان"""
+        print("   > [DM Log] 7. إغلاق اتصالات DataManager...")
         if self.http_client: await self.http_client.aclose()
         if self.exchange: await self.exchange.close()
-        # تنظيف ذاكرة النماذج الفرعية إذا لزم الأمر
         if self.pattern_analyzer and hasattr(self.pattern_analyzer, 'clear_memory'):
             self.pattern_analyzer.clear_memory()
         if self.layer1_ranker and hasattr(self.layer1_ranker, 'clear_memory'):
@@ -108,7 +113,6 @@ class DataManager:
     async def load_contracts_from_r2(self):
         """
         [جديد] يقوم بتحميل قاعدة بيانات العقود من R2 عند بدء التشغيل.
-        (مطلوب بواسطة app.py V15.6)
         """
         print("   > [DataManager] Loading contracts database from R2...")
         if not self.r2_service:
@@ -126,7 +130,6 @@ class DataManager:
     def get_contracts_db(self) -> Dict[str, Any]:
         """
         [جديد] إرجاع قاعدة بيانات العقود التي تم تحميلها.
-        (مطلوب بواسطة app.py V15.6)
         """
         return self.contracts_db
     
@@ -136,7 +139,6 @@ class DataManager:
     async def layer1_rapid_screening(self) -> List[Dict[str, Any]]:
         """
         الغربلة الأولية السريعة جداً بناءً على الحجم فقط.
-        تختار أعلى 150 عملة سيولةً لتمريرها للتحليل الهجين المعمق.
         """
         print(f"🔍 [Layer 1] بدء الغربلة السريعة (Top Liquid Assets)...")
         volume_data = await self._get_volume_data_live()
@@ -145,7 +147,6 @@ class DataManager:
             print("⚠️ [Layer 1 Warning] لم يتم العثور على بيانات حجم تداول.")
             return []
 
-        # اختيار أعلى 150 عملة من حيث حجم التداول الدولاري
         candidates = volume_data[:150]
         print(f"✅ [Layer 1] تم تمرير {len(candidates)} عملة للتحليل الهجين.")
         return candidates
@@ -156,14 +157,12 @@ class DataManager:
             tickers = await self.exchange.fetch_tickers()
             data = []
             for symbol, ticker in tickers.items():
-                # تصفية الأزواج: USDT فقط، وحجم تداول معقول (> 100k$) لتجنب العملات الميتة
                 if symbol.endswith('/USDT') and ticker.get('quoteVolume') and ticker['quoteVolume'] > 100000:
                     data.append({
                         'symbol': symbol,
                         'dollar_volume': ticker['quoteVolume'],
                         'current_price': ticker['last']
                     })
-            # الترتيب التنازلي حسب الحجم
             data.sort(key=lambda x: x['dollar_volume'], reverse=True)
             return data
         except Exception as e:
@@ -176,14 +175,12 @@ class DataManager:
     async def stream_ohlcv_data(self, symbols: List[Dict], queue: asyncio.Queue):
         """
         مولد بيانات متدفق (Streaming Generator) يجلب شموع OHLCV
-        لعدة إطارات زمنية لكل عملة، ويضع النتائج في طابور المعالجة.
         """
         timeframes = ['5m', '15m', '1h', '4h', '1d']
-        limit = 500 # نحتاج تاريخ كافي للمؤشرات المعقدة
+        limit = 500 
 
         for sym_data in symbols:
             symbol = sym_data['symbol']
-            # جلب جميع الإطارات الزمنية بالتوازي للسرعة القصوى
             tasks = [self._fetch_ohlcv_live(symbol, tf, limit) for tf in timeframes]
             results = await asyncio.gather(*tasks, return_exceptions=False)
             
@@ -191,22 +188,16 @@ class DataManager:
             valid_packet = True
             for i, res in enumerate(results):
                 tf = timeframes[i]
-                # التحقق من جودة البيانات (على الأقل 200 شمعة للتحليل الدقيق)
                 if res and isinstance(res, list) and len(res) >= 200:
                     ohlcv_packet[tf] = res
                 else:
-                    # إذا فقدنا إطاراً زمنياً حيوياً (مثل 5m أو 1h)، قد نعتبر الحزمة غير صالحة
                     if tf in ['5m', '1h']: valid_packet = False
 
-            # إذا كانت الحزمة مكتملة بما يكفي، نرسلها للمعالجة
             if valid_packet and len(ohlcv_packet) >= 4:
                 sym_data['ohlcv'] = ohlcv_packet
-                await queue.put([sym_data]) # نرسل كقائمة لتوافق المعالج
+                await queue.put([sym_data]) 
             
-            # فاصل زمني صغير جداً لتجنب تجاوز حدود الـ API بعنف
             await asyncio.sleep(0.05)
-
-        # علامة نهاية التدفق
         await queue.put(None)
 
     async def _fetch_ohlcv_live(self, symbol, timeframe, limit):
@@ -214,7 +205,6 @@ class DataManager:
         try:
             return await self.exchange.fetch_ohlcv(symbol, timeframe, limit=limit)
         except Exception:
-            # نتجاهل الأخطاء الفردية لعدم إيقاف التدفق الكامل
             return None
 
     # ==================================================================
@@ -229,17 +219,24 @@ class DataManager:
             print(f"⚠️ [DataManager] Failed to fetch price for {symbol}: {e}")
             return 0.0
 
-    # [NEW FIX V12.4] الدالة التي كانت مفقودة وتمت إضافتها
     async def get_latest_ohlcv(self, symbol: str, timeframe: str = '5m', limit: int = 100) -> List[List[float]]:
         """
         جلب عدد محدود من الشموع الأخيرة بسرعة.
-        يستخدمها 'القناص' (Sniper) للمراقبة اللحظية الخفيفة.
         """
+        # (إضافة طابع خفيف لتجنب إغراق السجلات)
+        # print(f"   > [DM Log] 5. [get_latest_ohlcv] طلب {symbol} {timeframe}...")
         try:
             candles = await self.exchange.fetch_ohlcv(symbol, timeframe, limit=limit)
+            
             if candles and len(candles) > 0:
+                # (لا نطبع هذا لأنه سينجح)
                 return candles
-            return []
+            else:
+                # (هذا هو الطابع المهم الذي يكشف الفشل الصامت)
+                print(f"   > [DM Log] 6. ⚠️ [get_latest_ohlcv] فشل صامت لـ {symbol} {timeframe}. (أرجع قائمة فارغة).")
+                return []
+                
         except Exception as e:
-            # print(f"⚠️ [DataManager] Failed rapid OHLCV fetch for {symbol}: {e}")
+            # (هذا هو الطابع المهم الذي يكشف الفشل الفادح)
+            print(f"   > [DM Log] 6. ❌ [get_latest_ohlcv] فشل فادح لـ {symbol} {timeframe}: {e}")
             return []