Update data_manager.py

data_manager.py

@@ -5,7 +5,7 @@ import httpx
 import traceback
 import time
 from datetime import datetime
-import ccxt  # استخدام ccxt العادي بدلاً من pro
+import ccxt
 import numpy as np
 import logging
 from typing import List, Dict, Any
@@ -18,10 +18,6 @@ class DataManager:
         self.contracts_db = contracts_db or {}
         self.whale_monitor = whale_monitor
         
-        # إعدادات الأداء المحسنة
-        self.batch_size = 25  # حجم دفعة معقول
-        self.cache_duration = 300
-        
         try:
             self.exchange = ccxt.kucoin({
                 'sandbox': False,
@@ -29,7 +25,7 @@ class DataManager:
                 'timeout': 30000,
                 'verbose': False,
             })
-            print("✅ تم تهيئة اتصال KuCoin بنجاح (CCXT Standard)")
+            print("✅ تم تهيئة اتصال KuCoin بنجاح")
         except Exception as e:
             print(f"❌ فشل تهيئة اتصال KuCoin: {e}")
             self.exchange = None
@@ -37,13 +33,11 @@ class DataManager:
         self.http_client = None
         self.market_cache = {}
         self.last_market_load = None
-        self.symbol_cache = {}
-        self.cache_timestamp = {}
         
     async def initialize(self):
         self.http_client = httpx.AsyncClient(timeout=30.0)
         await self._load_markets()
-        print("✅ DataManager initialized - Focused on Top 200 Symbols")
+        print("✅ DataManager initialized - Top 200 by Volume Focus")
 
     async def _load_markets(self):
         try:
@@ -51,7 +45,7 @@ class DataManager:
                 return
                 
             print("🔄 جلب أحدث بيانات الأسواق من KuCoin...")
-            self.exchange.load_markets()  # sync call instead of await
+            self.exchange.load_markets()
             self.market_cache = self.exchange.markets
             self.last_market_load = datetime.now()
             print(f"✅ تم تحميل {len(self.market_cache)} سوق من KuCoin")
@@ -62,7 +56,6 @@ class DataManager:
     async def close(self):
         if self.http_client: 
             await self.http_client.aclose()
-        # لا داعي لـ close في ccxt العادي
 
     async def get_market_context_async(self):
         """جلب سياق السوق الأساسي فقط"""
@@ -165,12 +158,12 @@ class DataManager:
         try:
             prices = {'bitcoin': None, 'ethereum': None}
             
-            btc_ticker = self.exchange.fetch_ticker('BTC/USDT')  # sync call
+            btc_ticker = self.exchange.fetch_ticker('BTC/USDT')
             btc_price = float(btc_ticker.get('last', 0)) if btc_ticker.get('last') else None
             if btc_price and btc_price > 0:
                 prices['bitcoin'] = btc_price
             
-            eth_ticker = self.exchange.fetch_ticker('ETH/USDT')  # sync call
+            eth_ticker = self.exchange.fetch_ticker('ETH/USDT')
             eth_price = float(eth_ticker.get('last', 0)) if eth_ticker.get('last') else None
             if eth_price and eth_price > 0:
                 prices['ethereum'] = eth_price
@@ -215,216 +208,226 @@ class DataManager:
 
     async def layer1_rapid_screening(self) -> List[Dict[str, Any]]:
         """
-        الطبقة 1: فحص سريع لأفضل 200 عملة بناءً على مؤشرات هامة
+        الطبقة 1: فحص سريع - المرحلة 1: جلب أفضل 200 عملة حسب الحجم فقط
         """
-        print("📊 الطبقة 1: فحص سريع لأفضل العملات بناءً على مؤشرات هامة...")
+        print("📊 الطبقة 1: جلب أفضل 200 عملة حسب حجم التداول...")
+        
+        # المرحلة 1: جلب أحجام التداول لجميع العملات بسرعة
+        print("   🔍 جلب أحجام التداول لجميع العملات...")
+        volume_data = await self._get_all_symbols_volume()
+        
+        if not volume_data:
+            print("❌ فشل جلب بيانات الأحجام")
+            return []
+        
+        # أخذ أفضل 200 عملة حسب الحجم فقط
+        volume_data.sort(key=lambda x: x['dollar_volume'], reverse=True)
+        top_200_by_volume = volume_data[:200]
+        
+        print(f"✅ تم اختيار أفضل {len(top_200_by_volume)} عملة حسب الحجم")
+        
+        # المرحلة 2: تطبيق المؤشرات الأخرى على الـ200 فقط
+        print("   📈 تطبيق المؤشرات المتقدمة على أفضل 200 عملة...")
+        final_candidates = await self._apply_advanced_indicators(top_200_by_volume)
+        
+        print(f"🎯 تم تحليل {len(final_candidates)} عملة للطبقة 2")
+        
+        # عرض أفضل 15 عملة
+        print("🏆 أفضل 15 عملة من الطبقة 1:")
+        for i, candidate in enumerate(final_candidates[:15]):
+            score = candidate.get('layer1_score', 0)
+            volume = candidate.get('dollar_volume', 0)
+            change = candidate.get('price_change_24h', 0)
+            print(f"   {i+1:2d}. {candidate['symbol']}: {score:.3f} | ${volume:>10,.0f} | {change:>+6.1f}%")
         
-        # الحصول على جميع الرموز النشطة
+        return final_candidates
+
+    async def _get_all_symbols_volume(self) -> List[Dict[str, Any]]:
+        """جلب أحجام التداول لجميع العملات بسرعة"""
+        volume_data = []
         usdt_symbols = [
             symbol for symbol in self.market_cache.keys() 
             if symbol.endswith('/USDT') and self.market_cache[symbol].get('active', False)
         ]
         
-        print(f"🔍 تحليل {len(usdt_symbols)} عملة متاحة...")
-        
-        # جلب بيانات التداول لجميع الرموز وتقييمها
-        all_symbols_data = []
+        print(f"   📊 معالجة {len(usdt_symbols)} عملة...")
         
-        for i, symbol in enumerate(usdt_symbols):
+        processed = 0
+        for symbol in usdt_symbols:
             try:
-                symbol_data = await self._get_symbol_trading_data(symbol)
-                if symbol_data:
-                    all_symbols_data.append(symbol_data)
-                    
-                if i % 50 == 0:
-                    print(f"   📈 معالجة {i}/{len(usdt_symbols)} عملة...")
-                    
-                await asyncio.sleep(0.05)  # وقت انتظار قصير جداً
+                ticker = self.exchange.fetch_ticker(symbol)
+                if not ticker:
+                    continue
+                
+                current_price = ticker.get('last', 0)
+                volume_24h = ticker.get('baseVolume', 0)
+                dollar_volume = volume_24h * current_price
+                
+                # فلترة أولية: تجاهل العملات ذات الحجم المنخفض جداً
+                if dollar_volume < 50000:  # أقل من 50K دولار
+                    continue
                 
+                volume_data.append({
+                    'symbol': symbol,
+                    'dollar_volume': dollar_volume,
+                    'current_price': current_price,
+                    'volume_24h': volume_24h
+                })
+                
+                processed += 1
+                if processed % 100 == 0:
+                    print(f"      ✅ تم معالجة {processed} عملة...")
+                    
             except Exception as e:
                 continue
         
-        print(f"✅ تم جمع بيانات {len(all_symbols_data)} عملة")
-        
-        if not all_symbols_data:
-            return []
+        print(f"   ✅ تم جمع بيانات {len(volume_data)} عملة مؤهلة")
+        return volume_data
+
+    async def _apply_advanced_indicators(self, volume_data: List[Dict[str, Any]]) -> List[Dict[str, Any]]:
+        """تطبيق المؤشرات المتقدمة على أفضل العملات حسب الحجم"""
+        candidates = []
         
-        # تصنيف العملات بناءً على مؤشرات هامة
-        scored_symbols = []
+        print("   🔧 تطبيق مؤشرات الزخم والتقلب وقوة السعر...")
         
-        for symbol_data in all_symbols_data:
+        for i, symbol_data in enumerate(volume_data):
             try:
-                score = self._calculate_comprehensive_score(symbol_data)
-                if score > 0:  # قبول العملات ذات الدرجة الإيجابية فقط
-                    symbol_data['layer1_score'] = score
-                    scored_symbols.append(symbol_data)
+                symbol = symbol_data['symbol']
+                
+                # جلب بيانات إضافية للرمز
+                detailed_data = await self._get_detailed_symbol_data(symbol)
+                if not detailed_data:
+                    continue
+                
+                # دمج البيانات
+                symbol_data.update(detailed_data)
+                
+                # حساب الدرجة النهائية
+                score = self._calculate_advanced_score(symbol_data)
+                symbol_data['layer1_score'] = score
+                
+                candidates.append(symbol_data)
+                
+                if (i + 1) % 50 == 0:
+                    print(f"      ✅ تم تحليل {i + 1}/{len(volume_data)} عملة")
+                    
             except Exception as e:
                 continue
         
-        # ترتيب العملات حسب الدرجة (من الأعلى للأدنى)
-        scored_symbols.sort(key=lambda x: x.get('layer1_score', 0), reverse=True)
-        
-        # أخذ أفضل 200 عملة فقط
-        top_200 = scored_symbols[:200]
-        
-        print(f"🎯 تم اختيار أفضل {len(top_200)} عملة للطبقة 2")
-        
-        # عرض أفضل 15 عملة
-        print("🏆 أفضل 15 عملة من الطبقة 1:")
-        for i, symbol_data in enumerate(top_200[:15]):
-            score = symbol_data.get('layer1_score', 0)
-            volume = symbol_data.get('dollar_volume', 0)
-            change = symbol_data.get('price_change_24h', 0)
-            volatility = symbol_data.get('volatility_score', 0)
-            print(f"   {i+1:2d}. {symbol_data['symbol']}: {score:.3f} | ${volume:>8,.0f} | {change:>+6.1f}% | تقلب: {volatility:.3f}")
-        
-        return top_200
+        # ترتيب المرشحين حسب الدرجة النهائية
+        candidates.sort(key=lambda x: x.get('layer1_score', 0), reverse=True)
+        return candidates
 
-    async def _get_symbol_trading_data(self, symbol: str) -> Dict[str, Any]:
-        """جلب بيانات التداول لرمز واحد"""
+    async def _get_detailed_symbol_data(self, symbol: str) -> Dict[str, Any]:
+        """جلب بيانات تفصيلية للرمز"""
         try:
             ticker = self.exchange.fetch_ticker(symbol)
             if not ticker:
                 return None
             
             current_price = ticker.get('last', 0)
-            volume_24h = ticker.get('baseVolume', 0)
-            dollar_volume = volume_24h * current_price
-            price_change_24h = ticker.get('percentage', 0) or 0
             high_24h = ticker.get('high', 0)
             low_24h = ticker.get('low', 0)
             open_price = ticker.get('open', 0)
+            price_change_24h = ticker.get('percentage', 0) or 0
             
-            # حساب مؤشرات إضافية هامة
-            volatility = self._calculate_volatility_score(high_24h, low_24h, current_price)
-            volume_trend = self._calculate_volume_trend(dollar_volume)
+            # حساب المؤشرات المتقدمة
+            volatility = self._calculate_volatility(high_24h, low_24h, current_price)
             price_strength = self._calculate_price_strength(current_price, open_price, price_change_24h)
+            momentum = self._calculate_momentum(price_change_24h)
             
             return {
-                'symbol': symbol,
-                'current_price': current_price,
-                'volume_24h': volume_24h,
-                'dollar_volume': dollar_volume,
                 'price_change_24h': price_change_24h,
                 'high_24h': high_24h,
                 'low_24h': low_24h,
                 'open_price': open_price,
-                'volatility_score': volatility,
-                'volume_trend': volume_trend,
+                'volatility': volatility,
                 'price_strength': price_strength,
+                'momentum': momentum,
                 'reasons': []
             }
             
         except Exception as e:
             return None
 
-    def _calculate_comprehensive_score(self, symbol_data: Dict[str, Any]) -> float:
-        """حساب درجة شاملة تعتمد على مؤشرات هامة للربحية"""
-        
+    def _calculate_advanced_score(self, symbol_data: Dict[str, Any]) -> float:
+        """حساب درجة متقدمة تجمع بين الحجم والمؤشرات الأخرى"""
         dollar_volume = symbol_data.get('dollar_volume', 0)
         price_change = symbol_data.get('price_change_24h', 0)
-        volatility = symbol_data.get('volatility_score', 0)
-        volume_trend = symbol_data.get('volume_trend', 0)
+        volatility = symbol_data.get('volatility', 0)
         price_strength = symbol_data.get('price_strength', 0)
+        momentum = symbol_data.get('momentum', 0)
         
-        # 1. السيولة والحجم (35%) - الأهم لتجنب العملات الميتة
-        if dollar_volume < 100000:  # أقل من 100K دولار - رفض
-            return 0
-        
-        volume_score = 0
-        if dollar_volume >= 10000000:    # 10M+ 
-            volume_score = 1.0
-        elif dollar_volume >= 5000000:   # 5M+
-            volume_score = 0.9
-        elif dollar_volume >= 2000000:   # 2M+
-            volume_score = 0.8
-        elif dollar_volume >= 1000000:   # 1M+
-            volume_score = 0.7
-        elif dollar_volume >= 500000:    # 500K+
-            volume_score = 0.6
-        elif dollar_volume >= 250000:    # 250K+
-            volume_score = 0.5
-        elif dollar_volume >= 100000:    # 100K+
-            volume_score = 0.4
+        # 1. درجة الحجم (40%) - الأهم
+        volume_score = self._calculate_volume_score(dollar_volume)
         
-        # 2. الزخم السعري (25%) - البحث عن حركة قوية
-        momentum_score = 0
-        if price_change >= 20:           # +20%+ - قوي جداً
-            momentum_score = 1.0
-        elif price_change >= 15:         # +15%+
-            momentum_score = 0.9
-        elif price_change >= 10:         # +10%+
-            momentum_score = 0.8
-        elif price_change >= 5:          # +5%+
-            momentum_score = 0.7
-        elif price_change >= 2:          # +2%+
-            momentum_score = 0.6
-        elif price_change >= 0:          # موجب
-            momentum_score = 0.5
-        elif price_change >= -5:         # حتى -5% (فرصة شراء)
-            momentum_score = 0.4
-        elif price_change >= -10:        # حتى -10%
-            momentum_score = 0.3
-        else:                            # أكثر من -10% - تجنب
-            momentum_score = 0.1
+        # 2. درجة الزخم (25%)
+        momentum_score = momentum
         
-        # 3. التقلب المناسب (20%) - ليس عالي جداً ولا منخفض جداً
-        volatility_score = 0
-        if 0.02 <= volatility <= 0.15:   # تقلب مثالي 2%-15%
-            volatility_score = 1.0
-        elif 0.01 <= volatility <= 0.20: # مقبول 1%-20%
-            volatility_score = 0.8
-        elif volatility <= 0.01:         # قليل جداً
-            volatility_score = 0.3
-        elif volatility > 0.20:          # عالي جداً
-            volatility_score = 0.2
+        # 3. درجة التقلب (20%)
+        volatility_score = self._calculate_volatility_score(volatility)
         
-        # 4. قوة السعر (20%) - مزيج من الاتجاه والقوة
+        # 4. درجة قوة السعر (15%)
         strength_score = price_strength
         
         # الدرجة النهائية
         final_score = (
-            volume_score * 0.35 +
+            volume_score * 0.40 +
             momentum_score * 0.25 +
             volatility_score * 0.20 +
-            strength_score * 0.20
+            strength_score * 0.15
         )
         
         # تحديث أسباب الترشيح
         reasons = []
         if volume_score >= 0.7:
-            reasons.append('high_liquidity')
+            reasons.append('high_volume')
         if momentum_score >= 0.7:
             reasons.append('strong_momentum')
-        if volatility_score >= 0.8:
-            reasons.append('optimal_volatility')
-        if strength_score >= 0.7:
-            reasons.append('price_strength')
+        if volatility_score >= 0.7:
+            reasons.append('good_volatility')
             
         symbol_data['reasons'] = reasons
         
         return final_score
 
-    def _calculate_volatility_score(self, high_24h: float, low_24h: float, current_price: float) -> float:
-        """حساب درجة التقلب"""
+    def _calculate_volume_score(self, dollar_volume: float) -> float:
+        """حساب درجة الحجم"""
+        if dollar_volume >= 10000000:    # 10M+
+            return 1.0
+        elif dollar_volume >= 5000000:   # 5M+
+            return 0.9
+        elif dollar_volume >= 2000000:   # 2M+
+            return 0.8
+        elif dollar_volume >= 1000000:   # 1M+
+            return 0.7
+        elif dollar_volume >= 500000:    # 500K+
+            return 0.6
+        elif dollar_volume >= 250000:    # 250K+
+            return 0.5
+        elif dollar_volume >= 100000:    # 100K+
+            return 0.4
+        else:
+            return 0.3
+
+    def _calculate_volatility(self, high_24h: float, low_24h: float, current_price: float) -> float:
+        """حساب التقلب"""
         if current_price == 0:
             return 0
         return (high_24h - low_24h) / current_price
 
-    def _calculate_volume_trend(self, dollar_volume: float) -> float:
-        """حساب اتجاه الحجم"""
-        if dollar_volume >= 10000000:
+    def _calculate_volatility_score(self, volatility: float) -> float:
+        """حساب درجة التقلب"""
+        if 0.02 <= volatility <= 0.15:   # تقلب مثالي 2%-15%
             return 1.0
-        elif dollar_volume >= 5000000:
+        elif 0.01 <= volatility <= 0.20: # مقبول 1%-20%
             return 0.8
-        elif dollar_volume >= 1000000:
-            return 0.6
-        elif dollar_volume >= 500000:
+        elif volatility <= 0.01:         # قليل جداً
             return 0.4
-        elif dollar_volume >= 100000:
-            return 0.2
+        elif volatility > 0.20:          # عالي جداً
+            return 0.3
         else:
-            return 0.1
+            return 0.5
 
     def _calculate_price_strength(self, current_price: float, open_price: float, price_change: float) -> float:
         """حساب قوة السعر"""
@@ -433,13 +436,32 @@ class DataManager:
         
         # قوة السعر تعتمد على المسافة من سعر الافتتاح ونسبة التغير
         distance_from_open = abs(current_price - open_price) / open_price
-        change_strength = min(abs(price_change) / 50, 1.0)  # تطبيع قوة التغير
+        change_strength = min(abs(price_change) / 50, 1.0)
         
         return (distance_from_open * 0.6 + change_strength * 0.4)
 
+    def _calculate_momentum(self, price_change: float) -> float:
+        """حساب الزخم"""
+        if price_change >= 15:           # +15%+
+            return 1.0
+        elif price_change >= 10:         # +10%+
+            return 0.9
+        elif price_change >= 5:          # +5%+
+            return 0.8
+        elif price_change >= 2:          # +2%+
+            return 0.7
+        elif price_change >= 0:          # موجب
+            return 0.6
+        elif price_change >= -5:         # حتى -5%
+            return 0.5
+        elif price_change >= -10:        # حتى -10%
+            return 0.4
+        else:                            # أكثر من -10%
+            return 0.3
+
     async def get_ohlcv_data_for_symbols(self, symbols: List[str]) -> List[Dict[str, Any]]:
         """
-        جلب بيانات OHLCV كاملة للرموز المحددة مع جميع الإطارات الزمنية الـ6
+        جلب بيانات OHLCV كاملة للرموز المحددة مع جميع الإطارات الزمنية
         """
         results = []
         
@@ -456,7 +478,7 @@ class DataManager:
                     print(f"   ❌ ({i+1}/{len(symbols)}) فشل جلب بيانات {symbol}")
                 
                 # وقت انتظار لتجنب rate limits
-                await asyncio.sleep(0.3)
+                await asyncio.sleep(0.2)
                 
             except Exception as symbol_error:
                 print(f"   ❌ ({i+1}/{len(symbols)}) خطأ في {symbol}: {symbol_error}")
@@ -466,41 +488,37 @@ class DataManager:
         return results
 
     async def _fetch_complete_ohlcv(self, symbol: str) -> Dict[str, Any]:
-        """جلب بيانات OHLCV كاملة مع جميع الإطارات الزمنية الـ6"""
+        """جلب بيانات OHLCV كاملة مع جميع الإطارات الزمنية"""
         try:
             ohlcv_data = {}
             
-            # جميع الإطارات الزمنية الـ6 المطلوبة
+            # جميع الإطارات الزمنية الـ6
             timeframes = [
-                ('5m', 100),   # 5 دقائق - 100 شمعة
-                ('15m', 100),  # 15 دقيقة - 100 شمعة
-                ('1h', 100),   # 1 ساعة - 100 شمعة
-                ('4h', 100),   # 4 ساعات - 100 شمعة
-                ('1d', 100),   # 1 يوم - 100 شمعة
-                ('1w', 50),    # 1 أسبوع - 50 شمعة
+                ('5m', 100),
+                ('15m', 100), 
+                ('1h', 100),
+                ('4h', 100),
+                ('1d', 100),
+                ('1w', 50),
             ]
             
             has_sufficient_data = True
             
             for timeframe, limit in timeframes:
                 try:
-                    # استخدام fetch_ohlcv العادي (ليس pro)
                     ohlcv = self.exchange.fetch_ohlcv(symbol, timeframe, limit=limit)
                     
-                    if ohlcv and len(ohlcv) >= 20:  # تأكد من وجود بيانات كافية
+                    if ohlcv and len(ohlcv) >= 20:
                         ohlcv_data[timeframe] = ohlcv
                     else:
-                        print(f"      ⚠️  بيانات غير كافية لـ {symbol} على {timeframe}")
                         has_sufficient_data = False
                         break
                         
                 except Exception as e:
-                    print(f"      ⚠️  خطأ في {symbol} على {timeframe}: {e}")
                     has_sufficient_data = False
                     break
             
             if has_sufficient_data and ohlcv_data:
-                # جلب السعر الحالي
                 try:
                     ticker = self.exchange.fetch_ticker(symbol)
                     current_price = ticker.get('last', 0) if ticker else 0
@@ -512,13 +530,11 @@ class DataManager:
                         'timestamp': datetime.now().isoformat()
                     }
                 except Exception as price_error:
-                    print(f"      ⚠️  خطأ في جلب السعر لـ {symbol}: {price_error}")
                     return None
             else:
                 return None
                 
         except Exception as e:
-            print(f"      ❌ خطأ عام في {symbol}: {e}")
             return None
 
     async def get_latest_price_async(self, symbol):
@@ -536,7 +552,6 @@ class DataManager:
                 return None
             
         except Exception as e:
-            print(f"❌ خطأ في جلب السعر لـ {symbol}: {e}")
             return None
 
     async def get_available_symbols(self):
@@ -574,4 +589,4 @@ class DataManager:
             print(f"❌ خطأ في التحقق من الرمز {symbol}: {e}")
             return False
 
-print("✅ DataManager loaded - CCXT Standard with Top 200 Symbols & Full OHLCV Timeframes")
+print("✅ DataManager loaded - Efficient Top 200 Volume-Based Screening")