|
|
|
|
|
import pandas as pd
|
|
import numpy as np
|
|
from scipy.optimize import curve_fit
|
|
import logging
|
|
from pathlib import Path
|
|
from datetime import datetime
|
|
|
|
|
|
from src.data_management import storage
|
|
|
|
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
|
|
|
|
def calculate_concept_frequencies(time_period: str = 'Y') -> pd.DataFrame | None:
|
|
"""
|
|
Konseptlerin zaman içindeki kullanım sıklıklarını hesaplar. (Önceki kodla aynı)
|
|
"""
|
|
logging.info(f"Konsept frekansları '{time_period}' periyodu için hesaplanıyor...")
|
|
mentions_df = storage.load_dataframe('mentions', storage.MENTION_COLUMNS)
|
|
documents_df = storage.load_dataframe('documents', storage.DOC_COLUMNS)
|
|
|
|
if mentions_df is None or documents_df is None:
|
|
logging.error("Mention veya Document verisi yüklenemedi. Frekans hesaplanamıyor.")
|
|
return None
|
|
if mentions_df.empty:
|
|
logging.warning("Mention verisi boş. Frekans hesaplanamıyor.")
|
|
return pd.DataFrame(columns=['concept_id', 'time_period_start', 'frequency'])
|
|
if documents_df.empty:
|
|
logging.warning("Document verisi boş. Tarih bilgisi alınamıyor, frekans hesaplanamıyor.")
|
|
return pd.DataFrame(columns=['concept_id', 'time_period_start', 'frequency'])
|
|
|
|
docs_subset = documents_df[['doc_id', 'publication_date']].copy()
|
|
try:
|
|
docs_subset['publication_date'] = pd.to_datetime(docs_subset['publication_date'], errors='coerce')
|
|
except Exception as e:
|
|
logging.error(f"Dokümanlardaki 'publication_date' sütunu datetime'a çevrilemedi: {e}")
|
|
return None
|
|
|
|
original_doc_count = len(docs_subset)
|
|
docs_subset.dropna(subset=['publication_date'], inplace=True)
|
|
valid_date_count = len(docs_subset)
|
|
if original_doc_count > valid_date_count:
|
|
logging.warning(f"{original_doc_count - valid_date_count} dokümanın geçerli yayın tarihi yok, frekans hesaplamasına dahil edilmeyecek.")
|
|
|
|
if docs_subset.empty:
|
|
logging.warning("Geçerli yayın tarihine sahip doküman bulunamadı. Frekans hesaplanamıyor.")
|
|
return pd.DataFrame(columns=['concept_id', 'time_period_start', 'frequency'])
|
|
|
|
mentions_with_dates = pd.merge(mentions_df, docs_subset, on='doc_id', how='inner')
|
|
|
|
if mentions_with_dates.empty:
|
|
logging.warning("Mention'lar ile doküman tarihleri birleştirilemedi veya sonuç boş.")
|
|
return pd.DataFrame(columns=['concept_id', 'time_period_start', 'frequency'])
|
|
|
|
logging.info(f"{len(mentions_with_dates)} mention için tarih bilgisi bulundu.")
|
|
|
|
try:
|
|
frequency_df = mentions_with_dates.groupby(
|
|
['concept_id', pd.Grouper(key='publication_date', freq=time_period)]
|
|
).size().reset_index(name='frequency')
|
|
frequency_df.rename(columns={'publication_date': 'time_period_start'}, inplace=True)
|
|
logging.info(f"Frekans hesaplaması tamamlandı. {len(frequency_df)} satır sonuç üretildi.")
|
|
frequency_df.sort_values(by=['concept_id', 'time_period_start'], inplace=True)
|
|
return frequency_df
|
|
except Exception as e:
|
|
logging.exception(f"Frekans hesaplanırken hata oluştu: {e}")
|
|
return None
|
|
|
|
|
|
|
|
def exponential_decay(t, A, decay_rate):
|
|
"""Üstel bozulma fonksiyonu: A * exp(-decay_rate * t)."""
|
|
|
|
decay_rate = max(0, decay_rate)
|
|
return A * np.exp(-decay_rate * t)
|
|
|
|
def calculate_half_life(concept_id: str,
|
|
frequency_df: pd.DataFrame,
|
|
concept_name: str | None = None,
|
|
min_data_points: int = 4,
|
|
min_decay_rate: float = 1e-6) -> float | None:
|
|
"""
|
|
Verilen konsept için frekans verisine üstel bozulma modeli uygulayarak
|
|
yarı ömrü (yıl olarak) hesaplar.
|
|
|
|
Args:
|
|
concept_id (str): Hesaplanacak konseptin ID'si.
|
|
frequency_df (pd.DataFrame): calculate_concept_frequencies'ten dönen DataFrame.
|
|
('concept_id', 'time_period_start', 'frequency' sütunları olmalı).
|
|
concept_name (str | None): Loglama için konseptin adı (opsiyonel).
|
|
min_data_points (int): Yarı ömür hesaplamak için gereken minimum zaman noktası sayısı.
|
|
min_decay_rate (float): Kabul edilebilir minimum bozunma oranı (çok küçükse yarı ömür sonsuz kabul edilir).
|
|
|
|
Returns:
|
|
float | None: Hesaplanan yarı ömür (yıl olarak) veya hesaplanamazsa None.
|
|
np.inf dönebilir eğer bozunma oranı çok küçükse.
|
|
"""
|
|
log_prefix = f"Yarı Ömür ({concept_name or concept_id}):"
|
|
|
|
if frequency_df is None or frequency_df.empty:
|
|
logging.warning(f"{log_prefix} Frekans verisi boş.")
|
|
return None
|
|
|
|
|
|
concept_data = frequency_df[frequency_df['concept_id'] == concept_id].sort_values(by='time_period_start').copy()
|
|
|
|
|
|
if len(concept_data) < min_data_points:
|
|
logging.info(f"{log_prefix} Yeterli veri noktası yok ({len(concept_data)} < {min_data_points}). Hesaplama yapılamıyor.")
|
|
return None
|
|
|
|
|
|
try:
|
|
|
|
start_date = concept_data['time_period_start'].min()
|
|
|
|
concept_data['time_elapsed_years'] = (concept_data['time_period_start'] - start_date).dt.days / 365.25
|
|
except Exception as e:
|
|
logging.error(f"{log_prefix} Zaman farkı hesaplanırken hata: {e}")
|
|
return None
|
|
|
|
time_values = concept_data['time_elapsed_years'].values
|
|
frequency_values = concept_data['frequency'].values
|
|
|
|
|
|
|
|
if frequency_values[-1] > frequency_values[0] or np.all(frequency_values == frequency_values[0]):
|
|
logging.info(f"{log_prefix} Veride belirgin bir azalma gözlenmedi. Yarı ömür hesaplanamıyor.")
|
|
return None
|
|
|
|
|
|
initial_A_guess = frequency_values[0]
|
|
initial_lambda_guess = 0.1
|
|
|
|
try:
|
|
|
|
params, covariance = curve_fit(
|
|
exponential_decay,
|
|
time_values,
|
|
frequency_values,
|
|
p0=[initial_A_guess, initial_lambda_guess],
|
|
bounds=([0, 0], [np.inf, np.inf])
|
|
|
|
)
|
|
|
|
A_fit, decay_rate_fit = params
|
|
|
|
|
|
if decay_rate_fit < min_decay_rate:
|
|
logging.info(f"{log_prefix} Hesaplanan bozunma oranı ({decay_rate_fit:.4f}) çok düşük. Yarı ömür sonsuz kabul ediliyor.")
|
|
return np.inf
|
|
|
|
|
|
half_life_years = np.log(2) / decay_rate_fit
|
|
logging.info(f"{log_prefix} Başarıyla hesaplandı. A={A_fit:.2f}, Bozunma Oranı={decay_rate_fit:.4f}, Yarı Ömür={half_life_years:.2f} yıl.")
|
|
return half_life_years
|
|
|
|
except RuntimeError as e:
|
|
logging.warning(f"{log_prefix} Üstel bozulma modeli uydurulamadı: {e}. Yarı ömür hesaplanamıyor.")
|
|
return None
|
|
except Exception as e:
|
|
logging.exception(f"{log_prefix} Yarı ömür hesaplanırken beklenmeyen hata: {e}")
|
|
return None |