gijl/htdn-arabic-350m

HTDN — نموذج لغوي مخصّص (JAX/Flax)

نموذج HTDN (بنية مخصّصة تجمع بين طبقة ديناميكيات متكرّرة وانتباه ذاتي سببي مع RoPE و SwiGLU) دُرِّب على بيانات عربية متعددة المصادر (streaming) على GPU T4×2 عبر Kaggle.

⚠️ هذه ليست معمارية transformers قياسية، لذا لا يمكن تحميلها مباشرة عبر AutoModel.from_pretrained. الأوزان محفوظة بصيغة safetensors ومرفق كود بناء النموذج (modeling_htdn.py) لإعادة تحميلها عبر JAX/Flax.

طريقة التحميل

from huggingface_hub import hf_hub_download
import json, jax.numpy as jnp
from safetensors import safe_open
from flax.traverse_util import unflatten_dict

# 1) نزّل الملفات
config_path = hf_hub_download("gijl/htdn-arabic-350m", "config.json")
weights_path = hf_hub_download("gijl/htdn-arabic-350m", "model.safetensors")
modeling_path = hf_hub_download("gijl/htdn-arabic-350m", "modeling_htdn.py")

with open(config_path) as f:
    cfg = json.load(f)

# 2) حمّل الأوزان
flat = {}
with safe_open(weights_path, framework="numpy") as f:
    for k in f.keys():
        flat[k] = jnp.array(f.get_tensor(k))
params = unflatten_dict(flat, sep=".")

# 3) أعد بناء النموذج (انظر modeling_htdn.py المرفق)
import importlib.util
spec = importlib.util.spec_from_file_location("modeling_htdn", modeling_path)
modeling_htdn = importlib.util.module_from_spec(spec)
spec.loader.exec_module(modeling_htdn)

model, _ = modeling_htdn.build_model_template(cfg)
# استخدم `params` أعلاه بدل المعاملات العشوائية من build_model_template

معلومات التدريب

• الخطوة عند الرفع: 253486
• عدد المعاملات: ~0.0M
• المحلل اللغوي: bert-base-multilingual-cased
• أفضل خسارة مسجَّلة: 0.9019910097122192
• الزمن التراكمي للتدريب: 79:12:01

هذا نموذج تجريبي/بحثي — النتائج أولية.