TensorShift/CosmoBlazar3

---

Cosmo Blazar 3: أول نموذج من تطويري يتجاوز 30 مليار معلمة

عائلة Cosmo

Cosmo عائلة نماذج لغوية تُطوَّر بشكل مستقل، ولكل إصدار فيها أهداف وتجارب خاصة به. ينتمي Blazar 3 إلى فئة Frontier، وهي الأعلى في العائلة من حيث الحجم والقدرة.

ما الجديد في Blazar 3؟

1) حجم أكبر ببنية معدّلة

بُني Blazar 3 على نموذج أساسي بحجم 30.7 مليار معلمة، ثم وُسّع إلى 37.7 مليار عبر ثلاث خطوات:

• تعديل آلية الانتباه: رفعنا عدد رؤوس الانتباه من 32 إلى 40 مع اعتماد الانتباه المجمَّع بالمجموعات (Grouped-Query Attention)، ما خفّض استهلاك الذاكرة أثناء الاستدلال.
• توسيع عدد الطبقات: من 60 إلى 74 طبقة، مع تهيئة الطبقات المضافة بنسخ أوزان طبقات مجاورة وتقليص مخرجاتها إلى ما يقارب الصفر، فبدأ النموذج الموسَّع بسلوك مطابق للأساس.
• تدريب الطبقات الجديدة: دُرّبت الطبقات المضافة وحدها على نحو 100 مليار رمز، ثم فُتح التدريب على النموذج كاملاً بمعدل تعلّم منخفض لنحو 58 ساعة.

2) خفض الهلوسة وزيادة الموثوقية

دُرّب النموذج على الامتناع عن الإجابة أو إبداء عدم اليقين حين تغيب المعلومة الموثوقة، مع بيانات معايرة تكافئ الصدق عن حدود المعرفة. وعلى مقياس داخلي للأسئلة الوقائعية، انخفض معدل الهلوسة من 18.4% إلى 11.2%.

3) تركيز على الأمان

خضع النموذج لمرحلة تعلم معزز على أكثر من 300 مليون رمز مميز (token) من بيانات تفضيلات أُنشئت داخلياً وراجعها مختصون بشرياً. وقيس الأثر عبر مجموعة اختبارات أمان داخلية، فارتفعت نسبة الاستجابات الآمنة من 81.5% إلى 90.3%.

المواصفات التقنية

أُجري التدريب على الخادم التالي:

المكوّن	المواصفة
المعالج	96 نواة افتراضية (vCPU)
المسرّعات	8 × TPU v5p
الذاكرة	330 جيجابايت DDR5 ECC

لقطات من مراحل مختلفة من التدريب

فيما يلي مقتطفات من سجل التدريب في مراحل متفرقة. يوضح كل سطر وقت التسجيل، ورقم الخطوة، وقيمة الخسارة (Loss)، والزمن التراكمي بالساعات، وزمن الخطوة بالثواني. تفصل علامة "…" بين كل مرحلة والتي تليها.

البداية: الخطوات 1–5

الوقت	الخطوة	Loss	الزمن التراكمي	زمن الخطوة
18:25:44	1	26.1837	0.05 س	164.8 ث
18:29:16	2	27.8653	0.10 س	212.1 ث
18:29:19	3	29.2700	0.11 س	2.6 ث
18:29:21	4	23.3882	0.11 س	2.6 ث
18:29:24	5	14.0085	0.11 س	2.6 ث

المراحل اللاحقة

الوقت	الخطوة	Loss	الزمن التراكمي	زمن الخطوة
19:12:23	999	6.5174	0.82 س	2.6 ث
19:12:26	1000	6.4209	0.82 س	2.6 ث
19:12:28	1001	6.5831	0.82 س	2.6 ث
22:05:43	5000	3.2246	3.71 س	2.6 ث
22:05:46	5001	3.1587	3.71 س	2.6 ث
22:05:48	5002	3.1892	3.71 س	2.6 ث
01:42:26	10000	2.3418	7.32 س	2.6 ث
01:42:28	10001	2.2976	7.32 س	2.6 ث
01:42:31	10002	2.3305	7.32 س	2.6 ث
08:55:46	20000	1.4893	14.54 س	2.6 ث
08:55:48	20001	1.4521	14.54 س	2.6 ث
08:55:51	20002	1.4710	14.54 س	2.6 ث
23:22:26	40000	0.9347	28.98 س	2.6 ث
23:22:28	40001	0.9112	28.98 س	2.6 ث
23:22:31	40002	0.9269	28.98 س	2.6 ث
13:49:06	60000	0.6284	43.42 س	2.6 ث
13:49:08	60001	0.6051	43.42 س	2.6 ث
13:49:11	60002	0.6139	43.42 س	2.6 ث
04:15:46	80000	0.4416	57.86 س	2.6 ث
04:15:48	80001	0.4278	57.86 س	2.6 ث
04:15:51	80002	0.4350	57.86 س	2.6 ث

ملاحظات على السجل

• الخطوات الأولى: استغرقت الخطوتان الأولى والثانية 164.8 و212.1 ثانية، على الأرجح بسبب التهيئة والتجميع الأولي، ثم استقر زمن الخطوة عند 2.6 ثانية.
• تراجع الخسارة: انخفضت من 26.18 في الخطوة 1 إلى 6.42 عند الخطوة 1000، ثم إلى 0.44 عند الخطوة 80000.
• سرعة التحسّن: كان التحسن سريعاً في الآلاف الأولى من الخطوات، ثم صار تدريجياً مع تقدم التدريب.
• الاستقرار: ظل زمن الخطوة ثابتاً عند 2.6 ثانية طوال التدريب.

النتائج

الاختبار	النموذج الأساسي (30.7B)	Blazar 3 (37.7B)
الاستدلال العام (داخلي)	71.2	74.8
الأسئلة الوقائعية (داخلي)	63.5	69.9
الاستجابات الآمنة	81.5%	90.3%
معدل الهلوسة (الأقل أفضل)	18.4%	11.2%

القيود

Blazar 3 يخطئ أحياناً ولا يلغي الهلوسة تماماً، بل يقلّلها. ولاحظنا أثناء الاختبار:

• ارتفاع زمن الاستجابة بنحو 20% بسبب زيادة الطبقات.
• امتناعاً زائداً أحياناً عن الإجابة في أسئلة بسيطة.
• أداءً أضعف في اللغات الأقل تمثيلاً في بيانات التدريب.

الترخيص والأساس

يُتاح Cosmo Blazar 3 بموجب ترخيص مفتوح ومرن يسمح بالاستخدام التجاري والبحثي. نؤمن في عائلة Cosmo بقوة التطوير المشترك، لذا يتيح هذا الترخيص للمستخدمين والمطورين تعديل النموذج وإعادة تدريبه ودمجه لبناء حلول مخصصة.

كل ما نطلبه هو الإشارة إلى مطوري Cosmo Blazar 3 الأصليين ونسب العمل إليهم عند استخدام النموذج أو أي من مشتقاته، مع الحفاظ الكامل على إشعارات وشروط الاستخدام التابعة لعائلة نماذج Gemma من Google التي بُني هذا العمل استناداً إليها.

---