Update README.md
Browse files
README.md
CHANGED
|
@@ -19,6 +19,7 @@ widget:
|
|
| 19 |
example_title: Question 2
|
| 20 |
---
|
| 21 |
|
|
|
|
| 22 |
### **Noon - a 7-billion parameter Arabic Large Language Model**
|
| 23 |
|
| 24 |
We present the 7-billion parameter variant of **Noon**, an Arabic Large Language model based on **BLOOM**, a foundation model released by the [bigscience](https://huggingface.co/bigscience) workshop.
|
|
@@ -29,6 +30,8 @@ We trained the model using the ColossalAI framework which fully supports the Hug
|
|
| 29 |
|
| 30 |
The training data is a combination of Arabic datasets covering multiple tasks, more details are provided in the dataset section.
|
| 31 |
|
|
|
|
|
|
|
| 32 |
مرحبًا بكم في بطاقة نموذج "نون"!
|
| 33 |
|
| 34 |
يحتوي "نون" على أكثر من 7 مليار عامل متغير، مما يجعله أكبر نموذج للغة العربية المطروح حتى الآن. تم تدريب هذا النموذج على أكثر من 110,000 سجل بيانات باللغة العربية، والتي تغطي أكثر من 11 ملايين كلمة، تتنوع ما بين إنتاج النصوص، وإنشاء الشفرات، وحل المسائل الرياضية، والأسئلة المغلقة/المفتوحة. تم تدريب هذا النموذج باستخدام تقنيات تدريب متقدمة مثل التدريب الموزع على عدة وحدات معالجة رسومية، وتكييف LoRA (Low Rank Adaptation)، وتحسين ZeRO (Zero Redundancy Optimization).
|
|
|
|
| 19 |
example_title: Question 2
|
| 20 |
---
|
| 21 |
|
| 22 |
+
|
| 23 |
### **Noon - a 7-billion parameter Arabic Large Language Model**
|
| 24 |
|
| 25 |
We present the 7-billion parameter variant of **Noon**, an Arabic Large Language model based on **BLOOM**, a foundation model released by the [bigscience](https://huggingface.co/bigscience) workshop.
|
|
|
|
| 30 |
|
| 31 |
The training data is a combination of Arabic datasets covering multiple tasks, more details are provided in the dataset section.
|
| 32 |
|
| 33 |
+
<img src="https://i.ibb.co/H4cztJj/noonllm.png" width="20%" height="20%">
|
| 34 |
+
|
| 35 |
مرحبًا بكم في بطاقة نموذج "نون"!
|
| 36 |
|
| 37 |
يحتوي "نون" على أكثر من 7 مليار عامل متغير، مما يجعله أكبر نموذج للغة العربية المطروح حتى الآن. تم تدريب هذا النموذج على أكثر من 110,000 سجل بيانات باللغة العربية، والتي تغطي أكثر من 11 ملايين كلمة، تتنوع ما بين إنتاج النصوص، وإنشاء الشفرات، وحل المسائل الرياضية، والأسئلة المغلقة/المفتوحة. تم تدريب هذا النموذج باستخدام تقنيات تدريب متقدمة مثل التدريب الموزع على عدة وحدات معالجة رسومية، وتكييف LoRA (Low Rank Adaptation)، وتحسين ZeRO (Zero Redundancy Optimization).
|