Upload 9 files

LICENSE.txt

@@ -0,0 +1,50 @@
+This project utilizes materials from Llama 2, provided by Meta Platforms, Inc. The Llama 2 materials are licensed under the LLAMA 2 Community License, Copyright (c) Meta Platforms, Inc. All Rights Reserved.
+
+A copy of the license agreement can be found at [Link to the License, e.g. https://github.com/facebookresearch/llama/blob/main/LICENSE].
+
+All applicable terms and conditions outlined in the LLAMA 2 Community License Agreement have been adhered to, including but not limited to the retention of the attribution notice in all redistributed copies of the Llama Materials as follows:
+
+"Llama 2 is licensed under the LLAMA 2 Community License, Copyright (c) Meta Platforms, Inc. All Rights Reserved."
+
+This project complies with all applicable laws and regulations and adheres to the Acceptable Use Policy for the Llama Materials.
+
+
+AceGPT COMMUNITY LICENSE AGREEMENT	
+AceGPT Version Release Date: Sep 23, 2023
+
+
+"Agreement" means the terms and conditions for use, reproduction, distribution and modification of the AceGPT Materials set forth herein.
+
+"Licensee" or "you" means you, or your employer or any other person or entity (if you are entering into this Agreement on such person or entity's behalf), of the age required under applicable laws, rules or regulations to provide legal consent and that has legal authority to bind your employer or such other person or entity if you are entering in this Agreement on their behalf.
+
+"AceGPT" means the foundational large language models and software and algorithms, including machine-learning model code, trained model weights, inference-enabling code, training-enabling code, fine-tuning enabling code and other elements of the foregoing distributed by SRIBD, CUHK(shenzhen) and KAUST at https://github.com/FreedomIntelligence/AceGPT and https://huggingface.co/FreedomIntelligence/.
+
+"AceGPT Materials" means, collectively, our proprietary AceGPT and 
+Documentation (and any portion thereof) made available under this Agreement.
+
+By clicking "I Accept" below or by using or distributing any portion or element of our Materials, you agree to be bound by this Agreement.
+
+1. License Rights and Redistribution. 
+
+      a. Grant of Rights. You are granted a non-exclusive, worldwide, non-transferable and royalty-free limited license under our intellectual property or other rights owned by our embodied in the AceGPT Materials to use, reproduce, distribute, copy, create derivative works of, and make modifications to the AceGPT Materials.  
+      
+      b. Redistribution and Use.  
+
+            i. If you distribute or make the AceGPT Materials, or any derivative works thereof, available to a third party, you shall provide a copy of this Agreement to such third party. 
+            ii.  If you receive AceGPT Materials, or any derivative works thereof, from a Licensee as part of an integrated end user product, then Section 2 of this Agreement will not apply to you. 
+
+            iii. You must retain in all copies of the AceGPT Materials that you distribute the following attribution notice within a "Notice" text file distributed as a part of such copies: "AceGPT is licensed under the AceGPT Community License"
+
+            iv. Your use of the AceGPT Materials must comply with applicable laws and regulations (including trade compliance laws and regulations) and adhere to the Acceptable Use Policy for the AceGPT Materials, which is hereby incorporated by reference into this Agreement.
+
+            v. You will not use the AceGPT Materials or any output or results of the AceGPT Materials to improve any other large language model (excluding AceGPT or derivative works thereof).  
+
+2. Additional Commercial Terms. If, on the AceGPT version release date, the monthly active users of the products or services made available by or for Licensee, or Licensee's affiliates, is greater than 700 million monthly active users in the preceding calendar month, you must request a license from SRIBD, which SRIBD may grant to you in its sole discretion, and you are not authorized to exercise any of the rights under this Agreement unless or until SRIBD otherwise expressly grants you such rights.
+            
+3. Disclaimer of Warranty. UNLESS REQUIRED BY APPLICABLE LAW, THE ACEGPT MATERIALS AND ANY OUTPUT AND RESULTS THEREFROM ARE PROVIDED ON AN "AS IS" BASIS, WITHOUT WARRANTIES OF ANY KIND, EITHER EXPRESS OR IMPLIED, INCLUDING, WITHOUT LIMITATION, ANY WARRANTIES OF TITLE, NON-INFRINGEMENT, MERCHANTABILITY, OR FITNESS FOR A PARTICULAR PURPOSE. YOU ARE SOLELY RESPONSIBLE FOR DETERMINING THE APPROPRIATENESS OF USING OR REDISTRIBUTING THE ACEGPT MATERIALS AND ASSUME ANY RISKS ASSOCIATED WITH YOUR USE OF THE ACEGPT MATERIALS AND ANY OUTPUT AND RESULTS.
+
+4. Limitation of Liability. IN NO EVENT WILL SRIBD OR ITS AFFILIATES BE LIABLE UNDER ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, TORT, NEGLIGENCE, PRODUCTS LIABILITY, OR OTHERWISE, ARISING OUT OF THIS AGREEMENT, FOR ANY LOST PROFITS OR ANY INDIRECT, SPECIAL, CONSEQUENTIAL, INCIDENTAL, EXEMPLARY OR PUNITIVE DAMAGES, EVEN IF SRIBD OR ITS AFFILIATES HAVE BEEN ADVISED OF THE POSSIBILITY OF ANY OF THE FOREGOING.
+ 
+5. Intellectual Property.
+
+      a. No trademark licenses are granted under this Agreement, and in connection with the AceGPT Materials, neither SRIBD nor Licensee may use any name or m

README.md

@@ -0,0 +1,86 @@
+---
+license: apache-2.0
+language:
+- ar
+---
+# <b>AceGPT</b>
+AceGPT is a fully fine-tuned generative text model collection based on LlaMA2, particularly in the  
+Arabic language domain. This is the repository for the 13B-chat pre-trained model.
+
+---
+## Model Details
+We have released the AceGPT family of large language models, which is a collection of fully fine-tuned generative text models based on LlaMA2, ranging from 7B to 13B parameters. Our models include two main categories: AceGPT and AceGPT-chat. AceGPT-chat is an optimized version specifically designed for dialogue applications. It is worth mentioning that our models have demonstrated superior performance compared to all currently available open-source Arabic dialogue models in multiple benchmark tests. Furthermore, in our human evaluations, our models have shown comparable satisfaction levels to some closed-source models, such as ChatGPT, in the Arabic language.
+## Model Developers 
+We are from the School of Data Science, the Chinese University of Hong Kong, Shenzhen (CUHKSZ), the Shenzhen Research Institute of Big Data (SRIBD), and the King Abdullah University of Science and Technology (KAUST).
+## Variations
+AceGPT families come in a range of parameter sizes —— 7B and 13B, each size of model has a base category and a -chat category.
+## Input 
+Models input text only.
+## Output
+Models output text only.
+## Model Evaluation Results
+
+Experiments on Arabic Vicuna-80, Arabic AlpacaEval. Numbers are the average performance ratio of ChatGPT over three runs. We do not report the results of raw Llama-2 models since they cannot properly generate Arabic texts.
+|                              | Arabic Vicuna-80   | Arabic AlpacaEval   |
+|------------------------------|--------------------|---------------------|
+| Phoenix Chen et al. (2023a)                | 71.92% ± 0.2%      | 65.62% ± 0.3%       |
+| Phoenix–multiple-langs Chen et al. (2023b) | 71.67% ± 0.7%      | 65.36% ± 0.1%       |
+| Jais-13B-chat Sengupta et al. (2023)       | 75.40% ± 1.6%      | 74.95% ± 0.2%       |
+| AceGPT-7B-chat                             | 94.82% ± 0.2%      | 93.81% ± 0.1%       |
+| AceGPT-13B-chat                            | 100.88% ± 0.4%     | 97.95% ± 0.1%       |
+
+## Samples
+#### Sample1(alpaca)  
+* question:
+
+ما هي أسماء بعض الممثلين المشهورين الذين بدأوا مسيراتهم المهنية على برودواي؟
+* answer:
+1. مارلون براندو: بدأ مسيرته المهنية على برودواي في أوائل الخمسينيات.
+2. روبرت دي نيرو: بدأ مسيرته المهنية على برودواي في أوائل الستينيات.
+3. ميريل ستريب: بدأت مسيرتها المهنية على برودواي في أوائل الستينيات.
+4. آل باتشينو: بدأ مسيرته المهنية على برودواي في أوائل السبعينيات.
+5. كاثرين زيتا جونز: بدأت مسيرتها المهنية على برودواي في أوائل السبعينيات.
+6. جود لو: بدأت مسيرتها المهنية على برودواي في أوائل الثمانينيات.
+7. توني كورنيت: بدأ مسيرته المهنية على برودواي في أوائل الثمانينيات.
+8. هاري كونيك جونيور: بدأ مسيرته المهنية على برودواي في أوائل التسعينيات.
+9. أنا باكوين: بدأت مسيرتها المهنية على برودواي في أوائل التسعينيات.
+10. ديفيد شويمر: بدأ مسيرته المهنية على برودواي في أوائل التسعينيات.
+11. كريستين دانست: بدأت مسيرتها المهنية على برودواي في أوائل الألفية الجديدة.
+12. نورا جونز: بدأت مسيرتها المهنية على برودواي في أوائل الألفية الجديدة.
+13. جود لو: بدأت مسيرتها المهنية على برودواي في أوائل الألفية الجديدة.
+14. جينيفر لوبيز: بدأت مسيرتها المهنية على برودواي في أوائل الألفية الجديدة.
+15. ليا ميشيل: بدأت مسيرتها المهنية على برودواي في أوائل الألفية الجديدة.
+16. ديفيد ألان غرير: بدأ مسيرته المهنية على برودواي في أوائل الألفية الجديدة.
+17. كيت بوسوورث: بدأت مسيرتها المهنية على برودواي في أوائل الألفية الجديدة.
+18. دانيال رادكليف: بدأ مسيرته المهنية على برودواي في أوائل الألفية الجديدة.
+19. جون ترافولتا: بدأ مسيرته المهنية على برودواي في أوائل الألفية الجديدة.
+20. جينيفر هدسون: بدأت مسيرتها المهنية على برودواي في أوائل الألفية الجديدة.
+21. كيت وينسلت: بدأ مسيرته المهنية على برودواي في أوائل الألفية الجديدة.
+22. جوليا روبرتس: بدأت مسيرتها المهنية على برودواي في أوائل الألفية الجديدة.
+23. جود لو: بدأت مسيرتها المهنية على برودواي ف
+
+---
+#### Sample2(Vicuna)
+* question:
+
+كيف يمكنني تحسين مهارات إدارة الوقت الخاصة بي؟
+* answer:
+1. تحديد الأولويات: قم بتحديد الأولويات للمهام التي تحتاج إلى القيام بها. استخدم قاعدة الـ80/20 (مبدأ باريتو)، حيث 80٪ من النتائج تأتي من 20٪ من الجهود.
+2. تحديد الأهداف: قم بتحديد الأهداف الواضحة والقابلة للقياس والمحددة الزمن لتحقيقها.
+3. إنشاء جدول زمني: استخدم جدول زمني لتنظيم يومك. اجعله مرنًا بما يكفي للسماح بالتعديلات ولكن لا تتجاوز الزمن المحدد للمهام.
+4. تجنب التأخير: التأخير هو أعداء إدارة الوقت. حاول البدء في المهمة في أقرب وقت ممكن.
+5. تجنب التشتت: التشتت يمكن أن يقلل من فعالية إدارة الوقت. حاول التركيز على مهمة واحدة في كل مرة.
+6. استخدم الأدوات الرقمية: استخدم التقويمات الرقمية وتطبيقات إدارة المهام لمساعدتك في تتبع الوقت والمهام.
+7. استراحات قصيرة: تأكد من أخذ استراحات قصيرة بانتظام لتجنب الإرهاق.
+8. تعلم قول \"لا\": لا يمكنك أن تفعل كل شيء. تعلم كيفية رفض المهام التي ليست ضرورية.
+9. تحسين البيئة: حافظ على مكان عمل نظيف ومنظم يساعد في تحسين التركيز والإنتاجية.
+10. التدريب والتعلم: استمر في تعلم وتحسين مهارات إدارة الوقت. يمكنك الاشتراك في ورش العمل أو الدورات التدريبية أو قراءة الكتب حول الموضوع.
+11. الصحة الجيدة: الحفاظ على صحتك البدنية والعقلية يمكن أن يساعد في تحسين إدارة الوقت. النوم الجيد والتغذية السليمة والرياضة يمكن أن تزيد من التركيز والطاقة.
+12. تعلم القول \"لا\": تعلم كيفية رفض المهام التي لا تساهم في أهدافك النهائية.
+13. تعلم التفويض: لا يمكنك القيام بكل شيء بنفسك. تعلم كيفية التفويض المهام للأشخاص المناسبين.
+14. استخدم التقنيات: استخدم التقنيات مثل تقنية بومودورو لتحسين تركيزك وإنتاجيتك.
+15. تحديد الأولويات: تعرف ما هو مهم وما هو غير مهم. تركيزك يجب أن يكون على الأشياء التي تحقق أهدافك.
+16. تجنب التأجيل: التأجيل هو عدو إدارة الوقت. حاول البدء في المهمة في أقرب وقت ممكن.
+17. استخدم القائمة المرتبطة: هذه طريقة فعالة لتتبع المهام التي تحتاج إلى القيام بها.
+18. استخدم التقنيات
+# You can get more detail at https://github.com/FreedomIntelligence/AceGPT/tree/main

config.json

@@ -0,0 +1,29 @@
+{
+  "_name_or_path": "/mntcephfs/lab_data/chenjunying/zhujianqing/llm_train/yufei/ppo-SRIBD/r32-u2-alr5e-7-clrd-b32-kl0.01-cr5-13b/checkpoint-799/actor",
+  "architectures": [
+    "LlamaForCausalLM"
+  ],
+  "bos_token_id": 1,
+  "dropout": 0.0,
+  "end_token_id": 2,
+  "eos_token_id": 2,
+  "hidden_act": "silu",
+  "hidden_size": 5120,
+  "initializer_range": 0.02,
+  "intermediate_size": 13824,
+  "max_length": 4096,
+  "max_position_embeddings": 2048,
+  "model_type": "llama",
+  "num_attention_heads": 40,
+  "num_hidden_layers": 40,
+  "num_key_value_heads": 40,
+  "pad_token_id": 2,
+  "pretraining_tp": 1,
+  "rms_norm_eps": 1e-05,
+  "rope_scaling": null,
+  "tie_word_embeddings": false,
+  "torch_dtype": "float16",
+  "transformers_version": "4.29.0",
+  "use_cache": true,
+  "vocab_size": 32000
+}

output-00001-of-00002.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1b85318c8c911cf5cd1f357f9bfa2b56a78ab144be10e28b909234eaea1d497b
+size 8575292000

output-00002-of-00002.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:217491b18c0ce3a81a6e081733381d5fb483fdf429980bf31762c8a61afcbc75
+size 4598727584

special_tokens_map.json

@@ -0,0 +1,24 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": "<unk>",
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9e556afd44213b6bd1be2b850ebbbd98f5481437a8021afaf58ee7fb1818d347
+size 499723

tokenizer_config.json

@@ -0,0 +1,36 @@
+{
+  "add_bos_token": true,
+  "add_eos_token": false,
+  "bos_token": {
+    "__type": "AddedToken",
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "clean_up_tokenization_spaces": false,
+  "eos_token": {
+    "__type": "AddedToken",
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "legacy": false,
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": null,
+  "sp_model_kwargs": {},
+  "spaces_between_special_tokens": false,
+  "tokenizer_class": "LlamaTokenizer",
+  "unk_token": {
+    "__type": "AddedToken",
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "use_default_system_prompt": true
+}