openthaigpt
/

openthaigpt-1.0.0-7b-chat

@@ -22,19 +22,23 @@ tags:
 - Retrieval Augmented Generation (RAG) Support
-## Benchmark by Multiple Choices Exams
 | **Exams**                        | **OTG 7b (Aug 2023)** | **OTG 13b (Dec 2023)** | **OTG 7b (March 2024)** | **OTG 13b (March 2024)** | **OTG 70b (March 2024)** | **SeaLLM 7b v1** | **SeaLLM 7b v2** | **TyphoonGPT 7b** | **SeaLion 7b** | **WanchanGLM 7b** | **Sailor-7B-Chat** | **GPT3.5** | **GPT4** | **Gemini Pro** | **Gemini 1.5** | **Claude 3 Haiku** | **Claude 3 Sonnet** | **Claude 3 Opus** |
 |----------------------------------|-----------------------|------------------------|-------------------------|--------------------------|--------------------------|------------------|------------------|--------------------|----------------|-------------------|--------------------|------------|----------|----------------|----------------|--------------------|---------------------|-------------------|
-| **A-Level**                      | 17.50%                | 34.17%                 | 25.00%                  | 30.83%                   | 45.83%                   | 18.33%           | 34.17%           | N/A                | 21.67%         | 17.50%            | 40.00%             | 38.33%     | 65.83%   | 56.67%         | 55.83%         | 58.33%             | 59.17%              | 77.50%            |
-| **TGAT**                         | 24.00%                | 22.00%                 | 22.00%                  | 36.00%                   | 36.00%                   | 14.00%           | 28.00%           | N/A                | 24.00%         | 16.00%            | 34.00%             | 28.00%     | 44.00%   | 22.00%         | 28.00%         | 36.00%             | 34.00%              | 46.00%            |
-| **TPAT1**                        | 22.50%                | 47.50%                 | 42.50%                  | 27.50%                   | 62.50%                   | 22.50%           | 27.50%           | N/A                | 22.50%         | 17.50%            | 40.00%             | 45.00%     | 52.50%   | 52.50%         | 50.00%         | 52.50%             | 50.00%              | 62.50%            |
-| **ic_all_test**                  | 8.00%                 | 28.00%                 | 76.00%                  | 84.00%                   | 68.00%                   | 16.00%           | 28.00%           | N/A                | 24.00%         | 16.00%            | 24.00%             | 40.00%     | 64.00%   | 52.00%         | 32.00%         | 44.00%             | 64.00%              | 72.00%            |
-| **facebook_beleble_tha**         | 25.00%                | 45.00%                 | 34.50%                  | 39.50%                   | 70.00%                   | 13.50%           | 51.00%           | N/A                | 27.00%         | 24.50%            | 63.00%             | 50.00%     | 72.50%   | 65.00%         | 74.00%         | 63.50%             | 77.00%              | 90.00%            |
-| **xcopa_th_200**                 | 45.00%                | 56.50%                 | 49.50%                  | 51.50%                   | 74.50%                   | 26.50%           | 47.00%           | N/A                | 51.50%         | 48.50%            | 68.50%             | 64.00%     | 82.00%   | 68.00%         | 74.00%         | 64.00%             | 80.00%              | 86.00%            |
-| **xnli2.0_tha**                  | 33.50%                | 34.50%                 | 39.50%                  | 31.00%                   | 47.00%                   | 21.00%           | 43.00%           | N/A                | 37.50%         | 33.50%            | 16.00%             | 50.00%     | 69.00%   | 53.00%         | 54.50%         | 50.00%             | 68.00%              | 68.50%            |
-| **ONET M3** | 17.85%                | 38.86%                 | 34.11%                  | 39.36%                   | 56.15%                   | 15.58%           | 23.92%           | N/A                | 21.79%         | 19.56%            | 21.37%             | 37.91%     | 49.97%   | 55.99%         | 57.41%         | 52.73%             | 40.60%              | 63.87%            |
-| **ONET M6** | 21.14%                | 28.87%                 | 22.53%                  | 23.32%                   | 42.85%                   | 15.09%           | 19.48%           | N/A                | 16.96%         | 20.67%            | 28.64%             | 34.44%     | 46.29%   | 45.53%         | 50.23%         | 34.79%             | 38.49%              | 48.56%            |
-| **Average Score**                | 23.83%                | 37.27%                 | 38.40%                  | 40.33%                   | 55.87%                   | 18.06%           | 33.56%           | N/A                | 27.44%         | 23.75%            | 37.28%             | 43.07%     | 60.68%   | 52.30%         | 52.89%         | 50.65%             | 56.81%              | 68.32%            |
 ### Benchmark Configuration
 - Clearly instruct model to answer by select from possible choices and followed by an explanation.
@@ -85,8 +89,26 @@ You are a question answering assistant. Answer the question as truthful and help
 ```
 ### Multi Turn Conversation Example
 ```
-<s>[INST] <<SYS>\nYou are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด\n<</SYS>>\n\nกินอะไรดี [/INST]กรุงเทพมหานครมีพื้นที่ทั้งหมด 1,568.737 ตร.กม.</s><s>และประชากรล่ะ [/INST]
 ```
 ### Multi Turn Conversation with Context (RAG) Example

 - Retrieval Augmented Generation (RAG) Support
+## Benchmark by Multiple Choices Thai Exams
 | **Exams**                        | **OTG 7b (Aug 2023)** | **OTG 13b (Dec 2023)** | **OTG 7b (March 2024)** | **OTG 13b (March 2024)** | **OTG 70b (March 2024)** | **SeaLLM 7b v1** | **SeaLLM 7b v2** | **TyphoonGPT 7b** | **SeaLion 7b** | **WanchanGLM 7b** | **Sailor-7B-Chat** | **GPT3.5** | **GPT4** | **Gemini Pro** | **Gemini 1.5** | **Claude 3 Haiku** | **Claude 3 Sonnet** | **Claude 3 Opus** |
 |----------------------------------|-----------------------|------------------------|-------------------------|--------------------------|--------------------------|------------------|------------------|--------------------|----------------|-------------------|--------------------|------------|----------|----------------|----------------|--------------------|---------------------|-------------------|
+| **A-Level**                      | 17.50%                | 34.17%                 | 25.00%                  | 30.83%                   | 45.83%                   | 18.33%           | 34.17%           | N/A*                | 21.67%         | 17.50%            | 40.00%             | 38.33%     | 65.83%   | 56.67%         | 55.83%         | 58.33%             | 59.17%              | 77.50%            |
+| **TGAT**                         | 24.00%                | 22.00%                 | 22.00%                  | 36.00%                   | 36.00%                   | 14.00%           | 28.00%           | N/A*                | 24.00%         | 16.00%            | 34.00%             | 28.00%     | 44.00%   | 22.00%         | 28.00%         | 36.00%             | 34.00%              | 46.00%            |
+| **TPAT1**                        | 22.50%                | 47.50%                 | 42.50%                  | 27.50%                   | 62.50%                   | 22.50%           | 27.50%           | N/A*                | 22.50%         | 17.50%            | 40.00%             | 45.00%     | 52.50%   | 52.50%         | 50.00%         | 52.50%             | 50.00%              | 62.50%            |
+| **ic_all_test**                  | 8.00%                 | 28.00%                 | 76.00%                  | 84.00%                   | 68.00%                   | 16.00%           | 28.00%           | N/A*                | 24.00%         | 16.00%            | 24.00%             | 40.00%     | 64.00%   | 52.00%         | 32.00%         | 44.00%             | 64.00%              | 72.00%            |
+| **facebook_beleble_tha**         | 25.00%                | 45.00%                 | 34.50%                  | 39.50%                   | 70.00%                   | 13.50%           | 51.00%           | N/A*                | 27.00%         | 24.50%            | 63.00%             | 50.00%     | 72.50%   | 65.00%         | 74.00%         | 63.50%             | 77.00%              | 90.00%            |
+| **xcopa_th_200**                 | 45.00%                | 56.50%                 | 49.50%                  | 51.50%                   | 74.50%                   | 26.50%           | 47.00%           | N/A*                | 51.50%         | 48.50%            | 68.50%             | 64.00%     | 82.00%   | 68.00%         | 74.00%         | 64.00%             | 80.00%              | 86.00%            |
+| **xnli2.0_tha**                  | 33.50%                | 34.50%                 | 39.50%                  | 31.00%                   | 47.00%                   | 21.00%           | 43.00%           | N/A*                | 37.50%         | 33.50%            | 16.00%             | 50.00%     | 69.00%   | 53.00%         | 54.50%         | 50.00%             | 68.00%              | 68.50%            |
+| **ONET M3** | 17.85%                | 38.86%                 | 34.11%                  | 39.36%                   | 56.15%                   | 15.58%           | 23.92%           | N/A*                | 21.79%         | 19.56%            | 21.37%             | 37.91%     | 49.97%   | 55.99%         | 57.41%         | 52.73%             | 40.60%              | 63.87%            |
+| **ONET M6** | 21.14%                | 28.87%                 | 22.53%                  | 23.32%                   | 42.85%                   | 15.09%           | 19.48%           | N/A*                | 16.96%         | 20.67%            | 28.64%             | 34.44%     | 46.29%   | 45.53%         | 50.23%         | 34.79%             | 38.49%              | 48.56%            |
+| **Average Score**                | 23.83%                | 37.27%                 | 38.40%                  | 40.33%                   | 55.87%                   | 18.06%           | 33.56%           | N/A*                | 27.44%         | 23.75%            | 37.28%             | 43.07%     | 60.68%   | 52.30%         | 52.89%         | 50.65%             | 56.81%              | 68.32%            |
+* Waiting for accessing TyphoonGPT Instruct Model.
+(More benchmark is coming soon)
 ### Benchmark Configuration
 - Clearly instruct model to answer by select from possible choices and followed by an explanation.
 ```
 ### Multi Turn Conversation Example
+#### First turn
+```
+<s>[INST] <<SYS>\nYou are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด\n<</SYS>>\n\nสวัสดีครับ [/INST]
+```
+#### Second turn
+```
+<s>[INST] <<SYS>\nYou are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด\n<</SYS>>\n\nสวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตร���ำส้มตำหน่อย [/INST]
+```
+#### Third turn
+```
+<s>[INST] <<SYS>\nYou are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด\n<</SYS>>\n\nสวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตรทำส้มตำหน่อย [/INST]ได้เลยค่ะ ส้มตำเป็นเมนูที่ทำง่ายและอร่อย มาเริ่มกันเลยนะคะ</s><s>เริ่มได้เลย [/INST]
+```
+#### Fourth turn
 ```
+<s>[INST] <<SYS>\nYou are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด\n<</SYS>>\n\nสวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตรทำส้มตำหน่อย [/INST]ได้เลยค่ะ ส้มตำเป็นเมนูที่ทำง่ายและอร่อย มาเริ่มกันเลยนะคะ</s><s>เริ่มได้เลย [/INST]
+ตำไทยเป็นเมนูที่ใครๆ ก็คุ้นเคย ด้วยรสชาติที่กลมกล่อม หวาน เปรี้ยว เค็ม เผ็ด ครบรส วันนี้เราจะมาทำส้มตำด้วยกันค่ะ สิ่งแรกที่ต้องมีคือเครื่องปรุงดังนี้ - มะละกอดิบ 1 ลูก - กุ้งแห้ง 1/2 ถ้วย - กระเทียม 3 กลีบ - พริกขี้หนู 3 เม็ด - น้ำตาลปี๊บ 1 ช้อนโต๊ะ - น้ำปลา 2 ช้อนโต๊ะ - มะนาว 1 ลูก - งาขาวคั่ว 1/4 ถ้วย วิธีทำมีดังนี้ค่ะ 1. เริ่มจากล้างมะละกอให้สะอาด แล้วใช้มีดปอกเปลือก เอาไส้ออก หั่นเป็นเส้นบางๆ เตรียมไว้ 2. ตำกุ้งแห้งให้ละเอียด แล้วตักขึ้นพักไว้ 3. ใช้ครกหินหรือเครื่องปั่น บดพริกขี้หนูกับกระเทียมให้ละเอียด 4. ใส่กุ้งแห้งที่ตำแล้วลงไปผสม ตามด้วยน้ำตาลปี๊บ น้ำปลา มะนาว และเส้นมะละกอ คลุกเคล้าให้เข้ากัน 5. ชิมรสให้ได้รสหวาน เปรี้ยว เค็ม เผ็ด จากนั้นตักขึ้นเสิร์ฟพร้อมผักสด อาทิ กะหล่ำปลี ถั่วงอก แครอท ผักบุ้ง</s><s>ขอบคุณครับ [/INST]
 ```
 ### Multi Turn Conversation with Context (RAG) Example