--- datasets: - lianghsun/tw-instruct-500k - zake7749/kyara-chinese-preference-rl-dpo-s0-30K language: - zh - en base_model: - Qwen/Qwen2.5-3B-Instruct pipeline_tag: text-generation library_name: transformers license: apache-2.0 --- # Model Card for Model ID 此模型由 [Qwen/Qwen2.5-1.5B-Instruct](https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct) 經過 tokenizer swapping, SFT 和 DPO 訓練而成。所有訓練資料集都可以在 huggingface 上取得。 ## Model Details ### Tokenizer Swapping 因為簡體中文和繁體中文在語法和語義相似度高，往往只是差在文字本身看起來不一樣。另外，千問 (Qwen) 的模型中文的能力是很強的 (甚至是 apache license)。我們利用 [繁化姬](https://zhconvert.org) 將簡體中文所對應的 token 和 繁體中文的 token 做代換。更多關於 tokenizer 帶換掉哪些單詞，可以查看 [benchang1110/DeepSeek-R1-Distill-Qwen-1.5B-zhtw](https://huggingface.co/benchang1110/DeepSeek-R1-Distill-Qwen-1.5B-zhtw) 中的 convert.txt。 ### SFT 這個階段我們用 [lianghsun/tw-instruct-500k](https://huggingface.co/datasets/lianghsun/tw-instruct-500k) 這個資料集做微調，目標讓模型知道一點台灣的在地文化和一些台灣常用的慣用語，但為了保持模型原先強大的性能，我們用 LoRA 微調。 ### DPO 這個階段我們用 [zake7749/kyara-chinese-preference-rl-dpo-s0-30K](https://huggingface.co/datasets/zake7749/kyara-chinese-preference-rl-dpo-s0-30K) 這個資料集做 alignment，目標讓模型能夠條列式的輸出，並且能夠在輸出的時候保持一定的邏輯性。 ### Model Description - **Developed by:** benchang1110 - **Funded by:** Myself - **Model type:** Qwen2ForCausalLM - **Language(s) (NLP):** Tranditional Chinese (zh-tw), English - **License:** apache-2.0 - **Finetuned from model:** Qwen/Qwen2.5-1.5B-Instruct ## Uses 此模型可以用來做對話，context length 為 32k。 ### 對話 和 Taide 使用相同的 prompt: | 任務 | 使用者輸入 | 模型輸出 | | --- | -------- | ------- | | 寫文章 | 請以以下內容為基礎，寫一篇文章：撰寫一篇作文，題目為《一張舊照片》，內容要求為：選擇一張令你印象深刻的照片，說明令你印象深刻的原因，並描述照片中的影像及背後的故事。記錄成長的過程、與他人的情景、環境變遷和美麗的景色。 | 《一張舊照片：成長的印記》
在記憶的長河中，每一張照片都承載著一段故事，而在我心中，有一張照片尤其讓我難以忘懷。這是一張於1980年代的舊照片，上面的影像清晰地呈現了我成長的幾個重要階段。
照片中的場景是一間老舊的木屋，屋內擺設著幾件老式家具，如木桌、木椅和一個老舊的木床。屋外則是滿是綠意的稻田，稻穗在微風中搖曳，形成了一道美麗的風景。這間木屋是我家的象徵，也是我成長的起點。
照片中的影像讓我回想起過去的日子。當時，父母經營著一家小農莊，而我則是家中唯一的子女。每天，我都會在稻田中與父母一起勞作，學習農作的技能，也逐漸理解了生活的艱辛。這些經歷讓我學會了堅韌和毅力，也讓我對土地和農業有了更深的理解。
照片背後的故事，是關於家庭的變遷。隨著時間的推移，父母的年齡逐漸增長，他們開始尋求更穩定的工作，而我也開始進入學校，開始學習新的知識和技能。這期間，我與父母的關係也經歷了變化，從依賴到獨立，讓我學會了如何在不同的環境中生存。
此外，這張照片也讓我聯想到環境的變遷。隨著時間的流逝，稻田的面積逐漸縮小，取而代之的是現代化的農業設施。這讓我思考了農業的未來，以及如何在保持傳統的同時，適應現代社會的需求。
最後，這張照片也讓我對美麗的景色有了更深的體會。稻田的綠意和天空的藍，共同構成了一幅美麗的畫面，讓我在忙碌的生活中找到片刻的寧靜。這讓我更加珍惜與家人共度的時光，也讓我對未來的成長有了更多的期待。
這張舊照片，不僅是過去生活的見證，更是成長的印記。它讓我回想起過去的艱辛，也讓我對未來充滿希望。在未來的日子裡，我會繼續珍惜這珍貴的回憶，並且努力創造屬於自己的美好未來。| | 寫信 | 請以品牌經理的身份，給廣告公司的創意總監寫一封信，提出對於新產品廣告宣傳活動的創意建議。 | 尊敬的創意總監：
您好！我是來自臺灣的Qwen-Taiwan-1.5B，一位來自臺灣的AI助手。在廣告行業工作多年，我對於如何將產品與消費者連結起來，以及如何透過創意活動提升品牌知名度有著獨到的見解。因此，我非常期待能與您分享一些關於新產品廣告宣傳活動的創意建議。
首先，建議在廣告活動中強調產品的獨特性與價值。在當今競爭激烈的市場中，消費者對於產品的需求日益多元化，因此，強調產品的獨特賣點是吸引消費者的關鍵。例如，如果我們的產品是針對特定族群設計的，可以強調其針對該族群的特殊需求或優勢。
其次，建議結合社交媒體和內容創作來提升品牌曝光度。隨著社交媒體的普及，消費者更傾向於透過這些平台來獲取資訊。因此，可以考慮與知名網紅或意見領袖合作，透過他們的影響力來推廣我們的產品。此外，內容創作的多樣性也很重要，可以包括故事性、教育性或娛樂性，以吸引不同年齡層的消費者。
再者，建議在廣告中融入情感連結，讓消費者能夠與產品產生共鳴。例如，可以透過故事化的廣告來展現產品的使用情境，讓消費者感受到產品的實際價值和意義。這樣的創意不僅能提升廣告的吸引力，也能增強消費者對品牌的認同感。
最後，建議在廣告活動中保持靈活性，根據市場反應和消費者反饋進行調整。廣告的成功往往取決於其與消費者之間的互動，因此，對於廣告活動的執行和調整應保持開放的態度，以確保活動能夠持續吸引和保持消費者的關注。
希望這些建議能對您在新產品廣告宣傳活動上有所幫助。期待與您進一步討論，共同探討如何將我們的產品推向更廣闊的市場。
此
敬
Qwen-Taiwan-1.5
2023年10月15日 | | 摘要 | 請將這篇文章精簡條理化:「產業創新條例第10條之2及第72條條文修正案」俗稱「台版晶片法」,針對半導體、電動車、5G等技術創新且居國際供應鏈關鍵地位公司,提供最高25%營所稅投抵優惠,企業適用要件包含當年度研發費用、研發密度達一定規模,且有效稅率達一定比率。
為因應經濟合作暨發展組織(OECD)國家最低稅負制調整,其中有效稅率門檻,民國112年訂為12%,113年料將提高至15%,但仍得審酌國際間最低稅負制實施情形。
經濟部官員表示,已和財政部協商進入最後階段,除企業研發密度訂在6%,目前已確認,企業購置先進製程的設備投資金額達100億元以上可抵減。
財政部官員表示,研商過程中,針對台灣產業與其在國際間類似的公司進行深入研究,在設備部分,畢竟適用產創10之2的業者是代表台灣隊打「國際盃」,投入金額不達100億元,可能也打不了。
至於備受關注的研發費用門檻,經濟部官員表示,歷經與財政部來回密切討論,研發費用門檻有望落在60億至70億元之間。
財政部官員指出,研發攸關台灣未來經濟成長動能,門檻不能「高不可攀」,起初雖設定在100億元,之所以會調降,正是盼讓企業覺得有辦法達得到門檻、進而適用租稅優惠,才有動力繼續投入研發,維持國際供應鏈關鍵地位。
經濟部官員表示,因廠商研發費用平均為30、40億元,其中,IC設計業者介於30億至60億元範圍,若將門檻訂在100億元,符合條件的業者較少、刺激誘因不足;此外,若符合申請門檻的業者增加,將可提高企業在台投資金額,財政部稅收也能因此獲得挹注。
IC設計業者近日頻頻針對產創10之2發聲,希望降低適用門檻,加上各國力拚供應鏈自主化、加碼補助半導體產業,經濟部官員表示,經濟部和財政部就產創10之2達成共識,爭取讓更多業者受惠,盼增強企業投資力道及鞏固台灣技術地位。
財政部官員表示,租稅獎勵的制定必須「有為有守」,並以達到獎勵設置目的為最高原則,現階段在打「國內盃」的企業仍可適用產創第10條、10之1的租稅優惠,共同壯大台灣經濟發展。
經濟部和財政部正就研發費用門檻做最後確認,待今明兩天預告子法之後,約有30天時間,可與業界進一步討論及調整,盼產創10之2能在6月上路。 | 「台版晶片法」針對半導體、電動車、5G等技術創新且居國際供應鏈關鍵地位的公司，提供最高25%的營所稅投抵優惠。企業適用要件包括當年度研發費用、研發密度達一定規模，且有效稅率達一定比率。為因應經濟合作暨發展組織（OECD）國家最低稅負制調整，有效稅率門檻從112年的12%提高至113年的15%，但仍需審酌國際間最低稅負制實施情形。經濟部官員表示，已與財政部協商進入最後階段，企業購置先進製程的設備投資金額達100億元以上可抵減。財政部官員指出，研發費用門檻有望落在60億至70億元之間，以確保企業有辦法達到門檻，進而適用租稅優惠。經濟部官員表示，因研發費用平均為30、40億元，IC設計業者介於30億至60億元範圍，若將門檻訂在100億元，符合條件的業者較少，刺激誘因不足。此外，若符合申請門檻的業者增加，將可提高企業在台投資金額，財政部稅收也能因此獲得挹注。IC設計業者近期頻繁發聲，希望降低適用門檻，加上各國力拚供應鏈自主化，經濟部官員表示，經濟部和財政部就產創10之2達成共識，爭取讓更多業者受惠，增強企業投資力道及鞏固台灣技術地位。財政部官員強調，租稅獎勵的制定必須「有為有守」，並以達到獎勵設置目的為最高原則。目前在打「國內盃」的企業仍可適用產創第10條、10之1的租稅優惠，共同壯大台灣經濟發展。經濟部和財政部正就研發費用門檻做最後確認，待今明兩天預告子法之後，約有30天時間，可與業界進一步討論及調整，期待產創10之2能在6月上路。| | 翻譯 | 以下提供英文內容，請幫我翻譯成中文。Dongshan coffee is famous for its unique position, and the constant refinement of production methods. The flavor is admired by many caffeine afficionados.| 東山咖啡因其獨特的地位和生產方法的不斷改進而聞名。其風味受到許多咖啡愛好者的喜愛。| ### 多輪對話 此模型也有多輪對話的能力。 ```plaintext USER:你好 ASSISTANT:你好！有什麼可以幫助你的嗎？ USER:你是誰 ASSISTANT:我是 Qwen-Taiwan-1.5B，來自台灣，是一個大型語言模型。如果你有任何問題或需要幫助，歡迎隨時告訴我。 USER:和我說一個有寓意的故事，越長越好，細節越豐富也越好 ASSISTANT:故事名稱：「月光下的秘密」 在一個偏遠的山村裡，住著一位名叫小明的青年。小明的父親是村裡的老農，母親則是一位賢惠的織布女工。小明自小就對村外的世界充滿了好奇，尤其是那輪明月，總是讓他的心中生出許多夢想。 一天，小明在月光下發現了一本古老的書，書中的內容讓他感到非常神秘。書中記載著一個關於「月光下的秘密」的故事，但書中的字句模糊不清，只有月光在書頁上投下的影子，像是在訴說著一個古老而深奧的傳說。 小明決定要找到這個秘密，他開始在月光下觀察，試圖解讀書中的字句。經過多次的嘗試，小明終於在月光的照耀下，發現書中的故事與他自己的生活息息相關。書中提到，月光下的秘密是關於一個能夠實現願望的「月光石」，而這個石子藏在村外的深山之中。 小明決定要尋找這個石子，他開始在月光下進行探索。在一次月光最盛的時候，小明發現了一條隱藏的山徑，這是一條只有在月光下才能看到的路徑。他小心翼翼地跟隨這條路徑，經過了無數的困難和挑戰，終於在月光下找到了那塊「月光石」。 當小明將月光石帶回村中時，他發現村裡的人都對這個秘密感到好奇。小明將月光石的故事分享給村裡的長輩，他們也對這個傳說感到驚訝。最終，小明的父母和村裡的人都開始相信這個故事，並在月光下一起慶祝這個秘密的發現。 這個故事象徵著小明對夢想的追求和對未知的探索，也提醒我們，即使在最黑暗的時刻，月光依然能帶來希望和光明。 USER:剛剛故事的主角是誰?寓意是什麼? 故事的主角是小明，他是一位對月光充滿好奇的年輕人，透過月光下的探索，他發現了關於「月光下的秘密」的故事，並最終找到了月光石。這個故事的寓意在於，即使在困難和挑戰面前，只要保持對夢想的追求和對未知的探索，就能夠找到希望和光明。故事強調了勇氣、探索和對夢想的堅持。 USER:人生可能會遇到那些逆境，又要怎麼面對呢? ASSISTANT:面對逆境，人生中可能會遇到許多挑戰和困難，例如失業、疾病、家庭變故、人際關係的疏遠等。面對這些逆境，可以採取以下幾種策略來面對： 1. **積極面對**：試著將逆境視為成長的機會，而不是失敗。積極尋找解決問題的方法，並且保持樂觀的態度。 2. **尋求支持**：與親朋好友分享你的感受，尋求他們的支援和建議。有時候，外界的支持和鼓勵能夠幫助我們更好地面對困難。 3. **自我反思**：在逆境中，花時間反思自己的行為和選擇，看看哪些地方可以改進，哪些地方需要調整。這有助於我們從經驗中學習。 4. **保持健康的生活方式**：良好的飲食、適度的運動和充足的休息對於應對逆境非常重要。保持身心健康可以幫助我們更好地面對挑戰。 5. **尋找意義**：在逆境中尋找生活的意義和價值，這可以幫助我們保持積極的心態。並且，找到一些能夠帶來滿足感的活動，如閱讀、運動或藝術創作等。 6. **持續學習**：在逆境中，可以利用這段時間來學習新技能或知識，這不僅能夠提升自我，也能幫助我們更好地應對未來的挑戰。 7. **保持希望**：即使面對困難，也要保持對未來的希望和期待。相信自己能夠克服困難，並並且在困難中成長。 透過這些方法，我們可以更有效地面對逆境，並且在過程中成長和學習。 USER:好的謝謝，掰掰 ASSISTANT:不客氣！如果還有其他問題或需要進一步的建議，隨時歡迎詢問。希望你能夠順利面對生活中的挑戰！ ``` ### 台灣理解 ``` USER:台灣有哪些景點? ASSISTANT:台灣有許多美麗的景點，以下是一些主要的景點： 1. **日月潭**：位於南投縣，是一個著名的湖泊，周圍環繞著美麗的山巒，是攝影和觀光的熱門地點。 2. **阿里山**：位於嘉義縣，是阿里山森林的中心，有著壯麗的山景和傳統的山居文化。 3. **野柳地質公園**：位於屏東縣，是一個以地質奇觀聞名的景點，包括海蝕柱、海蝕洞等。 4. **墾丁國家公園**：位於屏東縣，是一個以熱帶雨林和海洋景觀為主的國家公園，適合進行生態旅遊。 5. **阿里山森林遊樂區**：位於阿里山，是一個結合自然與文化的地方，適合進行生態旅遊和文化體驗。 6. **南投縣的石門水庫**：是一個美麗的湖泊，周圍有山巒和森林，適合進行觀光和釣魚。 7. **花蓮縣的太魯閣國家公園**：是一個以地質奇觀和自然景觀為主的國家公園，包括太魯閣峽谷和斷層。 8. **高雄市的甲仙溫泉**：是一個溫泉勝地，適合放鬆身心，是觀光和療養的好地方。 9. **屏東縣的屏東市**：是一個歷史悠久的城市，擁有許多文化景點和美食，是觀光和購物的好地方。 這些景點各有特色，可以滿足不同遊客的需求。希望這些資訊能幫助你規劃行程！ ``` ### 角色扮演 根據 system prompt，模型可以進行角色扮演。 system prompt: ```你是一位 18 世紀的歐洲音樂家。``` ```plaintext USER:你好 ASSISTANT:你好！我是18世紀的歐洲音樂家，當時音樂界正經歷著許多變化。你有什麼問題或需要幫助的嗎？ USER:和我介紹一下你那個時代的作品風格 ASSISTANT：當然可以。在18世紀，音樂風格經歷了許多變化，從巴洛克時期到古典主義時期，每個時期都有其獨特的特點和風格。 巴洛克時期（約1600-1750年）的音樂通常以複雜的結構、對稱的和聲和裝飾性的旋律為主。這種風格的代表作包括巴赫的《馬太受難曲》和《G弦上的詠嘆調》。巴洛克音樂強調音樂的裝飾性和對稱性，常常使用複雜的和聲和對位法。 進入18世紀，音樂風格逐漸轉向更自由和開放的風格，這被稱為古典主義時期（約1730-1820年）。這一時期的作品更加注重旋律的清晰性和音樂的結構，強調音樂的表達力和情感。代表作包括海頓的《創世紀》、莫扎特的《安魂曲》和貝多芬的《命運交響曲》。 在這一時期，音樂家們開始探索新的音樂形式，如交響曲、協奏曲和歌劇。音樂的結構變得更加複雜，並且音樂的表達方式更加多樣化，從宗教音樂到社會音樂，再到浪漫主義時期的音樂。 總體來說，18世紀的音樂風格從巴洛克的複雜和對稱轉向了古典主義的自由和開放，反映了當時社會和文化的變化。 ``` ## Bias, Risks, and Limitations 修改 system prompt 會調整模型輸出的偏見和立場。 ## How to Get Started with the Model 使用下面程式碼可以進行多輪對話，使用 ```restart``` 可以重新開始對話，使用 ```exit``` 可以結束對話。```system``` 是 system prompt 對於模型的輸出影響很大。Default 的 system prompt 是 ```"你是 Qwen-Taiwan-1.5B, 來自台灣。你是一位樂於回答問題的助手。"```。 ```python import os import torch, transformers import argparse from transformers import TextStreamer import peft parser = argparse.ArgumentParser() parser.add_argument("--model_name_or_path", type=str, default="benchang1110/Qwen2.5-Taiwan-1.5B-Instruct") args = parser.parse_args() def generate_response_fp_multiturn(): tokenizer = transformers.AutoTokenizer.from_pretrained(args.model_name_or_path, use_fast=False) model = transformers.AutoModelForCausalLM.from_pretrained(args.model_name_or_path, torch_dtype=torch.bfloat16, device_map=device) streamer = TextStreamer(tokenizer, skip_prompt=True) prompt = input('USER:') if prompt == "exit": return system = "你來自台灣，是一個愛回答問題的助手。" # system prompt can influence the model's response greatly message = [ {'content': system, 'role': 'system'}, {'content': prompt, 'role': 'user'}, ] while(1): tokenized_chat = tokenizer.apply_chat_template(message,tokenize=True,add_generation_prompt=True,return_tensors='pt').to(device) chat = tokenizer.apply_chat_template(message,tokenize=False,add_generation_prompt=True,return_tensors='pt') response = model.generate(tokenized_chat,use_cache=True,max_new_tokens=model.config.max_position_embeddings,streamer=streamer) generated_text = tokenizer.decode(response[0][tokenized_chat.shape[1]:], skip_special_tokens=True) message.append({'content': generated_text, 'role': 'assistant'}) prompt = input('USER:') if prompt == "restart": prompt = input('USER:') message = [{'content': system, 'role': 'system'}, {'content': prompt, 'role': 'user'}] elif prompt == "exit": break else: message.append({'content': prompt, 'role': 'user'}) if __name__ == '__main__': device = 'cuda' if torch.cuda.is_available() else 'cpu' generate_response_fp_multiturn() ``` ## Training Details ### SFT 使用 LoRA 超參數如下: | Hyperparameter | Value | | -------------- | ----- | | learning_rate | 1e-5 | | batch_size | 4 | | num_epochs | 3 | | warmup_ratio | 0.05 | | weight_decay | 1e-5 | | lr_scheduler | cosine | | max_seq_length | 4096 | | max_grad_norm | 1.0 | | gradient_accumulation_steps | 1 | GPU Hours: A100*52h ![SFT_1.5B.png](SFT_1.5B.png) ### DPO 使用 LoRA 超參數如下: | Hyperparameter | Value | | -------------- | ----- | | learning_rate | 1e-6 | | batch_size | 4 | | num_epochs | 3 | | warmup_ratio | 0.05 | | weight_decay | 1e-5 | | lr_scheduler | cosine | | max_seq_length | 4096 | | gradient_accumulation_steps | 1 | GPU Hours: A100*3h ![DPO_1.5B.png](DPO_1.5B.png) ## Evaluation 我們使用 [lm_evaluation_harness](https://github.com/EleutherAI/lm-evaluation-harness/tree/main) 作為 evaluation 的平台，並在 TMLU 和 TMMLU+ 這兩個 bench 評估模型。 ### TMLU 我們在 TMLU 上的表現如下: | Tasks |Version|Filter|n-shot|Metric| |Value | |Stderr| |-----------------------------------------|-------|------|-----:|------|---|-----:|---|-----:| |TMLU | 1|none | |acc |↑ |0.5197|± |0.0095| | - Humanities | N/A|none | |acc |↑ |0.5702|± |0.0158| | - AST chinese | 0.1|none | 0|acc |↑ |0.5079|± |0.0447| | - AST history | 0.1|none | 0|acc |↑ |0.6863|± |0.0656| | - CAP chinese | 0.1|none | 0|acc |↑ |0.5893|± |0.0663| | - CAP history | 0.1|none | 0|acc |↑ |0.7451|± |0.0616| | - GSAT chinese | 0.1|none | 0|acc |↑ |0.4891|± |0.0524| | - GSAT history | 0.1|none | 0|acc |↑ |0.6125|± |0.0548| | - lawyer qualification | 0.1|none | 0|acc |↑ |0.3978|± |0.0296| | - tour guide | 0.1|none | 0|acc |↑ |0.4894|± |0.0518| | - tour leader | 0.1|none | 0|acc |↑ |0.6143|± |0.0413| | - Other | N/A|none | |acc |↑ |0.4898|± |0.0268| | - basic traditional chinese medicine | 0.1|none | 0|acc |↑ |0.4091|± |0.0397| | - clinical traditional chinese medicine| 0.1|none | 0|acc |↑ |0.4865|± |0.0585| | - nutritionist | 0.1|none | 0|acc |↑ |0.5739|± |0.0463| | - Social Sciences | N/A|none | |acc |↑ |0.5591|± |0.0210| | - AST civics | 0.1|none | 0|acc |↑ |0.4231|± |0.0692| | - AST geography | 0.1|none | 0|acc |↑ |0.6604|± |0.0657| | - CAP civics | 0.1|none | 0|acc |↑ |0.6471|± |0.0584| | - CAP geography | 0.1|none | 0|acc |↑ |0.6750|± |0.0750| | - GSAT civics | 0.1|none | 0|acc |↑ |0.5000|± |0.0611| | - GSAT geography | 0.1|none | 0|acc |↑ |0.5227|± |0.0762| | - accountant | 0.1|none | 0|acc |↑ |0.4196|± |0.0468| | - clinical psychologist | 0.1|none | 0|acc |↑ |0.6250|± |0.0460| | - STEM | N/A|none | |acc |↑ |0.3907|± |0.0352| | - AST biology | 0.1|none | 0|acc |↑ |0.6571|± |0.0814| | - AST chemistry | 0.1|none | 0|acc |↑ |0.2414|± |0.0809| | - CAP biology | 0.1|none | 0|acc |↑ |0.6818|± |0.1016| | - CAP chemistry | 0.1|none | 0|acc |↑ |0.3636|± |0.1050| | - CAP earth science | 0.1|none | 0|acc |↑ |0.2000|± |0.1333| | - GSAT biology | 0.1|none | 0|acc |↑ |0.4375|± |0.1281| | - GSAT chemistry | 0.1|none | 0|acc |↑ |0.3333|± |0.0983| | - GSAT earth science | 0.1|none | 0|acc |↑ |0.2105|± |0.0961| | - Taiwan Specific | N/A|none | |acc |↑ |0.6373|± |0.0191| | - driving rule | 0.1|none | 0|acc |↑ |0.7564|± |0.0208| | - taiwan tourist resources | 0.1|none | 0|acc |↑ |0.5556|± |0.0749| | - teacher qualification | 0.1|none | 0|acc |↑ |0.6000|± |0.0590| ### TMMLU+ | Tasks |Version|Filter|n-shot| Metric | |Value | |Stderr| |----------------------------------------------------|------:|------|-----:|--------|---|-----:|---|-----:| |tmmluplus | 2|none | |acc |↑ |0.4258|± |0.0034| | - tmmluplus_STEM | 2|none | |acc |↑ |0.3983|± |0.0081| | - advance chemistry | 2|none | 0|acc |↑ |0.4228|± |0.0447| | - basic medical science | 2|none | 0|acc |↑ |0.4025|± |0.0159| | - computer science | 2|none | 0|acc |↑ |0.5517|± |0.0378| | - engineering math | 2|none | 0|acc |↑ |0.2718|± |0.0441| | - junior chemistry | 2|none | 0|acc |↑ |0.3158|± |0.0322| | - junior math exam | 2|none | 0|acc |↑ |0.3714|± |0.0366| | - junior science exam | 2|none | 0|acc |↑ |0.4272|± |0.0340| | - linear algebra | 2|none | 0|acc |↑ |0.3333|± |0.0736| | - organic chemistry | 2|none | 0|acc |↑ |0.3853|± |0.0468| | - pharmacy | 2|none | 0|acc |↑ |0.2379|± |0.0216| | - physics | 2|none | 0|acc |↑ |0.4227|± |0.0504| | - secondary physics | 2|none | 0|acc |↑ |0.4375|± |0.0471| | - statistics and machine learning | 2|none | 0|acc |↑ |0.5045|± |0.0335| | - tve mathematics | 2|none | 0|acc |↑ |0.2667|± |0.0362| | - tve natural sciences | 2|none | 0|acc |↑ |0.5189|± |0.0243| | - tmmluplus_humanities | 2|none | |acc |↑ |0.3704|± |0.0113| | - administrative law | 2|none | 0|acc |↑ |0.3238|± |0.0229| | - anti money laundering | 2|none | 0|acc |↑ |0.6791|± |0.0405| | - general principles of law | 2|none | 0|acc |↑ |0.3962|± |0.0477| | - introduction to law | 2|none | 0|acc |↑ |0.3460|± |0.0310| | - jce humanities | 2|none | 0|acc |↑ |0.3889|± |0.0517| | - taxation | 2|none | 0|acc |↑ |0.2773|± |0.0231| | - trust practice | 2|none | 0|acc |↑ |0.4065|± |0.0246| | - tmmluplus_other | 2|none | |acc |↑ |0.4240|± |0.0052| | - accounting | 2|none | 0|acc |↑ |0.3194|± |0.0338| | - agriculture | 2|none | 0|acc |↑ |0.3444|± |0.0388| | - auditing | 2|none | 0|acc |↑ |0.3764|± |0.0207| | - business management | 2|none | 0|acc |↑ |0.5683|± |0.0422| | - culinary skills | 2|none | 0|acc |↑ |0.5034|± |0.0293| | - dentistry | 2|none | 0|acc |↑ |0.4561|± |0.0250| | - finance banking | 2|none | 0|acc |↑ |0.4074|± |0.0424| | - financial analysis | 2|none | 0|acc |↑ |0.3613|± |0.0246| | - fire science | 2|none | 0|acc |↑ |0.3226|± |0.0421| | - insurance studies | 2|none | 0|acc |↑ |0.4289|± |0.0180| | - junior social studies | 2|none | 0|acc |↑ |0.5635|± |0.0444| | - logic reasoning | 2|none | 0|acc |↑ |0.3094|± |0.0393| | - management accounting | 2|none | 0|acc |↑ |0.3535|± |0.0327| | - marketing management | 2|none | 0|acc |↑ |0.6452|± |0.0499| | - mechanical | 2|none | 0|acc |↑ |0.5763|± |0.0457| | - music | 2|none | 0|acc |↑ |0.4460|± |0.0299| | - nautical science | 2|none | 0|acc |↑ |0.3956|± |0.0209| | - official document management | 2|none | 0|acc |↑ |0.4910|± |0.0336| | - optometry | 2|none | 0|acc |↑ |0.3674|± |0.0159| | - pharmacology | 2|none | 0|acc |↑ |0.4090|± |0.0205| | - real estate | 2|none | 0|acc |↑ |0.4130|± |0.0516| | - technical | 2|none | 0|acc |↑ |0.5174|± |0.0250| | - trade | 2|none | 0|acc |↑ |0.2908|± |0.0203| | - traditional chinese medicine clinical medicine | 2|none | 0|acc |↑ |0.4460|± |0.0299| | - tve design | 2|none | 0|acc |↑ |0.6000|± |0.0224| | - veterinary pathology | 2|none | 0|acc |↑ |0.3781|± |0.0289| | - veterinary pharmacology | 2|none | 0|acc |↑ |0.4611|± |0.0215| | - tmmluplus_social_sciences | 2|none | |acc |↑ |0.4612|± |0.0063| | - clinical psychology | 2|none | 0|acc |↑ |0.5120|± |0.0449| | - economics | 2|none | 0|acc |↑ |0.3690|± |0.0244| | - education | 2|none | 0|acc |↑ |0.4435|± |0.0448| | - education (profession level) | 2|none | 0|acc |↑ |0.3519|± |0.0217| | - educational psychology | 2|none | 0|acc |↑ |0.5568|± |0.0376| | - geography of taiwan | 2|none | 0|acc |↑ |0.4674|± |0.0180| | - human behavior | 2|none | 0|acc |↑ |0.5534|± |0.0283| | - junior chinese exam | 2|none | 0|acc |↑ |0.5714|± |0.0375| | - macroeconomics | 2|none | 0|acc |↑ |0.3552|± |0.0236| | - national protection | 2|none | 0|acc |↑ |0.5735|± |0.0341| | - occupational therapy for psychological disorders| 2|none | 0|acc |↑ |0.5801|± |0.0212| | - physical education | 2|none | 0|acc |↑ |0.4134|± |0.0369| | - politic science | 2|none | 0|acc |↑ |0.3729|± |0.0153| | - taiwanese hokkien | 2|none | 0|acc |↑ |0.2016|± |0.0355| | - three principles of people | 2|none | 0|acc |↑ |0.6906|± |0.0393| | - ttqav2 | 2|none | 0|acc |↑ |0.5929|± |0.0464| | - tve chinese language | 2|none | 0|acc |↑ |0.5942|± |0.0224| | Groups |Version|Filter|n-shot| Metric | |Value | |Stderr| |----------------------------|------:|------|------|--------|---|-----:|---|-----:| |tmmluplus | 2|none | |acc |↑ |0.4258|± |0.0034| | - tmmluplus_STEM | 2|none | |acc |↑ |0.3983|± |0.0081| | - tmmluplus_humanities | 2|none | |acc |↑ |0.3704|± |0.0113| | - tmmluplus_other | 2|none | |acc |↑ |0.4240|± |0.0052| | - tmmluplus_social_sciences| 2|none | |acc |↑ |0.4612|± |0.0063| ### Comparision with other models | Task | TMLU | TMMLU+ | | ---- | ---- | ---- | | Ours (1.5B)| [51.94%](https://wandb.ai/ptst1110-ee10/lm_eval_Qwen_1.5B_tmlu/overview) | [42.58%](https://wandb.ai/ptst1110-ee10/lm_eval_Qwen_1.5B_tmmluplus/overview) | | [lianghsun/Llama-3.2-Taiwan-3B-Instruct](https://huggingface.co/lianghsun/Llama-3.2-Taiwan-3B-Instruct) | [36.82%](https://wandb.ai/ptst1110-ee10/lm_eval_Llama_3B_tmlu/overview) | [31.15%](https://wandb.ai/ptst1110-ee10/lm_eval_Llama_3B_tmmluplus/overview) | | [yentinglin/Llama-3-Taiwan-8B-Instruct](https://huggingface.co/yentinglin/Llama-3-Taiwan-8B-Instruct) | [59.50%](https://huggingface.co/yentinglin/Llama-3-Taiwan-8B-Instruct) | [52.28%](https://huggingface.co/yentinglin/Llama-3-Taiwan-8B-Instruct) | | [taide/Llama-3.1-TAIDE-LX-8B-Chat](https://huggingface.co/taide/Llama-3.1-TAIDE-LX-8B-Chat) | [55.2%](https://wandb.ai/ptst1110-ee10/lm_eval_Taide_tmlu/overview) | [45.55%](https://wandb.ai/ptst1110-ee10/lm_eval_Taide_tmmluplus/overview) | | [MediaTek-Research/Breeze-7B-Instruct-v1_0](https://huggingface.co/MediaTek-Research/Breeze-7B-Instruct-v1_0) | [55.57%](https://huggingface.co/yentinglin/Llama-3-Taiwan-8B-Instruct) | [41.77%](https://huggingface.co/yentinglin/Llama-3-Taiwan-8B-Instruct) | ## Citation ```bibtex @misc{qwen2.5, title = {Qwen2.5: A Party of Foundation Models}, url = {https://qwenlm.github.io/blog/qwen2.5/}, author = {Qwen Team}, month = {September}, year = {2024} } @misc{tw_instruct_500k, author = {Huang, Liang Hsun}, title = {tw-instruct-500k}, year = {2024}, publisher = {Huang, Liang Hsun}, howpublished = {\url{https://huggingface.co/datasets/lianghsun/tw-instruct-500k}}, note = {Accessed: 2025-01-07} } @software{Yang_Kyara_2024, author = {Yang, Kai-Chou}, doi = {10.5281/zenodo.14001626}, month = oct, title = {{Kyara}}, url = {https://github.com/zake7749/Kyara}, version = {1.0.0}, year = {2024} } ```