ဒီအခန်းက သင်ကြားရမယ့် အကြောင်းအရာတွေ အများကြီးကို ဖော်ပြခဲ့ပြီးပါပြီ။ အသေးစိတ် အချက်အလက်အားလုံးကို နားမလည်သေးရင်လည်း စိတ်မပူပါနဲ့။ ဒါပေမယ့် ဒီ quiz နဲ့ သင် သင်ယူခဲ့တာတွေကို ပြန်လည်သုံးသပ်ကြည့်ရအောင်။

ဒီ quiz က အမှတ်မပေးတဲ့အတွက် သင်နှစ်သက်သလောက် အကြိမ်ကြိမ် ကြိုးစားဖြေဆိုနိုင်ပါတယ်။ မေးခွန်းအချို့နဲ့ ရုန်းကန်ရရင် အကြံပြုချက်တွေကို လိုက်နာပြီး သင်ခန်းစာတွေကို ပြန်လည်လေ့လာပါ။ ဒီအကြောင်းအရာတွေကို အသိအမှတ်ပြု စာမေးပွဲမှာ ထပ်မံဖြေဆိုရမှာ ဖြစ်ပါတယ်။

1. Hub ကို ရှာဖွေပြီး roberta-large-mnli checkpoint ကို ရှာပါ။ ၎င်းသည် မည်သည့်လုပ်ငန်းကို လုပ်ဆောင်ပါသနည်း။

အကျဉ်းချုပ်ခြင်း (Summarization) စာသားခွဲခြားသတ်မှတ်ခြင်း (Text classification) စာသားထုတ်လုပ်ခြင်း (Text generation)

2. အောက်ပါ code သည် မည်သည့်အရာကို ပြန်ပေးမည်နည်း။

from transformers import pipeline

ner = pipeline("ner", grouped_entities=True)
ner("My name is Sylvain and I work at Hugging Face in Brooklyn.")

၎င်းသည် ဤစာကြောင်းအတွက် classification scores "positive" သို့မဟုတ် "negative" အညွှန်းများဖြင့် ကို ပြန်ပေးပါလိမ့်မည်။ ၎င်းသည် ဤစာကြောင်းကို ဖြည့်စွက်ထားသော ဖန်တီးထားသည့် စာသားကို ပြန်ပေးပါလိမ့်မည်။ ၎င်းသည် လူပုဂ္ဂိုလ်များ၊ အဖွဲ့အစည်းများ သို့မဟုတ် နေရာများကို ကိုယ်စားပြုသည့် စကားလုံးများကို ပြန်ပေးပါလိမ့်မည်။

3. ဤ code နမူနာတွင် … နေရာ၌ မည်သည့်အရာကို အစားထိုးသင့်သနည်း။

from transformers import pipeline

filler = pipeline("fill-mask", model="bert-base-cased")
result = filler("...")

This <mask> has been waiting for you. This [MASK] has been waiting for you. This man has been waiting for you.

4. ဤ code သည် အဘယ်ကြောင့် အလုပ်မလုပ်နိုင်သနည်း။

from transformers import pipeline

classifier = pipeline("zero-shot-classification")
result = classifier("This is a course about the Transformers library")

ဤ pipeline သည် ဤစာသားကို အမျိုးအစားခွဲခြားရန်အတွက် အညွှန်းများ (labels) ပေးရန် လိုအပ်ပါသည်။ ဤ pipeline သည် စာကြောင်းတစ်ကြောင်းတည်းမဟုတ်ဘဲ စာကြောင်းများစွာ လိုအပ်ပါသည်။ 🤗 Transformers library သည် အမြဲတမ်းလိုလို ပျက်နေပါသည်။ ဤ pipeline သည် ပိုရှည်သော inputs များ လိုအပ်ပါသည်။ ဤ input သည် အလွန်တိုတောင်းပါသည်။

5. “Transfer learning” ဆိုတာ ဘာကိုဆိုလိုတာလဲ။

ကြိုတင်လေ့ကျင့်ထားသော မော်ဒယ်တစ်ခု၏ အသိပညာကို တူညီသော dataset ဖြင့် ထပ်မံလေ့ကျင့်ခြင်းအားဖြင့် မော်ဒယ်အသစ်သို့ လွှဲပြောင်းပေးခြင်း။ ကြိုတင်လေ့ကျင့်ထားသော မော်ဒယ်တစ်ခု၏ အသိပညာကို ဒုတိယမော်ဒယ်ကို ပထမမော်ဒယ်၏ weights များဖြင့် စတင်ခြင်းအားဖြင့် မော်ဒယ်အသစ်သို့ လွှဲပြောင်းပေးခြင်း။ ကြိုတင်လေ့ကျင့်ထားသော မော်ဒယ်တစ်ခု၏ အသိပညာကို ဒုတိယမော်ဒယ်ကို ပထမမော်ဒယ်နှင့် တူညီသော architecture ဖြင့် တည်ဆောက်ခြင်းအားဖြင့် မော်ဒယ်အသစ်သို့ လွှဲပြောင်းပေးခြင်း။

6. မှန်လား မှားလား။ Language Model တစ်ခုသည် ၎င်း၏ pretraining အတွက် အညွှန်းများ (labels) မလိုအပ်ပါ။

မှန်သည် မှားသည်

7. “model”၊ “architecture” နှင့် “weights” ဟူသော ဝေါဟာရများကို အကောင်းဆုံး ဖော်ပြသည့် စာကြောင်းကို ရွေးပါ။

အကယ်၍ model တစ်ခုသည် အဆောက်အအုံတစ်ခုဖြစ်ပါက ၎င်း၏ architecture သည် ပုံစံထုတ်ဒီဇိုင်း (blueprint) ဖြစ်ပြီး weights များသည် အတွင်း၌ နေထိုင်သူများ ဖြစ်သည်။ Architecture တစ်ခုသည် model တစ်ခုကို တည်ဆောက်ရန် မြေပုံတစ်ခုဖြစ်ပြီး ၎င်း၏ weights များသည် မြေပုံပေါ်တွင် ဖော်ပြထားသော မြို့များ ဖြစ်သည်။ Architecture တစ်ခုသည် model တစ်ခုကို တည်ဆောက်ရန် သင်္ချာဆိုင်ရာ functions များ၏ ဆက်တိုက်ဖြစ်စဉ်တစ်ခုဖြစ်ပြီး ၎င်း၏ weights များသည် ထို functions များ၏ parameters များ ဖြစ်သည်။

8. ဖန်တီးထားသော စာသားများဖြင့် prompts များကို ဖြည့်စွက်ရန်အတွက် မည်သည့်မော်ဒယ်အမျိုးအစားများကို အသုံးပြုမည်နည်း။

Encoder model တစ်ခု Decoder model တစ်ခု Sequence-to-sequence model တစ်ခု

9. စာသားများကို အကျဉ်းချုပ်ရန်အတွက် မည်သည့်မော်ဒယ်အမျိုးအစားများကို အသုံးပြုမည်နည်း။

Encoder model တစ်ခု Decoder model တစ်ခု Sequence-to-sequence model တစ်ခု

10. သတ်မှတ်ထားသော အညွှန်းများ (labels) အတိုင်း စာသား inputs များကို အမျိုးအစားခွဲခြားရန်အတွက် မည်သည့်မော်ဒယ်အမျိုးအစားများကို အသုံးပြုမည်နည်း။

Encoder model တစ်ခု Decoder model တစ်ခု Sequence-to-sequence model တစ်ခု

11. မော်ဒယ်တစ်ခုတွင် တွေ့ရသော ဘက်လိုက်မှု (bias) သည် မည်သည့်ရင်းမြစ်မှ ဖြစ်ပေါ်လာနိုင်သနည်း။

မော်ဒယ်သည် ကြိုတင်လေ့ကျင့်ထားသော မော်ဒယ်၏ fine-tuned version တစ်ခုဖြစ်ပြီး ၎င်းမှ ဘက်လိုက်မှုကို ရယူခဲ့ခြင်း။ မော်ဒယ်ကို လေ့ကျင့်ရာတွင် အသုံးပြုခဲ့သော ဒေတာသည် ဘက်လိုက်မှု ရှိခြင်း။ မော်ဒယ်က အကောင်းဆုံးဖြစ်အောင် လုပ်ဆောင်နေတဲ့ metric မှာ ဘက်လိုက်မှု ရှိခြင်း။

ဝေါဟာရ ရှင်းလင်းချက် (Glossary)

Quiz: သင်ယူခဲ့သည့် အကြောင်းအရာများကို ပြန်လည်စစ်ဆေးရန် မေးခွန်းများ။
Transformer Models: Natural Language Processing (NLP) မှာ အောင်မြင်မှုများစွာရရှိခဲ့တဲ့ deep learning architecture တစ်မျိုးပါ။ ၎င်းတို့ဟာ စာသားတွေထဲက စကားလုံးတွေရဲ့ ဆက်နွယ်မှုတွေကို “attention mechanism” သုံးပြီး နားလည်အောင် သင်ကြားပေးပါတယ်။
Hugging Face Hub: AI မော်ဒယ်တွေ၊ datasets တွေနဲ့ demo တွေကို အခြားသူတွေနဲ့ မျှဝေဖို့၊ ရှာဖွေဖို့နဲ့ ပြန်လည်အသုံးပြုဖို့အတွက် အွန်လိုင်း platform တစ်ခု ဖြစ်ပါတယ်။
Checkpoint: မော်ဒယ်တစ်ခုကို လေ့ကျင့်နေစဉ်အတွင်း အချိန်အတန်ကြာပြီးနောက် အခြေအနေတစ်ခုကို သိမ်းဆည်းထားသော အမှတ်။
Task: AI မော်ဒယ်တစ်ခုက လုပ်ဆောင်ရန် လေ့ကျင့်ထားသော သီးခြားလုပ်ငန်း (ဥပမာ- စာသားခွဲခြားသတ်မှတ်ခြင်း၊ စာသားထုတ်လုပ်ခြင်း)။
Summarization: စာသားတစ်ခုကို အဓိကအချက်အလက်များ မပျောက်ပျက်စေဘဲ ပိုမိုတိုတောင်းသော ပုံစံဖြင့် အကျဉ်းချုပ်ခြင်း။
Text Classification: စာသားတစ်ခုကို ကြိုတင်သတ်မှတ်ထားသော အမျိုးအစားများ သို့မဟုတ် အညွှန်းများထဲသို့ ခွဲခြားသတ်မှတ်ခြင်း။
Natural Language Inference (NLI): စာကြောင်းနှစ်ကြောင်းကြားရှိ ယုတ္တိဆိုင်ရာ ဆက်နွယ်မှုကို ဆုံးဖြတ်သည့် လုပ်ငန်း။ (ဥပမာ- contradiction, neutral, entailment)
Text Generation: AI မော်ဒယ်များကို အသုံးပြု၍ လူသားကဲ့သို့သော စာသားအသစ်များ ဖန်တီးခြင်း။
pipeline() function: Hugging Face Transformers library မှာ ပါဝင်တဲ့ လုပ်ဆောင်ချက်တစ်ခုဖြစ်ပြီး မော်ဒယ်တွေကို သီးခြားလုပ်ငန်းတာဝန်များ (ဥပမာ- စာသားခွဲခြားသတ်မှတ်ခြင်း၊ စာသားထုတ်လုပ်ခြင်း) အတွက် အသုံးပြုရလွယ်ကူအောင် ပြုလုပ်ပေးပါတယ်။
ner (Named Entity Recognition): စာသားထဲက လူအမည်၊ နေရာအမည်၊ အဖွဲ့အစည်းအမည် စတဲ့ သီးခြားအမည်တွေကို ရှာဖွေဖော်ထုတ်ခြင်း။
grouped_entities=True: ner pipeline တွင် အသုံးပြုသည့် parameter တစ်ခုဖြစ်ပြီး တူညီသော entity နှင့် သက်ဆိုင်သည့် စကားလုံးများကို အုပ်စုဖွဲ့ပေးသည်။
sentiment-analysis pipeline: စာသားတစ်ခု၏ စိတ်ခံစားမှု (အပြုသဘော၊ အနုတ်သဘော) ကို ခွဲခြမ်းစိတ်ဖြာရန် အသုံးပြုသော pipeline။
text-generation pipeline: input prompt အပေါ် အခြေခံ၍ စာသားအသစ်များကို ဖန်တီးရန် အသုံးပြုသော pipeline။
fill-mask pipeline: စာသားတစ်ခုရှိ ဝှက်ထားသော စကားလုံးများ (mask tokens) ကို ဖြည့်ဆည်းပေးရန် အသုံးပြုသော pipeline။
bert-base-cased: BERT (Bidirectional Encoder Representations from Transformers) မော်ဒယ်၏ ဗားရှင်းတစ်ခုဖြစ်ပြီး အင်္ဂလိပ်စာလုံးအကြီးအသေးကို ခွဲခြားသိမြင်သည်။ ၎င်း၏ mask token သည် [MASK] ဖြစ်သည်။
zero-shot-classification pipeline: လေ့ကျင့်မှုဒေတာတွင် မမြင်ဖူးသေးသော အညွှန်းများဖြင့် စာသားများကို အမျိုးအစားခွဲခြားနိုင်သော pipeline။
candidate_labels: zero-shot-classification pipeline တွင် အသုံးပြုသည့် parameter တစ်ခုဖြစ်ပြီး စာသားကို ခွဲခြားသတ်မှတ်ရန်အတွက် ဖြစ်နိုင်ခြေရှိသော အညွှန်းများ (labels) စာရင်းကို ပေးပို့သည်။
Transfer Learning: ကြိုတင်လေ့ကျင့်ထားသော မော်ဒယ်တစ်ခု၏ အသိပညာကို အခြားလုပ်ငန်းတစ်ခု (new task) အတွက် မော်ဒယ်အသစ်သို့ လွှဲပြောင်းပေးခြင်း။
Pretrained Model: ကြီးမားသော ဒေတာအစုအဝေးများဖြင့် အစောပိုင်းကတည်းက လေ့ကျင့်ထားသော မော်ဒယ်။
Fine-tuned Model: ကြိုတင်လေ့ကျင့်ထားသော မော်ဒယ်တစ်ခုကို သီးခြားလုပ်ငန်းတစ်ခု (specific task) အတွက် အနည်းငယ်သော ဒေတာနှင့် ထပ်မံလေ့ကျင့်ပေးထားသော မော်ဒယ်။
Weights: Machine Learning မော်ဒယ်တစ်ခု၏ သင်ယူနိုင်သော အစိတ်အပိုင်းများ။ ၎င်းတို့သည် လေ့ကျင့်နေစဉ်အတွင်း ဒေတာများမှ ပုံစံများကို သင်ယူကာ ချိန်ညှိပေးသည်။
Architecture: Machine Learning မော်ဒယ်တစ်ခု၏ တည်ဆောက်ပုံ သို့မဟုတ် ဒီဇိုင်း။ ၎င်းသည် သင်္ချာဆိုင်ရာ functions များ၏ အစီအစဉ်နှင့် ၎င်းတို့ မည်သို့ချိတ်ဆက်ထားသည်ကို သတ်မှတ်သည်။
Self-supervised Learning: အညွှန်းများ (labels) ကို inputs များမှ အလိုအလျောက် ထုတ်လုပ်နိုင်သည့် သင်ယူမှုပုံစံတစ်မျိုး။
Encoder Model: Transformer Architecture ၏ အစိတ်အပိုင်းတစ်ခုဖြစ်ပြီး input data (ဥပမာ- စာသား) ကို နားလည်ပြီး ကိုယ်စားပြုတဲ့ အချက်အလက် (representation) အဖြစ် ပြောင်းလဲပေးကာ classification ကဲ့သို့သော လုပ်ငန်းများအတွက် သင့်လျော်သည်။
Decoder Model: Transformer Architecture ၏ အစိတ်အပိုင်းတစ်ခုဖြစ်ပြီး encoder ကနေ ရရှိတဲ့ အချက်အလက် (representation) ကို အသုံးပြုပြီး output data (ဥပမာ- ဘာသာပြန်ထားတဲ့ စာသား သို့မဟုတ် စာသားထုတ်လုပ်ခြင်း) ကို ထုတ်ပေးသည်။
Sequence-to-sequence Model: Encoder နှင့် Decoder နှစ်ခုစလုံး ပါဝင်သော Transformer architecture တစ်မျိုးဖြစ်ပြီး input sequence မှ output sequence တစ်ခုသို့ ပြောင်းလဲခြင်း (ဥပမာ- ဘာသာပြန်ခြင်း၊ အကျဉ်းချုပ်ခြင်း) လုပ်ငန်းများအတွက် အသုံးပြုပါတယ်။
Bias: ဒေတာအစုအဝေး (dataset) သို့မဟုတ် မော်ဒယ်၏ လေ့ကျင့်မှုပုံစံကြောင့် ဖြစ်ပေါ်လာသော ဘက်လိုက်မှုများ။
Metric: မော်ဒယ်တစ်ခု၏ စွမ်းဆောင်ရည်ကို တိုင်းတာရန် အသုံးပြုသော တိုင်းတာမှုစနစ်။

Update on GitHub

←Transformer Architectures များ LLMs များဖြင့် မှန်းဆတွက်ချက်ခြင်း။→

အမှတ်မပေးသော Quiz 1. Hub ကို ရှာဖွေပြီး roberta-large-mnli checkpoint ကို ရှာပါ။ ၎င်းသည် မည်သည့်လုပ်ငန်းကို လုပ်ဆောင်ပါသနည်း။ 2. အောက်ပါ code သည် မည်သည့်အရာကို ပြန်ပေးမည်နည်း။ 3. ဤ code နမူနာတွင် … နေရာ၌ မည်သည့်အရာကို အစားထိုးသင့်သနည်း။ 4. ဤ code သည် အဘယ်ကြောင့် အလုပ်မလုပ်နိုင်သနည်း။ 5. “Transfer learning” ဆိုတာ ဘာကိုဆိုလိုတာလဲ။ 6. မှန်လား မှားလား။ Language Model တစ်ခုသည် ၎င်း၏ pretraining အတွက် အညွှန်းများ (labels) မလိုအပ်ပါ။ 7. “model”၊ “architecture” နှင့် “weights” ဟူသော ဝေါဟာရများကို အကောင်းဆုံး ဖော်ပြသည့် စာကြောင်းကို ရွေးပါ။ 8. ဖန်တီးထားသော စာသားများဖြင့် prompts များကို ဖြည့်စွက်ရန်အတွက် မည်သည့်မော်ဒယ်အမျိုးအစားများကို အသုံးပြုမည်နည်း။ 9. စာသားများကို အကျဉ်းချုပ်ရန်အတွက် မည်သည့်မော်ဒယ်အမျိုးအစားများကို အသုံးပြုမည်နည်း။ 10. သတ်မှတ်ထားသော အညွှန်းများ (labels) အတိုင်း စာသား inputs များကို အမျိုးအစားခွဲခြားရန်အတွက် မည်သည့်မော်ဒယ်အမျိုးအစားများကို အသုံးပြုမည်နည်း။ 11. မော်ဒယ်တစ်ခုတွင် တွေ့ရသော ဘက်လိုက်မှု (bias) သည် မည်သည့်ရင်းမြစ်မှ ဖြစ်ပေါ်လာနိုင်သနည်း။ ဝေါဟာရ ရှင်းလင်းချက် (Glossary)