ทรานส์ฟอร์เมอร์ฝึกล่วงหน้าก่อกำเนิด

ทรานส์ฟอร์เมอร์ฝึกล่วงหน้าก่อกำเนิด (generative pre-trained transformer, GPT) เป็นชุดของแบบจำลองภาษาขนาดใหญ่ และยังเป็นเฟรมเวิร์กสำหรับปัญญาประดิษฐ์ช่วยสร้าง พัฒนาโดย OpenAI ได้รับการฝึกโดยใช้คลังข้อความขนาดใหญ่เพื่อให้สามารถสร้างประโยคที่เหมือนข้อความของมนุษย์

GPT ใช้เฉพาะส่วนถอดรหัสของสถาปัตยกรรมทรานส์ฟอร์เมอร์ และใช้แนวทางแบบจำลองภาษาเดียวกันกับ Universal Language Model Fine-tuning (ULMFiT) สามารถทำการปรับละเอียด เพื่อใช้ในงานการประมวลผลภาษาธรรมชาติต่าง ๆ เช่น การสร้างข้อความ การแปล และ การจำแนกเอกสาร คำว่า "ฝึกล่วงหน้า" (pre-trained) ในชื่อ หมายถึงกระบวนการฝึกเบื้องต้นโดยคลังข้อความขนาดใหญ่ ในระหว่างที่แบบจำลองเรียนรู้ที่จะคาดเดาคำที่ตามหลังแต่ละประโยค นี่เป็นรากฐานที่มั่นคงซึ่งช่วยให้แบบจำลองทำงานได้อย่างถูกต้องแม้จะมีข้อมูลจำนวนจำกัดสำหรับกระบวนแยกเฉพาะ

 ประวัติศาสตร์ 
เมื่อวันที่ 11 มิถุนายน 2018 บริษัท OpenAI ได้เผยแพร่บทความ "Improving Language Understanding by Generative Pre-Training" ซึ่งเป็นบทความแรกที่เพยแพร่เนื้อหาเกี่ยวกับ GPT

ณ เวลานั้น แบบการประมวลผลภาษาธรรมชาติของระบบประสาทที่มีประสิทธิภาพดีที่สุดใช้การเรียนรู้แบบมีผู้สอนเป็นหลักจากข้อมูลที่มีการติดฉลากกำกับด้วยตนเองจำนวนมาก การพึ่งพาการเรียนรู้แบบมีผู้สอนไม่เพียงแต่มีข้อจำกัดตรงที่ต้องการใช้ชุดข้อมูลที่มีคำอธิบายประกอบที่ทำมาอย่างดีพอเท่านั้น แต่ยังทำให้การฝึกแบบจำลองขนาดใหญ่มากมีราคาแพงและใช้เวลานานมาก ในหลายภาษา (เช่น ภาษาสวาฮีลี และ ภาษาครีโอลเฮติ) เป็นเรื่องยากที่จะแปลและตีความโดยใช้แบบจำลองดังกล่าว เนื่องจากไม่มีข้อความสำหรับการสร้างคลังข้อมูล ในขณะที่แนวทางการเรียนรู้แบบกึ่งมีผู้สอนของ GPT ช่วยให้สามารถทำได้ โดยการฝึกประกอบด้วย 2 ขั้นตอน คือ การฝึกแบบจำลองก่อกำเนิดแบบไม่มีผู้สอนเพื่อให้ได้พารามิเตอร์น้ำหนักสำหรับแบบจำลองภาษาตั้งต้น จากนั้นจึงใช้แบบจำลองจำแนกแบบมีผู้สอนทำการปรับละเอียดให้เข้ากับงานที่ต้องการใช้

การฝึกใช้ NVIDIA Quadro P600 ทั้งหมด 8 แผ่น ใช้เวลา 30 และประสิทธิภาพการดำเนินการอยู่ที่ 33% เท่ากับ 0.96 petaFLOPS / วัน

แบบจำลองรากฐาน
+ ซีรีส์ GPT-nแบบจำลองจำนวนพารามิเตอร์ข้อมูลที่ใช้ฝึกวันที่ปล่อยจำนวนวันและทรัพยากรในการฝึกGPT-1117 ล้านBookCorpus: ข้อความ 4.5 GB จากหนังสือที่ไม่ตีพิมพ์ 7000 เล่มในหลากหลายหมวด30 วันที่ 8 P600 GPUs หรือ 1 petaFLOP/s-day.GPT-21.5 พันล้านWebText: ข้อความ 40 GB เอกสาร 8 ล้านฉบับจากเว็บเพจ 45 หน้าบน Reddit (แบบจำกัด) และ  (แบบเต็ม)เปนสิบ petaflop/s-day, หรือ 1.5e21 FLOP.GPT-3175 พันล้าน 499 ล้านโทเค็นจากคอมมอนครอวล์ (570 GB)3640 petaflop/s-day (Table D.1) หรือ 3.1e23 FLOPGPT-3.5175 พันล้านไม่เปิดเผย15 มีนาคม 2022ไม่เปิดเผยGPT-4ไม่เปิดเผย แต่ประมาณกันว่า 1.7 ล้านล้านไม่เปิดเผยไม่เปิดเผย ประมาณ 2.1 × 1025 FLOP

 อ้างอิง 

หมวดหมู่:ซอฟต์แวร์ในปี พ.ศ. 2561
หมวดหมู่:โครงข่ายประสาทเทียม
หมวดหมู่:แบบจำลองภาษาขนาดใหญ่
หมวดหมู่:โอเพนเอไอ