LLaMA

LLaMA (ย่อมาจาก Large Language Model Meta AI) เป็นแบบจำลองภาษาขนาดใหญ่ที่เผยแพร่โดย Meta AI ในเดือนกุมภาพันธ์ 2023

ตามรายงานของนักพัฒนา LLaMA มีการสร้างแบบจำลองไว้หลายขนาด โดยจำนวนพารามิเตอร์มีตั้งแต่ 7 พันล้านพารามิเตอร์ (ตามแบบแผนอุตสาหกรรม บางครั้งเขียนเป็น "7B" โดยใช้ B ใน Billion) ถึง 65 พันล้านพารามิเตอร์ (65B)  LLaMA-13B มีประสิทธิภาพเหนือกว่า GPT-3-175B ในการวัดประสิทธิภาพการประมวลภาษาธรรมชาติส่วนใหญ่ และประสิทธิภาพของ LLaMA-65B ก็เทียบได้กับรุ่นล้ำสมัย เช่น PaLM-540B ของกูเกิล และ Chinchilla ของดีปไมด์

 สถาปัตยกรรมและการเรียนรู้ 
LLaMA ใช้สถาปัตยกรรมทรานส์ฟอร์เมอร์ ซึ่งเป็นสถาปัตยกรรมมาตรฐานสำหรับการสร้างแบบจำลองภาษามาตั้งแต่ปี 2018

นักพัฒนาของ LLaMA มุ่งเน้นไปที่การเพิ่มประสิทธิภาพของตัวแบบจำลองโดยการเพิ่มจำนวนข้อมูลการฝึกมากกว่าจำนวนพารามิเตอร์ เนื่องจากต้นทุนของการอนุมานโดยใช้แบบจำลองที่ได้รับการฝึกมีความสำคัญมากกว่าต้นทุนการคำนวณของกระบวนการฝึกแบบจำลอง

LLaMA ได้รับการฝึกแบบจำลองโดยใช้โทเค็น 1.4 ล้านล้านที่ดึงมาจากแหล่งข้อมูลสาธารณะจำนวนมาก ได้แก่:

 หน้าเว็บที่ถูกรวบรวมมาด้วยด้วยคอมมอนครอวล์
 พื้นที่เก็บข้อมูลโอเพ่นซอร์ส GitHub
 วิกิพีเดีย (20 ภาษา)
 หนังสือที่เป็นสาธารณสมบัติของโครงการกูเทินแบร์ค
 รหัสต้นทาง LaTeX ของเอกสารทางวิทยาศาสตร์ที่อัปโหลดไปยัง ArXiv
 คำถามและคำตอบบนเว็บไซต์ Stack Exchange

 การเผยแพร่และการรั่วไหล 
LLaMA ได้รับการประกาศเมื่อวันที่ 23 กุมภาพันธ์ 2023 ผ่านทางบล็อกโพสต์และหนังสือพิมพ์

รหัสที่ใช้ในการฝึกตัวแบบจำลองได้รับการเผยแพร่ภายใต้ใบอนุญาตโอเพนซอร์ส GPLv3

ก่อนหน้านั้น แบบจำลองภาษาขนาดใหญ่ที่มีประสิทธิภาพส่วนใหญ่สามารถเข้าถึงได้ผ่าน API ที่จำกัดเท่านั้น ทางเมตาได้จัดการค่าพารามิเตอร์น้ำหนักที่เรียนรู้จากแบบจำลองของ LLaMA ภายในและเผยแพร่เป็นกรณี ๆ ไปสำหรับนักวิจัยเชิงวิชาการ หน่วยงานภาครัฐ ภาคประชาสังคม และสถาบันการศึกษา และห้องปฏิบัติการอุตสาหกรรมทั่วโลก ด้วยเหตุนี้ เราจึงตัดสินใจอนุญาตให้ใช้เท่านั้น สู่ชุมชนการวิจัยภายใต้ใบอนุญาตที่ไม่ใช่เชิงพาณิชย์

อย่างไรก็ตาม ในวันที่ 2 มีนาคม 2023 หนึ่งสัปดาห์หลังจากปล่อย LLaMA ค่าพารามิเตอร์น้ำหนักก็ได้รั่วไหลและแพร่กระจายผ่าน 4chan

 การประยุกต์ใช้ 

 Alpaca 
ศูนย์วิจัยแบบจำลองพื้นฐาน (CRFM) แห่ง มหาวิทยาลัยสแตนฟอร์ด ได้เปิดตัว Alpaca ซึ่ง เป็น LLaMA-7B ที่ผ่านการปรับละเอียด Alpaca มีประสิทธิภาพเทียบเท่ากับรุ่น text-davinci-003 ของซีรีส์ OpenAI GPT-3.5

 Llama-3-ELYZA-JP 
ELYZA (สำนักงานใหญ่: เขตบุงเกียว โตเกียว) ได้พัฒนา LLM "Llama-3-ELYZA-JP" (8B และ 70B) พร้อมประสิทธิภาพภาษาญี่ปุ่นที่ได้รับการปรับปรุงโดยอิงจากซีรีส์ "Llama 3" ของเมตา

 อ้างอิง 

หมวดหมู่:แบบจำลองภาษาขนาดใหญ่
หมวดหมู่:การประมวลภาษาธรรมชาติ