מודל שפה גדול
הערות שוליים

↑  Kurt Muehmel, What Is a Large Language Model, the Tech Behind ChatGPT?, blog.dataiku.com (באנגלית אמריקאית)
↑  Bowman, Samuel R. "Eight Things to Know about Large Language Models" (PDF). {{cite journal}}: Cite journal requires |journal= (עזרה)
↑  Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin; Dai, Wenliang; Madotto, Andrea; Fung, Pascale (בנובמבר 2022). "Survey of Hallucination in Natural Language Generation" (pdf). ACM Computing Surveys. Association for Computing Machinery. 55 (12): 1–38. doi:10.1145/3571730. נבדק ב-15 בינואר 2023. {{cite journal}}:  (עזרה)
↑  Wei, Jason; Tay, Yi; Bommasani, Rishi; Raffel, Colin; Zoph, Barret; Borgeaud, Sebastian; Yogatama, Dani; Bosma, Maarten; Zhou, Denny; Metzler, Donald; Chi, Ed H. (31 באוגוסט 2022). "Emergent Abilities of Large Language Models". Transactions on Machine Learning Research (באנגלית). ISSN 2835-8856. {{cite journal}}:  (עזרה)
↑  "Characterizing Emergent Phenomena in Large Language Models". ai.googleblog.com.
↑  Ornes, Stephen (16 במרץ 2023). "The Unpredictable Abilities Emerging From Large AI Models". Quanta Magazine. {{cite web}}:  (עזרה)
1 2  A Beginner's  Guide to Large Language Models, p. 13, NVIDIA (באנגלית)
↑  Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, Illia Polosukhin, Attention is All you Need, Advances in Neural Information Processing Systems 30, Curran Associates, Inc., 2017
↑  https://www.researchgate.net/publication/338931711_A_Short_Survey_of_Pre-trained_Language_Models_for_Conversational_AI-A_New_Age_in_NLP
↑  johnmaeda, LLM AI Tokens, learn.microsoft.com, ‏2023-05-23 (באנגלית אמריקאית)
↑  Patel, Ajay; Li, Bryan; Rasooli, Mohammad Sadegh; Constant, Noah; Raffel, Colin; Callison-Burch, Chris (2022). "Bidirectional Language Models Are Also Few-shot Learners". ArXiv (באנגלית).
↑  Improving language models by retrieving from trillions of tokens, www.deepmind.com (באנגלית)
↑  What is Context Window for LLMs? - Hopsworks, www.hopsworks.ai (באנגלית)
↑  Vinija's Notes • Reinforcement Learning from Human Feedback (RLHF), vinija.ai
↑  Illustrating Reinforcement Learning from Human Feedback (RLHF), huggingface.co
↑  Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen, LoRA: Low-Rank Adaptation of Large Language Models, 2021-10-06
↑  John Willis, Fine-Tuning Large Language Models: Unlocking Their Full Potential, Techstrong.ai, ‏2023-07-24 (באנגלית אמריקאית)
↑  Ben Dickson, The complete guide to LLM fine-tuning - TechTalks, bdtechtalks.com, ‏2023-07-10 (באנגלית אמריקאית)
↑  "Llama 2". Meta AI (באנגלית). נבדק ב-2023-07-18.
↑  Introducing Code Llama, an AI Tool for Coding, Meta, ‏2023-08-24 (באנגלית אמריקאית)
↑  מדריך: כך תשלטו במודלי שפה, באתר Machine Learning Israel, ‏2023-04-14
↑  Top-k & Top-p, Cohere AI (באנגלית)
↑  Jonathan Vanian,Kif Leswing, ChatGPT and generative AI are booming, but the costs can be extraordinary, CNBC (באנגלית)
| בינה מלאכותית |
| --- | --- | --- |
| כללי | מבחן טיורינג • היסטוריה של הבינה המלאכותית • ציר הזמן של בינה מלאכותית • התקדמות הבינה המלאכותית • אוריינות AI • סוכן תבוני • AI-שלמות מערכת מומחה • אסדרת בינה מלאכותית (בישראל) • בינה מלאכותית צרה • בינה חישובית • הסברתיות בינה מלאכותית • הפרדוקס של מורבק • סוכן תבוני • אתיקה של בינה מלאכותית |  |
| תחומים | עיבוד שפה טבעית • ראייה ממוחשבת • בינה מלאכותית יוצרת • אומנות בינה מלאכותית • בינה מלאכותית כללית (AGI) |  |
| סוגי למידת מכונה | מערכת לומדת • למידה מונחית • למידה בלתי מונחית • למידה עמוקה • למידת חיזוק • סיווג בייסיאני נאיבי • רשת בייסיאנית |  |
| אלגוריתמי למידת מכונה קלאסית | פרספטרון • עץ החלטה • מכונת וקטורים תומכים • Bag of words • אלגוריתם k-מרכזים • אלגוריתם מיקסום התוחלת • הורדת ממד • אלגוריתם שכן קרוב • יער אקראי  • Q-learning •‏ T-SNE •‏ Tf–idf • חיזוק גרדיאנט |  |
| למידה עמוקה | רשת עצבית מלאכותית • רשת זרימה קדימה • רשת עצבית רקורסיבית • פונקציית אקטיבציה • טרנספורמר • Attention •‏ GAN |  |
| עיבוד שפה טבעית | מודל שפה • שיכון מילים • בלשנות חישובית • תרגום מכונה • חילוץ מידע (אנ') • ניתוח סנטימנט • זיהוי חלקי דיבר (אנ') • מערכת זיהוי דיבור • זיהוי ישויות • כריית טקסט • תיוג תפקידים סמנטי • Word2vec • מודל שפה גדול • GPT •‏ BERT (אנ') • מודל Bag-of-words (אנ') • יצירת טקסט בשפה טבעית (אנ') • מילת עצירה • ניתוח מחרוזות • Stemming (אנ') • למטיזציה (אנ') |  |
| יישומים לבינה מלאכותית (אנ') | צ'אטבוט • זיהוי דובר • זיהוי עצמים • זיהוי תבניות • עוזר וירטואלי • זיהוי תווים אופטי • מחולל תמונות • הזיות |  |
| מערכות בינה מלאכותית | אלייזה • ChatGPT •‏ DALL-E •‏ Midjourney •‏ Gemini • קלוד •‏ Perplexity •‏ SearchGPT •‏ GitHub Copilot • דיפ־פייק • סירי • Google Assistant • אמזון אלכסה • מיקרוסופט קופיילוט • Qwen |  |
| סוגיות בטיחות בינה מלאכותית (אנ') | סכנה קיומית מבינה מלאכותית כללית • בינה מלאכותית חזקה • יישור בינה מלאכותית (אנ') • בקרת יכולות בינה מלאכותית (אנ') • בינה מלאכותית ידידותית (אנ') • התכנסות אינסטרומנטלית (אנ') • סינגולריות טכנולוגית • השתלטות הבינה המלאכותית • המכתב הפתוח על בינה מלאכותית (2015) |  |
| ספריות בשימוש נרחב | TensorFlow •‏ PyTorch •‏ Torch •‏ Hugging Face •‏ Keras •‏ spaCy (אנ') •‏ Caffe |  |
לקטגוריית הבינה המלאכותית
| --- | --- |
בקרת זהויות :  GND: 1322631905  LNB: 000355290 
בביצוע משימות כמו מענה לשאלות, יכולתם של מודלי שפה להצליח היא אקראית. זאת, עד שהם מגיעים לקנה מידה מסוים, ובשלב זה הביצועים שלהם עולים בחדות.