למידה עמוקה
הערות שוליים

↑  Bengio, Yoshua; LeCun, Yann; Hinton, Geoffrey (2015). "Deep Learning". Nature. 521 (7553): 436–444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442.
↑  Ian Goodfellow and Yoshua Bengio and Aaron Courville, Deep Learning, MIT Press, 2016
↑  Silver, D., Schrittwieser, J., Simonyan, K. et al., Mastering the game of Go without human knowledge, Nature 550, 2017, עמ' 354–359
↑  Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffry, ImageNet Classification with Deep Convolutional Neural Networks, NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada, 2012
↑  Papert, Seymour; Minsky, Marvin Lee, Perceptrons: an introduction to computational geometry, Cambridge, Massachusetts: MIT Press, 1988, ISBN 978-0-262-63111-2
↑  Hornik, Kurt; Tinchcombe, Maxwell; White, Halbert, Multilayer Feedforward Networks are Universal Approximators, Neural Networks 2, Pergamon Press, 1989, עמ' 359–366
↑  Schulz, Hannes; Behnke, Sven (1 בנובמבר 2012). "Deep Learning". KI - Künstliche Intelligenz (באנגלית). 26 (4): 357–363. doi:10.1007/s13218-012-0198-z. ISSN 1610-1987. {{cite journal}}:  (עזרה)
↑  Deng, L.; Yu, D. (2014). "Deep Learning: Methods and Applications" (PDF). Foundations and Trends in Signal Processing. 7 (3–4): 1–199. doi:10.1561/2000000039. אורכב מ-המקור (PDF) ב-2016-03-14. נבדק ב-2014-10-18.
1 2 3  Bengio, Yoshua (2009). "Learning Deep Architectures for AI" (PDF). Foundations and Trends in Machine Learning. 2 (1): 1–127. doi:10.1561/2200000006. אורכב מ-המקור (PDF) ב-4 במרץ 2016. נבדק ב-3 בספטמבר 2015. {{cite journal}}:  (עזרה)
1 2 3  Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798–1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338.
1 2 3  LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (28 במאי 2015). "Deep learning". Nature. 521 (7553): 436–444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. {{cite journal}}:  (עזרה)
↑  Shigeki, Sugiyama (12 באפריל 2019). Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities (באנגלית). IGI Global. ISBN 978-1-5225-8218-2. {{cite book}}:  (עזרה)
↑  Schmidhuber, Jürgen (2015). "Deep Learning". Scholarpedia. 10 (11): 32832. Bibcode:2015SchpJ..1032832S. doi:10.4249/scholarpedia.32832. אורכב מ-המקור ב-2016-04-19. נבדק ב-2016-04-09free{{cite journal}}:  תחזוקה - ציטוט: postscript (link)
↑  Cybenko (1989). "Approximations by superpositions of sigmoidal functions" (PDF). Mathematics of Control, Signals, and Systems. 2 (4): 303–314. doi:10.1007/bf02551274. S2CID 3958369. אורכב מ-המקור (PDF) ב-10 באוקטובר 2015. {{cite journal}}:  (עזרה)
↑  Hornik, Kurt (1991). "Approximation Capabilities of Multilayer Feedforward Networks". Neural Networks. 4 (2): 251–257. doi:10.1016/0893-6080(91)90009-t.
↑  Haykin, Simon S. (1999). [‏למידה עמוקה, באתר גוגל ספרים Neural Networks: A Comprehensive Foundation]. Prentice Hall. ISBN 978-0-13-273350-2. {{cite book}}: Check |url= value (עזרה)
↑  Hassoun, Mohamad H. (1995). [‏למידה עמוקה, עמ' 48, באתר גוגל ספרים Fundamentals of Artificial Neural Networks]. MIT Press. p. 48. ISBN 978-0-262-08239-6. {{cite book}}: Check |url= value (עזרה)
↑  Lu, Z., Pu, H., Wang, F., Hu, Z., & Wang, L. (2017). The Expressive Power of Neural Networks: A View from the Width (אורכב 13.02.2019 בארכיון Wayback Machine). Neural Information Processing Systems, 6231-6239.
↑
↑  Sonoda, Sho; Murata, Noboru (2017). "Neural network with unbounded activation functions is universal approximator". Applied and Computational Harmonic Analysis. 43 (2): 233–268. arXiv:1505.03654. doi:10.1016/j.acha.2015.12.005.
↑  Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning (PDF). Springer. ISBN 978-0-387-31073-2. אורכב מ-המקור (PDF) ב-2017-01-11. נבדק ב-2017-08-06.
↑  "Merck Molecular Activity Challenge". kaggle.com. אורכב מ-המקור ב-2020-07-16. נבדק ב-2020-07-16.
↑  "Multi-task Neural Networks for QSAR Predictions | Data Science Association". www.datascienceassn.org. אורכב מ-המקור ב-30 באפריל 2017. נבדק ב-14 ביוני 2017. {{cite web}}:  (עזרה)
↑  "Toxicology in the 21st century Data Challenge"
↑  "NCATS Announces Tox21 Data Challenge Winners". אורכב מ-המקור ב-2015-09-08. נבדק ב-2015-03-05.
↑  "Archived copy". אורכב מ-המקור ב-28 בפברואר 2015. נבדק ב-5 במרץ 2015. {{cite web}}:  (עזרה);  (עזרה)
↑  Oh, K.-S.; Jung, K. (2004). "GPU implementation of neural networks". Pattern Recognition. 37 (6): 1311–1314. Bibcode:2004PatRe..37.1311O. doi:10.1016/j.patcog.2004.01.013.
↑  Chellapilla, Kumar; Puri, Sidd; Simard, Patrice (2006), High performance convolutional neural networks for document processing, אורכב מ-המקור ב-2020-05-18, נבדק ב-2021-02-14
↑  LeCun et al., "Backpropagation Applied to Handwritten Zip Code Recognition," Neural Computation, 1, pp. 541–551, 1989.
↑  Ciresan, D. C.; Meier, U.; Masci, J.; Gambardella, L. M.; Schmidhuber, J. (2011). "Flexible, High Performance Convolutional Neural Networks for Image Classification" (PDF). International Joint Conference on Artificial Intelligence. doi:10.5591/978-1-57735-516-8/ijcai11-210. אורכב מ-המקור (PDF) ב-2014-09-29. נבדק ב-2017-06-13.
↑  Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Juergen (2012).  Pereira, F.; Burges, C. J. C.; Bottou, L.; Weinberger, K. Q. (eds.). Advances in Neural Information Processing Systems 25 (PDF). Curran Associates, Inc. pp. 2843–2851. אורכב מ-המקור (PDF) ב-2017-08-09. נבדק ב-2017-06-13.
↑  Ciresan, D.; Meier, U.; Schmidhuber, J. (2012). "Multi-column deep neural networks for image classification". 2012 IEEE Conference on Computer Vision and Pattern Recognition. pp. 3642–3649. arXiv:1202.2745. doi:10.1109/cvpr.2012.6248110. ISBN 978-1-4673-1228-8.
↑  Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffry (2012). "ImageNet Classification with Deep Convolutional Neural Networks" (PDF). NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada. אורכב מ-המקור (PDF) ב-2017-01-10. נבדק ב-2017-05-24.
↑  Ciresan, D.; Giusti, A.; Gambardella, L.M.; Schmidhuber, J. (2013). "Mitosis Detection in Breast Cancer Histology Images using Deep Neural Networks". Proceedings MICCAI. Lecture Notes in Computer Science. 7908 (Pt 2): 411–418. doi:10.1007/978-3-642-40763-5_51. ISBN 978-3-642-38708-1. PMID 24579167.
↑  Zhong, Sheng-hua; Liu, Yan; Liu, Yang (2011). "Bilinear Deep Learning for Image Classification". Proceedings of the 19th ACM International Conference on Multimedia. MM '11. New York, NY, USA: ACM: 343–352. doi:10.1145/2072298.2072344. ISBN 9781450306164.
↑  "Why Deep Learning Is Suddenly Changing Your Life". Fortune. 2016. אורכב מ-המקור ב-14 באפריל 2018. נבדק ב-13 באפריל 2018. {{cite news}}:  (עזרה)
↑  Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda (בינואר 2016). "Mastering the game of Go with deep neural networks and tree search". Nature. 529 (7587): 484–489. Bibcode:2016Natur.529..484S. doi:10.1038/nature16961. ISSN 1476-4687. PMID 26819042. {{cite journal}}:  (עזרה)
↑  A Guide to Deep Learning and Neural Networks, אורכב מ-המקור ב-2020-11-02, נבדק ב-2020-11-16
↑  Szegedy, Christian; Toshev, Alexander; Erhan, Dumitru (2013). "Deep neural networks for object detection". Advances in Neural Information Processing Systems: 2553–2561. אורכב מ-המקור ב-2017-06-29. נבדק ב-2017-06-13.
↑  Hof, Robert D. "Is Artificial Intelligence Finally Coming into Its Own?". MIT Technology Review. אורכב מ-המקור ב-31 במרץ 2019. נבדק ב-10 ביולי 2018. {{cite news}}:  (עזרה)
↑  Gers, Felix A.; Schmidhuber, Jürgen (2001). "LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages". IEEE Transactions on Neural Networks. 12 (6): 1333–1340. doi:10.1109/72.963769. PMID 18249962. אורכב מ-המקור ב-2020-01-26. נבדק ב-2020-02-25.
↑  Sutskever, L.; Vinyals, O.; Le, Q. (2014). "Sequence to Sequence Learning with Neural Networks" (PDF). Proc. NIPS. arXiv:1409.3215. Bibcode:2014arXiv1409.3215S. אורכב מ-המקור (PDF) ב-2021-05-09. נבדק ב-2017-06-13.
↑  Mikolov, T.;  et al. (2010). "Recurrent neural network based language model" (PDF). Interspeech: 1045–1048. doi:10.21437/Interspeech.2010-343. אורכב מ-המקור (PDF) ב-2017-05-16. נבדק ב-2017-06-13.
↑  Hochreiter, Sepp; Schmidhuber, Jürgen (1 בנובמבר 1997). "Long Short-Term Memory". Neural Computation. 9 (8): 1735–1780. doi:10.1162/neco.1997.9.8.1735. ISSN 0899-7667. PMID 9377276. {{cite journal}}:  (עזרה)
↑  "Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available)". ResearchGate. אורכב מ-המקור ב-9 במאי 2021. נבדק ב-13 ביוני 2017. {{cite web}}:  (עזרה)
↑  LeCun, Y.;  et al. (1998). "Gradient-based learning applied to document recognition". Proceedings of the IEEE. 86 (11): 2278–2324. doi:10.1109/5.726791.
↑  Sainath, Tara N.; Mohamed, Abdel-Rahman; Kingsbury, Brian; Ramabhadran, Bhuvana (2013). "Deep convolutional neural networks for LVCSR". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. pp. 8614–8618. doi:10.1109/icassp.2013.6639347. ISBN 978-1-4799-0356-6.
↑  Ivakhnenko, Alexey (1971). "Polynomial theory of complex systems" (PDF). IEEE Transactions on Systems, Man and Cybernetics. SMC-1 (4): 364–378. doi:10.1109/TSMC.1971.4308320. אורכב מ-המקור (PDF) ב-2017-08-29. נבדק ב-2019-11-05.
↑  Bengio, Yoshua; Boulanger-Lewandowski, Nicolas; Pascanu, Razvan (2013). "Advances in optimizing recurrent networks". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. pp. 8624–8628. arXiv:1212.0901. CiteSeerX 10.1.1.752.9151. doi:10.1109/icassp.2013.6639349. ISBN 978-1-4799-0356-6.
↑  Dahl, G.;  et al. (2013). "Improving DNNs for LVCSR using rectified linear units and dropout" (PDF). ICASSP. אורכב מ-המקור (PDF) ב-2017-08-12. נבדק ב-2017-06-13.
↑  "Data Augmentation - deeplearning.ai | Coursera". Coursera. אורכב מ-המקור ב-1 בדצמבר 2017. נבדק ב-30 בנובמבר 2017. {{cite web}}:  (עזרה)
↑  Hinton, G. E. (2010). "A Practical Guide to Training Restricted Boltzmann Machines". Tech. Rep. UTML TR 2010-003. אורכב מ-המקור ב-2021-05-09. נבדק ב-2017-06-13.
↑  You, Yang; Buluç, Aydın; Demmel, James (בנובמבר 2017). "Scaling deep learning on GPU and knights landing clusters". Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis on - SC '17. SC '17, ACM. pp. 1–12. doi:10.1145/3126908.3126912. ISBN 9781450351140. אורכב מ-המקור ב-29 ביולי 2020. נבדק ב-5 במרץ 2018. {{cite book}}:  (עזרה)
↑  Viebke, André; Memeti, Suejb; Pllana, Sabri; Abraham, Ajith (2019). "CHAOS: a parallelization scheme for training convolutional neural networks on Intel Xeon Phi". The Journal of Supercomputing. 75: 197–227. arXiv:1702.07908. Bibcode:2017arXiv170207908V. doi:10.1007/s11227-017-1994-x.
↑  Ting Qin, et al. "A learning algorithm of CMAC based on RLS." Neural Processing Letters 19.1 (2004): 49-61.
↑  Research, AI (23 באוקטובר 2015). "Deep Neural Networks for Acoustic Modeling in Speech Recognition". airesearch.com. אורכב מ-המקור ב-1 בפברואר 2016. נבדק ב-23 באוקטובר 2015. {{cite web}}:  (עזרה)
↑  "GPUs Continue to Dominate the AI Accelerator Market for Now". InformationWeek (באנגלית). בדצמבר 2019. אורכב מ-המקור ב-10 ביוני 2020. נבדק ב-11 ביוני 2020. {{cite news}}:  (עזרה)
↑  Babbage, Google's First Tensor Processing Unit : Origins, The Chip Letter, ‏2024-02-25
↑  Ray, Tiernan (2019). "AI is changing the entire nature of computation". ZDNet (באנגלית). אורכב מ-המקור ב-25 במאי 2020. נבדק ב-11 ביוני 2020. {{cite news}}:  (עזרה)
↑  "AI and Compute". OpenAI (באנגלית). 16 במאי 2018. אורכב מ-המקור ב-17 ביוני 2020. נבדק ב-11 ביוני 2020. {{cite web}}:  (עזרה)
| בינה מלאכותית |
| --- | --- | --- |
| כללי | מבחן טיורינג • היסטוריה של הבינה המלאכותית • ציר הזמן של בינה מלאכותית • התקדמות הבינה המלאכותית • אוריינות AI • סוכן תבוני • AI-שלמות מערכת מומחה • אסדרת בינה מלאכותית (בישראל) • בינה מלאכותית צרה • בינה חישובית • הסברתיות בינה מלאכותית • הפרדוקס של מורבק • סוכן תבוני • אתיקה של בינה מלאכותית |  |
| תחומים | עיבוד שפה טבעית • ראייה ממוחשבת • בינה מלאכותית יוצרת • אומנות בינה מלאכותית • בינה מלאכותית כללית (AGI) |  |
| סוגי למידת מכונה | מערכת לומדת • למידה מונחית • למידה בלתי מונחית • למידה עמוקה • למידת חיזוק • סיווג בייסיאני נאיבי • רשת בייסיאנית |  |
| אלגוריתמי למידת מכונה קלאסית | פרספטרון • עץ החלטה • מכונת וקטורים תומכים • Bag of words • אלגוריתם k-מרכזים • אלגוריתם מיקסום התוחלת • הורדת ממד • אלגוריתם שכן קרוב • יער אקראי  • Q-learning •‏ T-SNE •‏ Tf–idf • חיזוק גרדיאנט |  |
| למידה עמוקה | רשת עצבית מלאכותית • רשת זרימה קדימה • רשת עצבית רקורסיבית • פונקציית אקטיבציה • טרנספורמר • Attention •‏ GAN |  |
| עיבוד שפה טבעית | מודל שפה • שיכון מילים (אנ') • בלשנות חישובית • תרגום מכונה • חילוץ מידע (אנ') • ניתוח סנטימנט • זיהוי חלקי דיבר (אנ') • מערכת זיהוי דיבור • זיהוי ישויות • כריית טקסט • תיוג תפקידים סמנטי • Word2vec • מודל שפה גדול • GPT •‏ BERT (אנ') • מודל Bag-of-words (אנ') • יצירת טקסט בשפה טבעית (אנ') • מילת עצירה • ניתוח מחרוזות • Stemming (אנ') • למטיזציה (אנ') |  |
| יישומים לבינה מלאכותית (אנ') | צ'אטבוט • זיהוי דובר • זיהוי עצמים • זיהוי תבניות • עוזר וירטואלי • זיהוי תווים אופטי • מחולל תמונות • הזיות |  |
| מערכות בינה מלאכותית | אלייזה • ChatGPT •‏ DALL-E •‏ Midjourney •‏ Gemini • קלוד •‏ Perplexity •‏ SearchGPT •‏ GitHub Copilot • דיפ־פייק • סירי • Google Assistant • אמזון אלכסה • מיקרוסופט קופיילוט |  |
| סוגיות בטיחות בינה מלאכותית (אנ') | סכנה קיומית מבינה מלאכותית כללית • בינה מלאכותית חזקה • יישור בינה מלאכותית (אנ') • בקרת יכולות בינה מלאכותית (אנ') • בינה מלאכותית ידידותית (אנ') • התכנסות אינסטרומנטלית (אנ') • סינגולריות טכנולוגית • השתלטות הבינה המלאכותית • המכתב הפתוח על בינה מלאכותית (2015) |  |
| ספריות בשימוש נרחב | TensorFlow •‏ PyTorch •‏ Torch •‏ Hugging Face •‏ Keras •‏ spaCy (אנ') •‏ Caffe |  |
לקטגוריית הבינה המלאכותית
| --- | --- |
בקרת זהויות :  NLI: 987011038167805171  LCCN: sh2021006947  LNB: 000350792  NKC: ph1042930 
ייצוג תמונות על ריבוי שכבות של הפשטה בלמידה עמוקה
כיצד למידה עמוקה היא תת-קבוצה של למידת מכונה וכיצד למידת מכונה היא תת-קבוצה של בינה מלאכותית (AI).