ארכיטקטורות עמוקות כוללות גרסאות רבות של כמה גישות בסיסיות. כל ארכיטקטורה מצאה הצלחה בתחומים ספציפיים. לא תמיד ניתן להשוות את הביצועים של ארכיטקטורות מרובות, אלא אם כן הם הוערכו על אותם מערכי נתונים.
DNNs הם בדרך כלל רשתות הזנה קדימה שבהן נתונים זורמים משכבת הקלט לשכבת הפלט מבלי לחזור אחורה. בתחילה, ה-DNN יוצר מפה של נוירונים וירטואליים ומקצה ערכים מספריים אקראיים, או "משקלות", לקשרים ביניהם. המשקולות והכניסות מוכפלות ומחזירות פלט בין 0 ל-1. אם הרשת לא זיהתה במדויק דפוס מסוים, אלגוריתם יתאים את המשקולות. כך האלגוריתם יכול להפוך פרמטרים מסוימים למשפיעים יותר, עד שהוא יקבע את המניפולציה המתמטית הנכונה לעיבוד מלא של הנתונים.
רשתות עצביות חוזרות (RNNs), שבהן נתונים יכולים לזרום לכל כיוון, משמשות ליישומים כמו מודלים של שפות. זיכרון גדול לטווח-קצר יעיל במיוחד לשימוש זה.
רשתות קונבולוציה (CNN) משמשות בראייה ממוחשבת. CNNs יושמו גם למידול אקוסטי לזיהוי דיבור אוטומטי (ASR).
אתגרים.
כמו ב-ANN, בעיות רבות יכולות להתעורר עם DNNs עם הכשרה "נאיבית". שתי בעיות נפוצות הן התאמת יתר וזמן חישוב.
DNNs נוטים להתאים יתר על המידה בגלל שכבות ההפשטה הנוספות, המאפשרות להם למדל תלויות נדירות בנתוני האימון. הסדרת (רגולריזציה) שיטות כגון "הגיזום היחיד" של איבננקו או דעיכת משקל (formula_1 רגוליזציה) או דלילות ( formula_2 - רגוליזציה) ניתן ליישם במהלך האימון כדי לטפל בחלק משמעותי מהתאמת היתר. לחלופין, הסדרת נשירה משמיטה באופן אקראי יחידות מהשכבות הנסתרות במהלך האימון. זה עוזר לשלול תלות נדירה. לבסוף, ניתן להגדיל את הנתונים באמצעות שיטות כגון חיתוך וסיבוב, כך שניתן להגדיל מערכי אימונים קטנים יותר כדי להקטין את הסיכוי להתאמת יתר.
DNNs חייבים לקחת בחשבון פרמטרים רבים של אימון, כגון הגודל (מספר השכבות ומספר היחידות לשכבה), קצב הלמידה והמשקלים הראשוניים. סריקה של מרחב הפרמטרים בחיפוש עבור פרמטרים אופטימליים ייתכן שלא יהיה אפשרי בשל עלות הזמן ומשאבי החישוב. טריקים שונים, כגון batching (חישוב גרדיאנט על מספר דוגמאות אימון בו-זמנית ולא דוגמאות בודדות) מאיצים את החישוב. יכולות עיבוד גדולות של ארכיטקטורות ליבות רבות (כגון GPUs או Intel Xeon Phi) הביאו להאצות משמעותיות באימון, בגלל ההתאמה של ארכיטקטורות עיבוד כאלה למטריצה ולחישובי וקטור.
לחלופין, מהנדסים עשויים לחפש סוגים אחרים של רשתות עצביות עם אלגוריתמי אימון פשוטים ומתכנסים יותר. CMAC (בקר דגם articulation cerebellar) הוא סוג כזה של רשת עצבית. זה לא דורש שיעורי למידה או משקלים ראשוניים אקראיים עבור CMAC. ניתן להבטיח שתהליך האימון יתכנס בשלב אחד עם אצווה חדשה של נתונים, והמורכבות החישובית של אלגוריתם האימון היא ליניארית ביחס למספר הנוירונים המעורבים.
חומרה.
מאז שנות ה-2010, התקדמות הן באלגוריתמי למידת מכונה והן בחומרת המחשבים הובילה לשיטות יעילות יותר לאימון רשתות עצביות עמוקות המכילות שכבות רבות של יחידות נסתרות לא ליניאריות ושכבת פלט גדולה מאוד באופן יחסי. עד שנת 2019, יחידות עיבוד גרפי (GPUs), לעיתים קרובות עם שיפורים ספציפיים ל-AI, החליפו את המעבדים כשיטה הדומיננטית לאימון AI ענן מסחרי בקנה מידה גדול. OpenAI העריכה את חישוב החומרה המשמש בפרויקטים הגדולים ביותר של למידה עמוקה מ-AlexNet (2012) ועד AlphaZero (2017), ומצאה עלייה של פי 300,000 בכמות החישוב הנדרשת, עם קו מגמה של זמן הכפל של 3.4 חודשים.
דייויד בורליוק
ארנסט מולר
ארנסט מולר (בגרמנית: Ernst Müller; 1 בנובמבר 1880 – 5 באוגוסט 1954) היה פילוסוף, פעיל ציוני, מתמטיקאי, ספרן, סופר ומתרגם יהודי-אוסטרי.
בהקשר היהודי התעניין מולר באופן מיוחד בקבלה ובאנתרופוסופיה. היה מחברם של כמה רומנים ונובלות. בהקשר הפילוסופי, כתב (בין השאר) מחקרים על שלגל, על הגל, ועל הגות גרמנית בת זמנו.
כתביו במחקרי היהדות.
Oxford: Phaidon Press, 1946
וינה 1932
ברלין 1921 (מהדורה מתורגמת של 'ספר האחד' לאברהם אבן עזרא - העוסק באריתמטיקה)
מכון ליאו בק מחזיק בארכיון הפרטי של כתבי היד של מולר (הפריטים ברובם משנת 1919 ואילך, וכוללים בין השאר, מסות אוטוביוגרפיות, וגם לא מעט שירים פרי עטו).
לוסיין לזר
לוסיין לזר (בצרפתית: Lucien Lazare; נולד ב-24 בנובמבר 1924 בשטרסבורג) היה חבר במחתרת היהודית בצרפת ופרסם מחקרים רבים בנושא זה וכן בנושא חסידי אומות העולם.
ביוגרפיה.
לזר גדל בעיר מץ, השלים את לימודיו התיכוניים בליון במהלך הכיבוש הנאצי בצרפת במלחמת העולם השנייה. הוא היה חבר בתנועת הצופים היהודים בצרפת. הוא הצטרף לרשת המחתרת "השישית" (La Sixième) מ-1942 עד 1944, היה לוחם בפלוגת מרק אגנו (Marc Haguenau) מהמאקי והשתתף בהצלת ילדים יהודים.
לזר למד ב"ישיבת חכמי צרפת" באקס-לה-בן ב-1948. הוא עבר לפאריס והתחתן ב-12 במרץ 1949 בשטרסבורג עם ז'נין המנדינגר, פסיכולוגית ילידת שטרסבורג, 1928.
לזר לימד בצרפת ובבלגיה והיה העורך הראשי הראשון של Hamoré (המורה), עלון הביקורת הרבעונית של מורים יהודים, החל מ-1957. לזר היה מזכיר הקהילה היהודית של שטרסבורג (CIS). הוא השלים דוקטורט בהיסטוריה באוניברסיטת שטרסבורג ב-1967.
בשנת 1968 עברו לזר ומשפחתו לישראל. הוא הקים בירושלים את בית הספר רנה קסין והיה מנהלו בין השנים 1971–1978 (לפי מקורות אחרים, עד 1983). הוא חבר ב ביד ושם בירושלים.
בשל העמדות הפוליטיות שנקט חתנו אברהם בורג (בתו של לזר, יעל לזר, נישאה לבורג ב-1978 בירושלים) ובשל העובדה שתרגם מידע זה לצרפתית, לפרסום בעיתון לה מונד, לזר הוחרם על ידי קהילתו לתקופת-מה.
יחד עם סימון וייל יזם לזר את הנצחתם של חסידי אומות העולם הצרפתים ב ב-2007.
מושא פנימי
מושא פנימי הוא מונח בתורת התחביר המציין תיאור אופן שמובע באמצעות שם פעולה הגזור מפועל המשפט.
בעברית.
המושא הפנימי עצמו דומה למושא ישיר, כיוון שבשני המקרים מגיע המושא אחרי הפועל ללא שימוש במילת יחס. חרף כך, בשונה מהמושא הישיר, במושא הפנימי לא מצוין מקבל הפעולה, אלא שם הפעולה השאול מהפועל.
המושא הפנימי משמש לשני צרכים. הראשון הוא לשם הדגשת הפועל, למשל בפסוק . השני הוא המרת תואר הפועל בשם תואר, המצריך לפניו שם עצם, למשל בפסוק , שבא במקום "כי אהב אותו כנפשו". לשני המשפטים יש משמעות מילולית זהה.
בערבית.
בערבית קרוי המושא הפנימי בשם مَفْعُول مُطْلَق (תעתיק מדויק: מַפְעוּל מֻטְלַק; בתרגום חופשי: פעול מוחלט). בדומה לעברית, המושא הפנימי בערבית יכול לשמש לשם הדגשת הפועל (למשל במשפט , תעתיק מדיוק: "צַ'רַבַּ צַ'רְבַּא"; תרגום מילולי: "(הוא) הכה הכאה", בתרגום חופשי: "הוא הכה נמרצות"); או לשם המרת תואר הפועל בשם עצם (למשל במשפט , תעתיק מדיוק: "פַרִחַ פַרְחַא עַטִ'ימַא"; תרגום מילולי: "(הוא) שמח שמחה גדולה"). נוסף על כך, ושלא כמו בעברית, יכול המושא הפנימי בערבית לשמש לשם תיאור כמות או מידה (למשל במשפט , תעתיק מדויק: "סַארַ סַיְרַ תַ'לַאתִ' קִילוֹמִתְרַאתִ"; תרגום מילולי: "(הוא) הלך הליכת שלושה קילומטרים"); לשם השוואת הפעולה לשם או למצב אחר (למשל במשפט , תעתיק מדויק: "קַעַד קֻעוּדַ אלְ-אַמִירִ"; תרגום מילולי: "(הוא) ישב ישיבת נסיך"); או לשם גזירת תואר הפועל משם עצם (למשל משם הפועל تَمَام, תעתיק מדויק: "תַמַאם", תרגום מילולי: "שלמות", נגזר תואר הפועל تَمَامًا, תעתיק מדויק: "תַמַאמַא", תרגום מילולי: "לחלוטין").
נייט טריין ליין
ריצ'רד ליין (Richard Lane; 16 באפריל 1927 – 29 בינואר 2002), אשר היה מוכר יותר בכינוי דיק "נייט טריין" ליין (Dick "Night Train" Lane), היה שחקן פוטבול אמריקאי. ליין שיחק בתפקיד מגן פינה (Cornerback) בקבוצות לוס אנג'לס ראמס, שיקגו קרדינלס ודטרויט ליונס לאורך 14 שנות קריירה מקצוענית.
חיים אישיים.
ליין היה נשוי שלוש פעמים. הוא התחתן עם אשתו הראשונה, ג'רלדין דנדרידג', באפריל 1951. בני הזוג נפרדו באוגוסט 1962 והתגרשו בינואר 1963. חצי שנה לאחר מכן, הוא נישא לזמרת הג'אז דיינה וושינגטון בטקס שנערך בלאס וגאס. אלו היו הנישואים השישיים עבור וושינגטון והשניים עבור ליין. ב-14 בדצמבר 1963, ליין גילה את וושינגטון מתה בביתם בדטרויט, לאחר שנטלה מנת יתר של גלולות שינה וגלולות לדיאטה על קיבה ריקה. בשנת 1964, ליין התחתן עם מרי קאוזר, אשר בשנת 1955 הייתה לאישה האפרו-אמריקאית הראשונה שהופיעה בפרסומת של קוקה-קולה. נולד להם בן, ריצ'רד לאדימיר ליין, שנולד ב-1965. הנישואים הסתיימו בגירושים לאחר עשר שנים.
ב-1994, ליין עבר מדטרויט חזרה לעיר הולדתו אוסטין, טקסס. בשל ניידות מופחתת כתוצאה מסוכרת ופציעות ברכיים, הוא בילה את השנתיים האחרונות לחייו במתקן לדיור מוגן בצפון אוסטין. הוא נפטר שם מהתקף לב בינואר 2002 בגיל 74. משפחתו האמינה שהוא סבל גם מאנצפלופתיה כרונית טראומטית (CTE) שנגרמה כתוצאה מפציעות הקשורות לקריירה שלו כשחקן פוטבול.
דיק ליין
ג'ון מונקאיולה
ג'ון מונקאיולה (בספרדית: Jon Moncayola Tollar; נולד ב-13 במאי 1998) הוא כדורגלן ספרדי המשחק בעמדת הקשר באוססונה.
קריירה.
מונקאיולה שיחק במחלקות הנוער של אוססונה. בעונת 2017/2018 שיחק באירוניה, קבוצת המילואים השנייה של המועדון שמשחקת בליגה הרביעית, ולאחר מכן הצטרף לקבוצת המילואים הראשונה.
ב-3 ביוני 2019 האריך את חוזהו במועדון עד ליוני 2021. הוא ערך את הופעת הבכורה שלו במדי הקבוצה הבוגרת בלה ליגה בניצחון 1–0 ללגנס.