בסעיף הקודם קיבלנו את המשוואה לעדכון המשקולות של תא מסוים בהינתן מוצאו והמוצא הדרוש ("מטרה"). עם זאת, במהלך אימון הרשת ידועה לנו רק שכבת היציאה של הרשת כולה (והמטרה שלה), ולא ידועים המוצאים/מטרות של שכבות הביניים. באמצעות אלגוריתם Back-propagation נעדכן את שכבות הביניים גם כן - שכבה אחרי שכבה.
תהליך "אימון" הרשת.
תהליך זה הוא הקובע את המשקולות לזיהוי אוטומטי של תבניות ברשת העצבית.
להלן דוגמה פשוטה על האופן בו התהליך עשוי להתבצע. דמיינו אלגוריתם הנועד ללמד את הנוירון לעיל לזהות את התבנית המיועדת לו:
כל זאת, כאשר המצב ההתחלתי של ערכי המשקולות אקראי. חלקי המאמר הבאים עוסקים בשיטות שונות לאימון הרשת. יש שתי נקודות נוספות, שכדאי לשים לב אליהן כאן.
ראשית, בעזרת קביעת משקולות מתאימה, נוכל ליצור מהרשתות כמעט כל שער לוגי. לכן, אל לנו להתייחס לרשתות העצביות כאמצעי לזיהוי בלבד - הן דבר יותר גמיש מכך. למעשה, הן יותר כמו מעגל לוגי מצרפי הניתן לאימון. שנית, במקום שימוש בפלט בינארי בלבד, כפי שנעשה בכל הדוגמאות בהן עסקנו, נשתמש ככלל בפונקציה המתמטית הנקראת סיגמואיד לפלט הנוירונים שלנו. כלומר הפלט יהיה:
formula_47
ובכן בדוגמה בשרטוט 5 פלט הנוירון בשימוש בפונקציית הסיגמואיד יהיה formula_48.
למעשה, פונקציה זו מחזירה תמיד מספר בין אפס לאחד, ולכן היא מתנהגת בדומה לפונקציית המדרגה הבינרית, היא בעלת יתרון במקרים בהם קיימות שתי תבניות דומות מאוד. במקרים אלו ניתנת לנוירון בדרך זו האפשרות להחזיר ערך ביניים. זו בעצם דרכו להגיד: "אני לא בטוח". שרטוט 12 מדגים את הרעיון.
תהליך הלמידה מתבצע על ידי "תגמול" "וענישה" של קשרים שונים ועל ידי חשיפת רשת הנוירונים לדוגמאות רבות. "תגמול" ו"ענישה" של הקשרים מתבצע על ידי שינוי המשקל של אותו הקשר, כך שכל קשר ש"מתוגמל" משקלו יגדל וכל קשר ש"נענש" משקלו ירד, תהליך זה משפיע במידה רבה על תהליך העיבוד ברשת הנוירונים ולקבלת תוצאה שונה. כל נוירון בשכבה הראשונה מתעדכן בנתון רלוונטי הנקרא קלט, ולאחר תהליך עיבוד בשכבות הביניים כל נוירון בשכבה האחרונה מיצר פלט הנקרא פתרון. כל אחד מן הנוירונים יכול להשפיע במידה מסוימת על המידע או על תהליך העיבוד שיתבצע בתא אחר בשל הקשרים הקיימים ברשת. פעולת החשיבה נעשית על ידי הזנת נתוני קלט לנוירונים שבשכבה העליונה, והעברת הנתונים בין הנוירונים ובמורד השכבות, עד שנוצר מערך של נתוני פלט בנוירונים שבשכבה התחתונה. נתוני הפלט מהווים מערך של פתרונות הרשת לנתוני הקלט. מדוגמה לדוגמה מתעדכנים "ערכי הסף" של הנוירונים שבמערכת, כך שהפלט יהיה אופטימלי. הערכים המתמטיים של ערכי הסף יכוילו, כך שכל קשר שצריך היה לאשרו יאושר, וכל קשר שצריך היה לדחותו יידחה. מעתה ואילך, אפשר לצפות שהרשת תקבל החלטות לאשר או לדחות באופן שמבטא בצורה מלאה את הניסיון הנצבר בתהליך הלמידה. יכולתה של רשת הנוירונים מושתתת על יכולתה לספק דיוק מקסימלי לכל פונקציה קיימת כאשר דיוק זה יכול להתבצע על ידי הגברת מורכבות הרשת והגדלת מספר השכבות החבויות.
יישומים.
ניתן ליישם רשתות עצביות בחומרה אנלוגית או דיגיטלית. שלושה מגברים פשוטים נותנים את המשקל לקלט. אם אנו רוצים שהמערכת תלמד בזמן אמת, המגברים צריכים להיות בעלי הגברה דיגיטלית אלקטרונית. הפלט מסוכם, והסַף מופעל על ידי מַשוֶוה (Comparator).
מעגל מסוג זה נבנה בעזרת רכיבים הנקראים מגברי פעולה אנלוגיים (Op Amps) כחלק ממעגל משולב. החיסרון בגישה זו הוא הצורך ברכיבים רבים, אם במערכת נוירונים רבים. בדרך זהה ניתן לייצר מעגלים דיגיטליים: מגברי המשקולות יוחלפו במכפילים דיגיטליים, מגבר הסכום יוחלף בסוֹכֵם, והמשווה יוחלף במפענח, שיעביר אות אם פלט הסוכם יהיה גבוה מערך סף קבוע. בדומה לרשתות האנלוגיות, גם הרשתות הדיגיטליות בזבזניות מבחינת מקום ומשאבים, כיוון שהן נשענות על מכפילים בינאריים, שהם לרוב מעגלים גדולים ומורכבים.
לכן, הדרך הנפוצה ביותר לממש רשת עצבית היא על ידי הדמיה בתוכנה. דרך זו מאפשרת למתכנת לשנות פרמטרים, דוגמת מספר הנוירונים והאופן בו הם מחוברים; פעולה זו יכולה להיעשות בקלות וללא חיווט מחדש שעלותו גבוהה, ובכך מאפשרת הדמיה של חיבור נוירונים רבים בדרך פשוטה. קיימות חבילות תוכנה לכתיבה ואימון של רשתות עצביות, בהן Torch, Theano ו־TensorFlow.
במהלך שנות ה-2000, פותחו יכולות משופרות לתמיכה של חומרה ברשתות עצביות מלאכותיות, ובהן אימון של רשתות עצביות מלאכותיות באמצעות מעבד גרפי. חברת Nvidia פיתחה מגוון מעבדים שתכליתם לתמוך, בעיקר, יישומים של רשתות עצבים מלאכותיות וכך גם אינטל (לדוגמה נרוונה סיסטמס ומובידיוס ) וגוגל (כגון Tensor processing unit ).
מימוש רשת עצבית בתוכנה.
מימוש של המודל התאורטי שהוצג לעיל כתוכנת מחשב הוא למעשה אלגוריתם בינה מלאכותית ללמידה חישובית ממשפחת הלמידה המונחית.
בניגוד לפיתוח תוכנה קלאסי, אשר מתמקד במציאת פתרון אלגוריתמי לבעיות, פיתוח בעזרת רשת עצבית מתמקד באימון הרשת, הזנתה במידע מתאים וניתוח הפתרון. משימות אלו הן אמנם מורכבות וקשות לפחות כמו הגישה המסורתית, אך לעיתים קרובות ניתן למצוא בעזרת טכניקה זו פתרונות או קירובים לבעיות קשות.
הדרך הפשוטה היא לאחסן את כל הפרמטרים במערכים: את הקלט והפלט מהרשת ניתן לאחסן במערך אחד ואת המשקולות בשני. לדוגמה, נוכל לאחסן את כל המשקולות במערך תלת־ממדי עם שלושת הפרמטרים הבאים:
[Weights[layer_number, neuron_number, connection_number (מספר שכבה, מספר נוירון, מספר חיבור).
הפלט (כמו גם הקלט) מכל נוירון במערך דו־ממדי עם הפרמטרים הבאים הוא:
[Output[ layer_number, neuron_number (מספר שכבה ומספר נוירון).
נשים לב כי השדות (O(1,1 ו־(O(1,2 הם קלט הרשת, והשדה (O(3,1 הוא הפלט.
נוכל לגרום למחשב לחשב את הפלט מרשת כזו על ידי אלגוריתם פשוט:
רשתות עצביות בתעשייה ובאקדמיה.
ב־2013 העמידה פייסבוק את מדען המחשב יאן לקון בראש מעבדת הבינה המלאכותית שלה, וב־2014 צירפה למעבדה גם את ולדימיר ופניק. גוגל צירפה אליה במרץ 2013 את ג'פרי הינטון וב־2014 רכשה את DeepMind המתמחה בתחום. אילון מאסק, מייסד חברת טסלה, PayPal ו-SpaceX הקים ב-2015 מיזם לקידום נושאי בינה מלאכותית, בכלל ורשתות עצביות מלאכותיות בפרט בשם OpenAI.
נכון ל-2019 - מינוף עסקי של תחום רשתות העצבים המלאכותיות מתפשט בקצב מאיץ. בתחום פועלות, ככל הנראה, עשרות אלפי חברות ברחבי העולם. ישנן מספר "רשימות" המפרטות את החברות היותר גדולות או יותר מבטיחות בתחום ובכלל זה:
אחת הדרכים המקובלות לבחינה ודרוג של האוניברסיטאות בתחום זה, היא הסתכלות על כמות הפרסומים במסגרת הוועדה השנתית שעוסקת בתחום , לפי מדד זה, האוניברסיטאות המובילות בעולם בתחום הן:
רשימה חלקית, על פי דרוג זה, אפשר למצוא ב-Ahead in AI Research? Insights from NIPS
פעילות בישראל.
נכון לשנת 2018, לפי דו"ח של מוסד שמואל נאמן למחקר מדיניות לאומית בהמשך למחקר שהוזמן על ידי המועצה הלאומית למחקר ופיתוח אזרחי, בישראל פועלות למעלה מ-800 חברות טכנולוגיות שיש להן פעילות בתחום בינה מלאכותית.
במהלך 2018, ישראל הקימה וועדה שתכליתה לבחון איך נכון למדינה להיערך בתחום הבינה מלאכותית, בראש הוועדה עומדים הפרופסורים יצחק בן ישראל ואביתר מתניה. וועדה זו הקימה 14 וועדות משנה לבחינה של היבטים שונים הקשורים לנושא והיא אמורה להגיש את המלצותיה במהלך 2019.
במקביל, הוועדה לתכנון ולתקצוב של האקדמיה, והמועצה להשכלה גבוהה אישרו, כבר במהלך 2018, 16 מסלולי לימוד לתארים אקדמאים בתחום וברוב האוניברסיטאות בישראל, אפשר ללמוד או לחקור היבטים שונים של התחום.
תחומי יישום עיקריים.
נכון ל-2019, תחומי היישום העיקריים של רשתות עצבים מלאכותיות כוללים את:
רשתות קישריות
ג'וזף הלר
ג'וזף הלר (באנגלית: Joseph Heller; 1 במאי 1923 – 12 בדצמבר 1999) היה סופר ותסריטאי יהודי אמריקאי. נודע בעיקר בזכות ספרו "מלכוד 22".
קורות חיים.
ג'וזף הלר נולד ב-1 במאי 1923 בברוקלין שבניו יורק למשפחה יהודית ענייה, וגדל בקוני איילנד. במלחמת העולם השנייה שירת כמטילן במטוס B-25 וטס ביותר משישים משימות באיטליה ובצפון אפריקה. בשנת 1945 השתחרר מהצבא והחל ללמוד אנגלית באוניברסיטת ניו יורק. בשנת 1949 סיים לימודי תואר שני באוניברסיטת קולומביה ולמד שנה באוניברסיטת אוקספורד, במסגרת תוכנית פולברייט. בין השנים 1950–1952 הוא לימד אנגלית באוניברסיטת המדינה של פנסילבניה. שימש כרעיונאי (קופירייטר) במגזין "טיים" בין השנים 1952 ו-1956 ובמגזין "לוק" בין השנים 1956 ל-1958.
הלר כתב כמה תסריטים, בהם לקומדיה "סקס והנערה הרווקה".
בשנת 1953 החל לכתוב את ספרו המפורסם "מלכוד 22", שיצא לאור בשנת 1961 (במקור: בשם "מלכוד 18"). מלכוד 22 מספר את סיפורו של יוסאריאן, חבר צוות אוויר במלחמת העולם השנייה. שם הספר נגזר משמו של המלכוד שמונע מיוסאריאן להשתחרר מהצבא: רק משוגעים יכולים להשתחרר מהצבא, אך אם אתה רוצה להשתחרר מהצבא, סביר להניח שאינך משוגע.
"מלכוד 22" זכה להצלחה יוצאת דופן והפך לספר פולחן. הלר כתב כמה ספרים נוספים, אך אף אחד מהם לא זכה להצלחה העצומה של ספר זה.
באמצע שנות השמונים לקה בתסמונת גייאן-בארה והיה על סף מוות. משהתאושש, התגרש מאשתו שירלי, אם ילדיו, ונישא לאחות שטיפלה בו, ואלרי המפריס, עמה נשאר עד מותו ב-1999.
ספריו.
כל ספריו של ג'וזף הלר תורגמו לעברית:
אנרגיה חילופית
ק.ס. לואיס