tomron87/hebrew-wikipedia-sentences-corpus huggingface dataset:
בדיוק כאשר המלחמה כבר בפתח, שיגרו שומע שיש בכפר של הנסתרים נער שחזותו כחזות בני האוטורי, אך הוא משבט הקיקוטה, מן האחווה.
שיגרו יודע שכאשר אידה יכבוש את הכפר הוא יהרוג את הנער, ומאיץ דרכו להציל אותו, גם בתקווה שהוא ירש את כוחות שבטו, ויוכל להיות המתנקש שיסייע לו לנקום נקמתו.
כשהוא מגיע לכפר הוא כבר נהרס, אך הנער טומאסו שרד.
שיגרו לוקח אותו עמו הביתה, מאמץ אותו כאוטורי, ונותן לו שם חדש - טקאו.
במדעי המחשב, רשת השוואה היא מבנה מתמטי הכולל רשת של "חוטים" שעליהם "זורמים" ערכים, ושל יחידות השוואה המחברות בין זוגות חוטים ומחליפות בין הערכים שבהם כדי לסדרם, אם יש צורך.
כאשר רשת השוואה מסוימת מצליחה לסדר כל קבוצת ערכים המוכנסת אליה כקלט היא נקראת רשת מיון.
מיון בעזרת רשתות מיון שונה משיטות מיון אחרות בכך שכל רשת יכולה למיין מספר קבוע מראש של קלטים.
כלומר אי אפשר לקחת רשת ולהשתמש בה לכל בעיית מיון.
כך, כשהמיון נעשה על מחשב המאפשר ביצוע מקבילי ניתן להגיע באופן מעשי לביצועים של , להבדיל מהגבול הנמוך האפשרי עבור מיון טורי של .
ישנן גם רשתות הנותנות סיבוכיות תאורטית טובה יותר (לוגריתמית) אך עם קבועים גבוהים מדי כדי לאפשר שימוש מעשי.
רשתות מיון הוצגו לראשונה ב-1954 על ידי ארמסטרונג, נלסון, ואו-קונור שהוציאו פטנט על הרעיון.
רשת השוואה כוללת שני סוגי רכיבים - חוטים ויחידות השוואה.
על החוטים ניתן לחשוב כמעבירים ערכים ה"זורמים" עליהם בו זמנית משמאל לימין.
כל יחידת השוואה מקשרת שני חוטים.
כשזוג ערכים "מגיע" ליחידת השוואה, היחידה מחליפה את הערכים אם ורק אם הערך הגבוה גדול מהערך הנמוך (במילים אחרות, יחידות ההשוואה מעבירות ערכים גבוהים למטה וערכים נמוכים למעלה).
בעזרת נוסחה ניתן להגדיר שאם החוט העליון נושא ערך והתחתון ערך אז אחרי המפגש עם יחידת ההשוואה הערכים על החוטים יהיו ו בהתאמה.
רשת השוואה כזאת שתצליח להוציא (בצד ימין) ערכים ממוינים עבור כל סדר של ערכי קלט (בצד שמאל) נקראת רשת מיון.
הפעלה מלאה של רשת מיון פשוטה מופיעה באיור להלן.
קל לראות שרשת זו תצליח למיין כל קלט אפשרי של ארבעה מספרים.
שימו לב שארבע יחידות ההשוואה הראשונות "ישקיעו" את הערך הגדול למטה ו"יציפו" את הערך הקטן למעלה.
היחידה האחרונה פשוט ממיינת את שני הערכים האמצעיים.
היעילות של רשת מיון יכולה להמדד ב"גודלה" - כלומר במספר יחידות ההשוואה שבה, או ב"עומקה" - כלומר במספר המקסימלי של יחידות ההשוואה שערך כלשהו עלול להזדקק לעבור דרכם.
חלק מההשוואות ברשת יכולות להתבצע במקביל - כפי שמסומן על ידי יחידות השוואה הממוקמות על אותו קו אנכי.
אם מניחים שכל השוואה לוקחת יחידת זמן אזי ניתן לראות שעומק הרשת שווה לזמן הדרוש לבצוע המקבילי של המיון.
בניית רשת מיון על ידי הוספת ערכים או על ידי בחירתם
לכל מספר נתון של קלטים ניתן לבנות רשת מיון עם מספר מתאים של חוטים באופן רקורסיבי על ידי הוספת חוט לרשת קטנה יותר.
נניח שנתונה רשת מיון עם חוטים (כלומר המצליחה למיין כל קלט של מספרים).
ניתן להרחיב את הרשת (בהשראת מיון הכנסה) על ידי הוספת חוט נוסף ובצוע סדרה של השוואות על החוטים שמוינו על ידי הרשת הנתונה .
ניתן גם להשיג את המטרה (בהשראת מיון בועות) על ידי "השקעה" מוקדמת של הערך המינימלי ואחר כך מיון שאר הערכים בעזרת הרשת הנתונה .
המבנה של שתי הרשתות המתקבלות הוא דומה.
למעשה אם מסדרים את ההשוואות הניתנות לבצוע מקבילי זו מעל זו אזי ניתן לראות ששתי הרשתות למעשה זהות.
לרשתות האלה יש עומק של .
זהו שיפור על הסיבוכיות של לפחות פעולות השוואה הדרושות למיון טורי במקרה הגרוע.
למעשה ניתן לבנות רשתות מיון עם סיבוכיות טובה אף יותר ובעלות עומק של כפי שיתואר להלן.
בכמה מקרים, כמו בבניית רשת על ידי הוספת ערכים או על ידי בחירתם כפי שתואר למעלה, קל להראות שרשת ההשוואה הנוצרת היא רשת מיון.
למרות זאת, לגבי רשת כללית ההוכחה שהרשת ממיינת בהצלחה כל קלט אפשרי היא משימה קשה.
ברשת בעלת חוטים יש לבדוק סידורים אפשריים של ערכים על החוטים.
אפשר להקטין מספר זה במידה משמעותית ל בעזרת עקרון אפס-אחד.
זהו עדיין מספר אקספוננציאלי של בדיקות אך הוא קטן מ- לכל , וההבדל הולך וגדל עם .
נראה שלא תמצא דרך יעילה יותר לבעיית הבדיקה אם רשת השוואה היא רשת מיון, אלא אם יסתבר ש־P=NP, כיוון שבעיה זאת ידועה כבעיה co-NP-שלמה.
עקרון אפס-אחד קובע שאם רשת השוואה מצליחה למיין את כל סידורי הקלטים עם הערכים 0 ו 1, אזי היא גם תצליח למיין קלטים עם כל ערך בכלל.
הוכחת העיקרון בקווים כלליים מראה שאם היא פונקציה מונוטונית אזי לכל זוג ערכים ו- מתקיים וגם .
מכאן נובע שאם רשת ממפה את ערכי הקלט ו- ל ו-, אזי היא גם תמפה את ו- ל ו-.
אפשר להכליל טענה זאת באינדוקציה ללמה הטוענת שאם רשת ממפה את הקלטים ל , אזי היא גם תמפה את ל .
המשך ההוכחה הוא בדרך השלילה.
נניח שהרשת שמצליחה למיין כל סדרת קלטים של 0 ו-1 לא מצליחה למיין את הסדרה , כלומר קיימים זוג ערכים כך ש והרשת מחליפה את ערכיהם שלא כראוי.
אם כך, הרשת גם תמיין לא כראוי את סדרת הערכים עבור הפונקציה המונוטונית:
זאת בסתירה להנחה שהרשת ממיינת נכון כל סדרת ערכי 0 ו-1. ומכאן שההנחה שעקרון אפס-אחד לא מתקיים אינה נכונה.
עקרון אפס-אחד שימושי גם לבניות של רשתות מיון כיוון שבכל שלב מספיק לוודא שהרשת מצליחה למיין קלטים של 0 או 1.
ישנם מספר אלגוריתמים לבניית רשתות מיון פשוטות ויעילות בעלות עומק של (ולכן גם גודל של ) כמו מיון ביטוני, מיון מיזוג זוגי-אי-זוגי של בטשר, מיון של, ורשת מיון בזוגות.
ברשתות אלה נעשה שימוש מעשי.
אפשר גם תאורטית לבנות רשתות מיון עם עומק מעריכי (לוגריתמי) לכל מספר של קלטים, בעזרת מבנה המכונה רשת AKS, על שם מגליו Ajtai, Komlós, Szemerédi.
זאת הייתה תגלית חשובה אך ללא חשיבות מעשית בשל הקבועים החבויים בנוסחת הסיבוכיות שהם בגודל של "הרבה הרבה אלפים".
זאת, בין השאר, בשל השימוש בגרף מרחיב.
גרסה פשוטה יותר של רשת AKS הוצגה על ידי פטרסון אך גם כאן הקבועים מונעים כל שימוש מעשי.
גודריך הציע בניה של רשת מיון בעלת עומק .
הקבועים הפעם קטנים בהרבה מאשר ברשתות AKS, אך עומק של לא נותן יתרון לבצוע מקבילי.
עבור מספר קטן של קלטים ניתן לבנות רשתות מיון עם עומק אופטימלי (לבצוע המקבילי ביותר האפשרי) או עם גודל אופטימלי (מספר יחידות ההשוואה).
רשתות אלה יכולות לשמש כדי לשפר ביצועים של רשתות גדולות יותר שנבנו באופן רקורסיבי, למשל בשיטת בטשר (ראה מעלה) על ידי עצירה מוקדמת של הרקורסיה והכנסת הרשת האופטימלית.
הטבלה להלן מסכמת את התוצאות האופטימליות המוכרות:
שש-עשרה הרשתות בעלת עומק מינימלי מופיעות בספר "The Art of Computer Programming" של דונלד קנות' במהדורת 1973. האופטימליות של שמונה הרשתות הראשונות הוכחה על ידי פלויד וקנות' בשנות ה-1960, ושל שאר הרשתות רק ב 2014 (הרשתות של 9 ו-10 קלטים הוכחו כאופטימליות ב 1991).
רשתות מיון בעלות גודל מינימלי ידועות עד 10 קלטים.
עבור יותר קלטים ידוע גבול עליון של הגודל כפי שמצוין בטבלה.
כל עשר הרשתות הנ"ל היו מוכרות כבר משנת 1969 ושמונה הראשונות היו ידועות כאופטימליות מאז עבודתם של פלויד וקנות', אבל האופטימליות של הרשתות של 9 ו-10 קלטים הוכחה רק בשנת 2014.
נעשו גם ניסיונות לבנות רשתות מיון בעזרת אלגוריתמים גנטים: קנות' מזכיר שרשתות מיון עבור 9 ו-11 קלטים נמצאו כך על ידי לורן שוויברט ב-2001.
רשת זרימה קדימה היא רשת עצבית מלאכותית שבה קשרים בין צמתים אינם יוצרים מעגלים.
רשתות זרימה קדימה היו הסוג הראשון והפשוט ביותר של רשתות נוירונים מלאכותיות.
ברשת כזו, המידע זורם רק בכיוון אחד, קדימה, מצמתי הקלט, דרך הצמתים החבויים (באם קיימים) אל צמתי הפלט, ללא מעגלים או לולאות עצמיות.
בפרספטרון רב שכבתי כל נוירון בשכבה אחת מקושר לנוירונים בשכבה הבאה.
כל נוירון מקבל ערך על ידי סכום כל הקישורים הנכנסים אליו, ובמקרים רבים הוא מפעיל גם פונקציית אקטיבציה לא-ליניארית כדוגמת סיגמואיד או ReLU.
לפי משפט הקירוב האוניברסלי לכל פונקציה אשר ממפה רצף של מספרים ממשיים לרצף אחר של מספרים ממשיים ניתן למצוא קירוב טוב ככל שנרצה על ידי פרספטרון רב-שכבתי שבו רק שכבה חבויה אחת.
קיימות שיטות רבות לאימון של רשתות רב שכבתיות, הידועה והמוצלחת מביניהן היא מורד הגרדיאנט.
בשיטה זו, משווים את ערכי החיזוי של הרשת לתשובות הנכונות ומסיקים את הערך של פונקציית הפסד מוגדרת מראש.
לאחר מכן, מזרימים את השגיאה לאחור ומעדכנים את המשקלים של הרשת בהתאם כדי להקטין את פונקציית השגיאה המחושבת במידה מסוימת.
לאחר ביצוע של תהליך זה למשך מספר רב של פעמים באופן איטרטיבי, לרוב הרשת תתכנס לערך שגיאה נמוך מספיק, ברגע זה ניתן להגדיר שהרשת למדה.
כיוון שרשתות נוירונים מקרבות פונקציות לא-ליניאריות, לא ניתן לפתור אותם באופן אנליטי ולכן משתמשים בשיטת האופטימיזציה של מורד הגרדיאנט.
לשם כך מחשבים את הגרדיאנט של פונקציית השגיאה כפרמטר של המשקלים על הרשת, על ידי כלל השרשרת, ולאחר מכן כל משקל מוזז מעט לכיוון ההופכי לגרדיאנט, כלומר הקטנה מרבית של פונקציית השגיאה.
זו היא גם הסיבה לכך שכל הרכיבים ברשתות עצביות - ובפרט פונקציית האקטיבציה - חייבים להיות גזירים.
רשת מלונות הרברט סמואל הוא מותג מלונות יוקרה בבעלות קבוצת ההחזקות ג'ורדאש ישראל.
שם המלון במקור הוא שמו של הנציב העליון הראשון בארץ ישראל בתקופת המנדט הבריטי, הרברט סמואל.
הרברט סמואל "הריף" אילת (נקרא בעבר "מלון אורכידאה הריף") – מלון בוטיק 4 כוכבים, סמוך לחוף הים ושמורת הטבע "חוף אלמוג".
"אופרה" הרברט סמואל תל אביב – ממוקם במגדל האופרה.
"אוקיינוס סוויטס" הרצליה – מלון בוטיק על חוף הים בהרצליה סמוך לקומפלקס ההייטק והתעשייה בהרצליה פיתוח.
"מילוס ים המלח" בעין בוקק.
הרברט סמואל - ים המלח (מלון "הוד" לשעבר).
רשת מוסדות המחקר הצרפתיים מחוץ לצרפת היא רשת שיתוף פעולה של מוסדות מחקר צרפתיים, הפועלים מחוץ לצרפת בהנחיתם הכפולה של המרכז הלאומי למחקר מדעי (CNRS) ומשרד החוץ ואירופה, הפועלים ככלי לדיפלומטיה מדעית.
מוסדות אלה נוצרו במספר גלים, החל מ־1920 ועד סוף המאה ה־20.
רשת מרכזי ומכוני המחקר הצרפתיים משתפים פעולה עם המוסדות האקדמיים והמחקר של המדינות המארחות וארגוני המחקר הצרפתיים בתחומי מדעי הרוח, מדעי החברה והארכאולוגיה, כגון: מכון המחקר לפיתוח (IRD) , בית למדעי האדם (MSH) , אקול פראטיק דה אוטז אטיד (EHPE), בית הספר ללימודים גבוהים במדעי החברה (EHESS) ואוניברסיטאות צרפתיות .
כל הפעילויות המדעיות וההפקות של רשת מוסדות המחקר הצרפתיים ברחבי העולם מוצגות בפורטל אינטרנט ייעודי של UMIFRE (אג'נדה, חדשות, פרסומים, תוכניות מחקר, משאבים אלקטרוניים וכו'), ניראות ברשתות חברתיות, ייעוץ דיגיטלי ומגזין הנגיש אונליין.
נכון לשנת 2020, שיתופי הפעולה כוללים 150 חוקרים, 350 סטודנטים לתואר שלישי, 800 אירועים, פרסום כ־45,000 מאמרים מדעיים במנוע החיפוש ו־180 שותפיות מקומיות.
הרשת כוללת 27 מרכזי ומכוני מחקר צרפתיים מחוץ לצרפת, הפרושים ב־34 מדינות בכל היבשות והמכסים את כל תחומי מדעי הרוח והחברה.
להלן רשימת המרכזים והמכונים המסונפים למשרד החוץ הצרפתי:
המרכז הצרפתי למחקר בירושלים (CRFJ) - ירושלים
המרכז למדעי הרוח והמדעים (CSH) - ניו דלהי
המרכז ללימודי כלכלה, משפטים, חברה ותיעוד (CEDEJ) - קהיר וח'רטום
המרכז ללימודי סין הצרפתית העכשווית (CEFC) - הונג קונג וטאיפיי
המרכז ללימודי מקסיקו ומרכז אמריקה (CEMCA) - מקסיקו סיטי וגואטמלה
המרכז הצרפתי לחקר מדעי החברה (CEFRES) - פראג
המרכז הצרפתי ללימודי אתיופיה (CFEE) - אדיס אבבה
המרכז הצרפתי לארכאולוגיה ומדעי החברה בצנעא (CEFAS) - צנעא
מרכז מוסקבה ללימודי פרנקו-רוסיה (CEFR) - מוסקבה
מרכז ז'אק-ברק (CJB) - רבאט
מרכז מארק-בלוך (CMB) - ברלין
המשלחת הארכאולוגית הצרפתית באפגניסטן (DAFA) - קאבול
המכון למחקר במגרב העכשווית (IRMC) - תוניס
מכון המחקר העכשווי של דרום מזרח אסיה (IRASEC) - בנגקוק
המכון הצרפתי של פונדיצ'רי (IFP) - פונדיצ'רי
המכון הצרפתי למחקר באפריקה - ניגריה (IFRA-ניגריה) - איבדאן וזריה
המכון הצרפתי למחקר באפריקה - ניירובי (IFRA-ניירובי) - ניירובי
המכון הצרפתי למחקר באיראן (IFRI) - טהראן
המכון הצרפתי למזרח הקרוב (IFPO) - דמשק - ביירות - עמאן
המכון הצרפתי של דרום אפריקה (IFAS) - יוהנסבורג
המכון הצרפתי ללימודי אנטוליה ז'ורז' דומזיל (IFEA) - איסטנבול
המכון הצרפתי ללימודי האנדים (IFEA) - לימה (משרד בקיטו)
המכון הצרפתי ללימודי מרכז אסיה (IFEAC) - בישקק
בית אוקספורד פרנץ' (MFO) - אוקספורד
בית פרנקו-יפני (MFJ) - טוקיו
המכון הפרנקו-גרמני למדעי ההיסטוריה והחברה (לשעבר המכון הצרפתי להיסטוריה בגרמניה) (IFA/IFHA) - פרנקפורט
המחלקה הצרפתית של עתיקות סודאן (SFDAS) - ח'רטום
ברשת יש גם חמישה בתי ספר צרפתיים מחוץ לצרפת, המסונפים למשרד להשכלה גבוהה, מחקר וחדשנות ולא למשרד החוץ.
בית ולאסקס - מדריד, ספרד
בית הספר הצרפתי באתונה (EFA) - אתונה
בית הספר הצרפתי ברומא (EFR) - רומא (בהדרכתה של האקדמיה לכתובים ולספרות )
בית הספר הצרפתי למזרח הרחוק (EFEO) - פריז (ל־EFEO יש 15 מרכזים במדינות אסיה השונות)
המכון הצרפתי לארכאולוגיה אוריינטלית (IFAO) - קהיר
רשת התחבורה הטרנס-אירופית או TEN-T (קיצור של Trans-European Transport Network) היא רשת מתוכננת של כבישים, מסילות רכבת, שדות תעופה ותשתיות מים באיחוד האירופי.
רשת TEN-T היא חלק ממערכת רחבה יותר של רשתות טרנס-אירופיות (TENs), כולל רשת טלקומוניקציה (eTEN) ורשת אנרגיה מוצעת (TEN-E או Ten-Energy).
הנציבות האירופית אימצה את תוכניות הפעולה הראשונות על רשתות טרנס-אירופיות בשנת 1990.
TEN-T צופה שיפורים מתואמים לכבישים ראשיים, מסילות ברזל, נתיבי מים פנימיים, שדות תעופה, נמלי ים, נמלים יבשתיים ומערכות ניהול תעבורה, המספקים מסלולים משולבים ובין-מודאליים למרחקים ארוכים במהירות גבוהה.
החלטה לאמץ TEN-T התקבלה על ידי הפרלמנט והמועצה האירופית ביולי 1996. האיחוד האירופי פועל לקידום הרשתות על ידי שילוב של מנהיגות, תיאום, הנפקת הנחיות והיבטי מימון פיתוח.
פרויקטים אלה מנוהלים מבחינה טכנית ופיננסית על ידי הסוכנות המבצעת לחדשנות ורשתות (INEA), אשר החליפה את הסוכנות המנהלת של רשת התחבורה הטרנס-אירופית (TEN-T EA) ב-31 בדצמבר 2013.
הנחיות TEN-T אומצו לראשונה ב-23 ביולי 1996, עם החלטה מס' 1692/96/EC של הפרלמנט האירופי ושל המועצה בדבר הנחיות קהילתיות לפיתוח רשת התחבורה הטרנס-אירופית.
במאי 2001, הפרלמנט האירופי והמועצה אימצו החלטה מס' 1346/2001/EC, אשר שינתה את הנחיות ה-TEN-T לגבי נמלי ים, נמלים יבשתיים ומסופים בין-מודאליים.
באפריל 2004, הפרלמנט האירופי והמועצה אימצו את החלטה מס' 884/2004/EC (נוספה לרשימה על ידי החלטה מס' 884/2004/EC), לתיקון החלטה מס' 1692/96/EC בנושא הנחיות קהילתיות לפיתוח של רשת התחבורה הטרנס-אירופית.
התיקון באפריל 2004 היה שינוי מהותי יותר במדיניות ה-TEN-T, שנועד להתאים את הרחבת האיחוד האירופי ושינויים עקב כך בזרימת התנועה.
פיתוח של ה-TEN-T בוצע על ידי הצעה משנת 1994 שכללה שורה של פרויקטים מועדפים.
בדצמבר 2013, עם התקנות (EU) 1315/2013 (הנחיות TEN-T), ו-(EU) 1316/2013 (מתקן חיבור אירופה 1), רשת ה-TEN-T הוגדרה בשלוש רמות, הרשת המקיפה וה-Comprehensive Network ו- רשת הליבה, ובתוכה 9 מסדרונות רשת הליבה.
ב-17 באוקטובר 2013, הוכרזו תשעה מסדרונות רשת Core (במקום 30 פרויקטי TENT Priority).
פרוזדור הים התיכון (ספרד–צרפת–צפון איטליה–סלובניה–קרואטיה–הונגריה);
המסדרון האטלנטי (המכונה בעבר פרוזדור ליסבוא-שטרסבורג ) (פורטוגל-ספרד-צרפת);
מסדרון הים הצפוני-ים התיכון (אירלנד-בריטניה-הולנד-בלגיה-לוקסמבורג-מרסיי (צרפת),
פרוזדור הריין-דנובה (גרמניה-אוסטריה-סלובקיה-הונגריה-רומניה עם שלוחה גרמניה-צ'כיה-סלובקיה);
ביולי 2021, עם תקנה (EU) 2021/1153 (מתקן חיבור אירופה 2), 9 מסדרונות הליבות הורחבו, באופן חלקי (כגון האוקיינוס האטלנטי, הים הצפוני, סקנד-מד) ואילו הים הצפוני עקב Brexit השתנה לאירלנד-בלגיה-הולנד ואירלנד-צרפת.
בדצמבר 2021, הצעת הנציבות האירופית לתקנה חדשה בנושא הנחיות TEN-T (COM 2021/821) מציעה, בין היתר, לעתיד פירוק של מסדרונות רשת Core נבחרים (מזרח/מזרח-מד, ים צפוני-ים תיכוני), שילוב במסדרונות אחרים (הריין-דנובה, הים הצפוני-אלפיני) ויצירת מסדרונות מיושרים חדשים (הים הבלטי-השחור-אגאי, מערב הבלקן).
הפיתוח של Ten-T בבלקן (אלבניה, בוסניה והרצגובינה, קוסובו, מונטנגרו, צפון מקדוניה וסרביה) ניתן בשנת 2017 לקהילת התחבורה של דרום מזרח אירופה.
בשנת 2017 הוחלט כי רשתות התחבורה הטרנס-אירופיות יורחבו למזרח אירופה ויכללו את המדינות החברות בשותפות המזרחית.
ההרחבה המזרחית הרחוקה ביותר של רשת התחבורה הטרנס-אירופית הגיעה לארמניה בפברואר 2019.
לפי הצעת 2021, הקשרים יובילו גם לבריטניה, שווייץ, דרום הים התיכון, טורקיה ומערב הבלקן.
ביולי 2022, הוסכם לקשר ארבעה מסדרונות תחבורה אירופיים עם מולדובה ואוקראינה ולהפיל את רוסיה ובלארוס ממפת ה-TEN-T.
דו"ח של אוגוסט 2023 המליץ על הרחבת TEN-T למולדובה ואוקראינה עם קו רכבת סטנדרטי (1435 מ"מ), כדי לסייע בשילובם עם רשתות הרכבות של האיחוד האירופי, חלק מהקווים עוברים לצד קווי ה-1520 מ"מ כדי למנוע הפרעות במהלך הבנייה.
לכל מצב תחבורה יש רשת.
רשת הרכבות הטרנס-אירופית, הכוללת את רשת הרכבות הטרנס-אירופיות המהירות וכן את רשת הרכבות הטרנס-אירופית הקונבנציונלית
רשת נתיבי מים פנימיים טרנס-אירופיים ונמלים פנימיים
כבישים מהירים של הים (נוספה על ידי החלטה מס' 884/2004/EC)
רשת ניהול ומידע ספנות טרנס-אירופית
רשת ניהול תעבורה אווירית טרנס-אירופית, הכוללת את המושגים Single European Sky ו־SESAR
רשת מיקום וניווט טרנס-אירופית הכוללת את גלילאו
רשת עירונית היא רשת תקשורת הפרוסה על פני עיר או קמפוס (של אוניברסיטה למשל).
רשת עירונית יכולה לשמש לחיבור מספר רשתות מקומיות קרובות גאוגרפית, כאשר ביניהן קיים קשר לוגי הדוק.
במקרים רבים משמשת רשת זו כדרך לחבר את הרשתות המקומיות לא רק זו לזו אלא גם לרשתות גדולות יותר, ארציות או עולמיות, כדוגמת האינטרנט.
לדוגמה, באוניברסיטה קיימת רשת מקומית לכל פקולטה.
הרשתות מחוברות ביחד לרשת עירונית, שמחוברת (בנקודה אחת או יותר) לרשת אזורית, למשל רשת בין-אוניברסיטאית או לאינטרנט.
בישראל נפוצות רשתות עירוניות בעיקר באוניברסיטאות ובמכללות.
רשת עירונית מודרנית עושה בדרך כלל שימוש בסיבים אופטיים על מנת לספק את רוחבי הפס ומרחקי ההעברה הנדרשים ממנה.
VLAN - רֶשֶׁת מְקוֹמִית וִירְטוּאָלִית (Virtual Local Area Network) היא מקטע (Segment) ברשת מקומית שמוגדר מבחינה לוגית כרשת אוטונומית.
פרוטוקול VLAN מגדיר טכנולוגיה המאפשרת לחלק רשת LAN מקומית, המרוכזת על ידי מתג אחד או יותר, למספר תת-רשתות "וירטואליות".
הבידול לרשתות שונות מתבצע בשכבה השנייה של מודל ה-OSI, על ידי חסימת העברת אותות במתג בין הפורטים השונים שלו אשר אינם משויכים לאותו ה-VLAN.
החסימה מאפשרת את חלוקת הרשת המקומית למספר רשתות שונות ונפרדות (Segments) אשר יכולות לתקשר ביניהן כרשת WAN.
השימוש ברשתות מקומיות וירטואליות החל כאשר היה צורך להקטין את מתחמי ההתנגשות (Collision domain) ברשתות מקומיות, והבעיה נפתרה על ידי הכנסתם של המתגים (Switch) שמאפשרים את חלוקת הרשת בצורה וירטואלית.
השימוש העיקרי בחלוקה כזו הוא הקטנת מתחמי השידור (Broadcast domain) ברמת כתובות ה-MAC.
שימוש נוסף והנפוץ יותר לרשתות וירטואליות מקורו בקלות שבה ניתן להחל באמצעותן הרשאות אבטחה ומידור.
יישום של רשתות מקומיות וירטואליות נעשה כיום בעזרת מתגים "חכמים", המאפשרים קיבוץ לוגי של מספר קצוות המחוברים אליהם.
מספר מתגים המחוברים ביניהם מתפקדים לצורך העניין כמתג בודד, ומאפשרים קיבוץ קצוות מכל רחבי מתחם השידור (המוגבל בדרך כלל על ידי נתבים) והפרדתם למתחם שידור נפרד.
המתג מנהל רשימה של כל כתובות ה-MAC השייכות לרשת הווירטואלית, ומפריד אותם משאר הקצוות ברשת.
על ידי הפרדה זו ניתן למשל לחלק לקצוות אלו כתובות IP השייכות לתת רשת מסוימת, להחיל מדיניות אבטחה (על ידי הגדרת הרשאות שונות למי ששייך לרשת הווירטואלית ולמי שלא) ועוד.
תקשורת רשתות וירטואליות - VLAN Tagging
עקב הצורך בתעבורת מידע השייך לכמה רשתות וירטואליות על קו נתונים יחיד, כגון תעבורה אל יחידת שער אחת המשותפת לכמה רשתות וירטואליות או תעבורה בין שני מתגים שונים שבכל אחד מהם יש 2 רשתות וירטואליות שונות אבל משותפות לכל מתג.
לכן נכתב תקן השייך לשכבה השנייה של מודל ה-OSI שנקרא 802.1Q או בצורה מילולית: VLAN Tagging.
ההתקן המקבל את המידע חייב לתמוך בתקן 802.1Q בשביל להיות מסוגל לפענח את המידע המתקבל.
דוגמה לשימוש נפוץ בתקן (VLAN Tagging (802.1Q
ברשת של ארגון שמחולקת לשתי רשתות וירטואליות שונות קיים נתב אחד המאפשר גישה לאינטרנט לכלל הארגון; נגדיר כניסה באחד המתגים שאליה נחבר את הנתב ואותה נגדיר ככניסה התומכת ב-VLAN Tagging.
נגדיר אותה גם כחברה בשתי הרשתות - משמע נבקש מהנתב להאזין למסגרות שמכילות תווי רשת של שתי רשתות שונות.
על ידי הגדרות אלה, מידע משתי הרשתות יוכל להגיע אל הנתב כדי שישמש כשער לאינטרנט לשתי הרשתות בנפרד.
כמו כן נצטרך להגדיר את הנתב בהתאם כדי שיתמוך בתצורה זאת.
רשת עֲצַבִּית מלאכותית (ANN – Artificial Neural Network), רשת נוירונים או רשת קשרית, היא מודל מתמטי חישובי, שפותח בהשראת תהליכים מוחיים או קוגניטיביים המתרחשים ברשת עצבית טבעית ומשמש במסגרת למידת מכונה.
רשת מסוג זה מכילה בדרך כלל מספר רב של יחידות מידע (קלט ופלט) המקושרות זו לזו, קשרים שלעיתים קרובות עוברים דרך יחידות מידע "חבויות" (Hidden Layer).
צורת הקישור בין היחידות, המכילה מידע על חוזק הקשר, מדמה את אופן חיבור הנוירונים במוח.
השימוש ברשתות עצביות מלאכותיות נפוץ בעיקר במדעים קוגניטיביים, ובמערכות תוכנה שונות – בהן: מערכות רבות של אינטליגנציה מלאכותית המבצעות משימות מגוונות – זיהוי תווים, זיהוי פנים, זיהוי כתב יד, חיזוי שוק ההון, מערכת זיהוי דיבור, זיהוי תמונה, ניתוח טקסט ועוד.
רשת עצבית היא רשת של מעבדים מקושרים: כל מעבד ברשת מסוגל לבצע פעולה מתמטית פשוטה, אך בהיקשרם יחד הם מסוגלים להתנהגות מורכבת.
במוח, תאי עצב או נוירונים הם התאים שמהם מורכבת מערכת העצבים, ויש כמאה מיליארד מהם אצל אדם ממוצע.
כל אחד מהם התפתח להיות מעבד אלקטרוני.
הדֶנדריטים מקבלים מידע מהעולם החיצון ומהווים את מערכת הקלט של הנוירון.
כשמתקבלים מספיק גירויים בדנדריטים, גוף התא מייצר אות חשמלי שנע לאורך האַקסוֹן לדנדריטים של תאים אחרים או לשרירים ומגרה אותם.
ככל שהנוירונים מקבלים יותר גירויים מהדנדריטים, הם מייצרים יותר אותות חשמליים בשנייה אחת.
ההבדל העיקרי ביותר בין רשת עצבית ביולוגית לבין רשת עצבית מלאכותית הוא שמחשבים פועלים בעיקר בעיבוד טורי, או עם כמות קטנה של עיבוד מקבילי, ואילו מוחות של יצורים פועלים בעיבוד מקבילי.
על פי התזה של צ'רץ' וטיורינג, המודל שקול למכונת טיורינג, (כיוון שכל חישוב שיכול להעשות בידי מחשב מקבילי יכול להעשות גם בידי מחשב טורי).
ישנם עוד כמה הבדלים חשובים בין רשתות עצביות במוח לרשתות מלאכותיות.
במוח יש מספר עצום של מרכיבים (בערך 1011), שכל אחד מהם מחובר למרכיבים רבים (בין 1,000 ל־10,000 בממוצע).
כל אחד מהמרכיבים האלה מבצע חישוב פשוט למדי, שטבעו עדיין אינו ברור לחלוטין, יחסית באיטיות (פחות מקילוהרץ אחד), המבוסס בעיקר על מידע שהוא מקבל מהחיבורים המקומיים שלו.
במערכות מלאכותיות, תאי העצב מחוברים ביניהם באופן אחיד, וכולם מבצעים את אותה הפעולה החישובית.
לכל חיבור מיוחס משקל מספרי כלשהו.
הפלט של כל תא הוא ערך מספרי יחיד, שמחושב כתוצאה של סכום הפעולות של תאי הקלט והמשקל היחסי שלהם.
אפשר גם לחלק את רשתות תאי העצב לשתי קבוצות שונות, בעלות למידה מונחית או לא מונחית.
רשתות מונחות, כמו הפרספטרון, משתמשות באלגוריתם למידה מונחה, כלומר שהמערכת צריכה לקלוט ולפלוט מידע בשלב הלמידה.
לעומת זאת, רשתות לא מונחות, כמו רשת קוהונן, מצריכות רק שמידע יקלט, ללא פלט.
מערכות אלה מארגנות את המידע הנקלט בעצמן, על פי מדד דמיון.
שנת 1943 – ההתפתחות מדע רשתות העצביות
בשנת 1943 פרסמו שני חוקרים אמריקאים, ורן מקלוך וולטר פיטס מאמר, שהיווה בסיס להתפתחותו של מדע הרשתות העצביות.
המאמר הציע מודל פשוט של פעולת הנוירון, שעליו מבוססות הרשתות המלאכותיות עד היום:
הנוירון מקבל קלטים (נהוג לסמן ב־i), כשלכל אחד מהם משקל יחסי (נהוג לסמן ב־w).
כל נתון נשקל על ידי הכפלתו במשקולת המתאימה לו, כאשר התוצאה מסכום הקלטים המשוקללים:
אם סכום זה (המהווה במובן הביולוגי את הגירוי הכולל המגיע לנוירון) גבוה מסף ידוע כלשהו, הנוירון מעביר פלט "1"; אם לא, הפלט הוא "0".
תהליך זה מזכיר פעולה של נוירון אמיתי, המפיק אות חשמלי כשהגירוי מספיק.
סידור המשקולות מהותי לתפקוד הרשת.
המשקולות הן אלו שקובעות מהי התבנית שתזוהה, וקביעתן היא המשימה המרכזית של תוכנית הרשת העצבית.
שנת 1969 – נטישת הרשתות בעקבות מאמר על המגבלות ברשתות נוירונים
בשנת 1969 פרסמו מרווין מינסקי וסימור פפרט (Minsky and Papert) את ספרם "Perceptrons", שבו תקפו את הרעיונות העומדים מאחורי הרשתות העצביות.
הספר הציג פגם בנוירון הבסיסי.
הבעיה הייתה זו: לא משנה אילו משקולות נשים על הקלט, לא נוכל ליצור את השער הלוגי Exclusive OR) XOR) עבור רשת עם שכבה יחידה.
בנוסף טענו, שלמחשבים אין די כוח חישוב כדי להתמודד עם רשתות מורכבות.
טיעונים אלו ונוספים עיכבו את המשך התפתחותן של הרשתות העצביות במשך שנים רבות.
חוקרים רבים נטשו את התחום בחשבם כי אם הנוירון לא יכול לבצע משימה פשוטה זו, אין טעם בהמשך המחקר.
למעשה, מה שהיה נחוץ כדי להתגבר על בעיה זו ועל בעיות דומות לה הוא לא נוירון אחד, כי אם רשת של נוירונים, והמתמטיקאי הרוסי אנדריי קולמוגורוב כבר הראה כי רשת נוירונים ב־3 שכבות תוכל לפתור XOR.
שנת 1982 – עלייתן מחדש של רשתות הנוירונים בשנות השמונים
אף על פי שהפתרון היה ידוע, רק בשנים 1982–1983 התעורר שוב העניין במחקר הרשתות העצביות.
בזמן זה, "אלגוריתם הפעפוע לאחור" זכה לפרסום נרחב.
שנות האלפיים – למידה עמוקה
רשתות עצביות מלאכותיות זכו לעדנה מחודשת החל מהעשור הראשון של שנות ה־2000. בתקופה זו החל שימוש פופולרי במושג "deep belief nets" ובקיצור רשתות עמוקות שנטבע במאמר המשפיע מ־2006 של הינטון, אוסינדרו וטה.
במסגרת למידה עמוקה נעשה נפוץ השימוש ברשתות עצביות מלאכותיות שבהן מספר שכבות חבויות.
מאז 2012, כל המנצחות בתחרויות ראייה ממוחשבת גדולות בתחום זיהוי אובייקטים, כגון תחרות ImageNet, מבוססות על למידה עמוקה.
מאז שב-2012, "למידה עמוקה" הצליחה לשפר את אחוזי הדיוק בבעיות זיהוי עצמים, תחרות ImageNet, ארכיטקטורות הרשתות זכתה לתשומת לב רבה, הן באקדמיה והן בתעשייה.
רשת נוירונים מורכבת ממספר רב של תאי בסיס, כך שכל תא בסיס מבצע חישוב פשוט יחסית.
לכל תא מספר כניסות ויציאה אחת שערכה הוא פונקציה כלשהי של הכניסות.
יציאה של תא מסוים יכולה להזין מספר כניסות של תאים שונים.
ישנם מודלים רבים של רשתות עצביות.
המשותף לכולם הוא קיומן של יחידות עיבוד בדידות (המקבילה במודל לנוירונים הביולוגיים) הקשורות ביניהן בקשרים (בדומה לקשרים הקיימים בין הנוירונים הביולוגיים).
הפרטים – מספר הנוירונים, מספר הקשרים, מבנה הרשת (סידור בשכבות, מספר השכבות) – משתנים ממודל למודל.
מקובל להשתמש בכלים מתחום האלגברה הליניארית כגון מטריצות ווקטורים על־מנת לייצג את הנוירונים והקשרים ביניהם.
הפעולה שמבצע כל נוירון על הקלט שלו בדרך כלל מיוצגת על ידי פונקציה.
רשת נוירונים מאופיינת על ידי:
חיבורים – אופן החיבור בין הנוירונים ברשת
משקלים – השיטה הקובעת את משקלי החיבורים בין הנוירונים
פונקציית האקטיבציה, העשויה להיות שונה בכל שכבה (פונקציה לא ליניארית, לרוב logsig או סיגמואיד)
רשתות נוירונים מורכבות ממספר רב של יחידות עיבוד פשוטות הנקראות נוירונים, אשר מחוברות באופן היררכי ומובנות בשכבות.
השכבה הראשונה נועדה לקלוט מידע לרשת, השכבה האמצעית ידועה כשכבה החבויה (במודלים שונים עשויים להיות יותר מאחת כזו), ולבסוף השכבה האחרונה אשר נועדה להחזיר את המידע המעובד כפלט.
הצמתים בכל שכבה מחוברים באופן מלא לצמתים בשכבות הסמוכות באמצעות חיבור ישיר בין הנוירונים, כאשר לכל קשר קיים משקל מסוים.
המשקל בכל קשר קובע עד כמה רלוונטי המידע שעובר דרכו, והאם על הרשת להשתמש בו על מנת לפתור את הבעיה.
כל צומת בשכבת הקלט (השכבה הראשונה) מייצג תכונה שונה מהמבנה, ושכבת הפלטים מייצגת את הפתרון של הבעיה.
בשכבה האמצעית והחיצונית קיימים "ערכי סף" הניתנים לכיול במערכת ממוחשבת, וקובעים את חשיבות הקשרים השונים,
ברשת ישנם שלושה סוגי שכבות:
שכבת כניסה (Input Layer) – לכל תא בשכבה זו כניסה אחת.
וקטור הכניסות הוא הקלט לרשת.
מספר התאים: כמספר המאפיינים (Features).
מומלץ לבצע מחקר בנוגע להשפעתם של המאפיינים השונים על השגיאה, הקשרים וההיררכיה ביניהם.
כלל אצבע הוא כי המספר הכולל של המאפיינים לא יעלה על עשירית ממספר הדוגמאות בסדרת הלימוד.
שכבות חבויות (Hidden Layers) – לכל תא בשכבה זו מספר כניסות, כמספר תאי הכניסה (Fully Connected).
רשת נוירונים ללא שכבות חבויות מאוד מוגבלת והיא נקראת פרספטרון.
מספר התאים: כמספר התאים בשכבת הכניסה בתוספת תא אחד או שניים.
מספר השכבות: מ־0 ועד לאינסוף.
בכל השכבות החבויות בדרך כלל אותו מספר תאים.
מומלץ לבצע מחקר בנוגע להשפעתם של מספר התאים ומספר השכבות החבויות על השגיאה.
מספר השכבות ומספר התאים מגדירים את גודל הרשת.
יש לבחור רשת גדולה מספיק, אך לא גדולה מדי.
רשת קטנה מדי לא תוכל לקרב בדיוק מספיק את המיפוי הנדרש, ואילו רשת גדולה מדי תמנע לימוד יעיל (זהו ה־Bias Trade Off).
רשתות רב־שכבתיות אופייניות הן בעלות שכבה חבויה אחת או שתיים, ומספר הנוירונים בשכבות הנסתרות במקרים רבים אינו עולה על 10 (אלא אם כן קיימת חלוקה מודולרית למספר תת־רשתות).
בעיות זיהוי תמונה בדרך כלל מאופיינות עם מספר שכבות גבוה מאוד (מאות שכבות).
כוונון מספר הנוירונים ומבנה הרשת יעשה לרוב אמפירית, תוך שימוש בדוגמאות ולידציה (Validation) או באמצעות אימות־צולב (Cross Validation).
שכבת יציאה (Output Layer) – לכל תא בשכבה זו מספר כניסות, כמספר תאי השכבה המוסתרת (Fully Connected).
וקטור מוצאי התאים בשכבה זו הוא וקטור היציאה של הרשת.
כמה מהתכונות שעשויות להיות שימושיות לפונקציית אקטיבציה:
לא ליניארית – כאשר הפונקציה אינה ליניארית, ניתן להוכיח שרשת עצבית של שתי שכבות היא משערך אוניברסלי.
פונקציית הזהות אינה מקיימת את תכונה זו.
כאשר מספר שכבות משתמשות באקטיבציה של פונקציית זהות, הרשת שקולה למודל של שכבה אחת.
גזירה ברציפות – זו תכונה רצויה המסייעת לאופטימיזציה מבוססת גרדיאנט.
פונקציה מדרגה בינארית אינה גזירה ב-0, והנגזרת שלה היא 0 עבור ערכים אחרים, ולכן שיטות מבוססות גרדיאנט עשויות להיתקע.
טווח – כאשר הטווח של פונקציית האקטיבציה סופי, שיטות אימון מבוססות גרדיאנט נוטות להיות יציבות יותר, כי ייצוג התבנית מושפע מאוד ממשקולות מוגבלים.
כאשר הטווח אינסופי, האימון בדרך כלל יעיל יותר כיוון שייצוג תבניות משפיע על רוב המשקולות.
מונוטונית – כאשר פונקציית האקטיבציה היא מונוטונית, שטח השגיאה הקשור במודל עם שכבה יחידה מובטח להיות קמור.
קרובות לזהות ליד נקודת הראשית – כאשר פונקציית האקטיבציה ניחנת בתכונה זו, הרשת לומדת ביעילות כאשר המשקולות מאותחלים לערכים אקראיים קטנים.
כאשר תכונה זו לא מתקיימת בפונקציית האקטיבציה, נדרשת תשומת לב באתחול ערכי המשקולות.
בטבלה שלהלן, פונקציות אקטיבציה שבהן וגם וגם רציפה ב-0 מופיע סימון הרומז על קיום תכונה זו.
הטבלה הבאה משווה את התכונות של מספר פונקציות אקטיבציה:
הטבלה הבאה מרכזת פונקציות אקטיבציה שאינן פונקציות של משתנה יחיד מהשכבה או השכבות הקודמות:
שם משוואה נגזרת טווח פונקציה חלקה Softmax for = 1, …, Maxout
ארכיטקטורות רשת בולטות כוללות את "המשפחות" שלהלן:
רשת קונבולוציה – רשתות אלו מתאימות ללמידה של מידע שהוא בזמן או במרחב והן מתאימות לעיבוד תמונות.
Recurrent Neural Network – רשתות אלו נועדו "לפענח" מידע סדרתי – כלומר, להביא בחשבון את "סדר ההופעה" של התופעה בה מטפלים.
רשתות אלו כוללות מרכיב של זיכרון – כך שהרשת "יודעת להתחשב" בהיסטוריה.
רשתות אלו מתאימות במיוחד לקריאת כתב – כאשר יש חשיבות רבה לסדר הופעת האותיות, להפיכת "שמע" לטקסט וכדומה.
מכיוון שהרשת מקבלת קטע לפענוח שהוא בעל אורך נתון – היא יכולה להביא בחשבון גם את סדר ההופעה "הרגיל", כלומר, להביא בחשבון את העבר לגבי "מה צפויה" להיות האות הבאה ובמקביל, היא יכולה "להסתכל" על הנתונים גם בכיוון ההפוך (למשל – מסוף המילה אל תחילתה).
בנוסף, רשתות אלו מאפשרות להביא בחשבון זמנים (או יחסי קרבה) בעלי אורך משתנה, כלומר, לדוגמה, בהקשר של קריאת כתב, להביא בחשבון הן את האות הקרובה לאות שמנסים לפענח והן אותיות או חלקי מילים רחוקות יותר.
Autoencoder – רשתות אלו בנויות בארכיטקטורה כזו שגודל השכבות החבויות יורד והולך ואחר כך, הוא גדל חזרה, בדרך כלל, לגודל המקורי, כלומר, רשת בארכיטקטורה הכוללת "צוואר בקבוק".
במצב זה, החלק של הרשת מהשכבה של כניסת הנתונים ועד לצוואר בקבוק מהווה "מקודד" של המידע ואילו השכבה מצוואר הבקבוק ועד לשכבת יציאת הנתונים מהווה "מפענח".
לרשתות כאלה יש שימושים רבים ולדוגמה, ניתן לאמן את הרשת על תמונות רבות של ואן גוך, מה שיגרום ל"מקודד" "להבין" מה מצויר בתמונה ואילו ה"מפענח" ילמד איך לקחת מידע מקודד שמבטא את "מה מצויר בתמונה" ולהפוך אותו לציור "בסגנון של ואן גוך".
רשת כזו, לאחר שאומנה, יכולה לקלוט ציור או צילום אחר כלשהו, "להבין" מה יש בציור ואז "לפתוח מחדש" את המידע המקודד כך שבסופו של התהליך יתקבל הציור/ צילום המקורי – אבל בסגנון של "ואן גוך".
שיטה זו מאפשרת להמיר צילומי יום לתמונות שכאילו צולמו בלילה וכדומה.
Generative adversarial network – רשתות הכוללות שתי ארכיטקטורות נפרדות.
רשת זו יודעת לייצר בעצמה את הישות שבה מתעניינים – נניח למשל תמונה של פרח.
רשת שנייה מהווה "שופט" והיא מנסה להשוות בין התוצרים של ה"גנרטור" לבין תמונות אמיתיות של פרחים.
אם השופט מצליח להבין איזה תמונה יוצרה על ידי הגנרטור ואיזה תמונה היא "אמיתית" – משפרים את ה"גנרטור", אם השופט לא מצליח להבחין בין התמונות האמיתיות לבין התמונות שהגנרטור מייצר – משפרים את "השופט" וחוזר חלילה.
רשתות כאלה יכולות "לייצר בעצמן" ישויות מגוונות, דומות להפליא למציאות עצמה.
נכון ל-2019, הודגמו כבר יכולות לייצר פורטרטים של אנשים לא קיימים, ציפורים, פרחים, קולות וכיוצא באלו.
ארכיטקטורה זו פותחה ופורסמה לראשונה על ידי איאן גודפלו בשנת 2014.
רשת נוירונית מבוססת על מתמיר (Transformer based neural networks) – רשתות נוירונים שהתפתחו בעולם הבנת השפה והן מתאימות במיוחד לטיפול במידע שמגיע כזרם של אלמנטים שונים (לדוגמה מילים במשפט).
ברשתות נוירונים מסוג זה אלמנטים מרוחקים בקלט יכולים להשפיע על הפלט ללא איבוד הקשר.
רשתות מסוג זה משמשות במודלי שפה גדולים כמו GPT, Bert, ועוד.
ליבת המודל היא מציאת ההשפעה של אלמנטים בהיסטוריה על הפלט עבור ערך קלט נוכחי.
כיוון שכל אלמנט בקלט משתתף במשפר הקשרים שונים, לדוגמה במשפט "האנשים נעלו את ביתם שבמושבה ונסעו לטיול במכונית" המילה ביתם מתייחסת לעזיבה בהקשר אחד ולמושבה בהקשר אחר", המודל מחשב במקביל מספר הקשרים שונים.
הקלטים לנוירון מסוכמים בסכום משוקלל, ואם התוצאה עוברת ערך סף מסוים, הקלט מועבר ליציאה.
תצורת הרשת המקובלת ביותר היא זרימה קדימה (Feed Forward) – זאת אומרת, שכבות של נוירונים עם חיבור של כולם עם כולם בין שכבות צמודות.
השכבות שבין שכבת הקלט לשכבת הפלט נקראות שכבות חבויות.
בהינתן רשת בה כוונו המשקולות, חישוב על ידה מתבצע על ידי הזנת הקלטים לשכבת הקלט וקבלת התוצאה שחלחלה ברשת לשכבת הפלט.
מספר נוירונים רב מדי בשכבות החבויות יכול לגרום להתאמת יתר (over-fitting) על סדרת הלימוד.
ישנה חשיבות לכך שפונקציית הסף ביציאה מהנוירון תהיה לא ליניארית כדי לפתור בעיות ברמת קושי גבוהה בעזרת הרשת.
הפונקציה אותה מממש כל תא היא פונקציית סיגמואיד (Sigmoid) המתוארת בשרטוט "Sigmoid Unit":
אם כן, הרשת בה השתמשנו היא רשת בעלת 3 שכבות, בכל שכבה מספר תאים כשכל תא מממש Sigmoid unit.
המשקולות שעל הקשרים בין הנוירונים (המשקולות הסינופטיות) הן אלה שאוגרות את הידע של הרשת במודל המפושט, לכן אלגוריתמי הלימוד השונים מבצעים את כוונון המשקולות לערכים שנותנים תוצאות חישוב טובות עבור מערך דוגמאות הלימוד.
משימה זאת אינה פשוטה בגלל השכבות החבויות.
אחד מאלגוריתמי הלימוד המקובלים ביותר הוא אלגוריתם "פעפוע לאחור" (Back-Propagation או BP).
זהו אלגוריתם ללימוד מונחה (Supervised Learning).
הוא מעביר את קלט הלימוד במורד רשת עם משקולות אקראיות, ומשווה את הפלט המתקבל לפלט הרצוי בכך שהוא מחשב את הטעות עבור כל נוירון פלט.
הרעיון העיקרי של BP הוא שהטעויות מחלחלות חזרה במעלה הרשת כך שמתבצעים כוונוני משקלות בעזרת אלגוריתם Gradient descent, שמנסה להקטין את הטעויות בפלט.
אם תיקוני המשקולות נעשים בשיעור מספיק קטן, גדלים הסיכויים להתכנסות של הרשת לטעות מינימלית.
אומנם תיתכן התכנסות למינימום מקומי בלבד, אך למעשה השיטה נותנת תוצאות טובות כיוון שניתן להפעילה שוב עם משקולות התחלתיות שונות.
אף על פי שהלימוד בשיטה זו דורש משאבים רבים, ובעל זמן ריצה לא זניח, השימוש ברשת אחרי הלימוד הוא מהיר יותר.
את הרשת מאמנים על ידי עדכון המשקולות wi.
הרשת מוזנת בווקטור כניסה מסוים ונבחן מוצאה.
בהתאם למוצא הדרוש עבור וקטור כניסה זה מעדכנים את המשקולות.
אנו נדון רק באפשרות של עדכון המשקולות על מנת לצמצם את השגיאה הריבועית בין מוצא הרשת למוצא הדרוש.
הניסוח המתמטי ל־Gradient Descent הוא:
מתחילים עם וקטור משקולות .
חשב את השגיאה (או ה"עונש") על ידי כאשר td הוא הערך הרצוי ו־od הוא הפלט שבפועל מפיקה הרשת.
"אימון הרשת": עדכן את המשקולות כאשר זה למעשה גרדיאנט שכן ומכאן שם השיטה.
עבור סיגמואיד נקבל כאשר .
אבל אנו יודעים ש־ ולכן .
קיבלנו את המשוואה לפיה נעדכן את המשקולות בכל איטרציה כדי להביא למינימום את השגיאה הריבועית במוצא.
נשים לב כי כמו בכל שימוש באלגוריתם Gradient Descent אפשר להתכנס למינימום מקומי.
בסעיף הקודם קיבלנו את המשוואה לעדכון המשקולות של תא מסוים בהינתן מוצאו והמוצא הדרוש ("מטרה").
עם זאת, במהלך אימון הרשת ידועה לנו רק שכבת היציאה של הרשת כולה (והמטרה שלה), ולא ידועים המוצאים/מטרות של שכבות הביניים.
באמצעות אלגוריתם Back-propagation נעדכן את שכבות הביניים גם כן – שכבה אחרי שכבה.
תהליך זה הוא הקובע את המשקולות לזיהוי אוטומטי של תבניות ברשת העצבית.
להלן דוגמה פשוטה על האופן בו התהליך עשוי להתבצע.
דמיינו אלגוריתם הנועד ללמד את הנוירון לעיל לזהות את התבנית המיועדת לו:
הצב בהתחלה משקולות רנדומליות בין הנוירונים.
אם הפלט נכון, אל תעשה כלום.
אם הפלט גבוה אך אמור להיות נמוך, הנמך את המשקולות הקשורות לנתוני הקלט הגבוהים.
אם הפלט נמוך אך אמור להיות גבוה, הגבה את המשקולות הקשורות לנתוני הקלט הנמוכים.
כל זאת, כאשר המצב ההתחלתי של ערכי המשקולות אקראי.
חלקי המאמר הבאים עוסקים בשיטות שונות לאימון הרשת.
יש שתי נקודות נוספות, שכדאי לשים לב אליהן כאן.
ראשית, בעזרת קביעת משקולות מתאימה, נוכל ליצור מהרשתות כמעט כל שער לוגי.
לכן, אל לנו להתייחס לרשתות העצביות כאמצעי לזיהוי בלבד – הן דבר יותר גמיש מכך.
למעשה, הן יותר כמו מעגל לוגי מצרפי הניתן לאימון.
שנית, במקום שימוש בפלט בינארי בלבד, כפי שנעשה בכל הדוגמאות בהן עסקנו, נשתמש ככלל בפונקציה המתמטית הנקראת סיגמואיד לפלט הנוירונים שלנו.
ובכן בדוגמה בשרטוט 5 פלט הנוירון בשימוש בפונקציית הסיגמואיד יהיה .
למעשה, פונקציה זו מחזירה תמיד מספר בין אפס לאחד, ולכן היא מתנהגת בדומה לפונקציית המדרגה הבינרית, היא בעלת יתרון במקרים בהם קיימות שתי תבניות דומות מאוד.
במקרים אלו ניתנת לנוירון בדרך זו האפשרות להחזיר ערך ביניים.
זו בעצם דרכו להגיד: "אני לא בטוח".
שרטוט 12 מדגים את הרעיון.
תהליך הלמידה מתבצע על ידי "תגמול" "וענישה" של קשרים שונים ועל ידי חשיפת רשת הנוירונים לדוגמאות רבות.
"תגמול" ו"ענישה" של הקשרים מתבצע על ידי שינוי המשקל של אותו הקשר, כך שכל קשר ש"מתוגמל" משקלו יגדל וכל קשר ש"נענש" משקלו ירד, תהליך זה משפיע במידה רבה על תהליך העיבוד ברשת הנוירונים ולקבלת תוצאה שונה.
כל נוירון בשכבה הראשונה מתעדכן בנתון רלוונטי הנקרא קלט, ולאחר תהליך עיבוד בשכבות הביניים כל נוירון בשכבה האחרונה מייצר פלט הנקרא פתרון.
כל אחד מן הנוירונים יכול להשפיע במידה מסוימת על המידע או על תהליך העיבוד שיתבצע בתא אחר בשל הקשרים הקיימים ברשת.
פעולת החשיבה נעשית על ידי הזנת נתוני קלט לנוירונים שבשכבה העליונה, והעברת הנתונים בין הנוירונים ובמורד השכבות, עד שנוצר מערך של נתוני פלט בנוירונים שבשכבה התחתונה.
נתוני הפלט מהווים מערך של פתרונות הרשת לנתוני הקלט.
מדוגמה לדוגמה מתעדכנים "ערכי הסף" של הנוירונים שבמערכת, כך שהפלט יהיה אופטימלי.
הערכים המתמטיים של ערכי הסף יכוילו, כך שכל קשר שצריך היה לאשרו יאושר, וכל קשר שצריך היה לדחותו יידחה.
מעתה ואילך, אפשר לצפות שהרשת תקבל החלטות לאשר או לדחות באופן שמבטא בצורה מלאה את הניסיון הנצבר בתהליך הלמידה.
יכולתה של רשת הנוירונים מושתתת על יכולתה לספק דיוק מקסימלי לכל פונקציה קיימת כאשר דיוק זה יכול להתבצע על ידי הגברת מורכבות הרשת והגדלת מספר השכבות החבויות.
ניתן ליישם רשתות עצביות בחומרה אנלוגית או דיגיטלית.
שלושה מגברים פשוטים נותנים את המשקל לקלט.
אם אנו רוצים שהמערכת תלמד בזמן אמת, המגברים צריכים להיות בעלי הגברה דיגיטלית אלקטרונית.
הפלט מסוכם, והסַף מופעל על ידי מַשוֶוה (Comparator).
מעגל מסוג זה נבנה בעזרת רכיבים הנקראים מגברי פעולה אנלוגיים (Op Amps) כחלק ממעגל משולב.
החיסרון בגישה זו הוא הצורך ברכיבים רבים, אם במערכת נוירונים רבים.
בדרך זהה ניתן לייצר מעגלים דיגיטליים: מגברי המשקולות יוחלפו במכפילים דיגיטליים, מגבר הסכום יוחלף בסוֹכֵם, והמשווה יוחלף במפענח, שיעביר אות אם פלט הסוכם יהיה גבוה מערך סף קבוע.
בדומה לרשתות האנלוגיות, גם הרשתות הדיגיטליות בזבזניות מבחינת מקום ומשאבים, כיוון שהן נשענות על מכפילים בינאריים, שהם לרוב מעגלים גדולים ומורכבים.
לכן, הדרך הנפוצה ביותר לממש רשת עצבית היא על ידי הדמיה בתוכנה.
דרך זו מאפשרת למתכנת לשנות פרמטרים, דוגמת מספר הנוירונים והאופן בו הם מחוברים; פעולה זו יכולה להיעשות בקלות וללא חיווט מחדש שעלותו גבוהה, ובכך מאפשרת הדמיה של חיבור נוירונים רבים בדרך פשוטה.
קיימות חבילות תוכנה לכתיבה ואימון של רשתות עצביות, בהן Torch, Theano ו־TensorFlow.
במהלך שנות ה-2000, פותחו יכולות משופרות לתמיכה של חומרה ברשתות עצביות מלאכותיות, ובהן אימון של רשתות עצביות מלאכותיות באמצעות מעבד גרפי.
חברת אנבידיה פיתחה מגוון מעבדים שתכליתם לתמוך, בעיקר, יישומים של רשתות עצבים מלאכותיות וכך גם אינטל (לדוגמה נרוונה סיסטמס ומובידיוס ) וגוגל (כגון Tensor processing unit ).
מימוש של המודל התאורטי שהוצג לעיל כתוכנת מחשב הוא למעשה אלגוריתם בינה מלאכותית ללמידה חישובית ממשפחת הלמידה המונחית.
בניגוד לפיתוח תוכנה קלאסי, אשר מתמקד במציאת פתרון אלגוריתמי לבעיות, פיתוח בעזרת רשת עצבית מתמקד באימון הרשת, הזנתה במידע מתאים וניתוח הפתרון.
משימות אלו הן אמנם מורכבות וקשות לפחות כמו הגישה המסורתית, אך לעיתים קרובות ניתן למצוא בעזרת טכניקה זו פתרונות או קירובים לבעיות קשות.
הדרך הפשוטה היא לאחסן את כל הפרמטרים במערכים: את הקלט והפלט מהרשת ניתן לאחסן במערך אחד ואת המשקולות בשני.
לדוגמה, נוכל לאחסן את כל המשקולות במערך תלת־ממדי עם שלושת הפרמטרים הבאים:
הפלט (כמו גם הקלט) מכל נוירון במערך דו־ממדי עם הפרמטרים הבאים הוא:
נוכל לגרום למחשב לחשב את הפלט מרשת כזו על ידי אלגוריתם פשוט:
אתחל את כל המשקולות ושדות הפלט – השדות O ו־W להיות אפס.
קבע את הקלט – שדות (O(1,1 ו־(O(1,2 – לערכים הרצויים כאשר שכבה 1 היא הקלט.
קבע את המשקולות הרצויות לרשת.
חשב את הפלט מהרשת (בדומה לרשימת "חישוב פלט הרשת").
לשפת פייתון ישנן מספר חבילות שמממשות רשתות נוירונים מסוגים שונים ומאפשרות שימוש במודולים מוכנים מראש לעיצוב הרשת, אימונה ופרישתה.
חבילות אלו כוללות את TensorFlow מבית גוגל ואת Keras שמתלבשת עליה ובעלת API נוח יותר, ואת PyTorch שמשמשת את מטא (פייסבוק וכו').
ב־2013 העמידה פייסבוק את מדען המחשב יאן לקון בראש מעבדת הבינה המלאכותית שלה, וב־2014 צירפה למעבדה גם את ולדימיר ופניק.
גוגל צירפה אליה במרץ 2013 את ג'פרי הינטון וב־2014 רכשה את DeepMind המתמחה בתחום.
אילון מאסק, מייסד חברת טסלה, PayPal ו-SpaceX הקים ב-2015 מיזם לקידום נושאי בינה מלאכותית, בכלל ורשתות עצביות מלאכותיות בפרט בשם OpenAI.
נכון ל-2019 – מינוף עסקי של תחום רשתות העצבים המלאכותיות מתפשט בקצב מאיץ.
בתחום פועלות, ככל הנראה, עשרות אלפי חברות ברחבי העולם.
ישנן מספר "רשימות" המפרטות את החברות היותר גדולות או יותר מבטיחות בתחום ובכלל זה:
רשימת החברות בעלות הערך הגבוה (של SingularityHub)
רשימה של מאה חברות, לפי האתר cbinsights
רשימה של 25 חברות מובילות, לפי האתר Datamation
אחת הדרכים המקובלות לבחינה ודירוג של האוניברסיטאות בתחום זה, היא הסתכלות על כמות הפרסומים במסגרת הוועדה השנתית שעוסקת בתחום Conference on Neural Information Processing Systems, לפי מדד זה, האוניברסיטאות המובילות בעולם בתחום הן:
רשימה חלקית, על פי דירוג זה, אפשר למצוא ב-Ahead in AI Research?
נכון לשנת 2018, לפי דו"ח של מוסד שמואל נאמן למחקר מדיניות לאומית בהמשך למחקר שהוזמן על ידי המועצה הלאומית למחקר ופיתוח אזרחי, בישראל פועלות למעלה מ-800 חברות טכנולוגיות שיש להן פעילות בתחום בינה מלאכותית.
במהלך 2018, ישראל הקימה ועדה שתכליתה לבחון איך נכון למדינה להיערך בתחום הבינה מלאכותית, בראש הוועדה עומדים הפרופסורים יצחק בן ישראל ואביתר מתניה.
ועדה זו הקימה 14 ועדות משנה לבחינה של היבטים שונים הקשורים לנושא והיא אמורה להגיש את המלצותיה במהלך 2019.
במקביל, הוועדה לתכנון ולתקצוב של האקדמיה, והמועצה להשכלה גבוהה אישרו, כבר במהלך 2018, 16 מסלולי לימוד לתארים אקדמאים בתחום וברוב האוניברסיטאות בישראל, אפשר ללמוד או לחקור היבטים שונים של התחום.
נכון ל-2019, תחומי היישום העיקריים של רשתות עצבים מלאכותיות כוללים את:
התחום הפיננסי (לדוגמה – חיזוי של ערך מניה, חיפוש אנומליות לטובת זיהוי זיופים וכיוצא באלו)
תחום ניהול משאבים של ארגונים גדולים
חיפוש אנומליות רשת לטובת הגנת סייבר
תחבורה והפחתת עומסי תנועה (באמצעות התאמת פעולת הרמזורים למאפייני התנועה של צומת ספציפי)
ניתוח נתוני עתק בשוק הקמעונאי, בין השאר לטובת חיזוי והצפת המלצות לצרכנים פוטנציאליים
כימואינפורמטיקה: חיזוי תכונות של תרכובות כימיות, פיתוח תרופות וחומרים חדשים, תכנון סינתזה כימית
רשת קיימברידג' הייתה קבוצת אנשי מודיעין ואנשי שירות החוץ בבריטניה שריגלו עבור הק.ג.ב.
רשת קיימברידג' כללה מספר לא ידוע של צעירים שנהוג לכנותם חמישיית קיימברידג', על סמך מידע שסיפק עריק ה-ק.ג.ב.
אנטולי גוליצין, שנפגשו כסטודנטים או מרצים באוניברסיטת קיימברידג' בשנות ה-30 של המאה העשרים.
תהליך הדגירה של חמישיית קיימברידג' התאפשר בסביבה אינטלקטואלית פוליטית הידועה בשם קבוצת בלומסברי והתאפיין, בין השאר, באהדה לברית המועצות ולקומוניזם והתנגדות לפשיזם (וכנראה אף נטייה להומוסקסואליות).
גוליצין טען שהרשת כללה חמישה מרגלים, אף שידע לנקוב בשמם של שלושה בלבד.
לימים זוהה אדם רביעי, אך קיים ויכוח לגבי זהותו של "האדם החמישי".
כיום מוערך כי היו יותר מחמישה אנשים, שמתוכם מוכרים היטב ארבעה, אשר גויסו לשירות המודיעין הסובייטי באמצע שנות ה-30 על ידי סוכנים מאגף ביון החוץ בנ.ק.ו.ד., בפיקודו של אברהם סלוצקי.
לימים הגיעו ארבעתם לתפקידים בכירים בשירות המודיעין ובשירות החוץ בבריטניה והעבירו סודות כמוסים ביותר לברית המועצות.
גאי ברג'ס: איש שירות השידור ושירות החוץ הבריטי.
דונלד מקלין: איש שירות החוץ הבריטי שערק יחד עם ברג'ס לברית המועצות ב-1951.
קים פילבי: בכיר במודיעין הבריטי שערק לברית המועצות ב-1963.
קרוב רחוק של המלכה ובעל תואר אצולה.
שירת במודיעין הבריטי בימי מלחמת העולם השנייה.
בגידתו נחשפה כעבור שנים רבות, לעת זקנתו.
לא הועמד לדין אך תואר האצולה נשלל ממנו והוא נפטר כמנודה.
לאחר שנים הועלתה סברה כי ברשת היה עוד חבר חמישי: ג'ון קיירנקרוס (John Cairncross), איש מודיעין בריטי שהודה בריגול אך מעולם לא הועמד לדין.
ב-2003 הפיק שירות השידור הבריטי, ה-BBC, סדרת דרמה על רשת קיימברידג' בשם "מרגלי קיימברידג'".
הסדרה הוצגה בערוצי הלוויין בישראל (Yes) בחודש מאי 2004.
רשת פרפרים הוא אלבום הבכורה של להקת רוקפור אשר יצא בשנת 1991 בהפקת דני רכט.
חברי הלהקה באלבום זה, קראו לעצמם באנגלית "4 ROCK".
שם האלבום נלקח ממילות השיר "שיר ערש" שכתבה יונה וולך ומופיע באלבום, שם הופיעה השורה "שיר ערש שהוא רשת פרפרים".
על רקע גל להקות הרוק הישראליות של אותה שנה, שהושפעו מהרוק האמריקאי והבריטי של התקופה, אלבום זה היה מיוחד בכך שנשען באופן מובהק על הצליל של להקות אמצע שנות השישים כגון הבירדס, ההוליס והביטלס בתקופתם האמצעית וכן של אבות הרוק העברי בראשית הקריירה שלהם, כאריק איינשטיין והחלונות הגבוהים.
ההישענות הסגנונית על תקופת שנות השישים לוותה גם בסגנון העיצובי, הן של עטיפת האלבום והן של הבגדים הצבעונים והפרחוניים שלבשו חברי הלהקה בהופעותיהם.
עטיפת האלבום עוצבה על ידי נורית וינד קידרון, אשר עבדה בראשית שנות התשעים כמעצבת הבית של NMC.
היא בדיוק סיימה את לימודיה ב"ויטל" (לימים שנקר) והעטיפה הזו היא הראשונה שעיצבה.
ההשראה לעטיפה בסגנון הסיקסטיז הייתה הלבוש והאווירה של להקת רוקפור.
עטיפת האלבום היא קולאז', אשר נעשה בגודל 1:1 למידות של תקליט, כאשר מרבית האובייקטים נגזרו במספרי ציפורניים והודבקו זה לצד זה.
בין היתר, כולל הקולאז' חתיכות אמיתיות של בדים, תמונות של בדים שצולמו בזירוקס צבעוני, שושנים מלינולאום, ציור של ארבעת חברי הלהקה, צילומי פירות וירקות מחוברת של מועצת הפירות וורד שצייר אלי לולאי, הסולן.
באלבום ניתן למצוא את "הכעס" שאת מילותיו כתבה טל גורדון, תרגום לשיר "Bus Stop" של ההוליס.
במהלך ההקלטות לאלבום הוקלטו שני שירים נוספים שבסופו של דבר לא נכללו בו.
גרסת כיסוי לשיר "אינך יכולה" של החלונות הגבוהים, וגרסת כיסוי מעוברתת ל-"See Emily Play" של פינק פלויד, שנקראה בקיצור "אמילי".
השיר "שוב לא שקט" דורג במקום ה-23 במצעד הפזמונים העברי השנתי תשנ"א.
בפרויקט עבודה עברית במסגרת חגיגות ה־60 למדינת ישראל, ביצע רמי קלינשטיין גרסת כיסוי לשיר "הכעס".
השיר דורג במקום 155 במצעד "500 השירים הגדולים של המוזיקה הישראלית" של ידיעות אחרונות.
ברוך בן יצחק – בס, שירה
דני רכט - הפקה מוזיקלית
רשת עצבית (באנגלית Biological neural network) היא אוסף של תאי עצב (נוירונים) או אזורי מוח שונים שמקושרים ביניהם, בין אם זהו קשר מבני על ידי סינפסות וסיבים עצביים ובין אם זוהי קישוריות תפקודית.
המוח האנושי מורכב מכ-1011 נוירונים ומכ־1014 סינפסות, שמרכיבות את הרשת העצבית הגלובלית, הקונקטום האנושי.
הרשת העצבית מתפתחת לאורך החיים אך מאבדת מיעילותה בשנים המאוחרות לחיים.
בחקר הרשת העצבית האנושית נתגלו מספר רשתות עצביות שונות המשתתפות בתהליכים קוגניטיביים וסנסוריים שונים.
פגיעה במבנה או בתפקוד שלהם יכולה להוביל לפגיעה בתפקודים אלו, להפרעות פסיכולוגיות, ולמחלות שונות.
מאפיינים ומושגים של הרשת העצבית
בחקר הרשת העצבית נהוג להשתמש בתאוריה מתמטית ששמה תורת הגרפים כדי לייצר מודל של הרשת העצבית ולנתח את המאפיינים השונים של הרשת.
הגרף מוגדר כאוסף של צמתים והקשרים ביניהם.
הקשרים בין הצמתים יכולים להצביע על כיוון הקשר וגם על עוצמת הקשר.
בחקירת רשת עצבית בוחנים את יחסי הגומלין בין הצמתים, הקשרים ביניהם, והארגון המרחבי שלהם.
ניתן להמיר את הייצוג הגרפי למטריצת שכנות, שבה הצמתים נמצאים בשוליים, והקשרים ביניהם מיוצגים בתוך המטריצה עצמה.
הצמתים ברשת יכולים להיות נוירונים בודדים, מקבץ של נוירונים שמכיל מאות עד אלפי תאים או אזורי מוח שונים.
הקשרים ביניהם יכולים להיות פיזיים על ידי סינפסות ואקסונים, או תפקודיים, כלומר פעילות בו זמנית של כמה צמתים אך ללא הכרח של חיבור פיזי ביניהם.
אוסף של כמה צמתים שקרובים זה לזה ומקושרים ביניהם נקרא מודול (Module), וצמתים שאליהם מחוברים צמתים רבים אחרים נקראים מרכזת (Hubs).
הרשת המוחית מתאפיינת בארכיטקטורה של רשת עולם קטן (Small world network).
ברשת מסוג זה יש קישוריות גדולה בין צמתים שקרובים זה לזה, ומספר מרכזות שאליהם מחוברים צמתים רבים ומשמשים כ"גשר" בין מודולות ברשת, כך שמידע יכול לזרום מצומת לצומת בצורה יעילה.
קמילו גולג'י פיתח ב-1873 טכניקת צביעה (שיטת גולג'י) שאפשרה את צביעתם של תאי מוח כדי לבחון את המבנה שלהם.
גולג'י טען שהמוח בנוי מרשת מחוברת של תאים שאינם נפרדים זה מזה, לעומתו, טען סנטיאגו רמון אי קחאל שהמוח מורכב מתאים בודדים שאינם מחוברים זה לזה בצורה פיזית, אך עדיין מתקשרים זה עם זה.
בדיעבד, התברר שקחאל צדק (כאשר הסינפסה החשמלית היא היוצאת מן הכלל).
העניין בחקר הרשתות המוחיות נמשך עם קארל לאשלי שחקר למידה וזיכרון כפונקציה של קישוריות בין אזורי מוח שונים.
תלמידו של לאשלי, דונלד הב, שלימים נעשה לאחד מחוקרי המוח המשפיעים ביותר, המשיך את חקר הזיכרון והקישוריות ברמה התאית.
אחת מן התגליות המשמעותיות שלו הייתה שכאשר נוירונים פועלים בו זמנית, מתחזק הקשר ביניהם.
בשנת 2013 החלו פועלים שני פרויקטים בינלאומיים גדולים שמטרתם למפות את כל הקשרים הקיימים במוח האנושי, פרויקט ה-BRAIN Initiative שיזם הנשיא אובמה, ופרויקט המוח האנושי שיזם האיחוד האירופי.
הנחת המוצא של הפרויקטים הללו היא שכאשר נדע את מיקומה של כל סינפסה וסינפסה ברשת העצבית של המוח, נוכל להבין בצורה טובה יותר את תפקודו בבריאות ובחולי.
רזולוציות וכלים שונים לבחינת רשתות עצביות
ניתן לבחון את הרשת העצבית ברמות רזולוציה שונות – מהרמה התאית של סינפסות בין נוירונים עד לרמת הרשת הגדולה של כל המוח.
חקר הרשת המוחית בבני אדם מתמקד בעיקר ברמה הגלובלית של הרשת העצבית, בעיקר מכיוון שכלי המחקר הזמינים כיום לא מאפשרים בחינה של הרשת העצבית ברמה התאית במוח האנושי.
לכלים אלה יתרונות וחסרונות שונים.
כאשר בוחנים את הרשת העצבית בעזרת כלים מבניים, המסקנות שניתן להסיק הן מוגבלות מבחינת התפקוד של הרשת העצבית: להצביע על חיבוריות בין אזורים שונים אך לא על כיוון הקשר, עוצמתו ופעילותו בזמן אמת.
כשבוחנים את הרשת העצבית בעזרת כלים תפקודיים, ניתן לבדוק את פעילות הרשת המוחית תוך כדי ביצוע פעולות בזמן אמת, אך קשה להסיק מסקנות לגבי מבנה הרשת העצבית.
למשל, לא ניתן להסיק שאזורים שפועלים בו זמנית ויוצרים רשת תפקודית הם גם מקושרים על ידי אקסונים.
התפתחות המוח מתחילה עוד בשלבים המוקדמים של העוברות וממשיכה לאחר הלידה עד לסוף גיל ההתבגרות.
בתקופות המוקדמות שלאחר הלידה מתרחש תהליך נרחב שנקרא מיאליניזציה שבו תאי גליה ששמם אוליגודנדרוציטים, עוטפים את אקסוני הנוירונים במעטפת שומנית שנקראת מיאלין.
מעטפת המיאלין מגבירה את מהירות הולכה העצבית ומשפרת את יעילות העברת המידע ברשת העצבית.
בנוסף לתהליך המיאליניזציה, נוצרים קשרים חדשים ברשת המוחית בקצב מואץ.
הקשרים נוצרים גם בין אזורי מוח שונים וגם בין נוירונים בודדים על ידי יצירת סינפסות חדשות.
לאחר סיומה של תקופת יצירת הקשרים המואצת, הקשרים והסינפסות מתחילות להתמעט בתהליך של גיזום סינפטי שנמשך עד גיל ההתבגרות.
תהליכי המיאליניזציה, יצירת וויסות הקשרים לאורך תקופת ההתפתחות המוקדמת ולאורך החיים הבוגרים תורמים לשיפור יעילות מעבר המידע בין המודולות המוחיות ולשיפור מבנה הרשת כרשת עולם קטן.
בבגרות המאוחרת ישנה ירידה ביעילות הגלובלית של הרשת המוחית וזו מאבדת חלק מתכונותיה כרשת עולם קטן.
למשל, יש ירידה ברמת הקישוריות בין אזורי מוח שונים.
הירידה בקישוריות יכולה להוביל לפגיעה במהירות עיבוד המידע בתחומים השונים שעליהם אחראיות רשתות שונות, למשל ירידה במהירות העיבוד השפתי כאשר נפגעת הרשת השפתית, או פגיעה בתפיסה מרחבית כאשר ישנה פגיעה ברשת האחראית על כך.
רשתות עצביות שונות במוח האנושי
הרשתות העצביות במוח האנושי הן בעצם תתי-רשתות, כלומר כל רשת מורכבת מרשתות קטנות שמחוברות זו לזו.
הרשתות העצביות יוצרות מודולות שאחראיות על תפקודים מסוימים, אך לא רק, מפני שישנה חפיפה מסוימת בין הרשתות השונות.
מספר רשתות עצביות עיקריות זוהו במוח האנושי
רשת ברירת המחדל – רשת זו פעילה כאשר האדם נמצא במנוחה ואינו מבצע מטלה כלשהי.
האזורים העיקריים שנמצאים ברשת זו הם הקורטקס המדיאלי הפרה-פרונטלי, האונות הטמפורליות האמצעיות, ופיתול החגורה האחורי.
רשת הבקרה הניהולית (Executive control network) – רשת זו פעילה כאשר האדם מפעיל תהליכי בקרה ואינהיביציה, יוזם פעולות, בתכנון, בזיכרון עבודה ועוד.
האזורים העיקריים שנמצאים ברשת זו הם הקורטקס הפרה-פרונטלי דורסולטרלי, הקורטקס האורביטו-פרונטלי, ופיתול החגורה הקדמי.
רשת הקשב (Attention network) – רשת הקשב פועלת לעיתים בניגוד לרשת הבקרה מפני שתפקידה הוא להפנות את תשומת הלב של האדם לגירויים חשובים בסביבתו.
האזורים העיקריים שנמצאים ברשת זו הם הקורטקס הטמפורלי-פריאטלי, וה-Inferior frontal cortex.
רשת התחושתית-המוטורית (Sensorimotor network) – רשת זו אחראית על התחושות הסנסוריות (בעיקר מן העור), ועל תכנון וביצוע פעולות מוטוריות.
רשת זו פועלת גם כאשר אנו צופים באנשים אחרים מבצעים פעולות מוטוריות וסנסוריות.