stanford-oval/wikipedia huggingface dataset:
חצרים
הערות שוליים

1 2  אוכלוסייה בעיריות, במועצות המקומיות והאזוריות וביישובים בעלי 2,000 תושבים לפחות - לפי טבלה חודשית של למ"ס עבור 
סוף דצמבר 2024 (אומדן), בכל יתר היישובים - לפי טבלה שנתית של למ"ס עבור

סוף 2023.
↑  הנתונים לפי טבלת מדד חברתי כלכלי של למ"ס נכון לשנת 2021
↑  חנה ביתן, מקורות שמות היישובים בישראל על-פי "אטלס ההתיישבות בישראל", עמ' 69
↑  משה (מוסה) שלוח אתר יזכור
| --- | --- |
בקרת זהויות :  NLI: 987007463740005171
מגדל מקאו

| --- | --- |

 מידע כללי
 סוג:  מגדל תצפית 
 מיקום:  מקאו 
 מדינה:  הרפובליקה העממית של סין 
 הקמה ובנייה
 תקופת הבנייה:  ?–2001
 תאריך פתיחה רשמי:  19 בדצמבר 2001 
 מידות
 גובה:  338 מטר
 
 קואורדינטות:  22°10′47″N 113°32′12″E﻿ / ﻿22.179722222222°N 113.53666666667°E﻿ / 22.179722222222; 113.53666666667
 www.macautower.com.mo
  (למפת מקאו מוגדלת) מגדל מקאו(למפת מקאו רגילה) מגדל מקאו
 
מרכז הכנסים והבידור של מגדל מקאו (בסינית: 澳門旅遊塔會展娛樂中心; בפורטוגזית: Centro de Convenções e Entretenimento da Torre de Macau), המכונה גם מגדל מקאו (בסינית: 澳門塔; בפורטוגזית: Torre de Macau), הוא מגדל הממוקם בסה, מקאו. המגדל מתנשא לגובה של 338 מטר (1,109 רגל) מגובה הקרקע עד לנקודה הגבוהה ביותר. מרפסת התצפית שלו כוללת נקודות תצפית על הנוף, מסעדות, תיאטראות, קניונים וכן את ה-Skywalk X – סיור רגלי סביב השפה החיצונית, המציע את הנוף הטוב ביותר של מקאו, ובשנים האחרונות שימש למגוון פעילויות הרפתקניות. בגובה 233 מטרים ניתן למצוא את ה-"skyjump" והבאנג'י של מגדל מקאו, AJ Hackett, הממוקם על שפתו החיצונית של המגדל, והוא הבאנג'י המסחרי הגבוה ביותר בעולם ומתקן הגלישה המסחרי השני בגובהו בעולם לאחר מתקן השמיים של סטרטוספרה בלאס וגאס בגובה 252 מטר. המגדל תוכנן על ידי משרד האדריכלות "מולר אדריכלים".
המגדל הוא אחד מחברי הפדרציה העולמית של המגדלים הגדולים, מלבד שימושו לתצפית ובידור, המגדל משמש גם לתקשורת ולשידור. הוא ומלון גראנד ליסבואה הם ציוני הדרך המוכרים ביותר בקו הרקיע של מקאו. בימים עם ראות טובה ניתן להשקיף מהמגדל למרחק של 55 קילומטר.
היסטוריה

את ההשראה לבניית המגדל קיבל מקים המגדל, סטנלי הו האנג-סאן, כשהתרשם ממגדל סקיי בעת ביקורו באוקלנד שבניו זילנד, ובעקבות זאת החליט להקים מגדל דומה לו במקאו. המגדל תוכנן על ידי חברת ההנדסה הניו זילנדית Beca Group וגורדון מולר מ"מולר אדריכלים", עבור Sociedade de Turismo e Diversões de Macau. עבודות הבנייה החלו בשנת 1998, והמגדל נפתח רשמית ב־19 בדצמבר 2001. אדריכל המגדל היה לס דיקסטרה.
קפיצת באנג'י

המגדל שימש באופן סדיר כאתר לאירועי קפיצות באנג'י מבוימים, על ידי קופצים מקצועיים או כחלק מתוכניות בידור.
ב-17 בדצמבר 2006, אבי קפיצת הבאנג'י העכשווית, א. ג'. האקט (A.J, Hackett), והאמן הפופולרי, אדיסון צ'ן, שברו שני שיאי עולם של גינס במגדל מקאו. האקט שבר את שיא קפיצת הבנג'י הגבוהה ביותר מבניין - שיא שקבע בעצמו ב-1987, בקפיצה ממגדל אייפל. אדיסון צ'ן קפץ אף הוא קפיצת בנג'י, שהעניקה למתקן את התואר "מתקן הבנג'י הגבוה ביותר בעולם".
ג'ק אוסבורן קפץ מהמגדל כחלק מהעונה השלישית של הסדרה "ג'ק אוסבורן: מכור לאדרנלין". אנתוני בורדיין קפץ באנג'י מהקומה העליונה של הבניין בפרק של "אנתוני בורדיין: ללא עכבות". שני ראשי הצוותים, וואנג האן ויואן הונג, עם חבריהם, קיבלו משימה של מרוץ שליחים - שעליהם להשלים במגדל בזמן הקצר ביותר. הקבוצה של יואן הונג ניצחה את המשחק וקבוצתו של וואנג האן קיבלה "עונש" של קפיצת באנג'י מהמגדל. הקפיצה בוצעה על ידי חברי הצוות שי נא וג'ו צ'ן.
בתרבות הפופולרית

המגדל שימש כאתר הצילומים של פרק 10 של "דוגמנית העל הבאה של אמריקה סבב 18: הפלישה הבריטית". הוא הוצג גם בפרק השלישי של "אידיוט בחו"ל 3", כשקרל פילקינגטון וורוויק דייוויס מסתובבים באזור ההיקפי של אחת הקומות הגבוהות ביותר ודייוויס מבצע ירידה מבוקרת לקרקע.
הוא שימש בתוכנית הבידור הדרום קוריאנית Running Man פרק 133. צוות השחקנים (לא כולל קים ג'ונגקוק) ואורחיהם, לי דונג-ווק והאן היי-ג'ין, קיבלו שלוש משימות - קפיצת שמיים, טיפוס תורן, והליכת שמיים (Skywalk). כדי לרכוש את שלושת האותות הדרושים להם כדי להמשיך למשימה הבאה.
המגדל שימש כמשימת "מחסום דרכים" בפרק של הגרסה האמריקאית של המירוץ המדהים: אולסטארס ששודר במקור ב־22 באפריל 2007, ב-CBS, וכן כ"מחסום דרכים" במרוץ המדהים של קנדה 2 בשנת 2014. המגדל גם הופיע כ"מחסום" בשני פרקים של המרוץ המדהים אסיה 3.
המגדל הופיע אף בגרסה הישראלית של תוכנית המציאות המירוץ למיליון בעונה הראשונה, כשאחד מהזוגות המתמודדים נדרש לרדת מהמגדל בהליכה אנכית על דופן המגדל.
גלריה

המגדל בלילה
רצפת זכוכית במגדל
אטרקצייה במגדל
פנורמה של המגדל
פנורמה מהמגדל
תמונה מהתצפית
הערות שוליים

↑  Ati Harmoni, Official Website as a Means of Stakeholder Dialogue on Corporate Social Responsibility, International Conference on Eurasian Economies 2012, Eurasian Economists Association, 2012-10 doi: 10.36880/c03.00470
↑  Test PDF, Test PDF, 2011-01-01
↑  אמנון דירקטור, ‏מקאו: האטרקציה הכי מטורפת בעולם, באתר ‏מאקו‏, 23 במרץ 2018
↑  {{{מחבר}}}, Murray, Irena, (Mrs Eric Ormsby), (born 3 July 1946), Sir Banister Fletcher Director (formerly Librarian), British Architectural Library, Royal Institute of British Architects, 2004–13, now Senior Research Fellow, Who's Who, Oxford University Press, 2007-12-01
↑  Scott Millard, Guinness World Records200458Guinness World Records. London: Guinness World Records Limited 2002 to date. Gratis URL: www.guinnessworldrecords.com, last visited November 2003, Reference Reviews 18, 2004-03, עמ' 9–10 doi: 10.1108/09504120410520773
↑  איילה פנייבסקי, המירוץ למיליון: תפסיקו לבכות, אתם בחופשה, באתר הארץ, 3 באפריל 2009
קפיצת באנג'י באתר
BERT (מודל שפה)

| --- | --- |
 מפתח:  Google Research 
 מחזור חיים:  2018–הווה (כ־7 שנים) 
 גרסת בטא:   ב־March 11, 2020
 סוג רישיון:  אפאצ'י 2.0 
 קוד מקור:  https://github.com/google-research/bert 
 קטגוריה:  טרנספורמר (למידת מכונה) 
 arxiv.org/abs/1810.04805
 
מודל BERT ‏(Bidirectional Encoder Representations from Transformers) הוא מודל שפה שהוצג באוקטובר 2018 על ידי חוקרים ב-Google. המודל לומד לייצג טקסט כרצף של וקטורים באמצעות למידה עצמית-מונחית (self-supervised learning). הוא מתבסס על ארכיטקטורת טרנספורמר הכוללת מקודד בלבד (encoder-only).
BERT נחשב לחדשני בזכות השיפור הדרמטי שהציג בהשוואה למודלים המתקדמים ביותר באותה תקופה, ונחשב גם לדוגמה מוקדמת למודל שפה גדול. נכון ל-2020, BERT משמש כבסיס נפוץ בניסויים בתחום עיבוד שפה טבעית (NLP).
מודל BERT מאומן באמצעות שני תהליכי למידה: חיזוי מילים מוסתרות (masked token prediction) וחיזוי המשפט הבא (next sentence prediction). כתוצאה מתהליך האימון הזה, BERT לומד ייצוגים סמויים והקשריים של מילים בהתאם להקשר שבו הן מופיעות, בדומה למודלים כמו ELMo (אנ') ו-GPT-2 (אנ').
למודל נמצאו שימושים רבים במשימות שונות בתחום עיבוד שפה טבעית, כגון פתרון בעיות של ייחוס התייחסות (אנ') ופענוח ריבוי משמעויות (אנ'). BERT מהווה שלב אבולוציוני לעומת ELMo (אנ'), והוביל למחקר שנקרא "ברטולוגיה" (BERTology), אשר מנסה לפרש ולהבין מה בדיוק BERT לומד במהלך תהליך האימון שלו.
BERT הוטמע במקור בשפה האנגלית בשני גודלי מודל:
BERT BASE (110 מיליון פרמטרים) ו־BERT LARGE (340 מיליון פרמטרים). שני המודלים אומנו על Toronto BookCorpus (800 מיליון מילים) ועל הוויקיפדיה האנגלית (2,500 מיליון מילים). משקלי המודל פורסמו לציבור ב־GitHub. ב-11 במרץ 2020, שוחררו 24 גרסאות קטנות יותר של המודל, הקטן ביותר הוא BERT TINY, הכולל 4 מיליון פרמטרים בלבד.
ארכיטקטורה

BERT מבוסס על ארכיטקטורת טרנספורמר "מקודד בלבד". ברמה גבוהה יותר, BERT מורכב מ-4 מודולים:
Tokenizer: מודול זה ממיר פיסת טקסט באנגלית לרצף של מספרים שלמים ("טוקנים").
Embedding (אנ') – הטמעה: מודול זה ממיר את רצף הטוקנים למערך של וקטורים בעלי ערך ממשי המייצגים את הטוקנים. המטרה היא להמיר את סוגי הטוקנים הבדידים למרחב אוקלידי בעל ממדים נמוכים יותר.
Encoder – מקודד: מערך של בלוקי Transformer המשתמשים במנגנון תשומת לב עצמית (self-attention), אך ללא מיסוך סיבתי (causal masking).
Task head – ראש משימה: מודול זה ממיר את וקטורי הייצוג הסופיים בחזרה לטוקנים המקודדים בצורת one-hot על ידי יצירת התפלגות הסתברות צפויה על סוגי הטוקנים. ניתן לראותו כמעין מפענח פשוט (decoder), שמפענח את הייצוג הסמוי לסוגי טוקנים.
ראש המשימות הכרחי לשלב האימון המקדים, אך לרוב הוא מיותר עבור משימות המכונות "משימות המשך", כגון מענה לשאלות או סיווג רגשות. במקום זאת, מסירים את ראש המשימה ומחליפים אותו במודול חדש המותאם למשימה הספציפית, ומבצעים כוונון עדין (fine-tuning) למודול החדש. ייצוג הווקטור הסמוי של המודל מוזן ישירות למודול החדש הזה, ומאפשר למידת העברה (אנ') יעילה על בסיס דוגמאות מועטות.
ארכיטקטורה > הטמעה

סעיף זה מתאר את ההטמעה בשימוש על ידי BERT BASE. אופן הטמעת הדגם השני, BERT LARGE, דומה, רק גדול יותר.
הטוקנייזר של BERT הוא WordPiece, שהיא אסטרטגיה לפירוק מילים לתת-מילים. גודל אוצר המילים של המודל הוא 30,000, וכל טוקן שלא מופיע באוצר המילים מוחלף ב - [UNK] ("לא ידוע").
השכבה הראשונה היא שכבת ההטמעה, המכילה שלושה מרכיבים: הטמעת סוגי טוקנים, הטמעת מיקומים והטמעת סוגי מקטעים.
סוג הטוקן: סוג הטוקן הוא שכבת הטמעה סטנדרטית, הממירה וקטור one-hot לווקטור דחוס המבוסס על סוג הטוקן.
מיקום: הטמעות המיקום מבוססות על המיקום של הטוקן ברצף. BERT משתמש במיקומים מוחלטים, שבהם כל מיקום ברצף ממופה לווקטור בעל ערכים ממשיים. כל מימד בווקטור מורכב מפונקציה סינוסואידית (אנ') שלוקחת את המיקום ברצף כקלט.
סוג המקטע: באמצעות אוצר מילים של 0 או 1 בלבד, שכבת הטמעה זו מייצרת וקטור צפוף על סמך האם הטוקן שייך למקטע הטקסט הראשון או השני באותו קלט. במילים אחרות, טוקנים מסוג 1 הם כל הטוקנים המופיעים אחרי הטוקן המיוחד [SEP].
שלושת הווקטורים המוטבעים מתווספים יחד המייצגים את ייצוג ה הראשוני כפונקציה של שלוש פיסות המידע הללו. לאחר ההטמעה, ייצוג הווקטור מנורמל באמצעות פעולת LayerNorm, תוך פלט וקטור של 768 ממדים עבור כל קלט. לאחר מכן, וקטורי הייצוג מועברים קדימה דרך 12 בלוקים מקודד שנאי, ומפוענחים חזרה למרחב אוצר מילים של 30,000 ממדים באמצעות שכבת טרנספורמציה אפינית בסיסית.
ארכיטקטורה > משפחת ארכיטקטורה

למחסנית המקודד של BERT יש 2 פרמטרים חופשיים:  L, מספר השכבות, ו -  H, הגודל הנסתר. תמיד יש  H/64 ראשי תשומת לב עצמית, וגודל ההזנה/המסנן הוא תמיד  4H. על ידי שינוי של שני המספרים הללו, ניתן לקבל משפחת מודלים שלמה של BERT.
עבור BERT
גודל ההזנה קדימה וגודל המסנן הם מילים נרדפות. שניהם מציינים את מספר הממדים בשכבה האמצעית של רשת ההזנה קדימה.
הגודל הנסתר וגודל ההטמעה גם הם מושגים נרדפים. שניהם מציינים את מספר המספרים הממשיים המשמשים לייצוג טוקן.
הסימון עבור מחסנית המקודד נכתב כ-L/H. לדוגמה, BERT BASE כתוב כ-12L/768H, BERT LARGE כ-24L/1024H, ו-BERT TINY כ-2L/128H.
אימון המודל > אימון מקדים (Pre-training)

BERT אומן מראש בו-זמנית על שתי משימות:
אימון המודל > אימון מקדים (Pre-training) > חיזוי מילים מוסתרות (Masked language modeling)

במודל של חיזוי בשיטת טוקנים מוסתרים, 15% מהטוקנים ייבחרו באופן אקראי למשימת חיזוי-מוסתר, ומטרת האימון היא לחזות את הטוקן המכוסה בהתחשב בהקשר שלו. בפירוט, הטוקן הנבחר:
מוחלף בטוקן-מסיכה [MASK] בסבירות של 80%,
מוחלף בטוקן מילה אקראית בסבירות של 10%,
לא מוחלף בסבירות של 10%.
הסיבה שלא כל הטוקנים הנבחרים מוסתרים היא כדי להימנע מבעיית שינוי במערך הנתונים (Dataset Shift). בעיה זו מתעוררת כאשר התפלגות הקלטים הנראים במהלך האימון שונה באופן משמעותי מההתפלגות בה נתקל המודל במהלך השימוש. מודל BERT מאומן עשוי להיות מיושם על ייצוג מילים (כמו Word2Vec), שבו הוא יופעל על משפטים שלא מכילים טוקני [MASK]. בהמשך נמצא שתוצאות אימון מגוונות יותר הן בדרך כלל טובות יותר.
כדוגמה להמחשה, נחשב את המשפט "הכלב שלי חמוד". המשפט יחולק תחילה לטוקנים כמו "הכלב 1 שלי 2 חמוד 3 ". לאחר מכן ייבחר טוקן אקראי במשפט. נניח שיהא זה השלישי, " 3 חמוד". בשלב הבא, יהיו שלוש אפשרויות:
בסבירות של 80%, הטוקן שנבחר מוסתר, וכתוצאה מכך "הכלב 1 שלי 2 [MASK] 3 ";
בסבירות של 10%, הטוקן שנבחר מוחלף בטוקן אקראי שנדגם באופן אחיד, כגון "שמח", וכתוצאה מכך "כלב 1 שלי 2 שמח 3 ";
בסבירות של 10%, שום דבר לא נעשה, וכתוצאה מכך "כלב 1 שלי 2 חמוד 3 ".
לאחר עיבוד טקסט הקלט, וקטור הפלט הרביעי של המודל מועבר לשכבת המפענח שלו, שמפיקה התפלגות הסתברויות על פני מרחב אוצר המילים בגודל 30,000.
אימון המודל > אימון מקדים (Pre-training) > חיזוי המשפט הבא (Next sentence prediction)

בהינתן שני קטעי טקסט, המודל חוזה אם שני המקטעים הופיעו ברצף בקורפוס האימון, ומפיק את אחת התויות [IsNext] או [NotNext]. הקטע הראשון מתחיל עם התו המיוחד [CLS] (מסמן "סיווג"). שני הקטעים מופרדים על ידי תו מיוחד [SEP] (מסמן "הפרדה"). לאחר עיבוד שני המקטעים, וקטור הפלט הראשון (הווקטור המייצג את [CLS]) מועבר לרשת עצבית נפרדת לצורך הסיווג הבינארי ל-[IsNext] ו-[NotNext].
לדוגמה, בהינתן " [CLS] הכלב שלי חמוד [SEP] הוא אוהב לשחק", המודל צריך להוציא [IsNext].
בהתחשב ב" [CLS] הכלב שלי חמוד [SEP] איך מגנטים עובדים" המודל צריך להוציא [NotNext].
אימון המודל > כוונון המודל (Fine-tuning)

BERT נועד להיות מודל כללי מאומן מראש עבור יישומים שונים בעיבוד שפה טבעית. כלומר, לאחר האימון המקדים, ניתן לכוונן את BERT עם פחות משאבים על מערכי נתונים קטנים יותר, כדי לייעל את הביצועים שלו במשימות ספציפיות כגון הסקת מסקנות משפה טבעית, סיווג טקסט, וכן במשימות יצירת שפה מבוססות רצף כמו שאלות ותשובות ושיחה.
המאמר המקורי של BERT פרסם תוצאות המדגימות איך כמות קטנה של כוונון עדין (עבור BERT LARGE, שעה אחת על 1 Cloud TPU) אפשרה לו להשיג ביצועים מתקדמים יותר במספר משימות של הבנת שפה טבעית:
ערכת משימות GLUE (הערכת הבנת שפה כללית) (המורכבת מ-9 משימות);
SQuAD (Stanford Question Answering Dataset) v1.1 ו-v2.0;
SWAG (מצבים עם דורות יריבים).
במאמר המקורי, כל הפרמטרים של BERT מכוונים עדין, ומומלץ, עבור יישומים במורד הזרם שהם סיווגי טקסט, הפלט ב הקלט [CLS] יוזן לשכבה ליניארית-softmax כדי לייצר את פלטי התווית.
אימון המודל > עלות

BERT הוכשר על BookCorpus (800 מיליון מילים) וגרסה מסוננת של ויקיפדיה האנגלית (2,500 מיליון מילים) ללא רשימות, טבלאות וכותרות.
אימון BERT BASE על 4 TPU בענן (16 שבבי TPU בסך הכל) ארך 4 ימים, בעלות משוערת של 500 דולר. אימון BERT LARGE על 16 TPU בענן (סה"כ 64 שבבי TPU) ארך 4 ימים.
פשר

מודלים של שפה כמו ELMo, GPT-2 ו-BERT, הולידו את המחקר של "BERTology", המנסה לפרש את מה שנלמד על ידי המודלים הללו. הביצועים שלהם במשימות הבנת השפה הטבעית הללו עדיין אינם מובנים היטב. מספר פרסומי מחקר בשנים 2018 ו-2019 התמקדו בחקירת הקשר מאחורי הפלט של BERT כתוצאה מרצפי קלט שנבחרו בקפידה, ניתוח של ייצוגים וקטורים פנימיים באמצעות בדיקה של מסווגים, והקשרים המיוצגים על ידי משקלי תשומת לב.
ניתן לייחס גם את הביצועים הגבוהים של מודל BERT[דרוש מקור] לעובדה שהוא מאומן באופן דו-כיווני. המשמעות היא ש-BERT, המבוססת על ארכיטקטורת מודל ה-Transformer, מיישמת את מנגנון הקשב העצמי שלו כדי ללמוד מידע מטקסט מצד שמאל ומימין במהלך האימון, וכתוצאה מכך זוכה להבנה עמוקה של ההקשר. לדוגמה, למילה בסדר יכולות להיות שתי משמעויות שונות בהתאם להקשר (אני מרגיש בסדר היום, יש לה שיער בלונדיני דק). BERT מחשיב את המילים המקיפות את מילת המטרה בסדר מצד שמאל וימין.
עם זאת, זה כרוך במחיר: עקב ארכיטקטורת מקודד בלבד חסרה מפענח, BERT לא יכול לקבל הנחיה ואינו יכול ליצור טקסט, בעוד מודלים דו-כיווניים באופן כללי אינם פועלים ביעילות ללא הצד הימני, ולכן קשה לבצע הנחיה. כדוגמה להמחשה, אם רוצים להשתמש ב-BERT כדי להמשיך בקטע משפט "היום, הלכתי אליו", אז בתמימות אפשר להסוות את כל הים כ"היום, הלכתי אל [MASK] [MASK] [MASK] ... [MASK]." כאשר המספר של [MASK] הוא אורך המשפט שאליו רוצים להאריך. עם זאת, זה מהווה שינוי במערך נתונים, שכן במהלך האימון, BERT מעולם לא ראה משפטים עם כל כך הרבה ים מוסווים. כתוצאה מכך, הביצועים שלו יורדים. טכניקות מתוחכמות יותר מאפשרות יצירת טקסט, אך בעלות חישובית גבוהה.
היסטוריה

BERT פורסם במקור על ידי חוקרי גוגל ג'ייקוב דוולין, מינג-וויי צ'אנג, קנטון לי וקריסטינה טוטנובה. מקורו של העיצוב מייצוג הקשרי טרום-אימון, כולל למידת רצף בפיקוח למחצה, אימון מקדים גנרטיבי, ELMo, ו-ULMFit. שלא כמו דגמים קודמים, BERT הוא ייצוג דו-כיווני עמוק, ללא פיקוח, שהוכשר מראש באמצעות קורפוס טקסט רגיל בלבד. מודלים נטולי הקשר כגון word2vec או GloVe מייצרים ייצוג הטמעת מילה אחת עבור כל מילה באוצר המילים, בעוד BERT לוקח בחשבון את ההקשר לכל הופעה של מילה נתונה. לדוגמה, בעוד שלווקטור עבור "ריצה" יהיה אותו ייצוג וקטור של word2vec עבור שתי המופעים שלו במשפטים "הוא מנהל חברה" ו"הוא רץ מרתון", BERT יספק הטבעה בהקשר שתהיה שונה לפי המשפט.
ב-25 באוקטובר 2019, גוגל הודיעה שהיא החלה ליישם מודלים של BERT עבור שאילתות חיפוש שפה האנגלית בארצות הברית. ב-9 בדצמבר 2019, דווח כי BERT אומצה על ידי חיפוש Google עבור למעלה מ-70 שפות. באוקטובר 2020, כמעט כל שאילתה מבוססת אנגלית עובדה על ידי מודל BERT.
גרסאות

דגמי BERT היו משפיעים והיוו השראה לגרסאות רבות.
RobERTa (2019) היה שיפור הנדסי. הוא משמר את הארכיטקטורה של BERT (קצת יותר גדולה, ב-355 מיליון פרמטרים), אך משפר את ההכשרה שלו, משנה את הפרמטרים ההיפר-פרמטרים, מסיר את משימת החיזוי של המשפט הבא ומשתמש בגדלים גדולים בהרבה של מיני-אצווה.
DistilBERT (2019) מזקקת את BERT BASE למודל עם רק 60% מהפרמטרים שלו (66 מיליון), תוך שמירה על 95% מציוני המדדים שלו. באופן דומה, TinyBERT (2019) הוא דגם מזוקק עם רק 28% מהפרמטרים שלו.
ALBERT (2019) השתמש בפרמטר משותף על פני שכבות, והתנסה בשינוי עצמאי של הגודל הנסתר וגודל הפלט של שכבת הטמעת המילים כשני היפרפרמטרים. הם גם החליפו את משימת חיזוי המשפט הבאה במשימת חיזוי סדר המשפט (SOP), שבה המודל חייב להבחין בין הסדר הנכון של שני קטעי טקסט עוקבים מהסדר ההפוך שלהם.
ELECTRA (2020) יישמה את הרעיון של רשתות יריבות יצירתיות במשימת ה-MLM. במקום להסתיר ים, מודל שפה קטן מייצר תחליפים סבירים אקראיים, ורשת גדולה יותר מזהה את הים שהוחלפו. הדגם הקטן שואף להטעות את הדגם הגדול.
גרסאות > דברטה

DeBERTa (2020) הוא וריאנט אדריכלי משמעותי, עם תשומת לב מפורקת. הרעיון המרכזי שלו הוא להתייחס לקידוד המיקום וה בנפרד לאורך מנגנון הקשב. במקום לשלב את הקידוד המיקום ( x_{position}) וקידוד ( x_{\text{token}}) לתוך וקטור קלט יחיד ( x_{input}=x_{position}+x_{token}), DeBERTa שומר אותם נפרדים כטופל: ( (x_{position},x_{token}) ). לאחר מכן, בכל שכבת קשב עצמית, DeBERTa מחשב שלוש מטריצות קשב נפרדות, במקום את מטריצת הקשב הבודדת המשמשת ב-BERT: [note 1]
| סוג תשומת לב | סוג שאילתה | סוג מפתח | דוּגמָה |
| --- | --- | --- | --- |
| תוכן לתוכן | אסימון | אסימון | "אירופי"; "איחוד", "יבשת" |
| תוכן למיקום | אסימון | מצב | [תואר]; +1, +2, +3 |
| מיקום לתוכן | מצב | אסימון | - 1; "לא", "מאוד" |
שלושת מטריצות הקשב מתווספות יחדיו מבחינה אלמנטית, ואז עוברות דרך שכבת softmax ומוכפלים במטריצת הקרנה.
קידוד מיקום מוחלט כלול בשכבת הקשב העצמי הסופית כקלט נוסף.
הלמוט ויידלינג

| --- | --- |

הלמוט ויידלינג, (1943)
 לידה:  2 בנובמבר 1891 הלברשטט, הקיסרות הגרמנית הקיסרות הגרמנית
 פטירה:  14 בנובמבר 1955  (בגיל 64) ולדימיר, ברית המועצות ברית המועצות
 מדינה:  גרמניה 
 השתייכות:  הקיסרות הגרמנית הקיסרות הגרמנית   רפובליקת ויימאר רפובליקת ויימאר   גרמניה הנאצית גרמניה הנאצית
 תקופת הפעילות:  1911–1945 (כ־34 שנים)
 דרגה:   גנרל חיל התותחנים
 תפקידים בשירות
 מפקד הדיוויזיה ה-86   מפקד קורפוס הפאנצר ה-41   מפקד הקורפוס ה-6   מפקד קורפוס הפאנצר ה-56   מפקד הגנת ברלין
 פעולות ומבצעים
 מלחמת העולם הראשונה  מלחמת העולם השנייה הפלישה לפולין  המערכה על צרפת  החזית המזרחית במלחמת העולם השנייה  הקרב על ברלין
 עיטורים
   צלב האבירים של צלב הברזל עם עלי אלון וחרבות   צלב הברזל דרגה ראשונה   צלב הברזל דרגה שנייה   הצלב הגרמני בזהב
 
לוחית זיכרון
 על הבית בו חתם גנרל ויידלינג על הסכם כניעה בפני גנרל צ'ויקוב, מפקד ארמיית המשמר ה-8
ויידלינג (משמאל) וקציניו בעת הכניעה
הלמוט ויידלינג (בגרמנית: Helmuth Otto Ludwig Weidling; ‏ 2 בנובמבר 1891 – 17 בנובמבר 1955) היה גנרל בוורמאכט, המפקד האחרון של ברלין במלחמת העולם השנייה. חתם על כתב הכניעה בסיום הקרב על ברלין.
ביוגרפיה > קריירה מוקדמת

ויידלינג הצטרף לצבא הקיסרות הגרמנית ב-1911, ולחם בשורותיו במהלך מלחמת העולם הראשונה ביחידות ארטילריה. על פעולותיו בקרבות קיבל את עיטורי צלב הברזל דרגה ראשונה ושנייה, וצלב הכבוד של מלחמת העולם 1914/1918.
לאחר המלחמה נשאר ויידלינג ברייכסווהר, ומילא בו תפקידי פיקוד ומטה. ב-1 בספטמבר 1935 הועלה לדרגת אוברסט-לויטננט, ב-1 במרץ 1938 הועלה לדרגת אוברסט, וב-10 בנובמבר 1938 מונה למפקד רגימנט הארטילריה ה-56.
ביוגרפיה > מלחמת העולם השנייה

בפרוץ המלחמה היה ויידלינג מפקד רגימנט הארטילריה ה-56, ופיקד עליו במהלך המערכה בפולין, כחלק מהדיוויזיה הממונעת ה-20 במסגרת הקורפוס הממונע ה-19. ב-1 באפריל 1940 מונה ויידלינג למפקד רגימנט הארטילריה ה-20, וב-1 באפריל 1940 מונה ויידלינג למפקד אגד הארטילריה ה-128, שהיה חלק מהקורפוס הממונע ה-40. במהלך המערכה על צרפת לחם ויידלינג במסגרת הקורפוס שהיה חלק מהארמייה הרביעית, ובמהלך המערכה בבלקן לחם עמו כחלק מהארמייה ה-12. במהלך מבצע ברברוסה פעל הקורפוס החל מספטמבר 1941 כחלק מהארמייה התשיעית, ובמהלך הקרב על מוסקבה לחם כחלק מארמיית הפאנצר הרביעית. ב-1 בינואר 1942 מונה ויידלינג למפקד הדיוויזיה ה-86, שפעלה תחת פיקוד הארמייה התשיעית כחלק מהקורפוסים ה-6, ה-23, ה-27, ה-41, וה-46 לסירוגין, וב-15 בינואר 1942 קיבל על פעולותיו את עיטור צלב האבירים של צלב הברזל. ב-1 בפברואר 1942 הועלה ויידלינג לדרגת גנרל מיור, וב-1 בינואר 1943 הועלה לדרגת גנרל לוטננט. במהלך בקרב קורסק לחם ויידלינג עם הדיוויזיה שבפיקודו כחלק מההקורפוס ה-20 במסגרת הארמייה התשיעית, ולאחר מכן הועברה הדיוויזיה תחת פיקוד קורפוס הפאנצר ה-56 שפעל כחלק מהארמייה השנייה. ב-15 באוקטובר 1943 מונה ויידלינג למפקד קורפוס הפאנצר ה-41 שהיה חלק מהארמייה התשיעית, וב-1 בינואר 1944 הועלה לדרגת גנרל חיל התותחנים. ב-22 בפברואר 1944 קיבל ויידלינג על פעולותיו בקרבות תוספת עלי אלון לעיטור צלב האבירים של צלב הברזל, ובמהלך מבצע בגרטיון ספג הקורפוס שבפיקודו אבדות כבדות והצליח לבלום את המתקפה הרוסית רק על נהר הויסלה. בין ה-28 ביוני ל-15 באוגוסט פיקד ויידלינג אף על הקורפוס ה-6, שהיה חלק מהארמייה הרביעית. ב-28 בנובמבר 1944 קיבל ויידלינג על פעולותיו בקרבות תוספת חרבות לעיטור צלב האבירים של צלב הברזל.
ב-12 באפריל 1945 הוא מונה למפקד קורפוס הפאנצר ה-56 שהיה חלק מהארמייה התשיעית בפיקודו של גנרל תאודור בוסה. הארמייה הזאת הייתה חלק מקבוצת ארמיות ויסלה בפיקודו של גנרל גוטהרד היינריצי שהצליחה להדוף את הרוסים ביום הראשון של הקרב על ברלין אבל אחר כך נאלצה לסגת.
ביוגרפיה > מפקד ברלין

ב-16 באפריל 1945 נפתח הקרב על ברלין. ויידלינג היה מפקד קורפוס הפאנצר ה-56 שהיה חלק מהארמייה התשיעית בפיקודו של תאודור בוסה. לאחר קרבות עזים נסוג ויידלינג כדי להימנע מכיתור. באותו זמן פשטה שמועה שהוא העתיק את מפקדתו מדרום מזרח לברלין אל דבריץ מצפון לפוטסדם וממערב לברלין. כאשר נודע הדבר לבוסה והיטלר הם הורו להדיחו לאלתר, להעמידו למשפט צבאי ולהוציאו להורג. כשהודיע לו הנס קרבס על כך עזב ויידלינג את יחידתו ומיהר להפגש עם היטלר בפיהררבונקר.
הוא נפגש עם היטלר ב-22 באפריל 1945 והציג לפניו את פרטי הקרב הנכונים וכי נסוג 1–2 ק"מ בלבד כדי לא להיות מכותר והקורפוס שלו נמצא ממזרח לברלין ומגן עליה. היטלר התרשם ממנו ולא רק שביטל את החלטתו להוציאו להורג אלא שמינה אותו למחרת, ב-23 באפריל 1945, למפקד העיר ברלין. ויידלינג קבל בעל כרחו את התפקיד הבלתי אפשרי היות שידע שהמצב אבוד הוא השיב לקרבס שהודיע לו על המינוי: "חבל שלא הורית לירות בי, כך לא הייתי חייב לשתות מכוס התרעלה". הוא קבע את מפקדתו בבנדלרבלוק. ב-29 באפריל 1945 הגיע לישיבה בפיהררבונקר, אמר להיטלר שהקרב אבוד והציע להקצות כוחות שיאפשרו לו לפרוץ מהבונקר אך היטלר סירב ולמחרת התאבד ובעקבותיו גבלס וקרבס.
ויידלינג שהיה המפקד הבכיר ביותר בעיר החליט להיכנע. הוא שלח תשדורת לרוסים על רצונו להיכנע. לאחר שנענה חיובית הוא שלח את ראש מטהו פון דופינג שהציע כניעה של כבוד והפסקת אש מיידית. לאחר מכן התמסר ויידלינג לרוסים, הובא למפקדתו של גנרל וסילי צ'ויקוב ברובע טמפלהוף וחתם על כתב הכניעה אור ליום 2 במאי 1945.
ביוגרפיה > לאחר המלחמה

ויידלינג ופון דופינג הוטסו לברית המועצות ב-9 במאי 1945 כשבויי מלחמה והועברו לחקירות הנ.ק.וו.ד. פון דופינג הוחזר לגרמניה ב-1955. ויידלינג הועמד ב-27 בפברואר 1952 בפני בית דין צבאי ונידון ל-25 שנות מאסר. הוא מת ב-17 בנובמבר 1955 בבית כלא של הקג"ב בעיר ולדימיר מטרשת עורקי הלב.
דמותו של ויידלינג מגולמת בסרט "הנפילה" (2004).
לקריאה נוספת

יואכים פסט: בתוך הבונקר של היטלר - 14 הימים האחרונים. הוצאת אחוזת בית, 2006.
ג'ון טולאנד: 100 ימים אחרונים; הוצאת מערכות, 1968
קורנליוס ראין: הקרב האחרון, הוצאת א. לוין-אפשטיין
אנטוני ביוור: נפילת ברלין, הוצאת יבנה, 2003
הערות שוליים

1 2  לב סלאווין, על חורבות הרייכסטאג, קול העם, 20 ביוני 1947
↑  35 שנה עברו מאז התאבד היטלר, דבר, 15 באוגוסט 1980
| --- | --- |
בקרת זהויות :  GND: 12903598X  ISNI: 0000 0003 7315 664X  VIAF: 15837766   WorldCat (עם VIAF): 15837766
מחוזות מוזמביק

מחוזות מוזמביק
מבחינה אדמיניסטרטיבית מוזמביק מחולקת ל-10 מחוזות (província) ועיר הבירה (cidade) שיש לה מעמד של מחוז. כל מחוז מחולק לנפות.
| 0 | 1 | 2 | 3 | 4 | 5 |
| --- | --- | --- | --- | --- | --- |
|  | שם | בירה | שם בפורטוגזית | אוכלוסייה (2023) | שטח בקמ"ר |
| 1 | קבו דלגדו | פמבה | Cabo Delgado ‏ | 2,744,900 | 77,867 |
| 2 | גאזה | שאי-שאי | Gaza ‏ | 1,476,700 | 75,709 |
| 3 | איניאמבנה | איניאמבנה | Inhambane ‏ | 1,581,100 | 68,615 |
| 4 | מניקה | שימויו | Manica ‏ | 2,298,800 | 61,661 |
| 5 | מפוטו (עיר) | מפוטו | Maputo - cidade ‏ | 1,133,200 | 347 |
| 6 | מפוטו (מחוז) | מפוטו | Maputo - província ‏ | 2,479,800 | 26,011 |
| 7 | נמפולה | נמפולה | Nampula ‏ | 6,649,900 | 81,606 |
| 8 | ניאסה | לישינגה | Niassa ‏ | 2,202,800 | 129,065 |
| 9 | סופלה | ביירה | Sofala ‏ | 2,674,800 | 68,018 |
| 10 | טטה | טטה | Tete ‏ | 3,173,800 | 100,724 |
| 11 | זמבזיה | קלימנה | Zambézia ‏ | 6,003,900 | 103,127 |