המודלים שבהם אופייני להשתמש באלגוריתם EM:
עם זאת, ניתן להחיל את אלגוריתם EM על כל מיני מודלים.
המוטיבציה היא כזו: אם אנחנו יודעים את הערך של הפרמטר θ, אנחנו בדרך כלל יכולים למצוא את ערכיהם של המשתנים הסמויים Z על ידי מקסימיזציית לוג הנראות על כל הערכים האפשריים של Z, אפשר פשוט על ידי איטרציה על Z או דרך אלגוריתם כגון אלגוריתם ויטרבי עבור מודלי מרקוב חבויים. לעומת זאת, אם אנחנו יודעים את הערך של המשתנים הסמויים Z, נוכל להעריך את הפרמטר θ בקלות יחסית, בדרך כלל על ידי קיבוץ הנתונים שנצפו על פי ערכו של המשתנה הסמוי הקשור, וחישוב הממוצע (או פונקציה כלשהי) של ערכי הנקודות בכל קבוצה. הדבר מצביע על אלגוריתם איטרטיבי, במקרה שבו הן הקבוצה Z והן הווקטור θ לא ידוע:
הוכחת נכונות.
אלגוריתם EM פועל לשיפור formula_6 במקום ישירות לשיפור formula_7. כאן אנו מראים כי שיפורים לראשון רומזים לשיפורים לאחרון. עבור כל Z בהסתברות שאינה אפס formula_8 אנחנו יכולים לכתוב:
formula_9
אנחנו לוקחים את התוחלת על ערכים של Z על ידי הכפלת שני הצדדים ב-formula_10 וסיכום על Z. צד שמאל הוא תוחלת של קבוע, כך שאנו מקבלים:
formula_12 מוגדר על ידי הסכום הנשלל שהוא מחליף. המשוואה זו מחזיקה עבור כל ערך θ כולל formula_13,
וחיסור המשוואה האחרונה, זו מהמשוואה הקודמת נותן
עם זאת, אי השוויון של גיבס אומר לנו formula_16.
מאפיינים.
שלב התוחלת הוא קצת מטעה. בשלב הראשון מה שמחושב הם הפרמטרים הקבועים, פרמטרים תלויי נתונים של הפונקציה Q. ברגע שהפרמטרים של הפונקציה Q ידועים, הם נקבעים באופן סופי ומובאים לידי מקסימום בשלב השני של המקסום.
על אף פעולת האיטרציה באלגוריתם EM מגדילה את המידע הידוע על פונקציית הנראות, אין בכך ערובה שהתהליך יוביל בסופו של דבר לאומדן נראות מרבי. כלומר, אלגוריתם EM עשוי להתכנס למקסימום מקומי של פונקציית נראות שנצפתה, בהתאם לערכי ההתחלה. ישנם מגוון של גישות היוריסטיות ליציאה ממקסימום מקומי כגון אתחול אקראי או בשימוש בשיטות חישול מדומה.
שימוש באלגוריתם EM הוא שימושי במיוחד כאשר הנראות היא ממשפחת המעריכיים. צעד התוחלת הופך לסכום של תוחלות של סטטיסטים מספיקים וצעד המקסום דואג למקסם את הפונקציה הליניארית. במקרה כזה, בדרך כלל ניתן לגזור עדכוני צורה סגורות לכל שלב, תוך שימוש בנוסחת סונדברג.
יישומים.
מסנן קלמן משמש בדרך כלל עבור מדיניות הערכה online, ומינימום שונות חלקות עשויים להיות במדיניות הערכה off-line או הערכת מצב באצווה. פתרונות שונים דורשים הערכות של הפרמטרים מודל מרחב מצבים. סינון ושיפור אלגוריתמי תוחלת-מקסום עשויה להתרחש על ידי חזרה על ההליך בן שני השלבים הבאים:
שלב התוחלת
להפעיל מסנן קלמן או על החלקת מינימום-סטיה מעוצבת עם הערכת הפרמטר הנוכחי כדי לקבל הערכת מצב מעודכנת.
שלב המקסום
השתמש בהערכות המצב המסוננות או המוחלקות בחישוב הנראות המקסימלית, כדי לקבל אומדני פרמטר מעודכנים. נניח שמסנן קלמן או מינימום שונות חלקה יותר פועל על מדידות רועשות של מערכת יחיד קלט יחיד פלט. ניתן לקבל אומדן שונות רעש מדידה מעודכן מחישוב הנראות המקסימלית.
formula_17
כאשר formula_18 הם אומדני תפוקת סקלר מחושבים על ידי מסנן או חלק ממדידות סקלר N formula_19.
לתהליך אוטומטי רגרסיבית מסדר ראשון, אומדן שונות רעש תהליך מעודכן יכול להיות מחושב על ידי formula_20.
כאשר formula_18 ו-formula_22 אומדני מדינת סקלר מחושבים על ידי מסנן או חלק יותר. ההערכה מקדם מודל המעודכן מתקבלת באמצעות: formula_23.
גרסאות.
מספר שיטות הוצעו על מנת להאיץ את ההתכנסות האטית של אלגוריתם EM, כדוגמת אלה המשתמשים בשיפוע צמוד והותאם לטכניקות ניוטון-רפסון. בנוסף ניתן להשתמש ב-EM לטכניקות הערכה מאולצות. מקסום מותנה תוחלת מחליף כל צעד של מקסום עם רצף של שלבי מקסום מותנים שבכל פרמטר θi מוגדל באופן אישי, בין התנאים על הפרמטרים האחרים שנותרו קבועים. רעיון זה, להאריך את האלגוריתם עוד יותר במקסום תוחלת כללי, שבו רק אחד מבקש עלייה בפונקציית המטרה F עבור שני הצעדים תוחלת ומקסום תחת התיאור החלופי. ניתן גם לשקול את אלגוריתם EM כסדרה של אלגוריתם מקסום-מקסום, ולכן ניתן שימוש בכל המכונות שפותחו במקרה הכללי יותר.
אלגוריתם EM-α.
הפונקציה Q המשמשת באלגוריתם EM מבוססת על לוגריתם הנראות. לכן, הוא נחשב לאלגוריתם לוג-תוחלת-מקסום. ניתן להכליל לשימוש בלוג הנראות של יחס סיכוי α-לוג. לאחר מכן, יחס הנראות של לוג-α של הנתונים שנצפו יכול לבוא לידי ביטוי בדיוק כשוויון באמצעות הפונקציה Q של יחס סיכוי α-log ו-α-הסטייה. קבלת פונקציה Q זו היא צעד תוחלת כללי. המקסום שלה הוא צעד מקסום כללי. זוג זה נקרא אלגוריתם EM-α אשר מכיל את אלגוריתם לוג-תוחלת-מקסום. לכן, אלגוריתם EM-α הוא הכללה של אלגוריתם לוג-תוחלת-מקסום מדויקת. אין צורך בחישוב מטריצת שיפוע או הסיאן. ניתן לראות באלגוריתם EM-α התכנסות מהירה יותר מאשר אלגוריתם לוג-תוחלת-מקסום על ידי בחירת α מתאים. אלגוריתם EM-α מוביל לגרסה מהירה יותר של אלגוריתם אמידת מודל מרקוב חבוי α-HMM.
הקשר לשיטות בייס השונות.
תוחלת-מקסום הוא באופן חלקי שיטת נראות השונה מהשיטה הבייסיאנית. התוצאה הסופית שלה נותנת התפלגות הסתברות על המשתנים החבויים (בסגנון בייס) יחד עם אומד נקודתי ל-θ. אנחנו אולי רוצים גרסה בייסיאנית מלאה, בהינתן התפלגות הסתברות על θ, כמו גם את המשתנים החבויים. למעשה ניתן להסיק מהגישה של בייס ש-θ היא עוד משתנה סמוי. ההבחנה בין צעדי התוחלת והמקסום נעלמת. אם אנו משתמשים בגרסה המלאה לקירוב Q כפי שתואר לעיל (הווריאציה של בייס), אנו עשויים לחזור על כל המשתנים הסמויים ולייעל אותם אחד בכל פעם. כעת יש k צעדים לכל איטרציה, כאשר k הוא מספר המשתנים הסמויים. למודלים גרפיים קל לעשות תלויי Q לכל משתנים, רק בשמיכת מרקוב שלה, כך שהעברת מידע מקומית יכולה לשמש למסקנה יעילה.
דוגמאות.
שלב התוחלת.
בהתחשב בהערכה הנוכחית שלנו של θ הפרמטרים (t), ההתפלגות המותנה של Zi נקבעה על ידי משפט בייס להיות הגובה היחסי של הצפיפות הנורמלית משוקללת לפי τ
formula_24.
אלה נקראים הסתברויות החברות ואלו בדרך כלל נחשבים לפלט, צעד E זה תואם את הפונקציה עבור Q הבא:
formula_25
אין צורך לחשב את ערכו של הביטוי, כי בשלב M אנו דורשים רק את המונחים בהתאם τ כאשר אנו נמקסם את τ, או רק את המונחים בהתאם μ אם אנחנו נמקסם עבור μ.
M step.
הוא ביטוי ריבועי ב- "Q"("θ"|"θ"("t") משמעות הדבר היא כי קביעת הערכים עבור מקסום של θ היא פשוטה יחסית. שימו לב כי ניתן להגדיל כל אחד מבין (τ, (μ1, Σ1) ו-(μ2, Σ2), באופן בלתי תלוי, שכן כל שהם מופיעים בתנאים ליניארי נפרדים.
כדי להתחיל, לשקול τ, שבה יש מגבלת τ1, τ2 = 1
formula_26
שיש לה הצורה של אומד נראות מקסימלית להתפלגות הבינומית, ולכן
formula_27
עבור האומדנים הבאים של (μ1, σ1)
formula_28
זו יש לה הצורה כאומד נראות מקסימלית משוקלל להתפלגות נורמלית, ולכן
formula_29 וגם formula_30
ומסימטריה:
formula_31 וגם formula_32.
דין בארו
דין אוליבר בארו (באנגלית: Dean Oliver Barrow; נולד ב-2 במרץ 1951) הוא פוליטיקאי בליזי, שכיהן כראש ממשלת בליז בשנים 2009–2020. הוא כיהן גם כמנהיג המפלגה הדמוקרטית המאוחדת בבליז (UDP).
ביוגרפיה.
בארו הוא במקצועו הוא עורך דין. הוא למד בשנות ה-70 באוניברסיטת איי הודו המערבית בבליז ובג'מייקה, ובשנות ה-80 סיים תואר ראשון במשפטים ותואר שני ביחסים בינלאומיים באוניברסיטת מיאמי בארצות הברית. הוא החל את הקריירה המשפטית ב-1973 במשרד עורכי דין של דודו, הפך לשותף במשרד, אחר כך התקדם ופתח משרד משלו, ובהדרגה הפך לאחד מעורכי הדין הידועים בבליז, שהופיע במספר משפטים חשובים.
בשנים 1993–1998 כיהן כשר החוץ וממלא מקום ראש הממשלה. מ-1998 הפך למנהיג האופוזיציה, עד לניצחונה של מפלגתו, UDP, בבחירות של פברואר 2008 ומונה לכראש ממשלת בליז במקום סעיד מוסא. הוא נבחר לכהונה שנייה בבחירות של 7 במרץ 2012.
לבארו ארבעה ילדים. הבכור הוא הראפר "שיין" (Shyne), שנולד מחוץ לנישואין. בנו ובתו הבאים נולדו מאשתו הראשונה, עורכת הדין לואיס יאנג. ב-2009 נישא בארו בשנית, לחברתו קים סימפליס, ולהם בת אחת.
Euglena
יגלנה
Vol. 4
Vol. 4 הוא אלבומה הרביעי של להקת ההבי מטאל הבריטית בלאק סבאת' שיצא לאור בספטמבר 1972.
"Vol. 4" מסמן את תחילת התרחבות הצליל של הלהקה, שהחלה לעשות שימוש מועט בסינטיסייזר, כלי נשיפה והתנסויות מוזיקליות בעלי השפעות פסיכדליות.
הקלטות.
ההקלטות לאלבום היו מלווות בקשיים רבים, הן עקב בעיות הסמים של חברי הלהקה, והן בשל ריבוי חילוקי הדעות בנוגע לשירים. מתופף הלהקה ביל וורד העיד כי הוא עצמו כמעט ופוטר מהלהקה, בעקבות אי סיפוקו מההקלטות לשיר "Cornucopia", שלטענתו היה "בעל דפוסים מוזיקליים נוראיים".
פטריק מיהאן קיבל קרדיט כמפיק, אולם מעורבותו בהפקת האלבום הייתה מינימלית, ולמעשה טוני איומי היה אחראי עיקרי להפקת האלבום.
הרצועה האינסטרומנטלית "FX" נוצרה באופן בלתי צפוי, כאשר תליון הצלב שעיטר דרך קבע את חזהו של איומי, הסתבך בחוטי הגיטרה החשמלית, ובכך יצר סאונד לא שגרתי, שלבסוף נערך על ידי הלהקה לכדי רצועה.
תוכן האלבום.