stanford-oval/wikipedia huggingface dataset:
הערכה חלופית
עקרונות הערכה חלופית

הבסיס העומד מאחורי ההערכה החלופית הוא שלא ניתן לקבוע על פי אמצעי הערכה אחד את רמת התלמיד מתוך קבוצה בגלל הבדלים רבים כגון: ביטחון, שליטה בנושא, הבדלי תרבות, יכולת לימוד ועוד. לכן, על מנת לקיים שוויון בין כלל התלמידים דרכי הערכה חלופיות לוקחות בחשבון סגנונות למידה שונים של תלמידים ומציעות את הרעיון של מספר אמצעי הערכה שונים.
ההערכה החלופית תהיה חלק מתהליך הלמידה ותשולב במהלכה. הערכה מסוג זה אינה חייבת להיות מסכמת, היא יכולה להתבצע כתהליך מתמשך שבו הלומדים משפרים את הישגיהם.
ההערכה החלופית עשויה לתת תמונת מצב לא רק על היכולות המחשבתיות ועל יכולות הלימוד של התלמיד, אלא גם על יכולות אחרות אותן לא היה ניתן לבדוק דרך אמצעי הערכה סטנדרטי, כמו: יחס בין אישי, יחס לזולת והיבטים רגשיים.
באמצעות הערכה חלופית ניתן להעריך את התהליך שעשו התלמידים לאורך השנה, התקדמותם, יכולתם הרפלקטיבית וביצועיהם, ולא רק על פי התוצר הסופי.
הערכה חלופית מתבצעת על ידי מספר גורמים: המורה, התלמיד, עמיתים, ועוד. כמו כן, התלמידים שותפים פעילים, הנוטלים חלק בקביעת הסטנדרטים להערכה ובהערכה עצמה של מידת התקדמותם בלימוד. הם עורכים רפלקציה עצמית, ומודעים לתהליך הלמידה שלהם, מקיימים דו-שיח מתמיד עם המורה בנושאי ההערכה, וכן משתתפים בהערכת ההישגים של חבריהם.
בדרך הערכה מסורתית התלמיד מקבל טופס בחינה ולאחר זמן מסוים חייב להחזירו למורה לבדיקה. לעומת זאת, בהערכה חלופית התלמיד שותף ופעיל בתהליך ההערכה. התלמיד מכיר את הקריטריונים להערכה ומקיים דיאלוג עם המורה לגבי ההיבטים השונים שבהערכה.
משימות הערכה חלופית הן אותנטיות ורלוונטיות לחיי התלמידים.
בדרך הערכה מסורתית התלמידים יקבלו ציון מספרי או הערכה מילולית קצרה. לעומת זאת בדרך הערכה חלופית התלמיד יקבל מהמורה פרופיל ביצועי מפורט של יכולותיו. התמונה המתקבלת מהפרופיל היא מעמיקה ומצביעה על צדדים רבים באישיותו של התלמיד.
השוואה בין תרבות הערכה מסורתית לתרבות הערכה חלופית

| 0 | 1 | 2 |
| --- | --- | --- |
| הממדים להשוואה | הערכה מסורתית | הערכה חלופית |
| מידת ההסכמה שניתן להשיג לגבי משמעות היעדים החינוכיים | מבוססת על הנחה כי קימת משמעות אוניברסלית להישגים לימודים - כלומר, ציון מסוים במבחן הוא בעל אותה משמעות לגבי כל תלמיד | מבוססת על ההנחה כי בחברה מרובת תרבויות, הבדלים וניגודים בפרספקטיבות הם בלתי נמנעים, לא תיתכן ואף אינה. רצויה תמימות דעים |
| הקשר שבין הוראה להערכה | ניתוק בין הוראה להערכה | הערכה משולבת בהוראה |
| היכולות המוערכות | מוערכות יכולות קוגניטיביות בלבד. יש דגש רב, בעיקר על יכולת לוגית ויכולת לשונית | מוערכות יכולות בתחום הקוגניטיבי, וכן גם בתחום החברתי והאישי/רגשי יש דגש על יכולות נוספות כגון: יכולת מוזיקלית, מרחבית, אישית, של אינטליגנציות מרובות |
| באילו כלים? | באמצעות מבחן בלבד | באמצעות פורטפוליו, הכנת משחק, הצגה, בניית דגם, כתיבת עבודה, סיכום |
| סוג המטלות | סינתטיות | אותנטיות, רלוונטיות לחיי התלמידים, לקוחות מן החיים ה"אמיתיים" מחוץ לכותלי בית הספר |
| מעריכים | רק תוצרים | גם תהליכים וגם תוצרים וכן יכולת הרפלקציה, הרהורים על החשיבה |
| מי המעריך? | המורה או המומחים | התלמיד עצמו, עמיתים, מורה, מומחים, הורים, אנשים מהקהילה וכדומה. לצורך הערכה נדרש דיאלוג בין התלמיד למורה. |
| הקריטריונים להערכה | נסתרים מהתלמיד | מגובשים עם התלמידים בדיאלוג משותף |
| מי אחראי להערכה? | המורה אחראי להערכה | התלמיד והמורה שותפים לאחריות ההערכה |
| דיווח הערכה | ציון מספרי | פרופיל ביצוע מפורט |
| תפקיד/מטרת הערכה | פיקוח חיצוני על המערכת | הערכה קובעת סטנדרטים ובכך מציבה יעדים ברורים להוראה |
ביקורות ומחלוקות > תומכי השיטה

מחקרים שעוסקים במערכות חינוך, מציגים ביקורת רבה כלפי שיטות המדידה הסטנדרטיות הנהוגות ברחבי העולם. תרבות המבחנים והשפעתה, מתגברות מאד בעשורים האחרונים וגורמות להוראה של ידע מקוטע וחסר הקשרים ולמעורבות רגשית נמוכה או שלילית של התלמידים. אחת מהטענות היא כי מבחן עלול ליצור מצבי לחץ ו/או מצבים של חרדה בקרב חלק מהנבחנים. תופעות אלה פוגעות ביכולת הביצוע שלהם, וכתוצאה מכך עלולה להיגרם הטיה במהימנות הערכתם.
עיקר הביקורת היא על מבחנים בעלי שאלות סגורות. הגישה שבה השתמשו בשנות התשעים של המאה העשרים, טוענת כי מבחן בצורתו המוכרת, כלומר מבחן שבו נעשה שימוש בכלי כתיבה כמו נייר ועיפרון, אינו מכסה את כל סוגי הלמידה שראוי שיוערכו. ההערכה המסורתית באמצעות מבחן אינה מודדת את כל יכולות התלמיד, אלא לרוב את יכולת זכירת החומר ויציקתו לתשובה מובנית, שלא כמו ההערכה החלופית שדורשת מהתלמידים מיומנויות חשיבה גבוהות כמו: תכנון, ארגון ומיזוג מידע, הסקת מסקנות, ביקורתיות וכדומה.
טענה נוספת בביקורת, בהקשר זה היא האמונה שציון במבחן אחד אומר לנו את כל מה שאנו צריכים לדעת על הישגיהם של התלמידים ועל איכות בית הספר. תוצאות מבחנים אינן מספקות בדרך כלל מדד ישיר ושלם להישגים בחינוך. מבחנים סטנדרטיים - כלומר מבחנים שמקפידים בהם במיוחד על תנאים אחידים לכלל הנבחנים (בכל המבחנים ניתנות מטלות זהות, המבחן מועבר בתנאים אחידים ונבדק באותה דרך) - מסוגלים למדוד רק חלק קטן מהמטרות המורכבות של החינוך.
הערכה חלופית מאפשרת צורת הסתכלות, הבנה ויחסים סימטריים הן בין המורה והתלמידים, הן בין תלמידי הכיתה ובפרט בין התלמיד לבין חוויית הלמידה שלו. כמו כן, המורה יכול לראות את התקדמות התלמיד בכל שלב ושלב ולקדם אותו לשלב הבא תוך מחשבה כיצד הלומד מתקדם, מבין, זוכר ומעבד יותר טוב את התכנים בשלב הבא. בנוסף, בצורת ההוראה וההערכה החלופית התלמיד מקבל אחריות רבה שאינה רק מתודית. הוא מבין שהוא באמת חלק מעולם המחקר ו/או הפרשנות והמחשבה שממשיכים להתהוות ולהתחדש בכל עת. בנוסף, ישנה מוטיבציה של הלומדים להקשבה והשתתפות בשיעור שאינה קשורה בהכרח למבחן שיבוא אחר כך. כאשר ניתנות לתלמידים הזדמנויות לבחון את עבודתם כנגד קריטריונים ידועים וסטנדרטים של ביצוע, הם מתחילים לעבור מתפיסה הדוגלת ב"מה הבנתי " ? לתפיסה הדוגלת ב"עכשיו אני יודע מה אני צריך לשפר".
ביקורות ומחלוקות > מתנגדי השיטה

יש הטוענים כי העידן החדש מערער את סמכותו של המורה. מצד אחד, דוגל ביחסים שוויוניים יותר בין המורה לתלמיד ומצד שני, ההערכה החלופית מבוססת על מנהיגותו של המורה בכיתה. הקונפליקט בו נמצא המורה, מנהיג חינוכי בעל אחריות, מול תלמיד העלול לנצל לרעה את הגישה הרואה בו שותף לקביעת דרכי ההערכה, הופך את ההערכה החלופית קשה ליישום, הן מבחינה מקצועית והן מבחינה אישית.
יש הרואים בשימוש במבחנים יתרון רב על שיטת הערכה החלופית. להלן נקודות חוזק שציינו חלק מהמתנגדים לשיטה:
אובייקטיביות: מבין כלי הערכה הרווחים במערכת החינוך המבחן הוא הכלי האובייקטיבי ביותר המאפשר למורים לדרג הישגים מנקודת מוצא נייטרלית, ולא על פי התרשמות חלקית ו\ או סובייקטיבית.
תנאים מבוקרים: המבחן הוא הכלי היחידי המאפשר לבדוק את הישגי הלומדים בתנאים מבוקרים כמו למשל, מקום, זמן, סיטואציה וכדומה.
רלוונטיות להערכה: במהלך תכנון המבחן המורה בונה מדגם של פריטים רלוונטיים לביצועי הלמידה שאותם הוא רוצה לבדוק.
תנאי בדיקה שוויוניים: הלומדים מקבלים מבחנים אחידים כלומר, אותו מבנה של מבחן, אותם מרכיבים, דרגת קושי זהה, סוגי פריטים זהים וזמן אחיד.
מדגמי התנהגות רחבים: השימוש במבחנים מאפשר להעריך היקף רחב של ביצועי הבנה.
ההערכה החלופית יקרה מאוד: היא גוזלת זמן רב ודורשת עבודה מאומצת. שימוש בהערכה חלופית דורשת הכשרה מעמיקה של מורים כמובילי תהליך, והכשרת קהלי היעד, תלמידים והחברה כולה. בחוסר הכשרה מתאימה עלולים לאמץ רק את הסממנים החיצוניים של ההערכה החלופית, ולאבד את יתרונות העומק שלה.
סוג ההוראה: סוג ההוראה שצריך לתמוך ולסייע להערכות חלופיות חסר בכיתות רבות. בסביבה שתגמלה עבודה מהירה ומסודרת, מורים רבים, כמו התלמידים, זקוקים לאישור רב לכך שיש להם זמן לחקור ולדון בתפיסות חדשת, להשתתף בתהליכים של ניסוי וטעייה, ואף לעשות טעויות לאורך הדרך.
קריאת נתוני תוצאות: ההערכה החלופית מורכבת ורב ממדית. מכיוון שההערכה היא שלב בתהליך הלמידה, יש להקצות בהמשך משאבים אנושיים וחומריים הנובעים מממצאי ההערכה, להמשך הלמידה.
ההערכה החלופית חייבת להתאים לאופי תהליך ההוראה. כלומר, מדובר כאן על שינוי התפיסה החינוכית ולא רק על שינוי דרך ההערכה.
ראו גם

מונחים בהערכה פורמלית
הערכה לשם למידה
בית הספר ברנקו וייס רמלה
למידה משמעותית
הערכה לשם למידה
תורת המבחנים
לקריאה נוספת

ברקוביץ, א' (2003). הנהגת יומני למידה אצל תלמידים: ניתוח מקרה. בתוך ד' מענואל א' ברקוביץ כ' גינת וא' שולמן (עורכים), טיפוח לומד בעל הכוונה עצמית: פדגוגיה של ספרות מקרים. (264-301). תל אביב: מופ"ת.
בירנבוים, מ' (2004). יחידה ד: משוב והערכה בכיתה. מתוך: בירנבוים, מ, יועד, צ. כ"ץ, ש. וקימרון, ה, בהבניה מתמדת – סביבה לפיתוח מקצועי של מורים בנושא תרבות הל"ה המטפחת הכוונה עצמית בלמידה. ירושלים: משרד החינוך, התרבות והספורט.
הערות שוליים

↑  העשרה - הערכה חלופית, באתר פורטל עובדי הוראה, משרד החינוך
↑  סמי אוחיון, הערכה חלופית – סקירה כללית והצעות אופרטיביות, באתר "תרבות•il"
1 2  מטה החינוך לחשיבה
↑  אבני דרך בהוראה משמעותית, קובץ שפורסם על ידי משרד החינוך, 2014
↑  סמי אוחיון, הערכה חלופית במחשבת ישראל - סקירה כללית והצעות אופרטיביות
↑  ברנקו וייס, הערכה חלופית – איך עושים את זה נכון? – מאמר מבוא
↑  התכנית הלאומית ללמידה משמעותית, באתר משרד החינוך, הודעות הדוברות
1 2 3  מנוחה בירנבוים, חלופות בהערכת הישגים
1 2  רחל נוה, המחקר החינוכי ויישמו
↑  יורם הרפז, המודל השלישי
↑  אריה לוי, הערכה חלופית: הלכה ומעשה, מכון מופ"ת, 1997
↑  אמג'ד אבו מוך, הערכה בחינוך: גישות, שיטות והבדל בין מושגים
↑  Alfie Kohn, Grading-The Issue Is Not How but Why
↑  ד"ר פנינה כץ ממכון מופ"ת, מבחנים עתיר-סיכון ופיקוח קוריקולרי: סקירה איכותית
↑  ענת זוהר, ציונים זה לא הכול: לקראת שיקומו של השיח הפדגוגי
1 2  מרסל עמאשה, הערכה בכיתה: מאפייני היישום וגורמים משפיעים בקרב מורים המלמדים בבתי ספר ערביים
1 2 3 4  נגה עמר,ד"ר חנה שחר, הערכה חלופית: עקרונות וקשיים
↑  האגף לתכנון ולפיתוח תכנית לימודים, עקרונות, מטרות וכיוונים בהערכה
1 2  ענת זוהר, ציונים זה לא הכול: לקראת שיקומו של השיח הפדגוגי
1 2  ענת בזק, חלופות בהערכה - חלופות בהוראה
↑  ג'יי מקטי, מה קורה בין הערכה להערכה?
↑  ד"ר עודד בן מנחם, ליאורה סלע, שילוב המבחן בתרבות ההערכה
↑  מנוחה בירנבוים, הערכה מושכלת מתיאוריה למעשה
↑  לב לדעת, מטלת ביצוע
↑  מנוחה בירנבוים, יחידה 7 - משוב והערכה בכיתה
↑  לב לדעת, שיקוף
↑  ניצה שפרירי, עופר בוזו, הלמידה כפעילות רפלקטיבית
↑  טלי אלבז,פרופ‘ ענת זוהר,עדה רוזנברג וורד אלבוחר, הוראה ולמידה בדרך החקר
הגישה המסורתית
למידה באמצעות משחק
אנטרופיה בתרמודינמיקה ובתורת האינפורמציה

תורת האינפורמציה פותחה במקור על ידי קלוד שאנון על מנת לענות על שאלות מתחום הטלקומוניקציה, אולם בהמשך התברר שיש לה שימושים רבים בפיזיקה ובפרט בתרמודינמיקה. אינפורמציה, עליה ניתן לחשוב באופן אבסטרקטי כרצף של אחדות ואפסים, נשמרת, מאוחסנת ומטופלת בעולם הפיזיקלי, כך שבמובן מסוים אינפורמציה מוגבלת על ידי חוקי הפיזיקה, ויש לשני התחומים ממשק רחב. בפרט, ניתן לקשר בין אנטרופיה כפי שהיא מוגדרת במכניקה סטטיסטית לבין אנטרופיית שאנון, אם כי הפרשנות המדויקת של הקשר בין המושגים שנויה במחלוקת (ערך זה יציג מספר גישות). עם זאת, ישנה הסכמה שתהליך המדידה בו משיגים אינפורמציה על המערכת משפיע על היכולת להפיק ממנה עבודה.
ביטוי מפורסם לקשר בין אינפורמציה לפיזיקה הוא בפרדוקס השד של מקסוול ובפתרונות השונים שהוצעו לו, אף שהפרדוקס הוצג קודם לפיתוח תורת האינפורמציה על ידי קלוד שאנון בשנת 1948 ולכן לא נוסח במונחים מתורת אינפורמציה במפורש.
שקילות ההגדרות

האנטרופיה במכניקה הסטטיסטית (אנטרופיית גיבס) מוגדרת S=-k_{B}\sum _{i}p_{i}\ln {p_{i}}כאשר סוכמים על אינדקסי המצבים המיקרוסקופיים השונים  i המתאימים למצב מקרוסקופי נתון.  p_{i} היא ההסתברות להימצא במצב ה- i, ו- k_{B} הוא קבוע בולצמן, המעניק לאנטרופיה את היחידות שלה.
בתורת האינפורמציה, האנטרופיה היא H=-\sum _{i}p_{i}\log _{2}p_{i}כאשר סוכמים על אינדקסי ההודעות האפשריות  i שניתן לקבל, ו- p_{i} היא ההסתברות לקבל את ההודעה ה- i. האנטרופיה היא האינפורמציה הממוצעת המתקבלת בהודעות, ובסיס 2 של הלוגריתם מתאים למדידה של האנטרופיה בביטים.
אינפורמציה כהצדקה למכניקה הסטטיסטית

במאמר משנת 1957, הפיזיקאי והסטטיסיקאי אדווין תומפסון ג'יינס הציע לבסס את נכונות המכניקה הסטטיסטית על רעיונות מתורת האינפורמציה, במקום על משוואות תנועה והנחת הארגודיות. ג'יינס הציע שהנחת היסוד הפיזיקלית בבניית תאוריה צריכה להיות בלתי מוטה, כלומר לא להניח שום דבר אפריורי, ובמילים אחרות נרצה תאוריה שבה אי-הוודאות שלנו היא הגבוהה ביותר האפשרית. תורת האינפורמציה מלמדת אותנו שהגודל שמודד את אי הוודאות הוא האנטרופיה, 



H
(

p

1


,
…
,

p

n


)
=
−
K

∑

i



p

i


ln
⁡


p

i





{\textstyle H(p_{1},\ldots ,p_{n})=-K\sum _{i}p_{i}\ln {p_{i}}}

. מכיוון שזהו גם הביטוי המתמטי לאנטרופיה במכניקה סטטיסטית, נוכל לייחס לאנטרופיה הפיזיקלית את אותן תכונות מתמטיות המאפיינות אי ודאות.
בניסויים במערכות תרמודינמיות, מודדים גודל מאקרוסקופי שאינו מתאר את המצב המיקרוסקופי של המערכת בצורה מלאה, כך שישנה אי ודאות לגבי מצב המערכת. ג'יינס הציע שכדי להסיק מסקנות על סמך מידע חלקי ומבלי להניח הנחות נוספות, נרצה לבחור את התיאור של המערכת, שבו אי הוודאות לגבי המערכת גדול ביותר, או האנטרופיה היא מקסימלית. כל בחירה אחרת של האנטרופיה של המערכת מניחה ידע נוסף לגביה, דבר שאינו אפשרי לפי ההנחות שג'יינס הציע. אם כך, ניתן להבין את עקרון האנטרופיה המקסימלית כהרחבה של עקרון האדישות שקיים בסטטיסטיקה.
ג'יינס כותב שמכאן ניתן להסיק ש"אין בחוקי התנועה הכלליים דבר שמספק לנו אינפורמציה נוספת לגבי המצב של המערכת מעבר למה שהשגנו באמצעות מדידה", כאשר הוא מתייחס למצב של המערכת בזמן מסוים (ולא לניבוי של מצב המערכת העתידי, שכן דורש שימוש במשוואות התנועה). כלומר, ניתן להגיע למסקנות שאליהן מגיעה המכניקה הסטטיסטית מבלי להניח שום הנחה פיזיקלית.
אינפורמציה כאנטרופיה שלילית

המושג אנטרופיה שלילית (Negentropy) נטבע לראשונה על ידי ארווין שרדינגר בספרו "מה הם חיים?", אולם מי שפיתח את הקשר בין אנטרופיה שלילית לאינפורמציה היה לאון ברילואן, במאמרים ובספר (
Science and information theory) שפורסמו בשנות ה-50.
בתורת האינפורמציה, נדרשת אינפורמציה  I_{b}=K\ln {(P_{0}/P_{1})} כדי להקטין את מספר המאורעות האפשריים מ- P_{0} ל- P_{1} (כאשר כל המצבים בהסתברות שווה), כאשר K קובע את היחידות של האנטרופיה, ונבחר אותו להיות קבוע בולצמן,  k_{B}. ברילואן מבחין בין אינפורמציה חופשית, שהיא אבסטרקטית, לבין אינפורמציה קשורה, שהיא מקרה פרטי של אינפורמציה חופשית שבו ניתן לפרש את המצבים האפשריים כמצבים של מערכת פיזיקלית, ונתמקד באינפורמציה הקשורה (הסימון  I_{b} מתייחס לאינפורמציה הקשורה, bound). את האינפורמציה הקשורה ניתן לייצג על ידי חריטה על סלע, כתיבה על דף נייר, שמירה על דיסק און קי, ניקוב כרטיס או כל אמצעי מקביל, ומכאן שהטיפול והשימוש באינפורמציה הקשורה מוגבל על ידי חוקי הפיזיקה. נציין שהדיון המקורי של שאנון באינפורמציה היה תאורטי, ולא התייחס לייצוגים פיזיקליים של אינפורמציה, כלומר במונחים אלו הוא התייחס לאינפורמציה חופשית.
האנטרופיה של המערכת הפיזיקלית כאשר יש לה  P_{0} או  P_{1} מצבי מיקרו זמינים היא  S_{0}=k_{B}\ln {P_{0}} ו- S_{1}=k_{B}\ln {P_{1}} בהתאמה, אז  S_{1}=S_{0}-I_{b} כך שניתן לראות שעלייה באינפורמציה הקשורה גוררת ירידה באנטרופיה של המערכת, ומכאן ההתייחסות לאינפורמציה כאל אנטרופיה שלילית. ניתן לפרש תוצאה זו כך: אנטרופיה היא מדד לאינפורמציה החסרה לנו לתיאור המצב המיקרוסקופי של המערכת באופן מלא. באופן שקול, כאשר האנטרופיה של המערכת גדלה, אנו מאבדים אינפורמציה לגביה. לדוגמה, ניקח מכל ובו מחיצה שבצידה האחד גז מסוג אחד, ובצד השני גז מסוג אחר. הסרת המחיצה תגרום לערבוב הגזים, תהליך בלתי הפיך שגורם לאנטרופיה של המערכת לגדול. האינפורמציה שלנו לגבי המערכת קטנה: לפני הערבוב, ידענו איזה סוג גז נמצא בכל צד, בעוד שכעת אין לנו מידע לגבי סוגי הגז במיקומים שונים במכל.
אינפורמציה כאנטרופיה שלילית > מדידות פיזיקליות

ברילואן מציג מספר תכונות לגבי הקשר בין אינפורמציה לאנטרופיה שלילית:
ניתן להמיר אינפורמציה באנטרופיה שלילית של המערכת ולהפך.
מדידה של המערכת, שבה אנו מפיקים אינפורמציה לגבי המערכת, גורמת לגידול באנטרופיה שלה.
האנטרופיה השלילית המינימלית הנדרשת על מנת לבצע תצפית היא  k_{B}\ln {2}, שכן כמות האינפורמציה המינימלית שניתן להפיק במדידה היא סיבית אחת. למעשה, השאלה הכי פשוטה שאנו יכולים לשאול על מנת להגדיל את האינפורמציה שלנו לגבי המערכת היא שאלת כן\לא.
אינפורמציה כאנטרופיה שלילית > ביקורות

ביקורת על גישתם של ברילואן וג'יינס היא שההתייחסות לאנטרופיה כאל אינפורמציה חסרה הופכת את האנטרופיה למושג סובייקטיבי, בעוד שבפועל מדובר בתכונה אובייקטיבית של מערכות פיזיקליות. בחלק הבא מתוארת פרשנות אובייקטיבית לקשר בין אנטרופיה לאינפורמציה.
אנטרופיה וסיבוכיות קולמוגורוב

אנטרופיה במכניקה סטטיסטית היא מושג סטטיסטי, שמתייחס לצבר ולא לאירועים (מצבי המיקרו השונים) מהם הוא מורכב. האנטרופיה של מערכת שהמצבים המיקרוסקופיים שלה  x מתפלגים לפי התפלגות  p היא 



S
[
p
]
=

∑

x


p

(
x
)

ln
⁡


(

1

/

p

(
x
)


)




{\textstyle S[p]=\sum _{x}p\left(x\right)\ln {\left(1/p\left(x\right)\right)}}

. לא קיימת תכונה מיקרוסקופית  f(x) של המערכת שניתן לבטא את האנטרופיה כממוצע שלה, 



S
[
p
]
=

∑

x


p
(
x
)
f
(
x
)


{\textstyle S[p]=\sum _{x}p(x)f(x)}

, עבור כל התפלגות p, זאת בשונה מגדלים תרמודינמיים אחרים (לדוגמה, הטמפרטורה היא ממוצע של האנרגיה הקינטית של החלקיקים המרכיבים את המערכת). דבר זה הופך את חישוב האנטרופיה לבעיה קשה, שכן לא ניתן לחשבה ישירות באמצעות ביצוע מדידה של מצבי המיקרו של המערכת.
הפיזיקאי צ'ראלס בנט הציע שסיבוכיות קולמוגורוב של מצבי המיקרו של המערכת מהווה פונקציה  f(x) כזו, שממוצע שלה מהווה קירוב טוב לאנטרופיה (המקרוסקופית) של המערכת עבור רוב ההתפלגויות  p. סיבוכיות קולמוגורוב (או "אנטרופיה אלגוריתמית") של מחרוזת  x, המסומנת  H(x), היא אורך התוכנה הקצרה ביותר שיכולה ליצר אותה כפלט (בנט משתמש בהגדרות של לאוניד לוין וגרגורי צ'ייטין לאנטרופיה אלגוריתמית, אולם לא נתמקד כאן בהבדלים בין ההגדרות). בהקשר הפיזיקלי, מדובר במספר הביטים המינימלי שנדרש על מנת לתאר את מצב המיקרו  x, וכאמור עבור מערכת מסוימת,  H(x) אינו תכונה פיזיקלית של מצב המיקרו.
החסם שבנט מצא לקשר בין אנטרופיה לסיבוכיות קולמוגורוב הוא S_{2}[p]<\sum _{x}p(x)H(x)\leq S_{2}[p]+H(p)+O(1)כאשר 




S

2


[
p
]
=

∑

x


p
(
x
)

log

2


⁡

(
1

/

p
(
x
)
)



{\textstyle S_{2}[p]=\sum _{x}p(x)\log _{2}{(1/p(x))}}

 היא האנטרופיה המאקרוסקופית של המערכת ביחידות בינאריות, שמתארת עד כמה ההתפלגות  p מחולקת על פני מצבי מיקרו שונים,  H(x) היא כאמור סיבוכיות קולמוגורוב של מצב מיקרוסקופי  x, ו- H(p) היא סיבוכיות קולמוגורוב של ההתפלגות  p, כלומר כמות הביטים שנדרשים על מנת לתאר את ההתפלגות (בדיוק גדול כרצוננו, אם קיימים מצבים עבורם  p(x) לא רציונלי). עבור מערכות טיפוסיות,  H(p) הוא מסדר גודל של כמה אלפי ביטים, שכן הוא נקבע על פי משוואות תנועה, תנאי השפה וכן הלאה (כאשר לרוב פיזיקאים מנסים לתאר את הטבע באמצעות מודלים פשוטים יחסית, ולכן גם התיאור של המודל יהיה פשוט יחסית ביחס למורכבות האמיתית המערכת). לעומת זאת, האנטרופיה 




S

2


[
p
]


{\textstyle S_{2}[p]}

 של מערכת מאקרוסקופית היא מסדר גודל של  10^{23} ביטים (מסדר גודל של קבוע אבוגדרו), ולכן השגיאה היחסית שמתקבלת מחישוב האנטרופיה לפי האנטרופיה האלגוריתמית היא לרוב קטנה.
אנטרופיה וסיבוכיות קולמוגורוב > דוגמה

עבור גז אידיאלי חד-אטומי, עם N אטומים במסה m הנמצא במכל בנפח V, האנטרופיה נתונה על ידי משוואת סאקר-טטרוד,  S=k_{B}N\ln \left[{\frac {V}{N}}\left({\frac {mk_{B}T}{2\pi \hbar ^{2}}}\right)^{3/2}\right]+{\frac {5}{2}}k_{B}N. עבור מול הליום ( ^{4}He) בטמפרטורה 300 קלווין ובנפח ליטר, האנטרופיה היא בערך 



100
J

/

K


{\textstyle 100J/K}

. לפי הפרשנות שהאנטרופיה היא הממוצע של האנטרופיה האלגוריתמית של המערכת (עד כדי קבוע בולצמן), מספר הביטים הממוצע הנדרש לתיאור המערכת הוא  {\frac {S}{k_{B}}}\approx 10^{25} ביטים, שהם כ-17 ביטים לאטום.
אנטרופיה וסיבוכיות קולמוגורוב > סיבוכיות קולמוגורוב של גז בולצמן

כפי שראינו לעיל, בנט הציע להשתמש בממוצע של סיבוכיות קולמוגורוב של המערכת כקירוב טוב לאנטרופיה שלה כפי שהיא מוגדרת במכניקה הסטטיסטית. וויצ'ך ז'ורק פיתח רעיון זה, והראה שניתן להגיע מתוך שיקולים אלגוריתמיים לתוצאות פיזיקליות.
נתבונן שוב בגז האידיאלי מהדוגמה. ניתן לתאר את הגז על ידי המיקום והתנע של החלקיקים שלו (באופן כללי, ב-D ממדים). התיאור של מיקום כל חלקיק נעשה ברזולוציה כלשהי  \Delta _{x}, ועבור רזולוציה זו ניתן לחלק את הנפח הכולל V לתאים קטנים בנפח  \Delta V=(\Delta _{x})^{D}. בדומה, התנע מתואר גם הוא ברזולוציה  \Delta _{p} בכל מימד (קיים חסם תחתון לרזולוציה בתנע ובמיקום, הנובע מעקרון האי-ודאות). ישנם  {\mathcal {C}}=\left({\frac {V}{\Delta V}}\right)\left({\frac {\sqrt {mk_{B}T}}{\Delta _{p}}}\right)^{D} תאים במרחב הפאזה של כל חלקיק עבור רזולוציות אלה, ולכן עבור N חלקיקים בלתי מובחנים ישנן  \Omega ={\frac {{\mathcal {C}}^{N}}{N!}} אפשרויות לתיאור המערכת, ונוכל לתאר את הקונפיגורציות השונות באמצעות אינדקסים  1,2,\ldots ,\Omega  בעלי ערך אופייני מסדר גודל  \Omega , כך שאורך התיאור הממוצע של המערכת בביטים הוא K\approx \log _{2}\Omega =N\left[\log _{2}{{\frac {V}{N\Delta V}}+{\frac {D}{2}}\log _{2}{\frac {mk_{B}T}{(\Delta _{p})^{2}}}}\right]+O(1)וזוהי למעשה משוואת סאקר-טטרוד, שהתקבלה ישירות משיקולים של אורך התיאור של המערכת (כאשר הפיתוח המדויק של איבר השגיאה  O(1) מפורט במאמר).
אנטרופיה וסיבוכיות קולמוגורוב > סיבוכיות קולמוגורוב של גז בולצמן > הגדרה חדשה לאנטרופיה

זורק מציע להגדיר מחדש את האנטרופיה בפיזיקה כסכום של האינפורמציה החסרה לגבי המערכת (אנטרופיית שאנון, H) ושל התיאור המדויק הקצר ביותר של מה שידוע על המערכת (סיבוכיות קולמוגורוב שלה, K),  {\mathcal {S}}=H+K. הוא מכנה גודל זה "אנטרופיה פיזיקלית".
אנטרופיה וסיבוכיות קולמוגורוב > יישומים

בנט מדגיש שסיבוכיות קולמוגורוב של מערכת איננה פונקציה חשיבה, כך שהפתרון שהוא מציע אינו עוזר באופן פרקטי לחישוב האנטרופיה של המערכת, אלא רק פותר את הבעיה הקונספטואלית של היעדר תכונה מיקרוסקופית שאנטרופיה היא הממוצע שלה; אולם, במחקר משנת 2019, רם אבינרי, מיכה קורנרייך ורועי בק מאוניברסיטת תל אביב השתמשו ברעיונות דומים על מנת להעריך את האנטרופיה של מערכות פיזיקליות שונות. הם הריצו סימולציות של מערכות בשיווי משקל, ודגמו מהן מצבי מיקרו שונים באופן בלתי תלוי. תיאור חד־ממדי של מצבי המיקרו השונים נשמר ברצף לקובץ, שעבר דחיסה באמצעות אלגוריתם למפל-זיו כך שהתקבל קובץ בגודל  C_{d}. בנוסף, חושב הגודל המכווץ של הקובץ המתאר אותה מערכת כאשר האנטרופיה שלה מינימלית ומקסימלית,  C_{1},C_{0} בהתאמה. מתוך גדלים אלה חושבה "אי-הדחיסות" (incompressibility),  \eta ={\frac {C_{d}-C_{0}}{C_{1}-C_{0}}}, שמתכנסת לקבוע בין 0 ו-1 עבור מספיק דגימות של מערכת בשיווי משקל. את  \eta  ניתן לתרגם לאנטרופיה בהסתמך על ערכים ידועים, או מתוך השוואה לאנטרופיה המקסימלית: אם המערכת ניתנת לייצוג על ידי  n_{s} ערכים בדידים, האנטרופיה המקסימלית שלה היא  k_{B}\ln n_{s} (כאשר  k_{B} הוא קבוע בולצמן) לכל דרגת חופש, ולכן עבור מערכת עם D דרגות חופש, קירוב מסדר ראשון של הקשר בין אי-הדחיסות לאנטרופיה ייתן  S/k_{B}=\eta D\ln n_{s}. קירוב זה נתן תוצאות טובות בהשוואה לערך האנטרופיה הידוע עבור מערכות שבהן ניתן לחשב אותה אנליטית, אפילו כאשר מספר הדגימות היה נמוך יחסית.
שמירה ומחיקה של אינפורמציה

כמות האינפורמציה שמערכת פיזיקלית יכולה לשמור קשורה במספר המצבים הפיזיקליים המובחנים הזמינים שלה. באופן כללי, מערכת עם  W מצבים מובחנים יכולה לשמור  \log _{2}{W} ביטים. מכיוון שמספר המצבים הזמינים למערכת מגדיר גם את האנטרופיה של המערכת,  S=k_{B}\ln {W}, חסם עליון לכמות האינפורמציה שהמערכת יכולה לרשום (בביטים) הוא  I=S(E)/k_{B}\ln {2}, כאשר  S(E) האנטרופיה התרמודינמית של מערכת שערך התצפית של האנרגיה שלה הוא  E, והחלוקה ב- k_{B}\ln 2 ממירה את היחידות של S לביטים.
שמירה ומחיקה של אינפורמציה > עקרון לנדאור

במאמר מ-1961, רולף לנדאור דן בכך שעיבוד אינפורמציה (שינויים מסוימים המבוצעים על זיכרון פיזי כללי) כרוך בפליטת חום מינימלית, בלי תלות בקצב השינוי או המדיום הפיזי שבו האינפורמציה נשמרת. לנדאור קושר בין הפיכות לוגית להפיכות תרמודינמית, וטוען שביצוע פעולה לוגית בלתי הפיכה (כמו פעולת AND) גורר שינוי בלתי הפיך במצב הפיזיקלי של הזיכרון, דבר שגורם לפיזור חום מהמערכת. הוא מנתח את הפעולה SET TO 1, שמשנה את ערכו של ביט בזיכרון ל-1, בלי תלות בערכו המקורי. כפי שצוין, זיכרון המחשב תואם מצב פיזיקלי מובחן כלשהו, ופעולה זו מקטינה פי 2 את מספר המצבים הזמינים למערכת (ערכו של הביט ידוע לאחר ביצוע הפעולה, כך שכל המצבים של הזיכרון שבהם הביט הוא 0 אינם זמינים יותר), ומכאן שהאנטרופיה של הזיכרון קטנה ב- k_{B}\ln {2}. מכיוון שהחוק השני של התרמודינמיקה קובע שהאנטרופיה של העולם כולו (הזיכרון והסביבה) אינה יכולה לרדת ( \Delta S\geq 0 – השינוי באנטרופיה הוא אי-שלילי), הפרש האנטרופיה עובר לסביבה בצורת חום בשיעור לפחות  k_{B}T\ln {2} (כאשר  T הטמפרטורה של המערכת). ביצוע של פעולה הפיכה, כמו NOT, אינו משפיע על האנטרופיה של המערכת, שכן על אף שהוא משנה את המצב הפיזי של המערכת, הוא לא מקטין את מספר המצבים הזמינים בה.
עיקרון זה אושש בניסוי שמדד את החום שנפלט ממחיקה שבוצעה על זיכרון של ביט יחיד.
שמירה ומחיקה של אינפורמציה > עקרון לנדאור > דוגמה: מימוש זיכרון באמצעות גז אידיאלי חד-חלקיקי

נממש זיכרון של ביט יחיד באמצעות תא עם חלקיק יחיד של גז אידיאלי. אמנם פיתוחים תרמודינמיים מניחים מספר גדול של חלקיקים, אולם אם נבצע מדידות על חלקיק יחיד למשך זמן, נוכל להחליק סטיות סטטיסטיות ולקבל אותן תוצאות שיתקבלו עבור גז אידיאלי המורכב מחלקיקים רבים. נניח שהחלקיק נמצא בתא בנפח V, אך מיקומו של החלקיק בתוך התא איננו ידוע וממילא הוא חופשי לנוע בתוכו. כעת נרצה לקבוע את ערכו של תא הזיכרון על ידי הזזת החלקיק לאחד מצידי התא (כמו בדוגמה העליונה באיור). באמצעות בוכנה המתקדמת מהקצה השני (זה שאנו רוצים להרחיק את החלקיק ממנו), נוכל לדחוק את החלקיק לצד המבוקש באופן קוואזי-סטטי ואיזותרמי, כך שהוא יוכל לאכלס רק חצי מהנפח המקורי.
עבור גז אידיאלי, הפרש האנטרופיה בדחיסה זו הוא  \Delta S=k_{B}\ln \left({\frac {V_{2}}{V_{1}}}\right)=-k_{B}\ln 2, כאשר האנרגיה הקינטית של הגז איננה משתנה (שכן הטמפרטורה קבועה). מה שהשתנה לאחר הדחיסה הוא הידע שלנו לגבי מיקום החלקיק. כאמור, לפי החוק השני של התרמודינמיקה האנטרופיה הכוללת של המערכת איננה יכולה לרדת. לכן, בתהליך שביצענו, זרם חום בשיעור  dQ=TdS=k_{B}\ln 2 אל הסביבה.