בתורת האינפורמציה, נדרשת אינפורמציה formula_11 כדי להקטין את מספר המאורעות האפשריים מ-formula_12 ל-formula_13 (כאשר כל המצבים בהסתברות שווה), כאשר K קובע את היחידות של האנטרופיה, ונבחר אותו להיות קבוע בולצמן, formula_5. ברילואן מבחין בין אינפורמציה חופשית, שהיא אבסטרקטית, לבין אינפורמציה קשורה, שהיא מקרה פרטי של אינפורמציה חופשית שבו ניתן לפרש את המצבים האפשריים כמצבים של מערכת פיזיקלית, ונתמקד באינפורמציה הקשורה (הסימון formula_15 מתייחס לאינפורמציה הקשורה, bound). את האינפורמציה הקשורה ניתן לייצג על ידי חריטה על סלע, כתיבה על דף נייר, שמירה על דיסק און קי, ניקוב כרטיס או כל אמצעי מקביל, ומכאן שהטיפול והשימוש באינפורמציה הקשורה מוגבל על ידי חוקי הפיזיקה. נציין שהדיון המקורי של שאנון באינפורמציה היה תאורטי, ולא התייחס לייצוגים פיזיקליים של אינפורמציה, כלומר במונחים אלו הוא התייחס לאינפורמציה חופשית.
האנטרופיה של המערכת הפיזיקלית כאשר יש לה formula_12 או formula_13 מצבי מיקרו זמינים היא formula_18 ו-formula_19 בהתאמה, אז formula_20 כך שניתן לראות שעלייה באינפורמציה הקשורה גוררת ירידה באנטרופיה של המערכת, ומכאן ההתייחסות לאינפורמציה כאל אנטרופיה שלילית. ניתן לפרש תוצאה זו כך: אנטרופיה היא מדד לאינפורמציה החסרה לנו לתיאור המצב המיקרוסקופי של המערכת באופן מלא. באופן שקול, כאשר האנטרופיה של המערכת גדלה, אנו מאבדים אינפורמציה לגביה. לדוגמה, ניקח מיכל ובו מחיצה שבצידה האחד גז מסוג אחד, ובצד השני גז מסוג אחר. הסרת המחיצה תגרום לערבוב הגזים, תהליך בלתי הפיך שגורם לאנטרופיה של המערכת לגדול. האינפורמציה שלנו לגבי המערכת קטנה: לפני הערבוב, ידענו איזה סוג גז נמצא בכל צד, בעוד שכעת אין לנו מידע לגבי סוגי הגז במיקומים שונים במיכל.
מדידות פיזיקליות.
ברילואן מציג מספר תכונות לגבי הקשר בין אינפורמציה לאנטרופיה שלילית:
ביקורות.
ביקורת על גישתם של ברילואן וג'יינס היא שההתייחסות לאנטרופיה כאל אינפורמציה חסרה הופכת את האנטרופיה למושג סובייקטיבי, בעוד שבפועל מדובר בתכונה אובייקטיבית של מערכות פיזיקליות. בחלק הבא מתוארת פרשנות אובייקטיבית לקשר בין אנטרופיה לאינפורמציה.
אנטרופיה וסיבוכיות קולמוגורוב.
אנטרופיה במכניקה סטטיסטית היא מושג סטטיסטי, שמתייחס לצבר ולא לאירועים (מצבי המיקרו השונים) מהם הוא מורכב. האנטרופיה של מערכת שהמצבים המיקרוסקופיים שלה formula_22 מתפלגים לפי התפלגות formula_23 היא formula_24. לא קיימת תכונה מיקרוסקופית formula_25 של המערכת שניתן לבטא את האנטרופיה כממוצע שלה, formula_26, עבור כל התפלגות p, זאת בשונה מגדלים תרמודינמיים אחרים (לדוגמה, הטמפרטורה היא ממוצע של האנרגיה הקינטית של החלקיקים המרכיבים את המערכת). דבר זה הופך את חישוב האנטרופיה לבעיה קשה, שכן לא ניתן לחשבה ישירות באמצעות ביצוע מדידה של מצבי המיקרו של המערכת.
הפיזיקאי צ'ראלס בנט הציע שסיבוכיות קולמוגורוב של מצבי המיקרו של המערכת מהווה פונקציה formula_25 כזו, שממוצע שלה מהווה קירוב טוב לאנטרופיה (המקרוסקופית) של המערכת עבור רוב ההתפלגויות formula_23. סיבוכיות קולמוגורוב (או "אנטרופיה אלגוריתמית") של מחרוזת formula_22, המסומנת formula_30, היא אורך התוכנה הקצרה ביותר שיכולה ליצר אותה כפלט (בנט משתמש בהגדרות של לאוניד לוין וגרגורי צ'ייטין לאנטרופיה אלגוריתמית, אולם לא נתמקד כאן בהבדלים בין ההגדרות). בהקשר הפיזיקלי, מדובר במספר הביטים המינימלי שנדרש על מנת לתאר את מצב המיקרו formula_22, וכאמור עבור מערכת מסוימת, formula_30 אינו תכונה פיזיקלית של מצב המיקרו.
החסם שבנט מצא לקשר בין אנטרופיה לסיבוכיות קולמוגורוב הואformula_33כאשר formula_34 היא האנטרופיה המאקרוסקופית של המערכת ביחידות בינאריות, שמתארת עד כמה ההתפלגות formula_23 מחולקת על פני מצבי מיקרו שונים, formula_30 היא כאמור סיבוכיות קולמוגורוב של מצב מיקרוסקופי formula_22, ו-formula_38 היא סיבוכיות קולמוגורוב של ההתפלגות formula_23, כלומר כמות הביטים שנדרשים על מנת לתאר את ההתפלגות (בדיוק גדול כרצוננו, אם קיימים מצבים עבורם formula_40 לא רציונלי). עבור מערכות טיפוסיות, formula_38 הוא מסדר גודל של כמה אלפי ביטים, שכן הוא נקבע על פי משוואות תנועה, תנאי השפה וכן הלאה (כאשר לרוב פיזיקאים מנסים לתאר את הטבע באמצעות מודלים פשוטים יחסית, ולכן גם התיאור של המודל יהיה פשוט יחסית ביחס למורכבות האמיתית המערכת). לעומת זאת, האנטרופיה formula_42 של מערכת מאקרוסקופית היא מסדר גודל של formula_43 ביטים (מסדר גודל של קבוע אבוגדרו), ולכן השגיאה היחסית שמתקבלת מחישוב האנטרופיה לפי האנטרופיה האלגוריתמית היא לרוב קטנה.
דוגמה.
עבור גז אידיאלי חד-אטומי, עם N אטומים במסה m הנמצא במיכל בנפח V, האנטרופיה נתונה על ידי משוואת סאקר-טטרוד, formula_44. עבור מול הליום (formula_45) בטמפרטורה 300 קלווין ובנפח ליטר, האנטרופיה היא בערך formula_46. לפי הפרשנות שהאנטרופיה היא הממוצע של האנטרופיה האלגוריתמית של המערכת (עד כדי קבוע בולצמן), מספר הביטים הממוצע הנדרש לתיאור המערכת הוא formula_47 ביטים, שהם כ-17 ביטים לאטום.
סיבוכיות קולמוגורוב של גז בולצמן.
כפי שראינו לעיל, בנט הציע להשתמש בממוצע של סיבוכיות קולמוגורוב של המערכת כקירוב טוב לאנטרופיה שלה כפי שהיא מוגדרת במכניקה הסטטיסטית. וויצ'ך זורק פיתח רעיון זה, והראה שניתן להגיע מתוך שיקולים אלגוריתמיים לתוצאות פיזיקליות.
נתבונן שוב בגז האידיאלי מהדוגמה. ניתן לתאר את הגז על ידי המיקום והתנע של החלקיקים שלו (באופן כללי, ב-D ממדים). התיאור של מיקום כל חלקיק נעשה ברזולוציה כלשהי formula_48, ועבור רזולוציה זו ניתן לחלק את הנפח הכולל V לתאים קטנים בנפח formula_49. בדומה, התנע מתואר גם הוא ברזולוציה formula_50 בכל מימד (קיים חסם תחתון לרזולוציה בתנע ובמיקום, הנובע מעקרון האי-ודאות). ישנם formula_51 תאים במרחב הפאזה של כל חלקיק עבור רזולוציות אלה, ולכן עבור N חלקיקים בלתי מובחנים ישנן formula_52 אפשרויות לתיאור המערכת, ונוכל לתאר את הקונפיגורציות השונות באמצעות אינדקסים formula_53 בעלי ערך אופייני מסדר גודל formula_54, כך שאורך התיאור הממוצע של המערכת בביטים הואformula_55וזוהי למעשה משוואת סאקר-טטרוד, שהתקבלה ישירות משיקולים של אורך התיאור של המערכת (כאשר הפיתוח המדויק של איבר השגיאה formula_56 מפורט במאמר).
הגדרה חדשה לאנטרופיה.
זורק מציע להגדיר מחדש את האנטרופיה בפיזיקה כסכום של האינפורמציה החסרה לגבי המערכת (אנטרופיית שאנון, H) ושל התיאור המדויק הקצר ביותר של מה שידוע על המערכת (סיבוכיות קולמוגורוב שלה, K), formula_57. הוא מכנה גודל זה "אנטרופיה פיזיקלית".
יישומים.
בנט מדגיש שסיבוכיות קולמוגורוב של מערכת איננה פונקציה חשיבה, כך שהפתרון שהוא מציע אינו עוזר באופן פרקטי לחישוב האנטרופיה של המערכת, אלא רק פותר את הבעיה הקונספטואלית של היעדר תכונה מיקרוסקופית שאנטרופיה היא הממוצע שלה; אולם, במחקר משנת 2019, רם אבינרי, מיכה קורנרייך ורועי בק מאוניברסיטת תל אביב השתמשו ברעיונות דומים על מנת להעריך את האנטרופיה של מערכות פיזיקליות שונות. הם הריצו סימולציות של מערכות בשיווי משקל, ודגמו מהן מצבי מיקרו שונים באופן בלתי תלוי. תיאור חד ממדי של מצבי המיקרו השונים נשמר ברצף לקובץ, שעבר דחיסה באמצעות אלגוריתם למפל-זיו כך שהתקבל קובץ בגודל formula_58. בנוסף, חושב הגודל המכווץ של הקובץ המתאר אותה מערכת כאשר האנטרופיה שלה מינימלית ומקסימלית, formula_59 בהתאמה. מתוך גדלים אלה חושבה "אי-הדחיסות" (incompressibility), formula_60, שמתכנסת לקבוע בין 0 ו-1 עבור מספיק דגימות של מערכת בשיווי משקל. את formula_61 ניתן לתרגם לאנטרופיה בהסתמך על ערכים ידועים, או מתוך השוואה לאנטרופיה המקסימלית: אם המערכת ניתנת לייצוג על ידי formula_62 ערכים בדידים, האנטרופיה המקסימלית שלה היא formula_63 (כאשר formula_5 הוא קבוע בולצמן) לכל דרגת חופש, ולכן עבור מערכת עם D דרגות חופש, קירוב מסדר ראשון של הקשר בין אי-הדחיסות לאנטרופיה ייתן formula_65. קירוב זה נתן תוצאות טובות בהשוואה לערך האנטרופיה הידוע עבור מערכות שבהן ניתן לחשב אותה אנליטית, אפילו כאשר מספר הדגימות היה נמוך יחסית.
שמירה ומחיקה של אינפורמציה.
כמות האינפורמציה שמערכת פיזיקלית יכולה לשמור קשורה במספר המצבים הפיזיקליים המובחנים הזמינים שלה. באופן כללי, מערכת עם formula_66 מצבים מובחנים יכולה לשמור formula_67 ביטים. מכיוון שמספר המצבים הזמינים למערכת מגדיר גם את האנטרופיה של המערכת, formula_68, חסם עליון לכמות האינפורמציה שהמערכת יכולה לרשום (בביטים) הוא formula_69, כאשר formula_70 האנטרופיה התרמודינמית של מערכת שערך התצפית של האנרגיה שלה הוא formula_71, והחלוקה ב-formula_72 ממירה את היחידות של S לביטים.
עקרון לנדאור.