אנטרופיה בתרמודינמיקה ובתורת האינפורמציה

תורת האינפורמציה פותחה במקור על ידי קלוד שאנון על מנת לענות על שאלות מתחום הטלקומוניקציה, אולם בהמשך התברר שיש לה שימושים רבים בפיזיקה ובפרט בתרמודינמיקה. אינפורמציה, עליה ניתן לחשוב באופן אבסטרקטי כרצף של אחדות ואפסים, נשמרת, מאוחסנת ומטופלת בעולם הפיזיקלי, כך שבמובן מסוים אינפורמציה מוגבלת על ידי חוקי הפיזיקה, ויש לשני התחומים ממשק רחב. בפרט, ניתן לקשר בין אנטרופיה כפי שהיא מוגדרת במכניקה סטטיסטית לבין אנטרופיית שאנון, אם כי הפרשנות המדויקת של הקשר בין המושגים שנויה במחלוקת (ערך זה יציג מספר גישות). עם זאת, ישנה הסכמה שתהליך המדידה בו משיגים אינפורמציה על המערכת משפיע על היכולת להפיק ממנה עבודה. ביטוי מפורסם לקשר בין אינפורמציה לפיזיקה הוא בפרדוקס השד של מקסוול ובפתרונות השונים שהוצעו לו, אף שהפרדוקס הוצג קודם לפיתוח תורת האינפורמציה על ידי קלוד שאנון בשנת 1948 ולכן לא נוסח במונחים מתורת אינפורמציה במפורש. האנטרופיה במכניקה הסטטיסטית (אנטרופיית גיבס) מוגדרת S = − k B ∑ i p i ln ⁡ p i {\displaystyle S=-k_{B}\sum _{i}p_{i}\ln {p_{i}}} כאשר סוכמים על אינדקסי המצבים המיקרוסקופיים השונים i {\displaystyle i} המתאימים למצב מקרוסקופי נתון. p i {\displaystyle p_{i}} היא ההסתברות להימצא במצב ה- i {\displaystyle i} , ו- k B {\displaystyle k_{B}} הוא קבוע בולצמן, המעניק לאנטרופיה את היחידות שלה. בתורת האינפורמציה, האנטרופיה היא H = − ∑ i p i log 2 ⁡ p i {\displaystyle H=-\sum _{i}p_{i}\log _{2}p_{i}} כאשר סוכמים על אינדקסי ההודעות האפשריות i {\displaystyle i} שניתן לקבל, ו- p i {\displaystyle p_{i}} היא ההסתברות לקבל את ההודעה ה- i {\displaystyle i} . האנטרופיה היא האינפורמציה הממוצעת המתקבלת בהודעות, ובסיס 2 של הלוגריתם מתאים למדידה של האנטרופיה בביטים. במאמר משנת 1957, הפיזיקאי והסטטיסיקאי אדווין תומפסון ג'יינס הציע לבסס את נכונות המכניקה הסטטיסטית על רעיונות מתורת האינפורמציה, במקום על משוואות תנועה והנחת הארגודיות. ג'יינס הציע שהנחת היסוד הפיזיקלית בבניית תאוריה צריכה להיות בלתי מוטה, כלומר לא להניח שום דבר אפריורי, ובמילים אחרות נרצה תאוריה שבה אי-הוודאות שלנו היא הגבוהה ביותר האפשרית. תורת האינפורמציה מלמדת אותנו שהגודל שמודד את אי הוודאות הוא האנטרופיה, H ( p 1 , … , p n ) = − K ∑ i p i ln ⁡ p i {\textstyle H(p_{1},\ldots ,p_{n})=-K\sum _{i}p_{i}\ln {p_{i}}} . מכיוון שזהו גם הביטוי המתמטי לאנטרופיה במכניקה סטטיסטית, נוכל לייחס לאנטרופיה הפיזיקלית את אותן תכונות מתמטיות המאפיינות אי ודאות. בניסויים במערכות תרמודינמיות, מודדים גודל מאקרוסקופי שאינו מתאר את המצב המיקרוסקופי של המערכת בצורה מלאה, כך שישנה אי ודאות לגבי מצב המערכת. ג'יינס הציע שכדי להסיק מסקנות על סמך מידע חלקי ומבלי להניח הנחות נוספות, נרצה לבחור את התיאור של המערכת, שבו אי הוודאות לגבי המערכת גדול ביותר, או האנטרופיה היא מקסימלית. כל בחירה אחרת של האנטרופיה של המערכת מניחה ידע נוסף לגביה, דבר שאינו אפשרי לפי ההנחות שג'יינס הציע. אם כך, ניתן להבין את עקרון האנטרופיה המקסימלית כהרחבה של עקרון האדישות שקיים בסטטיסטיקה. ג'יינס כותב שמכאן ניתן להסיק ש"אין בחוקי התנועה הכלליים דבר שמספק לנו אינפורמציה נוספת לגבי המצב של המערכת מעבר למה שהשגנו באמצעות מדידה", כאשר הוא מתייחס למצב של המערכת בזמן מסוים (ולא לניבוי של מצב המערכת העתידי, שכן דורש שימוש במשוואות התנועה). כלומר, ניתן להגיע למסקנות שאליהן מגיעה המכניקה הסטטיסטית מבלי להניח שום הנחה פיזיקלית. המושג אנטרופיה שלילית (Negentropy) נטבע לראשונה על ידי ארווין שרדינגר בספרו "מה הם חיים?", אולם מי שפיתח את הקשר בין אנטרופיה שלילית לאינפורמציה היה לאון ברילואן, במאמרים ובספר ( Science and information theory) שפורסמו בשנות ה-50. בתורת האינפורמציה, נדרשת אינפורמציה I b = K ln ⁡ ( P 0 / P 1 ) {\displaystyle I_{b}=K\ln {(P_{0}/P_{1})}} כדי להקטין את מספר המאורעות האפשריים מ- P 0 {\displaystyle P_{0}} ל- P 1 {\displaystyle P_{1}} (כאשר כל המצבים בהסתברות שווה), כאשר K קובע את היחידות של האנטרופיה, ונבחר אותו להיות קבוע בולצמן, k B {\displaystyle k_{B}} . ברילואן מבחין בין אינפורמציה חופשית, שהיא אבסטרקטית, לבין אינפורמציה קשורה, שהיא מקרה פרטי של אינפורמציה חופשית שבו ניתן לפרש את המצבים האפשריים כמצבים של מערכת פיזיקלית, ונתמקד באינפורמציה הקשורה (הסימון I b {\displaystyle I_{b}} מתייחס לאינפורמציה הקשורה, bound). את האינפורמציה הקשורה ניתן לייצג על ידי חריטה על סלע, כתיבה על דף נייר, שמירה על דיסק און קי, ניקוב כרטיס או כל אמצעי מקביל, ומכאן שהטיפול והשימוש באינפורמציה הקשורה מוגבל על ידי חוקי הפיזיקה. נציין שהדיון המקורי של שאנון באינפורמציה היה תאורטי, ולא התייחס לייצוגים פיזיקליים של אינפורמציה, כלומר במונחים אלו הוא התייחס לאינפורמציה חופשית. האנטרופיה של המערכת הפיזיקלית כאשר יש לה P 0 {\displaystyle P_{0}} או P 1 {\displaystyle P_{1}} מצבי מיקרו זמינים היא S 0 = k B ln ⁡ P 0 {\displaystyle S_{0}=k_{B}\ln {P_{0}}} ו- S 1 = k B ln ⁡ P 1 {\displaystyle S_{1}=k_{B}\ln {P_{1}}} בהתאמה, אז S 1 = S 0 − I b {\displaystyle S_{1}=S_{0}-I_{b}} כך שניתן לראות שעלייה באינפורמציה הקשורה גוררת ירידה באנטרופיה של המערכת, ומכאן ההתייחסות לאינפורמציה כאל אנטרופיה שלילית. ניתן לפרש תוצאה זו כך: אנטרופיה היא מדד לאינפורמציה החסרה לנו לתיאור המצב המיקרוסקופי של המערכת באופן מלא. באופן שקול, כאשר האנטרופיה של המערכת גדלה, אנו מאבדים אינפורמציה לגביה. לדוגמה, ניקח מיכל ובו מחיצה שבצידה האחד גז מסוג אחד, ובצד השני גז מסוג אחר. הסרת המחיצה תגרום לערבוב הגזים, תהליך בלתי הפיך שגורם לאנטרופיה של המערכת לגדול. האינפורמציה שלנו לגבי המערכת קטנה: לפני הערבוב, ידענו איזה סוג גז נמצא בכל צד, בעוד שכעת אין לנו מידע לגבי סוגי הגז במיקומים שונים במיכל. ברילואן מציג מספר תכונות לגבי הקשר בין אינפורמציה לאנטרופיה שלילית: ניתן להמיר אינפורמציה באנטרופיה שלילית של המערכת ולהפך. מדידה של המערכת, שבה אנו מפיקים אינפורמציה לגבי המערכת, גורמת לגידול באנטרופיה שלה. האנטרופיה השלילית המינימלית הנדרשת על מנת לבצע תצפית היא k B ln ⁡ 2 {\displaystyle k_{B}\ln {2}} , שכן כמות האינפורמציה המינימלית שניתן להפיק במדידה היא סיבית אחת. למעשה, השאלה הכי פשוטה שאנו יכולים לשאול על מנת להגדיל את האינפורמציה שלנו לגבי המערכת היא שאלת כן\לא. ביקורת על גישתם של ברילואן וג'יינס היא שההתייחסות לאנטרופיה כאל אינפורמציה חסרה הופכת את האנטרופיה למושג סובייקטיבי, בעוד שבפועל מדובר בתכונה אובייקטיבית של מערכות פיזיקליות. בחלק הבא מתוארת פרשנות אובייקטיבית לקשר בין אנטרופיה לאינפורמציה. אנטרופיה במכניקה סטטיסטית היא מושג סטטיסטי, שמתייחס לצבר ולא לאירועים (מצבי המיקרו השונים) מהם הוא מורכב. האנטרופיה של מערכת שהמצבים המיקרוסקופיים שלה x {\displaystyle x} מתפלגים לפי התפלגות p {\displaystyle p} היא S [ p ] = ∑ x p ( x ) ln ⁡ ( 1 / p ( x ) ) {\textstyle S[p]=\sum _{x}p\left(x\right)\ln {\left(1/p\left(x\right)\right)}} . לא קיימת תכונה מיקרוסקופית f ( x ) {\displaystyle f(x)} של המערכת שניתן לבטא את האנטרופיה כממוצע שלה, S [ p ] = ∑ x p ( x ) f ( x ) {\textstyle S[p]=\sum _{x}p(x)f(x)} , עבור כל התפלגות p, זאת בשונה מגדלים תרמודינמיים אחרים (לדוגמה, הטמפרטורה היא ממוצע של האנרגיה הקינטית של החלקיקים המרכיבים את המערכת). דבר זה הופך את חישוב האנטרופיה לבעיה קשה, שכן לא ניתן לחשבה ישירות באמצעות ביצוע מדידה של מצבי המיקרו של המערכת. הפיזיקאי צ'ראלס בנט הציע שסיבוכיות קולמוגורוב של מצבי המיקרו של המערכת מהווה פונקציה f ( x ) {\displaystyle f(x)} כזו, שממוצע שלה מהווה קירוב טוב לאנטרופיה (המקרוסקופית) של המערכת עבור רוב ההתפלגויות p {\displaystyle p} . סיבוכיות קולמוגורוב (או "אנטרופיה אלגוריתמית") של מחרוזת x {\displaystyle x} , המסומנת H ( x ) {\displaystyle H(x)} , היא אורך התוכנה הקצרה ביותר שיכולה ליצר אותה כפלט (בנט משתמש בהגדרות של לאוניד לוין וגרגורי צ'ייטין לאנטרופיה אלגוריתמית, אולם לא נתמקד כאן בהבדלים בין ההגדרות). בהקשר הפיזיקלי, מדובר במספר הביטים המינימלי שנדרש על מנת לתאר את מצב המיקרו x {\displaystyle x} , וכאמור עבור מערכת מסוימת, H ( x ) {\displaystyle H(x)} אינו תכונה פיזיקלית של מצב המיקרו. החסם שבנט מצא לקשר בין אנטרופיה לסיבוכיות קולמוגורוב הוא S 2 [ p ] < ∑ x p ( x ) H ( x ) ≤ S 2 [ p ] + H ( p ) + O ( 1 ) {\displaystyle S_{2}[p]<\sum _{x}p(x)H(x)\leq S_{2}[p]+H(p)+O(1)} כאשר S 2 [ p ] = ∑ x p ( x ) log 2 ⁡ ( 1 / p ( x ) ) {\textstyle S_{2}[p]=\sum _{x}p(x)\log _{2}{(1/p(x))}} היא האנטרופיה המאקרוסקופית של המערכת ביחידות בינאריות, שמתארת עד כמה ההתפלגות p {\displaystyle p} מחולקת על פני מצבי מיקרו שונים, H ( x ) {\displaystyle H(x)} היא כאמור סיבוכיות קולמוגורוב של מצב מיקרוסקופי x {\displaystyle x} , ו- H ( p ) {\displaystyle H(p)} היא סיבוכיות קולמוגורוב של ההתפלגות p {\displaystyle p} , כלומר כמות הביטים שנדרשים על מנת לתאר את ההתפלגות (בדיוק גדול כרצוננו, אם קיימים מצבים עבורם p ( x ) {\displaystyle p(x)} לא רציונלי). עבור מערכות טיפוסיות, H ( p ) {\displaystyle H(p)} הוא מסדר גודל של כמה אלפי ביטים, שכן הוא נקבע על פי משוואות תנועה, תנאי השפה וכן הלאה (כאשר לרוב פיזיקאים מנסים לתאר את הטבע באמצעות מודלים פשוטים יחסית, ולכן גם התיאור של המודל יהיה פשוט יחסית ביחס למורכבות האמיתית המערכת). לעומת זאת, האנטרופיה S 2 [ p ] {\textstyle S_{2}[p]} של מערכת מאקרוסקופית היא מסדר גודל של 10 23 {\displaystyle 10^{23}} ביטים (מסדר גודל של קבוע אבוגדרו), ולכן השגיאה היחסית שמתקבלת מחישוב האנטרופיה לפי האנטרופיה האלגוריתמית היא לרוב קטנה. עבור גז אידיאלי חד-אטומי, עם N אטומים במסה m הנמצא במיכל בנפח V, האנטרופיה נתונה על ידי משוואת סאקר-טטרוד, S = k B N ln ⁡ [ V N ( m k B T 2 π ℏ 2 ) 3 / 2 ] + 5 2 k B N {\displaystyle S=k_{B}N\ln \left[{\frac {V}{N}}\left({\frac {mk_{B}T}{2\pi \hbar ^{2}}}\right)^{3/2}\right]+{\frac {5}{2}}k_{B}N} . עבור מול הליום ( 4 H e {\displaystyle ^{4}He} ) בטמפרטורה 300 קלווין ובנפח ליטר, האנטרופיה היא בערך 100 J / K {\textstyle 100J/K} . לפי הפרשנות שהאנטרופיה היא הממוצע של האנטרופיה האלגוריתמית של המערכת (עד כדי קבוע בולצמן), מספר הביטים הממוצע הנדרש לתיאור המערכת הוא S k B ≈ 10 25 {\displaystyle {\frac {S}{k_{B}}}\approx 10^{25}} ביטים, שהם כ-17 ביטים לאטום. כפי שראינו לעיל, בנט הציע להשתמש בממוצע של סיבוכיות קולמוגורוב של המערכת כקירוב טוב לאנטרופיה שלה כפי שהיא מוגדרת במכניקה הסטטיסטית. וויצ'ך ז'ורק פיתח רעיון זה, והראה שניתן להגיע מתוך שיקולים אלגוריתמיים לתוצאות פיזיקליות. נתבונן שוב בגז האידיאלי מהדוגמה. ניתן לתאר את הגז על ידי המיקום והתנע של החלקיקים שלו (באופן כללי, ב-D ממדים). התיאור של מיקום כל חלקיק נעשה ברזולוציה כלשהי Δ x {\displaystyle \Delta _{x}} , ועבור רזולוציה זו ניתן לחלק את הנפח הכולל V לתאים קטנים בנפח Δ V = ( Δ x ) D {\displaystyle \Delta V=(\Delta _{x})^{D}} . בדומה, התנע מתואר גם הוא ברזולוציה Δ p {\displaystyle \Delta _{p}} בכל מימד (קיים חסם תחתון לרזולוציה בתנע ובמיקום, הנובע מעקרון האי-ודאות). ישנם C = ( V Δ V ) ( m k B T Δ p ) D {\displaystyle {\mathcal {C}}=\left({\frac {V}{\Delta V}}\right)\left({\frac {\sqrt {mk_{B}T}}{\Delta _{p}}}\right)^{D}} תאים במרחב הפאזה של כל חלקיק עבור רזולוציות אלה, ולכן עבור N חלקיקים בלתי מובחנים ישנן Ω = C N N ! {\displaystyle \Omega ={\frac {{\mathcal {C}}^{N}}{N!}}} אפשרויות לתיאור המערכת, ונוכל לתאר את הקונפיגורציות השונות באמצעות אינדקסים 1 , 2 , … , Ω {\displaystyle 1,2,\ldots ,\Omega } בעלי ערך אופייני מסדר גודל Ω {\displaystyle \Omega } , כך שאורך התיאור הממוצע של המערכת בביטים הוא K ≈ log 2 ⁡ Ω = N [ log 2 ⁡ V N Δ V + D 2 log 2 ⁡ m k B T ( Δ p ) 2 ] + O ( 1 ) {\displaystyle K\approx \log _{2}\Omega =N\left[\log _{2}{{\frac {V}{N\Delta V}}+{\frac {D}{2}}\log _{2}{\frac {mk_{B}T}{(\Delta _{p})^{2}}}}\right]+O(1)} וזוהי למעשה משוואת סאקר-טטרוד, שהתקבלה ישירות משיקולים של אורך התיאור של המערכת (כאשר הפיתוח המדויק של איבר השגיאה O ( 1 ) {\displaystyle O(1)} מפורט במאמר). זורק מציע להגדיר מחדש את האנטרופיה בפיזיקה כסכום של האינפורמציה החסרה לגבי המערכת (אנטרופיית שאנון, H) ושל התיאור המדויק הקצר ביותר של מה שידוע על המערכת (סיבוכיות קולמוגורוב שלה, K), S = H + K {\displaystyle {\mathcal {S}}=H+K} . הוא מכנה גודל זה "אנטרופיה פיזיקלית". בנט מדגיש שסיבוכיות קולמוגורוב של מערכת איננה פונקציה חשיבה, כך שהפתרון שהוא מציע אינו עוזר באופן פרקטי לחישוב האנטרופיה של המערכת, אלא רק פותר את הבעיה הקונספטואלית של היעדר תכונה מיקרוסקופית שאנטרופיה היא הממוצע שלה; אולם, במחקר משנת 2019, רם אבינרי, מיכה קורנרייך ורועי בק מאוניברסיטת תל אביב השתמשו ברעיונות דומים על מנת להעריך את האנטרופיה של מערכות פיזיקליות שונות. הם הריצו סימולציות של מערכות בשיווי משקל, ודגמו מהן מצבי מיקרו שונים באופן בלתי תלוי. תיאור חד־ממדי של מצבי המיקרו השונים נשמר ברצף לקובץ, שעבר דחיסה באמצעות אלגוריתם למפל-זיו כך שהתקבל קובץ בגודל C d {\displaystyle C_{d}} . בנוסף, חושב הגודל המכווץ של הקובץ המתאר אותה מערכת כאשר האנטרופיה שלה מינימלית ומקסימלית, C 1 , C 0 {\displaystyle C_{1},C_{0}} בהתאמה. מתוך גדלים אלה חושבה "אי-הדחיסות" (incompressibility), η = C d − C 0 C 1 − C 0 {\displaystyle \eta ={\frac {C_{d}-C_{0}}{C_{1}-C_{0}}}} , שמתכנסת לקבוע בין 0 ו-1 עבור מספיק דגימות של מערכת בשיווי משקל. את η {\displaystyle \eta } ניתן לתרגם לאנטרופיה בהסתמך על ערכים ידועים, או מתוך השוואה לאנטרופיה המקסימלית: אם המערכת ניתנת לייצוג על ידי n s {\displaystyle n_{s}} ערכים בדידים, האנטרופיה המקסימלית שלה היא k B ln ⁡ n s {\displaystyle k_{B}\ln n_{s}} (כאשר k B {\displaystyle k_{B}} הוא קבוע בולצמן) לכל דרגת חופש, ולכן עבור מערכת עם D דרגות חופש, קירוב מסדר ראשון של הקשר בין אי-הדחיסות לאנטרופיה ייתן S / k B = η D ln ⁡ n s {\displaystyle S/k_{B}=\eta D\ln n_{s}} . קירוב זה נתן תוצאות טובות בהשוואה לערך האנטרופיה הידוע עבור מערכות שבהן ניתן לחשב אותה אנליטית, אפילו כאשר מספר הדגימות היה נמוך יחסית. כמות האינפורמציה שמערכת פיזיקלית יכולה לשמור קשורה במספר המצבים הפיזיקליים המובחנים הזמינים שלה. באופן כללי, מערכת עם W {\displaystyle W} מצבים מובחנים יכולה לשמור log 2 ⁡ W {\displaystyle \log _{2}{W}} ביטים. מכיוון שמספר המצבים הזמינים למערכת מגדיר גם את האנטרופיה של המערכת, S = k B ln ⁡ W {\displaystyle S=k_{B}\ln {W}} , חסם עליון לכמות האינפורמציה שהמערכת יכולה לרשום (בביטים) הוא I = S ( E ) / k B ln ⁡ 2 {\displaystyle I=S(E)/k_{B}\ln {2}} , כאשר S ( E ) {\displaystyle S(E)} האנטרופיה התרמודינמית של מערכת שערך התצפית של האנרגיה שלה הוא E {\displaystyle E} , והחלוקה ב- k B ln ⁡ 2 {\displaystyle k_{B}\ln 2} ממירה את היחידות של S לביטים. במאמר מ-1961, רולף לנדאור דן בכך שעיבוד אינפורמציה (שינויים מסוימים המבוצעים על זיכרון פיזי כללי) כרוך בפליטת חום מינימלית, בלי תלות בקצב השינוי או המדיום הפיזי שבו האינפורמציה נשמרת. לנדאור קושר בין הפיכות לוגית להפיכות תרמודינמית, וטוען שביצוע פעולה לוגית בלתי הפיכה (כמו פעולת AND) גורר שינוי בלתי הפיך במצב הפיזיקלי של הזיכרון, דבר שגורם לפיזור חום מהמערכת. הוא מנתח את הפעולה SET TO 1, שמשנה את ערכו של ביט בזיכרון ל-1, בלי תלות בערכו המקורי. כפי שצוין, זיכרון המחשב תואם מצב פיזיקלי מובחן כלשהו, ופעולה זו מקטינה פי 2 את מספר המצבים הזמינים למערכת (ערכו של הביט ידוע לאחר ביצוע הפעולה, כך שכל המצבים של הזיכרון שבהם הביט הוא 0 אינם זמינים יותר), ומכאן שהאנטרופיה של הזיכרון קטנה ב- k B ln ⁡ 2 {\displaystyle k_{B}\ln {2}} . מכיוון שהחוק השני של התרמודינמיקה קובע שהאנטרופיה של העולם כולו (הזיכרון והסביבה) אינה יכולה לרדת ( Δ S ≥ 0 {\displaystyle \Delta S\geq 0} – השינוי באנטרופיה הוא אי-שלילי), הפרש האנטרופיה עובר לסביבה בצורת חום בשיעור לפחות k B T ln ⁡ 2 {\displaystyle k_{B}T\ln {2}} (כאשר T {\displaystyle T} הטמפרטורה של המערכת). ביצוע של פעולה הפיכה, כמו NOT, אינו משפיע על האנטרופיה של המערכת, שכן על אף שהוא משנה את המצב הפיזי של המערכת, הוא לא מקטין את מספר המצבים הזמינים בה. עיקרון זה אושש בניסוי שמדד את החום שנפלט ממחיקה שבוצעה על זיכרון של ביט יחיד. נממש זיכרון של ביט יחיד באמצעות תא עם חלקיק יחיד של גז אידיאלי. אמנם פיתוחים תרמודינמיים מניחים מספר גדול של חלקיקים, אולם אם נבצע מדידות על חלקיק יחיד למשך זמן, נוכל להחליק סטיות סטטיסטיות ולקבל אותן תוצאות שיתקבלו עבור גז אידיאלי המורכב מחלקיקים רבים. נניח שהחלקיק נמצא בתא בנפח V, אך מיקומו של החלקיק בתוך התא איננו ידוע וממילא הוא חופשי לנוע בתוכו. כעת נרצה לקבוע את ערכו של תא הזיכרון על ידי הזזת החלקיק לאחד מצידי התא (כמו בדוגמה העליונה באיור). באמצעות בוכנה המתקדמת מהקצה השני (זה שאנו רוצים להרחיק את החלקיק ממנו), נוכל לדחוק את החלקיק לצד המבוקש באופן קוואזי-סטטי ואיזותרמי, כך שהוא יוכל לאכלס רק חצי מהנפח המקורי. עבור גז אידיאלי, הפרש האנטרופיה בדחיסה זו הוא Δ S = k B ln ⁡ ( V 2 V 1 ) = − k B ln ⁡ 2 {\displaystyle \Delta S=k_{B}\ln \left({\frac {V_{2}}{V_{1}}}\right)=-k_{B}\ln 2} , כאשר האנרגיה הקינטית של הגז איננה משתנה (שכן הטמפרטורה קבועה). מה שהשתנה לאחר הדחיסה הוא הידע שלנו לגבי מיקום החלקיק. כאמור, לפי החוק השני של התרמודינמיקה האנטרופיה הכוללת של המערכת איננה יכולה לרדת. לכן, בתהליך שביצענו, זרם חום בשיעור d Q = T d S = k B ln ⁡ 2 {\displaystyle dQ=TdS=k_{B}\ln 2} אל הסביבה. השד של מקסוול הוא ניסוי מחשבתי העוסק בשני תאים שבהם יש גז, וביניהם מחיצה קטנה הנשלטת על ידי שד. בתחילת הניסוי, הגז משני צדדים המחיצה נמצא בשיווי משקל, כך שהטמפרטורה בשני הצדדים זהה. השד לכאורה מצליח להוציא את המערכת משיווי משקל על ידי פתיחת המחיצה כך שחלקיקים מהירים יעברו לצד אחד, וחלקיקים איטיים יעברו לצד השני. כך, הוא גורם למערכת לצאת משיווי משקל וגורם לירידה באנטרופיה של המערכת הכוללת, בסתירה לחוק השני של התרמודינמיקה. הפיזיקאי לאו סילארד הציע מימוש אפשרי לניסוי שהציע מקסוול. הצעתו דומה לתיאור הזיכרון החד-חלקיקי שהוצג קודם, אולם במקום להשקיע עבודה על מנת לדחוס את החלקיק לאחד מצידי התא, השד מנצל את הידע שלו לגבי מיקום החלקיק (משמאל או מימין למחיצה) על מנת להרוויח עבודה. בכל שלב, השד מודד באיזה צד החלקיק נמצא, ואז הוא מאפשר למחיצה לנוע בהשפעת הלחץ של הגז. מכיוון שבצדה האחד של המחיצה יש גז (חלקיק יחיד), בעוד שבצד השני אין, הפרש הלחצים בין הצדדים מפעיל כוח על המחיצה וגורם לה לנוע. ניתן לחבר את המחיצה לעצם חיצוני, ובכך להפעיל עליו כוח שגורם לתזוזה שלו, כלומר לבצע עליו עבודה (עבודה היא כוח שמופעל לאורך מרחק מסוים). כלומר, על ידי מדידת הצד בו נמצא החלקיק, השד יכול להפיק אנרגיה. בסיום התהליך, השד יכול להחזיר את המחיצה למרכז (נניח שהיא חסרת מסה, כך שלא נדרשת עבודה נוספת לצורך כך) ולחזור על התהליך שוב ושוב, ובכך להפיק אנרגיה ללא הגבלה. הניתוח של סילארד עצמו הציע שהבעיה בפרדוקס היא שלב המדידה. הוא טען שהמדידה עצמה היא פעולה בלתי הפיכה המצריכה אנרגיה, ולכן למעשה כל האנרגיה המופקת מן המנוע נדרשת לצורך המדידה, כך שהמנוע אינו מייצר אנרגיה. ניתוחים מאוחרים יותר פותרים את הפרדוקס תוך שימוש בידע מתורת האינפורמציה והקשר שלה לתרמודינמיקה. הניתוח של זורק דן בשד עם זיכרון של ביט אחד, המממש את מנוע סילארד. אנו מניחים שהמצב של הזיכרון של השד מייצג את הידע או חוסר הידע של השד לגבי המערכת. סך העבודה שמתבצעת מתחלקת לשני סוגים: Δ W ( + ) = T ( H f − H i ) {\textstyle \Delta W^{(+)}=T(H_{f}-H_{i})} היא העבודה הזמינה כתוצאה מהשינוי באנטרופיית גיבס\שאנון של המערכת ו- Δ W ( − ) = T ( K f − K i ) {\displaystyle \Delta W^{(-)}=T(K_{f}-K_{i})} היא העבודה שמתבצעת על הזיכרון של השד. העבודה הכוללת היא הסכום Δ W = Δ W ( + ) + Δ W ( − ) = T ( H f − H i + K f − K i ) = T Δ ( H + K ) = T Δ S {\displaystyle \Delta W=\Delta W^{(+)}+\Delta W^{(-)}=T(H_{f}-H_{i}+K_{f}-K_{i})=T\Delta (H+K)=T\Delta {\mathcal {S}}} מכאן שה"אנטרופיה הפיזיקלית" של זורק מתארת את המערכת במלואה, כולל הזיכרון של השד. התבוננות מעמיקה יותר באופן הפעולה של מנוע סילארד בראי עקרון לנדאור מלמדת אותנו שלמעשה הוא לא יכול לפעול. הבעיה בהפעלתו אינה נובעת מעצם המדידה, כפי שפתרונות קודמים לפרדוקס הציעו, אלא מהעובדה שעל השד לאפס את הזיכרון שלו (בין אם הזיכרון הוא חיצוני, או במוחו של השד) בין הרצה להרצה של הניסוי, על מנת להפעילו שוב (זאת בהנחה שהשד הוא פיזיקלי ולכן הזיכרון שלו סופי, כך שהוא לא יכול להמשיך לנצל עוד ועוד תאים בזיכרון שהוא טרם השתמש בהם). השד חייב להחזיק בזיכרון שיורה לו כיצד לפעול בהתאם למצב המערכת (אם החלקיק משמאל או מימין), ועקרון לנדאור קובע שעצם איפוס הזיכרון למצב ההתחלתי (שהוא פעולה לוגית בלתי הפיכה) מצריך אנרגיה בשיעור ששווה לפחות לאנרגיה שניתן להפיק מהמנוע. לכן, סך האנרגיה המופקת מכל הרצה של המנוע אינה יכולה לעלות על אפס, ומכאן שלא ניתן לנצלו על מנת להפיק עבודה יש מאין בצורה הסותרת את החוק השני של התרמודינמיקה. אנטרופיה אנטרופיה (סטטיסטיקה) השד של מקסוול תרמודינמיקה לא בשיווי משקל Lutz, Eric, and Sergio Ciliberto. "From Maxwell's demon to Landauer's eraser." Phys. Today 68.9 (2015): 30. Landauer, Rolf. "Information is physical." Physics Today 44.5 (1991): 23-29. Parrondo, Juan MR, Jordan M. Horowitz, and Takahiro Sagawa. "Thermodynamics of information." Nature physics 11.2 (2015): 131-139. Toffoli, Tommaso. "Entropy? Honest!" Entropy 18.7 (2016): 247. L. Brillouin, Maxwell's Demon Cannot Operate: Information and Entropy. I, Journal of Applied Physics 22, 1951-03, עמ' 334–337 doi: 10.1063/1.1699951 L. Brillouin, Physical Entropy and Information. II, Journal of Applied Physics 22, 1951-03, עמ' 338–343 doi: 10.1063/1.1699952 F. Alexander Bais, J. Doyne Farmer, Philosophy of Information, Elsevier, 2008, עמ' 609–683, ISBN 978-0-444-51726-5 Wojciech H. Zurek, Complexity, Entropy And The Physics Of Information, 2018-03-08 doi: 10.1201/9780429502880 הגדרה זו נוחה משום שהיא נכונה לכל מערכת, כלומר הפיתוח עבור כל צבר מוביל אליה באמצעות השימוש בהגדרת האנטרופיה עבור הצבר המסוים. Feyman, R.P., Statistical Mechanics (A Set of Lectures), Addison-Wesley, 1972, עמ' 6, ISBN 0-8053-2509-3 Mark M. Wilde, Quantum information theory, Cambridge University Press, 2013, עמ' 28-29, ISBN 978-1-107-03425-9 E. T. Jaynes, Information Theory and Statistical Mechanics, Physical Review 106, 1957-05-15, עמ' 620–630 doi: 10.1103/physrev.106.620 Schrödinger, Erwin., 6, What is life? the physical aspect of the living cell with Mind and matter & Autobiographical sketches, Cambridge University Press, 1992 L. Brillouin, The Negentropy Principle of Information, Journal of Applied Physics 24, 1953-09, עמ' 1152–1163 doi: 10.1063/1.1721463 Brillouin, Léon, 1889-1969., 12,14, Science and information theory. Léon Brillouin, ..., Academic Press, 1956 Rolf Landauer, The physical nature of information, Physics Letters A 217, 1996-07, עמ' 188–193 doi: 10.1016/0375-9601(96)00453-7 J. Machta, Entropy, information, and computation, American Journal of Physics 67, 1999-12, עמ' 1074–1077 doi: 10.1119/1.19085 Charles H. Bennett, The thermodynamics of computation—a review, International Journal of Theoretical Physics 21, 1982-12, עמ' 905–940 doi: 10.1007/bf02084158 W. H. Zurek, Algorithmic randomness and physical entropy, Physical Review A 40, 1989-10-01, עמ' 4731–4751 doi: 10.1103/physreva.40.4731 Ram Avinery, Micha Kornreich, Roy Beck, Universal and Accessible Entropy Estimation Using a Compression Algorithm, Physical Review Letters 123, 2019-10-22 doi: 10.1103/physrevlett.123.178102 Seth Lloyd, Ultimate physical limits to computation, Nature 406, 2000-08, עמ' 1047–1054 doi: 10.1038/35023282 R. Landauer, Irreversibility and Heat Generation in the Computing Process, IBM Journal of Research and Development 5, 1961-07, עמ' 183–191 doi: 10.1147/rd.53.0183 Antoine Bérut, Artak Arakelyan, Artyom Petrosyan, Sergio Ciliberto, Experimental verification of Landauer’s principle linking information and thermodynamics, Nature 483, 2012-03, עמ' 187–189 doi: 10.1038/nature10872 Feynman, Richard Phillips, 5, Feynman lectures on computation, 1996 Charles H. Bennett, Demons, Engines and the Second Law, Scientific American 257, 1987-11, עמ' 108–116 doi: 10.1038/scientificamerican1187-108