אנטרופיה

אֶנטרופיה (הלחם של שתי מילים ביוונית: ἐνέργεια – אנרגיה, ו־τρόπος (טרוֹפּוֹס) – התמרה) היא מושג בסיסי בפיזיקה וממלאת תפקיד מרכזי בתרמודינמיקה ומכניקה סטטיסטית, וכן במכניקה קוונטית ובתורת האינפורמציה הקלאסית והקוונטית. מקובל לחשוב על האנטרופיה כעל מידת האי־סדר או כעל מידת האקראיות במערכת. במכניקה סטטיסטית קלאסית, האנטרופיה מוגדרת כמדד למספר המצבים המיקרוסקופיים המתאימים למצב מקרוסקופי נתון, בדומה לפונקציית ריבוי. במכניקה קוונטית, האנטרופיה היא הרחבה טבעית של ההגדרה הקלאסית. בתרמודינמיקה הקלאסית, זהויות תרמודינמיות קושרות את השינוי באנטרופיה למעבר חום ולכן האנטרופיה היא בת מדידה בתהליכים תרמודינמיים. לאנטרופיה יש תפקיד מרכזי בחוק השני של התרמודינמיקה, הקובע כי במערכת סגורה האנטרופיה אינה קטנה עם הזמן. האנטרופיה קשורה לתופעת השזירה הקוונטית במכניקה הקוונטית. למושג האנטרופיה יש שימושים בתחומים רבים בפיזיקה ותחומים קרובים, כדוגמת אסטרופיזיקה, גיאופיזיקה, קוסמולוגיה, מכניקת הזורמים, אופטיקה, וכימיה וסטטיסטיקה. ראשיתה של האנטרופיה היא בסוף המאה ה-18, בעבודות של רמפורד ובעבודות של לזר קרנו, ובמיוחד של בנו, סאדי קרנו בראשית המאה ה-19. רמפורד הראה כי ניתן להמיר עבודה מכנית לחום, ולכן החום אינו "נוזל" (קלוריק) שזורם מגוף חם לגוף קר שאינו נוצר או מתכלה, כפי שהיה מקובל לחשוב. קרנו הראה כי התהליך ההפוך של המרת חום לעבודה מכנית אינו יעיל: אי אפשר לקבל חזרה את כל העבודה שהושקעה ביצירת חום. קרנו דימה את האי הפיכות בהמרת עבודה לחום לזרימת מים במפל. המונח אנטרופיה נטבע על ידי הפיזיקאי-מתמטי הגרמני רודולף קלאוזיוס באמצע המאה ה-19, כהלחם של שתי מילים ביוונית: אנרגיה (ἐνέργεια), ו"טרוֹפּוֹס" (τρόπος) המשמשת לתיאור תהליך או התמרה. בשלהי המאה ה-19 תארו בולצמן, מקסוול, וגיבס את האנטרופיה במסגרת המכניקה הסטטיסטית. על מצבת קברו של בולצמן בווינה מוטבעת נוסחת בולצמן לאנטרופיה: S = k B ln ⁡ Ω {\displaystyle S=k_{\mathrm {B} }\ln \Omega } כאשר S {\displaystyle S} היא האנטרופיה, k B {\displaystyle k_{B}} הוא קבוע בולצמן (קבוע בסיסי של הטבע הנקבע על ידי היחס בין ההגדרה של מעלת קלווין להגדרת יחידת האנרגיה, ואינו תלוי במערכת פיזיקלית ספציפית) ו־ Ω {\displaystyle \Omega } הוא מספר המצבים המיקרוסקופים, שווי הסתברות, המתארים מצב מקרוסקופי נתון. כך למשל, כאשר כוס זכוכית נשברת, היא יכולה להשבר למספר כלשהו של רסיסים, בגדלים שונים בצורות שונות, במקומות שונים. האנטרופיה של כוס זכוכית שבורה היא לכן גדולה מהאנטרופיה של כוס שלמה. אי לכך, מקובל לתאר את האנטרופיה כמדד לאי-סדר במערכת (תיאור שאינו מדויק מספיק כדי לתאר את המושג כהלכה, ראו להלן). התיאור הסטטיסטי של האנטרופיה הסיר את מעטה המסתוריות שאפף את האנטרופיה התרמודינמית. ברבע הראשון של המאה ה-20 הכליל ג'ון פון נוימן את הגדרת האנטרופיה למכניקה קוונטית. נוסחת פון-נוימן לאנטרופיה היא S = − T r ( ρ log ⁡ ρ ) {\displaystyle S=-Tr(\rho \log \rho )} כאשר ρ {\displaystyle \rho } היא מטריצת הצפיפות המתארת מצב קוונטי (ביחידות בהן קבוע בולצמן יחידה). התפתחות התקשורת האלקטרונית ומדעי המחשב באמצע המאה ה-20 היו הרקע שעליו פיתח קלוד שנון את תורת האינפורמציה. שנון הגדיר אינפורמציה בצורה שקולה להגדרת האנטרופיה. תרמודינמיקה קלאסית דנה במערכות עם מספר גדול מאוד חלקיקים (וכאשר ניתן להזניח אפקטים קוונטים וכבידה). מיכל אטום של ליטר גז בלחץ אטמוספירי ובטמפרטורת החדר הוא דוגמה למערכת תרמודינמית קלאסית. חוק האפס של התרמודינמיקה קובע שמערכת תרמודינמית, הנמצאת בתנאים חיצוניים קבועים, תשאף למצב שיווי משקל תרמודינמי. למשל, מיכל אטום המבודד מהסביבה ישאף למצב שיווי משקל תרמודינמי. במצב שיווי משקל הטמפרטורה והלחץ אינם משתנים עם הזמן ואין זרמים. האנטרופיה היא תכונה של מערכת תרמודינמית בשיווי משקל. כך למשל עבור N מולקולות של גז חד-אטומי במיכל בעל נפח V ובטמפרטורה T, האנטרופיה היא פונקציה (נקראת גם פונקציית מצב) של שלושת משתני המצב, S ( T , V , N ) {\displaystyle S(T,V,N)} , הניתנת למדידה נסיונית, ובמקרים פשוטים במיוחד, למשל עבור גז אידיאלי, ניתנת לחישוב תאורטי. חומרים שונים מאופיינים על ידי פונקציות S ( T , V , N ) {\displaystyle S(T,V,N)} שונות. תחת שינוי מזערי של מצב שיווי המשקל השינוי בכמות האנטרופיה של מערכת, d S {\displaystyle dS} , מתכונתי לכמות החום δ Q {\displaystyle \delta Q} שהמערכת מקבלת (או מאבדת). δ Q > 0 {\displaystyle \delta Q>0} מתאר קבלת חום, ו־ δ Q < 0 {\displaystyle \delta Q<0} מתאר איבוד חום. השינוי באנטרופיה מתכונתי ל־ 1 / T {\displaystyle 1/T} כאשר T {\displaystyle T} הטמפרטורה של המערכת הנמדדת במעלות קלווין, ובנוסחה: d S = δ Q T {\displaystyle dS={\frac {\delta Q}{T}}} ולכן, האנטרופיה גדלה אם המערכת מקבלת חום, וקטנה אם היא מאבדת חום. הסימון d S {\displaystyle dS} של השינוי (האינפיניטסימלי) באנטרופיה, והסימון δ Q {\displaystyle \delta Q} של כמות החום האינפיניטסימלית, אינו מקרי. d S {\displaystyle dS} מסמן שינוי אינפיניטסימלי של הפונקציה S {\displaystyle S} . לעומת זאת δ Q {\displaystyle \delta Q} איננו שינוי של פונקציה (מעבר חום מתאר תהליך, ואינוו מתאר מצב שווי משקל. אי לכך, לא ניתן ליחס למצב שיווי משקל את "כמות החום שלו". במילים אחרות הפונקציה Q ( T , V , N ) {\displaystyle Q(T,V,N)} אינה קיימת). אם שתי מערכות בשווי משקל תרמודינמי, האחת קרה והשניה חמה, נמצאות במגע המאפשר החלפת חום, חום יזרום מהמערכת החמה לקרה. עובדה זו, המוכרת מחיי יום-יום, היא החוק השני של התרמודינמיקה. החוק קובע כי בהיעדר התערבות חיצונית, חום תמיד זורם מאזור חם לאזור קר (מקרר ומזגן מאפשרים להעביר חום מאזור קר לאזור חם, על ידי צריכה של אנרגיה ממקור חיצוני). החוק השני שקול לטענה שמערכת סגורה (מערכת שאינה מחליפה אנרגיה או חלקיקים עם הסביבה), שואפת להגדיל את האנטרופיה שלה. במצב שיווי משקל תרמודינמי האנטרופיה מקבלת את הערך המקסימלי האפשרי (בכפוף לאילוצים החיצוניים). כדי לראות את השקילות בין בני ההגדים של החוק השני, נחזור לדוגמה של שתי מערכות הנמצאות במגע המאפשר החלפת חום. נסמן ב־ δ Q {\displaystyle \delta Q} את כמות החום שיצאה מהמערכת החמה ונכנסה למערכת הקרה. האנטרופיה הכללית היא סכום האנטרופיות של שתי המערכות. ולכן השינוי באנטרופיה הככללית הוא: d S l + d S h = δ Q ( 1 T l − 1 T h ) {\displaystyle dS_{l}+dS_{h}=\delta Q\left({\frac {1}{T_{l}}}-{\frac {1}{T_{h}}}\right)} כיוון שהסוגריים הם גודל חיובי, לשינוי באנטרופיה הכללית יש אותו סימן כמו ל־ δ Q {\displaystyle \delta Q} , ולכן הגידול באנטרופיה שקול לטענה שהחום יצא מהמערכת החמה. לסיכום, בכל מערכת סגורה, האנטרופיה גדלה באופן ספונטני, ומגיעה לערכה המקסימלי S {\displaystyle S} במצב שיווי משקל. חוק קרנו קובע כי היעילות של מכונות חום חסומה מלעיל על ידי היחס ( 1 − T c T h ) {\displaystyle \left(1-{\frac {T_{c}}{T_{h}}}\right)} ובמיוחד, לא ניתן להפיק עבודה משתי מערכות עם אותה טמפרטורה. במערכות תרמודינמיות קלאסיות המורכבות ממספר גדול של חלקיקים האנטרופיה היא גודל אקסטנסיבי (פשיט), כלומר פרופורציונלית לכמות החומר במערכת. כלומר, איחוד של שתי מערכות זהות יכפיל את ערך האנטרופיה של המערכת האחודה. האנטרופיה במערכות מיקרוסופיות, במערכות שבהן כבידה משחקת תפקיד (כוכבים למשל), ובמערכות קוונטיות איננה בהכרח גודל אקסטנסיבי. במספר מערכות פיזיקליות חשובות, כמו חורים שחורים, האנטרופיה מתכונתית לשטח מעטפת המערכת, ולא לנפחה. ערך מורחב – נוסחת האנטרופיה של בולצמן מושג האנטרופיה עומד בבסיס המכניקה הסטטיסטית. לודוויג בולצמן קשר אותה לפונקציית הריבוי Ω {\displaystyle \Omega } המתארת את מספר המצבים המיקרוסקופיים השונים שיכולים לתת אותו מצב מקרוסקופי: S = k B ln ⁡ Ω {\displaystyle S=k_{\mathrm {B} }\ln \Omega } כאשר kB הוא קבוע בולצמן. לדוגמה, ניתן להסתכל על ארבעה מטבעות ממוספרים שיכולים להיות ב"עץ" או ב"פלי". כל מצב מקרוסקופי יאופיין על ידי מספר המטבעות שנמצאים ב"עץ". מצב מיקרוסקופי יאופיין על ידי איזה צד כל אחד מהמטבעות נמצא בו: באופן אינטואיטיבי, אנו מרגישים שבמצב המקרוסקופי "2 עץ, 2 פלי" יש יותר "אי סדר" מאשר במצב "0 עץ 4 פלי". ההגדרה של בולצמן לאנטרופיה מכמתת הרגשה זו. המכניקה הסטטיסטית עוסקת במערכות בעלות מספר חלקיקים גדול הרבה יותר, בסדר גודל של מספר אבוגדרו. אולם, אפשר להשתמש בדוגמה פשוטה זו כדי להדגים את החוק השני של התרמודינמיקה, על ידי שניקח שתי מערכות כאלה ונחבר אותן. אם שתי המערכות היו מלכתחילה כל אחת במצב המקרוסקופי "2 עץ, 2 פלי", הרי עכשיו המערכת המאוחדת תהיה במצב המקרוסקופי "4 עץ, 4 פלי". S 12 = k B ln ⁡ ( 8 4 ) = k B ln ⁡ 70 ≈ 2 k B ln ⁡ ( 4 2 ) = S 1 + S 2 {\displaystyle S_{12}=k_{\mathrm {B} }\ln {8 \choose 4}=k_{\mathrm {B} }\ln 70\approx 2k_{\mathrm {B} }\ln {4 \choose 2}=S_{1}+S_{2}} . זו דוגמה למצב בו האנטרופיה לא השתנתה (השינוי הקטן שקיים, הוא מפני שכאמור המערכות בדוגמה לא מספיק גדולות). לעומת זאת, אם חיברנו מערכת במצב "0 עץ 4 פלי" למערכת במצב "4 עץ 0 פלי", שוב נקבל מערכת מאוחדת במצב "4 עץ, 4 פלי". אולם הפעם: S 12 = k B ln ⁡ ( 8 4 ) = k B ln ⁡ 70 ≫ 2 k B ln ⁡ ( 4 0 ) = S 1 + S 2 {\displaystyle S_{12}=k_{\mathrm {B} }\ln {8 \choose 4}=k_{\mathrm {B} }\ln 70\gg 2k_{\mathrm {B} }\ln {4 \choose 0}=S_{1}+S_{2}} . כלומר האנטרופיה גדלה. יתר על כן, השינוי הזה הוא בלתי הפיך, כי אם ניקח עכשיו את המערכת הגדולה ונחלק אותה חזרה לשתי מערכות קטנות באופן אקראי, רוב הסיכויים שבכל אחת מהמערכות הקטנות נקבל את המצב בו האנטרופיה היא מקסימלית. בדוגמה שלפנינו יש סיכוי של 1:16 לקבל בחזרה את המצב המקורי, לעומת 6:16 לקבל בכל אחד מצב "2 עץ, 2 פלי". במערכות גדולות יותר, בהן יש למשל 2N מטבעות, מירב הסיכויים הם לקבל בצורה כזו N ± N {\displaystyle N\pm {\sqrt {N}}} מטבעות "עץ" לערך. דוגמה יותר ריאליסטית היא של שני מכלי גז בטמפרטורות שונות. נחבר ביניהם, וניתן למערכת להגיע לשיווי משקל. אי אפשר יהיה על ידי חלוקה של המערכת לשניים בחזרה להגיע להפרש הטמפרטורות, אלא אם כן ישב שד מקסוול במעבר ביו שני חלקי המערכת וייתן רק למולקולות איטיות לעבור מימין לשמאל, ורק למהירות לעבור משמאל לימין. הדוגמה לעיל הציגה מקרה שבו לכל המיקרו-מצבים הסתברויות שוות. עם זאת, המצב הנפוץ במכניקה הסטטיסטית הוא שלמצבים השונים של המערכת יש הסתברויות שונות. לדוגמה, אטום בו האלקטרון יכול להיות בכל אחת מרמות האנרגיה של האטום. הסיכוי להיות במצב r {\displaystyle r} נתון על ידי P r {\displaystyle P_{r}} . כדי לחשב את האנטרופיה של המערכת צריך לחשוב על צבר של N {\displaystyle N} מערכות זהות (כאשר N {\displaystyle N} גדול מאוד). מספר המערכות N r {\displaystyle N_{r}} שנמצאות במצב r {\displaystyle r} הוא: N r ≈ N P r {\displaystyle N_{r}\approx NP_{r}} על פי הגדרת האנטרופיה במכניקה הסטטיסטית, האנטרופיה של הצבר כולו תחושב על פי מספר האפשרויות השונות בו ניתן לסדר אותו כך שאכן בכל מצב יהיו Nr מערכות: S e n s = k B ln ⁡ N ! ∏ r N r ! {\displaystyle S_{ens}=k_{\mathrm {B} }\ln {\frac {N!}{\prod _{r}N_{r}!}}} על ידי שימוש בקירוב סטירלינג: ln ⁡ n ! ≈ n ln ⁡ n − n {\displaystyle \ln {n!}\approx n\ln {n}-n} מתקבל הביטוי שמביע את האנטרופיה של המערכת על ידי הסיכוי שלה להיות בכל אחד מהמצבים: S = S e n s N = − k B ∑ r P r ln ⁡ P r {\displaystyle S={\frac {S_{ens}}{N}}=-k_{\mathrm {B} }\sum _{r}P_{r}\ln {P_{r}}} האנטרופיה היא אפס כאשר המערכת נמצאת בוודאות במצב אחד, והיא הגבוהה ביותר כאשר הסיכוי להיות בכל מצב הוא שווה. דרך אחרת לחשב את האנטרופיה של מערכת משתמשת בפונקציית החלוקה שלה: מקשרי מקסוול ידוע כי אם F היא האנרגיה החופשית של הלמהולץ של המערכת ו-T היא הטמפרטורה שלה, אז מתקיים S = − ∂ F ∂ T {\displaystyle S=-{\frac {\partial F}{\partial T}}} . ניתן לבטא את האנרגיה החופשית בעזרת פונקציית החלוקה של המערכת, Z {\displaystyle Z} , ומתקבלת הנוסחה: S = ∂ ∂ T ( k B T ln ⁡ Z ) {\displaystyle S={\frac {\partial }{\partial T}}\left(k_{\mathrm {B} }T\ln Z\right)} כאשר k B {\displaystyle k_{\mathrm {B} }} הוא קבוע בולצמן. ממכניקה סטטיסטית אנו יודעים כי ⟨ U ⟩ = 1 Z ∑ e − ϵ s / k B T = − ∂ ln ⁡ Z ∂ T {\displaystyle \langle {U}\rangle ={\frac {1}{Z}}\sum {e^{{-\epsilon _{s}}/{k_{\mathrm {B} }T}}}=-{\frac {\partial \ln {Z}}{\partial T}}} כאשר אנו מצומדים לאמבט חום. מכך ניתן לקבל את קיבול החום: C v = ∂ U ∂ T = 1 k B T 2 ( Δ U ) 2 {\displaystyle C_{v}={\frac {\partial U}{\partial T}}={\frac {1}{k_{\mathrm {B} }T^{2}}}\left(\Delta U\right)^{2}} . כעת ניתן לבצע סימולציה של המערכת, למדוד תנודות (פלקטואציות) באנרגיה, להעריך את קיבול החום, לחזור על פעולה זאת בטמפרטורת שונות, ולבסוף לחשב את: s ( T ) − s ( 0 ) = ∫ 0 T C v ( T ) T d T {\displaystyle s(T)-s(0)=\int _{0}^{T}{\frac {C_{v}(T)}{T}}\,\mathrm {d} T} וכך לקבל את האנטרופיה. שיטה זאת דורשת חישובים רבים. בשיטות מתקדמות לחישובי אנטרופיה מסימולציה משתמשים באנטרופיה של שאנון. באלגוריתמי כיווץ (כגון ZIP) מחפשים קטעים שחוזרים על עצמם ועל ידי חזרה זאת מקטינים את הקובץ, מכיוון שאנטרופיה היא מדד ל"אי סדר", באופן כללי ככל שקובץ של תוצאות של סימולציית מחשב מכווץ יותר האנטרופיה תהיה קטנה יותר. קיים קשר בין גודל הקובץ המכווץ של הסימולציה לאנטרופיה של המערכת הפיזיקלית. בשיטות מתקדמות שונות משתמשים בעיקרון זה ובאלגוריתמי כיווץ על מנת להעריך את האנטרופיה של מערכות פיזיקליות מורכבות, וזאת בקלות רבה, מכיוון שאלגוריתם כיווץ הוא דבר פשוט ונפוץ. פרק זה טעון שכתוב. אנא תרמו לוויקיפדיה ועזרו לשכתב אותו. ייתכן שתמצאו פירוט בדף השיחה. הסיבה היא חזרתיות מרובה עם מה שנאמר לפני. פונקציית האנטרופיה S היא פונקציית מצב בתרמודינמיקה, והיא מוגדרת לפי הדיפרנציאל שלה, d S = δ Q T {\displaystyle dS={\frac {\delta Q}{T}}} פונקציית האנטרופיה היא אקסטנסיבית, שכן היא תלויה בגודל המערכת דרך התלות בכמות החום. האנטרופיה מוגדרת לפי הדיפרנציאל שלה, במילים אחרות, היא לא מוגדרת באופן מוחלט, ומוגדרים רק הפרשי האנטרופיה לפי תהליך בין מצב A למצב B: Δ S ≡ ∫ A B δ Q T = S B − S A {\displaystyle \Delta S\equiv \int _{A}^{B}{\frac {\delta Q}{T}}=S_{B}-S_{A}} אם Δ S = ∫ A B δ Q T = S B − S A {\displaystyle {\displaystyle \Delta S=\int _{A}^{B}{\frac {\delta Q}{T}}=S_{B}-S_{A}}} אז התהליך הוא הפיך, ואם Δ S ≠ ∫ A B δ Q T {\displaystyle \Delta S\neq \int _{A}^{B}{\frac {\delta Q}{T}}} אז התהליך הוא בלתי הפיך, כלומר לא ניתן להפוך אותו למצבו ההתחלתי. הפיזיקאי הגרמני רודולף קלאוזיוס (1862) קשר בין נושא ההפיכות של המערכת ושל האנטרופיה לסידור החלקים בגוף עובד, או במערכת עובדת. שנים אחריו, ניסה הפיזיקאי האוסטרי לודוויג בולצמן לתרגם את השינויים בסדרים אלה להסתברות של סדר ואי סדר במערכות מולקולריות במצב גז, במילים אחרות הוא חשב על הסיכויים למצוא סדר מסוים במערכת הנמצאת במצב כלשהו. אחת המשוואות הפשוטות של סדר ואי סדר האנטרופיה פותחה בשנת 1984 על ידי הפיזיקאי פיטר לנדסברג המבוססת על טענות מתרמודינמיקה ומתורת האינפורמציה, משוואה זו מתארת את כמות האי סדר במערכת המכילה n מצבים מובחנים לפי: D ( n ) = S ( n ) / a ( n ) {\displaystyle D(n)=S(n)/a(n)} , כאשר a ( n ) {\displaystyle a(n)} לא ידוע. בשילוב שתי מערכות זהות מבודדות למערכת אחת, n {\displaystyle n} יוחלף ב- n 2 {\displaystyle n^{2}} , משום שכל מצב מהמערכת הראשונה יכול להשתלב עם כל מצב מהמערכת השנייה, ואת האנטרופיה תהיה: S ( n 2 ) = 2 S ( n ) {\displaystyle S(n^{2})=2S(n)} . מתוך הצבה ב- D ( n ) {\displaystyle D(n)} מתקבל: D ( n 2 ) = S ( n 2 ) / a ( n 2 ) = 2 S ( n ) / a ( n 2 ) {\displaystyle D(n^{2})=S(n^{2})/a(n^{2})=2S(n)/a(n^{2})} לעומת זאת, כמות האי-סדר צפויה להיות משתנה אינטנסיבי, כלומר: השילוב של שתי מערכות זהות בעלות אותו אי סדר D ( n ) {\displaystyle D(n)} גורר שהמערכת המתקבלת גם היא בעלת אותו סדר, כלומר D ( n ) = D ( n 2 ) {\displaystyle D(n)=D(n^{2})} . ממשוואות אלו נובע כי a ( n 2 ) = 2 a ( n ) {\displaystyle a(n^{2})=2a(n)} . בהתאם לכך ולעובדות אחרות, המדענים הסיקו שמתקיים a ( n ) = C ⋅ ln ⁡ ( n ) {\displaystyle a(n)=C\cdot \ln(n)} , כאשר C קבוע. מהצבה ב- D ( n ) {\displaystyle D(n)} נובע: D ( n ) = S ( n ) C ⋅ ln ⁡ ( n ) = ∑ i = 1 n p i ⋅ ln ⁡ p i ln ⁡ ( n ) = ∑ i = 1 n p i ⋅ log n ⁡ p i {\displaystyle D(n)={\frac {S(n)}{C\cdot \ln(n)}}={\frac {\sum _{i=1}^{n}p_{i}\cdot \ln p_{i}}{\ln(n)}}=\sum _{i=1}^{n}p_{i}\cdot \log _{n}p_{i}} באשר הקבוע C נבחר להיות קבוע בולצמן לקבלת משוואה ללא ממדים, ו- log n ⁡ p i = ln ⁡ ( p i ) / ln ⁡ ( n ) {\displaystyle \log _{n}p_{i}=\ln(p_{i})/\ln(n)} . ערך מורחב – תורת האינפורמציה בתורת האינפורמציה כאשר מסתכלים על פונקציית צפיפות של התפלגות כלשהי מגדירים את האינפורמציה של ההתפלגות: I ( p ) = l n ( 1 p ) = − l n ( p ) {\displaystyle I(p)=ln({\frac {1}{p}})=-ln(p)} מכיוון שהסתברות היא מספר בין 0 ל-1, מתקבל שהאינפורמציה היא מספר בין 0 לאין סוף, כך שככל שההסתברות שמשהו יקרה היא קטנה כך האינפורמציה של המאורע גדלה לאינסוף. האנטרופיה מוגדרת כתוחלת על האינפורמציה: H ( X ) = E ( x ) = ∑ ( − p ⋅ ln ⁡ ( p ) ) {\displaystyle H(X)=E(x)=\sum (-p\cdot \ln(p))} למעשה זהו מדד הקובע כמה אינפורמציה יש בממוצע בפילוג הנתון. בנוסף, ניתן להסתכל על אנטרופיה סטטיסטית מזווית קצת שונה. אם אנו מסתכלים על מספר מאורעות בלתי תלויים וזרים מתקיים השוויון: p ( A 1 ∪ A 2 ∪ ⋯ ∪ A n ) = ∑ 1 n p ( n ) {\displaystyle p(A_{1}\cup A_{2}\cup \dots \cup A_{n})=\sum _{1}^{n}p(n)} וכאשר ממשקלים את ההסתברות בערך המאורעות עצמם מתקבלת התוחלת של המשתנה המקרי: E ⁡ ( X ) = ∑ i x i P ( X = x i ) {\displaystyle \operatorname {E} (X)=\sum _{i}x_{i}P(X=x_{i})} מנקודת מבט זו ניתן לראות את התוחלת על משתנה מקרי כמדד כללי שמייחס להסתברות שאחד מהמאורעות יקרה. A 1 ∪ A 2 ∪ ⋯ ∪ A n {\displaystyle A_{1}\cup A_{2}\cup \dots \cup A_{n}} לעומת זאת אנטרופיה היא מדד להסתברות שכל המאורעות יקרו ביחד A 1 ∩ A 2 ∩ ⋯ ∩ A n {\displaystyle A_{1}\cap A_{2}\cap \dots \cap A_{n}} וזאת בשל העובדה שפונקציית הלוגריתם הופכת כפל לסכום. H ( X ) = E ( x ) = ∑ ( − p ⋅ ln ⁡ ( p ) ) = ln ⁡ ( ∏ p i − p i ) {\displaystyle H(X)=E(x)=\sum (-p\cdot \ln(p))=\ln(\prod {\sqrt[{-p_{i}}]{p_{i}}})} שזהו למעשה ממוצע הנדסי משוקלל על ההסתברות. תהליך אדיאבטי בתרמודינמיקה הוא תהליך המתרחש בתוך מערכת ללא מעבר חום או חומר לסביבה. כלומר δ Q = 0 {\displaystyle \delta Q=0} . אם מציבים זאת בהגדרת הפרש האנטרופיה, מתקבל: Δ S = ∫ A B δ Q = 0 T = S B − S A = 0 {\displaystyle \Delta S=\int _{A}^{B}{\frac {\delta Q=0}{T}}=S_{B}-S_{A}=0} נמצא כי בתהליכים הפיכים Δ S = 0 {\displaystyle \Delta S=0} , ובתהליכים בלתי הפיכים Δ S > 0 {\displaystyle \Delta S>0} משום שמתקיים δ Q T < δ S {\displaystyle {\frac {\delta Q}{T}}<\delta S} . ולכן, בתהליכים המתרחשים במערכת אדיאבטית Δ S ≥ 0 {\displaystyle \Delta S\geq 0} , לפיכך, אין שום תהליך במערכת אדיאבטית שבו מתרחש Δ S < 0 {\displaystyle \Delta S<0} . במילים אחרות, האנטרופיה לעולם לא פוחתת. האנטרופיה של מערכת אדיאבטית בתהליך הפיך גדלה עד הגעת המערכת לשיווי משקל, ומכאן שבשיווי משקל האנטרופיה מרבית במערכת אדיאבטית, ובתהליך ספונטני האנטרופיה גדלה, כאשר תהליך ספונטני הוא שינוי בזמן של מערכת המתרחש ללא צורך השקעת אנרגיה במערכת. במכניקה סטטיסטית קוונטית, האנטרופיה של מערכת מוגדרת על ידי מטריצת הצפיפות שלה, ρ {\displaystyle \rho } , בנוסחה: S = k B ⋅ Tr ⁡ ( ρ ⋅ log ⁡ ρ ) {\displaystyle S=k_{\mathrm {B} }\cdot \operatorname {Tr} (\rho \cdot \log \rho )} כאשר T r {\displaystyle Tr} היא פעולת העקבה. ביטוי זה פותח על ידי המתמטיקאי ההונגרי-אמריקאי ג'ון פון נוימן בשנת 1948, ולכן הוא ידועה גם בשם אנטרופיית פון נוימן. ביטוי זה שווה ערך להגדרה הקלאסית של האנטרופיה: S = − k B ∑ i p i ⋅ log ⁡ p i {\displaystyle S=-k_{\mathrm {B} }\sum _{i}p_{i}\cdot \log p_{i}} האנטרופיה של גז היא מקסימלית כשהאטומים מתפלגים הומוגנית, אך ההתפלגות ההומוגנית הזו איננה משתלטת באוויר הפלנטות כמו ההאטמוספירה של כדור הארץ, אשר השדה הגרביטציוני משפיע על צפיפות שכבות האטמוספירה, ומתקבל שהשכבות הנמוכות יותר הן בעלות צפיפות יותר גבוהה מזו של השכבות העליונות. בעקבות זאת תתקבל סתירה בין שתי המסקנות הבאות: האנרגיה הפוטנציאלית שואפת להיות מינימלית בעקבות ההתקהלות המולקולרית על פני הפלנטה. האנטרופיה שואפת להיות מקסימלית בעקבות הפצת מולקולות בנפח גדול (בחלל). במקרה כזה ייתכן רק מצב אחד, או מקסימום אנטרופיה או מינימום אנרגיה. מכאן, ניתן להגדיר את האנרגיה החופשית: F = U p − T ⋅ S {\displaystyle F=U_{p}-T\cdot S} כאשר U p {\displaystyle U_{p}} היא האנרגיה הפוטנציאלית, T הטמפרטורה ו-S היא האנטרופיה. ואז אנרגיה זו תהיה מינימלית, והטמפרטורה היא הגודל הדומיננטי. בגבול של טמפרטורות גבוהות האנרגיה הפוטנציאלית באנרגיה החופשית ניתנת להזנחה ו-F תהיה במינימום שלה משום שהאנטרופיה S תהיה מקסימלית. ולכן האטמוספירה של כוכבי לכת חמים תפוזר בחלל. בפרט, למרקורי (כוכב חמה) – כוכב הלכת החם ביותר – אין כלל אטמוספירה. בגבול של טמפרטורות נמוכות, האנטרופיה S ניתנת להזנחה, ו-F תגיע למינימום משום ש-U במינימום. כוכבי הלכת הקרים, שנמצאים רחוק מהשמש שמרו את כל הגזים שלהם, אפילו גז המימן הקל. גם לחור שחור צריכה להיות אנטרופיה. אחרת, אפשר יהיה לזרוק לתוכו חומר שלו אנטרופיה גבוהה, ובכך להוריד את האנטרופיה הכוללת ביקום, בניגוד לחוק השני של התרמודינמיקה. הפיזיקאי הישראלי יעקב בקנשטיין היה הראשון שהציע בשנת 1970 לייחס אנטרופיה לחור שחור. הוא הציע, על סמך הגילוי של סטיבן הוקינג כי השטח הכולל של אופק האירועים כתוצאה ממיזוג בין חורים שחורים לא יכול לקטון, שהאנטרופיה של חור שחור היא פרופורציונלית לשטח אופק האירועים שלו. בתחילה, התקבלה טענתו בביטול בקהילייה המדעית, כולל מצד הוקינג עצמו, שכן אם לחור שחור יש אנטרופיה, אמורה להיות לו גם טמפרטורה, ואז הוא צריך לקרון כמו גוף שחור. אולם ב־1975 גילה הוקינג כי חור שחור יכול לפלוט קרינה, כתוצאה מזוגות חלקיקים וירטואליים הנוצרים קרוב לפני אופק האירועים שלו. קרינה זו נקראת קרינת הוקינג, וחישובים מתאימים הראו שקרינה זו אכן מתאימה לקיומה של אנטרופיה הפרופורציונלית לשטח החור השחור. בעקבות גילוי זה, נעשה הרעיון למקובל, ואנטרופיה זו מכונה אנטרופיית בקנשטיין-הוקינג. אנטרופיה (סטטיסטיקה) מדד שאנון-ויבר תהליך אדיאבטי שיווי משקל תרמודינמי כוח אנטרופי Entropy Evaluation Made Easy, סרטון באתר יוטיוב מה היא אנטרופיה? – ג'ף פיליפס, סרטון באתר יוטיוב The Most Misunderstood Concept in Physics, סרטון בערוץ "Veritasium", באתר יוטיוב (אורך: 27:15), 1 ביולי 2023 אנטרופיה, באתר אנציקלופדיה בריטניקה (באנגלית) אנטרופיה, באתר MathWorld (באנגלית) אנטרופיה, דף שער בספרייה הלאומית ראה אנטרופיה (סטטיסטיקה) אנטרופיה, בויקימילון. וראו גם במילון האטימולוגיה etymoline.com, ערך entropy (באנגלית). הגדרה זו נוגעת רק להפרש באנטרופיה בין שני מצבים. ערכה המוחלט של האנטרופיה תלוי בחוק השלישי של התרמודינמיקה עם זאת, צריך לנקוט זהירות בקישור בין אנטרופיה לאי-סדר. קישור כזה בין המושגים עלול להוביל לשגיאות, כיוון שמושג אי-הסדר בתרמודינמיקה שונה מהמושג אי סדר במובנו היום-יומי. לדוגמה, אם ניקח חדר לא מסודר (מבולגן) ונסדר אותו, זו תהיה – מבחינה תרמודינמית – סדרה של תהליכים לא הפיכים, ועל כן האנטרופיה תעלה דווקא. עושים סדר בבלגן, באתר אוניברסיטת תל אביב תרמודינמיקה יחידה 3, האוניברסיטה הפתוחה, עמוד 4–5 P.T. Landsberg, Thermodynamics and Statistical Mechanics, Oxford: University Press, 1978, p. 366 תרמודינמיקה, יחידה 3, האוניברסיטה הפתוחה, עמוד 7 A.g, G.K, G.W, Entropy, Princeton university press, Ch. 2, pp. 28-29