Entropi

Entropi ble definert av den tyske fysiker Rudolf Clausius i 1864 for å beskrive kvantitativt hvordan varme kan omgjøres til nyttig arbeid. Navnet han ga denne størrelsen, lagde han ut fra gammelgresk ἐν (med, evne til) og τροπή (forandring) på samme måte som at ordet energi fra ἐν-ἔργον har med evne til å utføre arbeid. Dette begrepet gikk inn i hans "mekaniske varmeteori" som i dag bærer navnet termodynamikk hvor det spiller en fundamental rolle. Entropi er et ekstensivt, termodynamisk potensial som antar en bestemt verdi for hver likevektstilstand systemet befinner seg i. Den kan derfor også betraktes som en tilstandsvariabel selv om den ikke kan bli direkte målt i laboratoriet slik man kan med trykk og temperatur.
I denne sammenheng formulerte Clausius termodynamikkens andre hovedsetning som sier at i et isolert system kan entropien aldri avta. Den kan bare forbli konstant eller øke. I det første tilfellet sier man da at systemet er i termisk likevekt. Hva dette skyldes, var ikke klart for Clausius, men han mente at det kunne ha noe å gjøre med mekaniske omstillinger av de indre bestanddelene man mente materien bestod av uten at man på den tiden hadde noen atomteori.
Det var først Boltzmann noen få år senere som ga en forklaring av fysikken som gir opphav til entropi, nettopp basert på en atomistisk beskrivelse av materien i systemet. Han viste at jo større uorden man har i systemet, desto større er dets entropi. Derfor henger entropiens økning direkte sammen med tendensen man ser i naturen til at mange prosesser bare går én vei. En isbit i et glass vann smelter ved at molekylene i isen overføres til vannet. Man ser aldri den omvendte prosessen at noen vannmolekyler spontant samler seg sammen til et stykke is. Ved smeltingen skapes det mer uorden mellom vannmolekylene som tidligere var delvis samlet i isbiten. Entropi kan derfor tilskrives en samling av et stort antall partikler. Man kan rent praktisk ikke lenger følge hver partikkel i dens bevegelse, men må nøye seg med en midlere eller statistisk beskrivelse av alle partiklene. Det var i disse undersøkelsene at Boltzmann la grunnlaget for moderne, statistisk mekanikk som ble videreutviklet av Josiah Willard Gibbs. Først med den senere innføring av kvantemekanikken kan man si at entropi endelig ble fullt forstått.

Anvendelser i dag

Begrepet ble opprinnelig innført for å bedre forståelsen av omsetning av energi, og spesielt for bruk av varmeenergi i dampmaskiner til å utføre arbeid, men i tillegg til dette rent praktiske aspektet, har entropibegrepet fått en utbredelse langt utover slike praktiske anvendelser. Dette skyldes i stor grad de statistiske ideene fra Boltzmann og at termodynamikken er så generell at den også kommer til anvendelse i systemer som må beskrives kvantemekanisk. Dette ble spesielt klart etter at Planck utviklet sin teori for varmestrålingen som i utgangspunktet var basert på rene entropibetraktninger. I kjemi ble entropi av stor betydning for å forstå forskjellige, kjemiske reaksjoner og likevekter.  Fra begynnelsen av var entropi en sentral størrelse innen statistisk fysikk og dens beskrivelse av materien omkring oss i alle faser. I dag  benyttes begrepet i astrofysikk og utforskningen av stjerner og deres kollaps. I nyere tid har Stephen Hawking vist at også sorte hull kan tilordnes en  entropi og derfor også en temperatur. Hele Universet kan betraktes som et isolert system med jevnt økende entropi og spiller dermed også en sentral rolle i moderne kosmologi.
Entropi i dag benyttes innen tre områder; termodynamikk, statistisk mekanikk og informasjonsteori.

I termodynamikken betyr entropi fordeling og likevekt over tid inntil ulikhetene er utjevnet. For eksempel vil et livløst objekt som er varmere eller kaldere enn omgivelsene etter hvert miste eller absorbere varme helt til objekt og omgivelser har samme temperatur, eller en saltløsning som tømmes i en beholder med ferskvann vil fordele seg i vannet inntil konsentrasjonen er den samme overalt.

I statistisk mekanikk handler det om sannsynlighet i forhold til antall mulige utfall. En mynt som knipses har to mulige utfall; mynt eller krone, og dermed 50% sjanse for å ende opp som det ene eller andre. Gjøres dette et fåtall ganger er det mulig å oppnå samme resultat hver gang. Men sannsynligheten blir mindre desto oftere det knipses. Jo flere forsøk, jo mer vil summen av resultatene nærme seg den statistiske sannsynligheten og dermed den maksimale entropi. Samme tendens gjelder om en terning kastes tilstrekkelig mange ganger, bare at fordelingen her er 1/6 i stedet for 1/2. Blant de minste bestanddelene innen kjemi (atomer og molekyler) vil antallet i en væske være så høyt at maks entropi så og si er oppnådd, og det oppstår lovmessighet; sannsynligheten for at summen av alle atomenes og molekylenes mulige utfall på noe som helst tidspunkt skal avvike fra det forventede er så mikroskopisk at den i praksis ligger på null.

I informasjonsteori er entropi det samme som uforutsigbarhet. En linje bestående av repetisjon av et eneste tegn etter hverandre vil være fullstendig forutsigbart, og entropi er dermed fraværende. En tekst som består av kjente ord og overholder de grammatiske regler vil være mer uforutsigbart, og med det mer entropisk, selv om det i stor grad er mulig å gjette seg til hvilket tegn som er det neste ut i fra informasjonen man har tilegnet seg fra de foregående ordene og setningene. Inneholder teksten skrivefeil og brudd på grammatikkreglene øker entropien mens forutsigbarheten minker, og sannsynligheten for tap av informasjon øker i takt med antall feil. En linje satt tilfeldig sammen av en samling helt tilfeldige tegn har ingen informasjon å vise til, forutsigbarheten er null og entropien total.