Энтропия

Энтропи́я (др.-греч. ἐντροπία  — поворот, превращение) — фундаментальный научный термин, мера хаоса и неупорядоченности системы. Проявляется в совершенно разных, на первый взгляд, областях. Настолько разных, что энтропию можно с полным правом назвать одним из главных философских понятий.
Среди тем, связанных с энтропией, самой большой популярностью пользуется «демон Максвелла», многочисленные отсылки к которому можно встретить в литературе, играх, мультах и кино. Непосредственно «энтропия», а также вытекающая из неё «тепловая смерть Вселенной» тоже довольно востребованы.
 
Энтропия есть порождение, плоть от плоти, термодинамики. Поэтому нужно сказать пару слов о её маме.
"Термодинамика" — это раздел физики, изучающий соотношения и превращения теплоты и других форм энергии. Она базируется на нескольких основополагающих принципах, называемых началами (иногда — законами). "Первое начало термодинамики" — это старый добрый закон сохранения энергии: энергия, а значит теплота, не может появляться из ниоткуда или исчезать в никуда.
Куда более меметичным является "второе начало термодинамики". Дабы не ебать мозги читателю заумной научной поебенью, вкратце перефразируем определение Рудольфа Клаузиуса: тепло не может самопроизвольно передаваться от менее нагретого тела к более нагретому. От такого перефраза Клаузиус переворачивается в гробу, но для дальнейшего понимания достаточно.
"Третье начало термодинамики" на пальцах можно объяснить как невозможность достижения абсолютного нуля температуры.
Помимо этих начал есть даже "нулевое или общее начало термодинамики" — замкнутая система независимо от начального состояния в конечном итоге приходит в состояние термодинамического равновесия и самостоятельно выйти из него не может.
Таким образом, термодинамика имеет четыре начала, при этом не имеет ни одного конца, что само по себе уже доставляет.
Законы термодинамики в пух и прах разбивают заветную мечту человечества. Невозможность вечных двигателей первого рода интуитивно понятна — энергия из ниоткуда не появляется. Для тепловых машин они запрещаются первым началом термодинамики, являющимся альтернативной, специальной формулировкой закона сохранения энергии.
Сложнее с вечными двигателями второго рода. Энергия вроде и есть, вот они, молекулы, носятся туда-сюда, но, сцуко, получить её без «холодильника» невозможно. «Вечные двигатели второго рода невозможны» — ещё одна формулировка второго закона термодинамики.
 
Клаузиус, давший простую формулировку о невозможности передачи тепла от менее нагретого тела к более нагретому, повтыкал в получившуюся формулу. Потом записал её для бесконечно малого изменения теплоты, дунул… Затем решил, что если всё поделить на температуру, то будет более красиво. И стало так, однако, красоту эту неземную могут оценить только познавшие матан и дифференциальные формы. Но для дальнейшего повествования достаточно того, что у системы есть функция, значения которой зависят от её (системы) состояния, и называется эта функция "энтропией".
Примерно в том же историческом периоде жил-был и творил Людвиг Больцман. А творил он матан, исходя из молекулярно-корпускулярной теории, это такая теория, где теплота — это движение маленьких молекуло-корпускул (сейчас всё это называется "статистической физикой"). И надо было ему как-то пришить <del>пизде рукав</del> свои результаты к результатам Клаузиуса, и он таки взял и пришил. Параллельно с этим Больцман подвергся травле (по другой версии — «всё понял») и повесился на шнурке от штор. Поэтому чуть позже идею оформил Макс Планк, и оказалось, что энтропия — это логарифм вероятности нахождения системы в данном состоянии, то есть логарифм количества всевозможных скоростей и положений мелких частиц, приводящих к тому же описанию системы в большом масштабе (всякие там температуры, довления и объёмы). Отсюда возникло понятие энтропии как меры "хаоса".
Не будем прибегать к формулам с логарифмами и объясним на пальцах. Вот чашка, у неё есть два состояния. Первое — чашка целая. Чашка может быть тут или там, повёрнута кверху дном или дном книзу, ручкой на север, юг, восток или даже на запад… Второе состояние — чашка разбита. Кусков может быть много, и каждый из них может быть почти в любом месте и как угодно повёрнут. Второе состояние более хаотично, это понятно интуитивно, а ежели посчитать вероятность всех параметров каждого куска чашки в обоих состояниях, то увеличение хаоса, сиречь энтропии, будет видно и на циферьках.
Из второго начала термодинамики следует: чтобы уменьшить хаос (энтропию), к системе нужно что-нибудь приложить, например, "работу". Такой поворот вызвал массу смехуёчков, из разряда «физики шутят»: простая уборка в комнате оказывается не домашней рутиной, а борьбой с энтропией. Кроме шуток, в таком определении (как меры хаоса) понятие энтропии распространилось на разные близлежащие области, например, в теорию информации, о чём подробнее ниже.

Джеймс Максвелл был известным физиком и одновременно троллем 80-го уровня, подобно многим другим своим коллегам. Сам же приложил усилия для создания статистической физики, вписав себя в историю распределением Максвелла, но в то же время придумал парадокс в виде забавной зверушки, "демона Максвелла", который эту самую статистическую физику не то чтобы множил на ноль, но подвергал серьёзному сомнению.
Возьмём некий герметичный контейнер, разделённый надвое газонепроницаемой перегородкой, в которой имеется микроскопическая дверца. В начале опыта обе части контейнера равномерно заполнены газом. Теперь поставим к дверце некоего микроскопического вахтёра, который будет открывать дверцу и пропускать, предположим, из левой части в правую только молекулы горячего газа, а молекулы холодного — не пропускать. И наоборот — из правой части в левую он будет пропускать только молекулы холодного газа, и не пропускать молекулы горячего. Через какое-то время газ в контейнере разделится на две части: в одной половине останется холодный газ из медленных молекул, в другой — горячий из быстрых. В итоге система упорядочится по сравнению с исходным состоянием, энтропия уменьшится, и второе начало термодинамики будет нарушено. Более того, разницу температур можно будет использовать для получения работы (гуглим цикл и теорему Карно). А если такого вахтёра оставить на дежурстве навечно (или хотя бы организовать сменное дежурство), то и вовсе получится вечный двигатель.
Сей демон до сих пор живёт в научном фольклоре и волнует умы британских учёных. Ведь вечный двигатель человечеству отнюдь не повредил бы, но вот бида: чтобы демон Максвелла заработал, ему самому потребуется энергопитание в виде притока фотонов, необходимых для освещения приближающихся молекул и их просеивания. Кроме того, просеивая молекулы, демон и дверца не могут не вступать с ними во взаимодействие, в результате чего они сами будут невозбранно получать от них тепловую энергию и наращивать свою энтропию, и в итоге суммарная энтропия системы всё равно уменьшаться не будет. То есть таким объяснением теоретическая угроза ВНТ была отведена, но не безоговорочно.
Как и в случае с демоном Лапласа демона Максвелла добила квантовая механика. Для сортировки подлетающих молекул демону нужно измерять их скорость, а сделать это с достаточной точностью он не может в силу принципа неопределённости Гейзенберга. Кроме того, в силу этого же принципа он не может точно определить и местонахождение молекулы в пространстве, и часть молекул, перед которыми он распахивает микроскопическую дверцу, с этой дверцей разминутся. Другими словами, стоит только привести демона в соответствие с законами квантовой механики, и он окажется не в состоянии сортировать молекулы газа и просто перестанет представлять какую-либо угрозу научной картине мира в виде второго начала термодинамики.
А демона жаль — симпатичный был персонаж. Впрочем, смерть демона отнюдь не мешает встречаться с ним каждый день, и не по одному разу. Предположим, какое-то криворукое мудило разлило стакан жижи. Жижа испаряется, при этом медленные молекулы не могут преодолеть силу поверхностного натяжения и остаются, быстрые же улетают — в итоге жижа охлаждается. Всем известно, что при испарении происходит охлаждение. Ой, блджад, это же сортировка молекул жижи по скорости-энергии. Чем не демон Максвелла? Демон, да не тот. Есть два разных, но дополняющих друг друга объяснения. Первое: ВНТ запрещает существование демона (и сортировку молекул) в закрытой системе. А у нас быстрые молекулы улетают в неведомые ебеня. Если же сделать систему закрытой (крышечкой прикрыть и укутать, чтобы тепло снаружи не поступало), то всё быстро устаканится: жидкость и её пары придут в равновесие, испарение прекратится. Второе: молекулы в жиже находились в более упорядоченном состоянии, испаряясь, они переходят в менее упорядоченное. В начальной точке система была в неравновесном состоянии, при переходе же в равновесное состояние энтропия увеличится.
 
Закон вроде бы и прост, да только при всей его кажущейся простоте является одним из самых трудных и часто неверно понимаемых законов классической физики. Есть в нём одно мерзкое словечко, которому иногда уделяется недостаточно внимания — это словечко «изолированной». Согласно ВНТ, энтропия («хаос») не может убывать только в изолированных системах. Но в других системах это уже не является законом, и энтропия там может как возрастать, так и убывать.
С точки зрения термодинамики существуют системы открытые, закрытые и изолированные. "Открытые" системы обмениваются веществом (а также, возможно, и энергией) с окружающей средой. Например, автомобиль: потребляет бензин и воздух, выделяет тепло. "Закрытые" системы не обмениваются веществом с окружающей средой, но могут обмениваться с ней энергией. Например, космический корабль: герметичен, но поглощает солнечную энергию с помощью солнечных батарей. Наконец "изолированные (замкнутые)" системы не обмениваются с окружающей средой ни веществом, ни энергией. Например, термос: герметичен и сохраняет тепло.
Так вот, поскольку ВНТ применяется исключительно к изолированным системам, то энтропии запрещено уменьшаться только там.
Научные <del>кретинисты</del> креационисты люто, бешено фапают на ВНТ в формулировке «энтропия не убывает», которое якобы доказывает невозможность самопроизвольного возникновения жизни из неживой материи. Интуитивно понятно, что живые организмы более упорядочены, чем неживые. И самопроизвольное возникновении жизни выглядит как нарушение ВНТ: был хаос (…тьма над бездною, и Дух Божий носился над водою, и далее по тексту), а тут раз — и из неупорядоченной глины появились упорядоченные твари, а потом и человек.
Конечно, если считать, что жизнь возникла одномоментно, или за семь дней, во всем своём великолепии, разнообразности и сложности, то без отца-создателя не обойтись, уж очень невероятное событие, гораздо более невероятное, чем если бы все молекулы воздуха собрались в одном углу комнаты, а креационист по той причине задохнулся. Чтобы разобраться, где тут подвох, нужно понять, что вопросов тут два. Первый — сложность <del>безблагодатость</del> жизни. Тут всё разжевал дедушка Дарвин, а статистическая физика скромно добавляет: чтобы жизнь размножалась и усложнялась извне должен быть приток энергии, тогда со втором законом термодинамики всё будет чики-поки. Второй вопрос: собственно зарождение жизни. Тут сложнее, внятного ответа от высоколобых ученых нет, есть кое-какие догадки. Но совершенно понятно, что жизнь в текущем виде развилась из чего-то более простого, гораздо более простого, чем клетка. Выдвигают гипотезы про мир-РНК, но и РНК слишком(!) сложно для зарождения. Пока невозможно точно говорить о том, где химия каким-то образом плавно перетекает в биологию. Возможно, предтечей жизни были какие-то химические соединения, способные к неидеальному самовоспроизведению и постепенному добавлению к ним новых, более простых элементов.

Из неубывания энтропии прямо вытекает ещё один мем от дядюшки Клаузиуса. Как следует из формулировки, закон применяется к изолированным системам, но трудно представить себе более изолированную систему, чем Вселенная в целом. А значит, суммарная энтропия Вселенной должна увеличиваться по мере её движения к равновесному, наиболее хаотичному состоянию.
Возникает вопрос: и хули? Если говорить просто, то со временем все звезды потухнут и разложатся на плесень и липовый мёд. Причём температура всего этого квантового дерьма будет везде одинаковой — чуть выше абсолютного нуля. Вся вселенная станет темной и холодной, что, конечно, не очень приятно.
Впрочем, является ли Вселенная изолированной системой строго не доказано, есть пачка вполне научных гипотез, в которых вселенных много, и они даже могут как-то взаимодействовать друг с другом. Но и обратное тоже не доказано, поэтому проще считать, что Вселенная одна, а значит тепловая смерть неизбежна.
В любом случае переживать не стоит, ведь сия оказия произойдет через каких-то 10 лет. Да и то не факт, что произойдет. Ведь со времен Клаузиуса с его охуительными теориями появился другой ученый (этим ученым был Альберт Эйнштейн) с теориями еще более охуительными. Из его теории относительности могут следовать целых две версии смерти Вселенной — Большой разрыв (когда все порвется на британский флаг, даже небо, даже Аллах!) и Большое сжатие — вся Вселенная снова свернется в сингулярность. Логично предположить, что процесс цикличен, и за сингулярность следует очередной «Аллах-Бабах!». Но это уже совсем другая история.

В 40-х годах прошлого века Клод Шеннон ботанил проблему передачи информации через каналы связи и призадумался, а что же есть, собственно говоря, "информация" и как её измерять. Очевидный для быдлокодеров ответ, что информация измеряется в <del>ку</del>битах (байтах, мегабайтах, гигабайтах и так далее), а её количество определяется размером места хранения, легко убивается простым примером: совершенно ясно, что четыре тома, исписанных буквой «а», содержат куда меньше информации, чем четыре тома «Войны и мира». Объём тот же, но информации содержится разное количество. Четыре тома, исписанных фразой «мама мыла раму», содержат больше информации, чем тома с буквой «а», но меньше, чем «Война и мир», это тоже понятно даже с точки зрения банальной эрудиции. При этом каждый новый символ, записанный в книжку, должен добавлять, увеличивать информацию.
Шеннон собрал все эти довольно-таки банальные соображения в кучу, и связал информацию с вероятностью появления символа. Если символ в потоке встречается редко, то его появление несёт больше информации, если часто — то меньше. Каждый новый добавляет информацию. Согласно Шеннону, информация, добавленная каждым новым символом — это логарифм от вероятности его появления. Основание логарифма — количество символов в алфавите; если имеется только ноль и единица, то логарифм по основанию два. Всё понятно? Ежели всё понятно, то понятен и знак «минус» перед формулой, так как берется логарифм вероятности, которая по определению меньше единицы.
Ага, измерять информацию научились, но хотелось бы как-то характеризовать источник, который эту информацию генерит. Шеннон предложил в качестве такой характеристики "математическое ожидание" информации нового символа. Получилось, что чем более разнообразные символы генерит источник, и чем более случайно они распределены, тем больше количественно эта характеристика. Ничего не напоминает? Другими словами: чем более "хаотичный" поток генерит источник, тем больше эта характеристика. Не удивительно, что Шеннон назвал её энтропией. В 1948 году он издал статейку со своим креативом на подобные темы под скромным названием «Математическая теория связи», чем вписал себя в историю в качестве отца-основателя "теории информации".
Конечно, позже теорию развили, появилась "условная", "взаимная" энтропии и даже энтропия для непрерывных распределений. Все эти детали очень интересны, но для узкого круга избранных, поэтому не будем в них углубляться.
Если здесь всё понятно, то предлагается ответить на простой вопрос: есть мегабайтный файл, содержащий исключительно символы «а», сколько он содержит "информации"?

Глава, в которой убеждённый материалист-атеист фалломорфирует и становится идеалистом. После чего фалломормирует во второй раз и снова становится материалистом-атеистом.
А что если термодинамическая и информационная энтропии — это не просто очень похожие, но разные штуки; что если это одно и то же? Тогда мы можем рассмотреть процесс записи абстрактного бита в абстрактной системе и посчитать для этого случая изменение термодинамической энтропии. После чего средствами термодинамики же посчитать энергию, необходимую для этого. Что и было проделано, получилась следующая формула: E = k*T*ln2, где k — постоянная Больцмана, T — температура в кельвинах. Если подставить числа, получается, что для записи одного бита при комнатной температуре требуется примерно 2,7×10 джоулей энергии. Столько же энергии выделится в виде теплоты, при потере бита информации. «Потеря» — не просто замена нуля на единицу, а именно потеря: при попытке чтения получается случайное значение, то ноль, то единица, с вероятностью 50 на 50.
Подобные выкладки на базе результатов Шеннона сделал еще фон Нейман в 40-х годах прошлого века, но поверили только Ландауэру, который вывел это соотношение в 1961 году. Поэтому вместо политкорректного названия "принцип Шеннона-Неймана-Ландауэра" чаще используется просто "принцип Ландауэра".
Получается забавный факт: абстрактное понятие «информация» получило реальное, материальное выражение в виде энергии. А если вспомнить старика Эйнштейна с его E=mc², то информацию можно выразить и в единицах массы, в граммах. Отсюда следует, что чистый жёсткий диск и точно такой же диск с записанной информацией должны иметь различную массу. А раз так, то можно взвешивать изменение массы трупа в момент отлетания души… Тьфу, блджад, ересь какая-то.
Попробуем разобраться, где наебались. Теория информации Шеннона оперирует абстрактными понятиями, в том смысле, что её выводы применимы к любым физическим системам: к любым каналам связи, к любым способам записи и хранения информации. Но при конкретной физической реализации, абстрактная информация Шеннона имеет конкретное физическое, материальное выражение: иероглифы, выбитые в камне; буквы на пергаменте; состояние электронной лампы, или транзистора, или магнитного домена… Поэтому энергия, потребная для записи одного бита, расходуется не на запись абстрактного бита, а на изменение состояния какой-то физической структуры, хранящей этот самый бит. Принцип Ландаэура не указывает точное значение энергии одного бита, а всего лишь даёт ограничение снизу. Правильно понимать эту формулу так: если тратить на запись одного бита энергии меньше, то бит «не будет читаться», какая бы физическая структура для его хранения не использовалась.
Несмотря на очень маленькое значение, предел, задаваемый принципом Ландауэра, уже не за горами: в вычислительной технике начала 00-х он превышался примерно в миллион раз (6 порядков), в середине 10-х — уже всего лишь в десятки тысяч раз (4 порядка), проводятся эксперименты, где для записи бита тратится уже почти теоретический минимум. Поэтому остро встаёт вопрос — а что же дальше? Вообще-то этот вопрос задавал ещё сам Ландауэр и его коллеги из IBM в 60-х годах прошлого века, когда разрабатывали матан для "обратимых вычислений". Идея простая: принцип Ландауэра применим в том случае, если бит создаётся (элемент из хаотического, случайного состояния переходит в определённое) или теряется (элемент из определённого состояния переходит в хаотическое, случайное). Но можно же биты не удалять и создавать, а просто кагбэ перекладывать из одного места в другое, в этом и состоит идея обратимых вычислений. С логической, теоретической точки зрения для этого требуется, чтобы логический элемент имел выходов ровно столько, сколько и входов, и набор состояний на выходе однозначно определял набор состояний на входе (в чём и заключается обратимость), в этом случае термодинамическая энтропия меняться не обязана, и принцип Ландауэра не работает. За 50 лет в этой области разработано дохуя чего, от логических вентилей, удовлетворяющим этим требованиям и логики на них, до языков программирования, заточенных на обратимые вычисления. А вот с физической реализацией подобных вентилей — полный швах, все надежды направлены на создание квантовых компьютеров (квантовые вычисления по определению обратимы, но это совсем другая история). Кстати, возможность такой наёбки природы, в виде обратимых вычислений, опять же показывает, что термодинамическая и информационная энтропии — это всё-таки похожие, где-то связанные штуки, но далеко не одно и то же.

Глава, в которой убеждённый материалист-атеист снова фалломорфирует дважды и остаётся материалистом-атеистом.
Если информационная энтропия ограничивается, и даже в какой-то степени определяется неубывающей термодинамической энтропией, то не убывает как информационная энтропия, так и сама информация. И это действительно так, неубывание информации ныне такой же основополагающий принцип для физических теорий, как и принцип причинности.
Большую свинью под него подложил Хокинг своим излучением. Пусть некоторая частица движется к черной дыре и падает за горизонт событий. Вроде бы информация, которую эта частица несла, пропала. Но физики успокаивали себя тем, что информация не пропала, она сохранилась в недрах ЧД, просто стала недоступной. А тут Хокинг со своим излучением: если ЧД может испаряться, вплоть до полного исчезновения, а излучение при этом не несёт никакой информации о частицах, упавших в ЧД, то тогда получается, что информация пропала. Это есть большая недоработка современных физиков, но они трудятся над ней и надеются с построением полной и непротиворечивой теории квантовой гравитации таки победить нестыковочку.
Если информация не убывает, то возможны всякие чудеса. Возможно не только расшифровать египетские иероглифы, но и восстановить утерянные тексты, например, погибшие при пожаре Александрийской библиотеки. Более того, можно представить человеческую душу как информацию, которую человек наработал и сохранил за время своей жизни, тогда душа оказывается бессмертной: информация-то не убывает, в том числе и после смерти. Бессмертие души доказано научно. ОМГ! Так и уверовать недолго. Убеждённые материалисты-атеисты, не желающие уверовать, судорожно начинают искать подвох.
И подвох действительно существует. На самом деле, под словом «информация» понимаются две (как минимум) совершенно разные штуки. В бытовом, общепринятом понимании, даже пролезшем в некоторые стандарты («Информация — знания о предметах, фактах, идеях и т. д., которыми могут обмениваться люди в рамках конкретного контекста (ISO/IEC 10746-2:1996)»), под информацией понимается нечто, имеющее смысл. Наличие смысла сразу же приводит к субъективности — смыслы могут сильно различаться от того, кто информацию воспринимает. Может случиться так, что приёмник-читатель найдёт смыслов-информации даже больше, чем было у автора-источника. Также нужно отметить, что смысл информации определяется контекстом.
Гениальность Шеннона проявилась в том, что он напрочь отказался искать в информации смыслы, в результате информация перестала быть чем-то субъективным, стало возможным измерять её объективно (или хотя бы оценивать количественно), вне зависимости от трактовки принимающей стороны. Поясним на примерах:
Есть два <del>стула</del> файла размером в 1 Гб, один — из символов «а», другой — из случайных, с одинаковой вероятностью каждого. С точки зрения банальной эрудиции и некоторых стандартов в обоих файлах никакой информации нет, ибо оба бессмысленны. С точки зрения Шеннона во втором файле информации гораздо больше, ибо больше энтропия.
Обратный пример. Нажатие кнопки в ядерном чемоданчике с точки зрения Шеннона несёт очень мало информации, буквально один бит. Но сколько в нём смысла!
Перед тем как перейти к вопросу о бессмертии души, нужно совсем сломать голову следующим примером. Вася Пупкин, когда ему исполнилось 16 лет, записал подборку любимого метала на говно-болванку. Спустя ещё 16 лет Вася Пупкин собрался поностальгировать о 90-х и прослушать записи. ВНЕЗАПНО оказалось, что каждый второй трек заикается, каждый третий читается не полностью, остальные вообще не читаются. Говно-болванка «посыпалась». Вопрос: информации стало больше или меньше? Понятно, что с точки зрения банальной эрудиции, Васи Пупкина и некоторых стандартов информации стало меньше, «музыки» тоже стало меньше. С точки зрения термодинамики — энтропия возросла, хаоса стало больше, это тоже понятно. А с точки зрения Шеннона?
А с точки зрения теории информации и лично господина Клода информация подверглась зашумлению, смешалась с шумом. Как её достать из зашумлённого канала, что нужно делать, чтобы с шумом бороться — всё это также является предметом теории информации. То есть, отказавшись разбираться в нагромождении смыслов, Шеннон не отказался от смысла информации полностью, а разделил её на полезную информацию, у которой есть какой-то, любой смысл, и «шум» — информацию, у которой нет смысла по определению шума.
Вот теперь возвращаемся к бессмертию души. Пока жизнь теплится в тушке, поддерживается "гомеостаз", то есть структура живого существа, в том числе поддерживаются связи между нейронами в области межушного ганглия. Какие-то связи пропадают, человек или животное что-то забывает, но не очень быстро, какие-то возникают, что-то запоминается… Но вот наступила смерть. Связи между нейронами рвутся всё быстрее и быстрее, потом массово погибают нейроны, потом в получившейся слизи уже эти самые нейроны становятся неразличимы. Хаос увеличивается, энтропия растёт, информация (с точки зрения термодинамики и прочей физики) тоже увеличивается. Но связи, имевшие хоть какой-то смысл пропадают, информация, имеющая хоть какой-то смысл заменяется шумом. Душа, как информационное отражение человека, превращается в ничего незначащий шум…