Тээкс

Разбираем Хакена...

Энтропия как мера возрастания неопределенности.

Прикольно разобрано возрастание энтропии.



Может создаться впечатление, что такое "расплывания" функции энтропии делает ситуацию всё более неопределенной.

Однако это не так. Очень далеко от реальности. На самом деле операция "усреднения", то есть, свертки со ступенькой - полностью обратима. Если мы знаем очень точно исходную функцию, то как свертку мы можем посчитать очень точно, так и обратно восстановить функцию очень точно. Ни потерь информации, ни создание новой информации здесь не возникает.

Достаточно вспомнить преобразование Фурье - Фурье от свертки со ступенькой - это произведение Фурье от функции на Фурье от ступеньки. Таким образом, чтобы восстановить исходную функцию, достаточно сделать переход в пространство Фурье, там поделить на sinx/x или что-то типа того и сделать обратное преобразование. 

Практики, однако в курсе, что в реальности чем более точно пытаться восстановить исходную функцию, тем больше будут играть краевые эффекты + шум. Для этого делают шумодав, и он, в итоге добавляет один член в знаменателе - получаем фильтр Колмогорова-Винера. Именно за счет этого шумоподавляющего члена мы и теряем/получаем информацию // увеличиваем или уменьшаем энтропию.

Любопытно, что Хакен так к этому и переходит - "вакуумные флуктуации" итп. Любопытно))) 

Читаем дальше.. интрига.