Введение
Предметом работы является энтропия и информация. Целью данной работы является изучение энтропии, информации и применения данных понятий к рискам. Поставленная цель ставит решение следующих задач: рассмотрения понятия энтропии, статистического смысла данного понятия, энтропии как меры степени неопределенности, понятия об информации, теоремы Шеннона о кодировании при наличии помех, использования энтропии в прогнозировании и применения энтропии к рискам.
Данная тема актуальна, так как трудно найти понятия более общие для всех наук (не только естественных) и, вместе с тем, иногда носящих оттенок загадочности, чем энтропия и информация. Отчасти это связано с самими названиями. Если бы не звучное название “энтропия” осталась бы с момента первого рождения всего лишь “интегралом Клаузиуса”, вряд ли она бы не рождалась вновь и вновь в разных областях науки под одним именем. Кроме того, ее первооткрыватель Клаузиузус, первым же положил начало применению введенного им для, казалось бы узкоспециальных термодинамических целей понятия к глобальным космологическим проблемам (тепловая смерть Вселенной). С тех пор энтропия многократно фигурировала в оставшихся навсегда знаменитыми спорах. В настоящее время универсальный характер этого понятия общепризнан и она плодотворно используется во многих областях.
Термин “информация” замечателен тем, что, существующему с давних пор бытовому понятию, К.Шенноном был придан математически точный смысл. Неопределенно-бытовой смысл этого термина уже научного. Это приводило и приводит ко многим недоразумениям/ Данную тему опишем с помощью следующих методов: синтеза, анализа, индукции, дедукции, сравнения и расчетного метода.
Работа изложена на 26 страниц и состоит из четырех параграфов. В работе 1 таблица и 7 примеров.
Понятие энтропии. Статистический смысл понятия энтропии. Энтропия как мера степени неопределенности
Энтропия (от греч. entropia — поворот, превращение) — мера неупорядоченности больших систем. Впервые понятие «энтропия» введено в XIX в. в результате анализа работы тепловых машин, где энтропия характеризует ту часть энергии, которая рассеивается в пространстве, не совершая полезной работы (отсюда определение: энтропия — мера обесценивания энергии). Затем было установлено, что энтропия характеризует вероятность определенного состояния любой физической системы среди множества возможных ее состояний. В закрытых физических системах все самопроизвольные процессы направлены к достижению более вероятных состояний, т. е. к максимуму энтропии . В равновесном состоянии, когда этот максимум достигается, никакие направленные процессы невозможны. Отсюда возникла гипотеза о тепловой смерти Вселенной. Однако распространение на всю Вселенную законов, установленных для закрытых систем, не имеет убедительных научных оснований. В XX в. понятие » энтропия » оказалось плодотворным для исследования биосистем, а также процессов передачи и обработки информации. Эволюция в целом и развитие каждого организма происходит благодаря тому, что биосистемы, будучи открытыми, питаются энергией из окружающего мира. Но при этом биопроцессы протекают таким образом, что связанные с ними «производство энтропии » минимально. Это служит важным руководящим принципом и при разработке современных технологических процессов, при проектировании технических систем. Количественная мера информации формально совпадает с «отрицательно определенной » энтропией. Но глубокое понимание соответствия энтропии физической и информационной остается одной из кардинальных недостаточно исследованных проблем современной науки. Ее решение послужит одним из важных факторов становления нового научно-технического мышления.
Энтропия широко применяется и в других областях науки: в статистической физике как мера вероятности осуществления какого-либо макроскопического состояния; в теории информации как мера неопределенности какого-либо опыта (испытания), который может иметь разные исходы. Эти трактовки имеют глубокую внутреннюю связь. Например, на основе представлений об информационной энтропии можно вывести все важнейшие положения статистической физики.
Теория информации возникла для описания передачи и приёма сообщений в процессе деятельности человека. Во всех её задачах присутствуют понятия передатчика и приёмника, сигнала-сообщения, событий и их вероятностей. Существование цели передачи информации в теории информации выражается тем, что вводится понятие известного заданного события. Для него может быть определена вероятность р0 наступления до приёма сообщения и р1 после приёма.
В силу определения информации как устранённой неопределённости в достижении цели строгая (то есть математическая) формализация понятия об информации требует выразить математическим соотношением, что есть неопределённость в достижении цели.
Существование неопределённости связано с участием вероятностей в осуществлении событий. Устранение неопределённости есть увеличение вероятности наступления того, что задано как цель. Поэтому вероятности должны участвовать в математической формулировке величины устранённой неопределённости.
Первая удачная попытка реализовать определение информации на такой основе осуществлена в 1928 г. Л. Хартли. Пусть возможно в данных условиях n вариантов некоторого результата. Целью является один из них. Хартли предложил характеризовать неопределённость логарифмом числа n. То есть log n является количественной мерой неопределённости. Выбор основания логарифма связан с понятием об алфавитах для описания информации. Этот выбор существенен для экономичности кодирования в технических устройствах или живых системах (сокращения потоков импульсов или аналоговых сигналов), но не меняет самого количества информации как устранённой неопределённости за счёт того, что перед логарифмом вводится безразмерный множитель, выражаемый модулем перехода между основаниями логарифмов. От него зависят названия единиц информации.
При математическом описании неопределённости (например способом Хартли) в случае равновероятных результатов можно перейти от их числа n к обратной величине — вероятности р одного из них. В терминах связи конкретно говорят о вероятности переданного сообщения р0 у приёмника до приёма сообщения. Устранение неопределённости выражается тем, что вероятность переданного сообщения у приёмника после приёма сигнала возрастает и становится р1 . Тогда количественная мера s полученной информации (устранённой неопределённости) выражается логарифмом отношения вероятностей:

Оно равноправно по отношению к любому конкретному сообщению и имеет разную величину в зависимости от величин р0 и р1 для него. В частном случае, когда при передаче полностью отсутствую шумы и сбои, искажающие сигнал, вероятность р0 равна единице.
Недостаток этого определения в том, что оно справедливо в приближении равновероятности всех исходов. Это выполняется далеко не всегда. В пределе в этом определении невероятному исходу приравнивается неизбежный. В 1948 г. это исправил К. Шеннон, который определил в качестве меры неопределённости выражение:


есть вероятности отдельных исходов. Он предложил называть эту величину «энтропией», не поясняя связей и различий этого термина с общеизвестой энтропией в физике. Знак минус в предыдущей формуле отражает тот факт, что вероятности всегда меньше единицы, а энтропия знакопостоянная функция, для которой привычно задан положительный знак. Определение Шеннона сокращённо зависывают в виде:

подразумевая как очевидное, что признаки (аргументы), по отношению к которым определены события и их вероятности, могут быть существенно разными, а в эта формула (суммирование в ней) справедлива только для однородных признаков.
Вероятность, энтропия, информация. Ликбез, ч.2.
Главным свойством случайных событий является отсутствие полной уверенности в их наступлении, создающее известную неопределенность при выполнении связанных с этими событиями опытов. Однако совершенно ясно, что степень этой неопределенности в различных случаях будет совершенно разной. Если наш опыт состоит в определении цвета первой встретившейся нам вороны, то мы можем почти с полной уверенностью рассчитывать, что этот цвет будет черным — хотя зоологи и утверждают, что встречаются иногда белые вороны, вряд ли кто-нибудь усомнится в исходе такого опыта. Несколько менее определенен опыт, состоящий в выяснении того, окажется ли первый встреченный нами человек левшой или нет — здесь тоже предсказать результат опыта можно почти не колеблясь, но опасения относительно правильности этого предсказания будут более обоснованны, чем в первом случае. Значительно труднее предсказать заранее, будет ли первый встретившийся нам на улице города человек мужчиной или женщиной. Но и этот опыт имеет относительно небольшую степень неопределенности по сравнению, например, с попыткой заранее указать победителя в турнире с двадцатью совершенно незнакомыми нам участниками или определить номер лотерейного билета, на который выпадет наибольший выигрыш в предстоящем тираже лотереи: если, скажем, предсказав, что первый встреченный нами на улице человек будет мужчиной, мы еще можем надеяться угадать, то вряд ли кто-нибудь рискнет сделать прогноз в предпоследнем или, тем более, в последнем случае.
Для практики важно уметь численно оценивать степень неопределенности самых разнообразных опытов, чтобы иметь возможность сравнить их с этой стороны. Мы начнем здесь с рассмотрения опытов, имеющих k равновероятных исходов. Очевидно, что степень неопределенности каждого такого опыта определяется числом k: если при k = 1 исход опыта вообще не является случайным, то при большом k, т. е. при наличии большого числа разных исходов, предсказание результата опыта становится весьма затруднительным. Таким образом, совершенно ясно, что искомая численная характеристика степени неопределенности должна зависеть от k, т. е. являться функцией f(k) числа k. При этом для k = 1 эта функция должна обращаться в нуль (ибо в этом случае неопределенность полностью отсутствует), а при возрастании числа k она должна возрастать.
Для более полного определения функции f(k) надо предъявить к ней дополнительные требования. Рассмотрим два независимых опыта: α и β (т. е. такие два опыта, что любые сведения об исходе первого из них никак не меняют вероятностей исходов второго). Пусть опыт α имеет k равновероятных исходов, а опыт β имеет l равновероятных исходов; рассмотрим также сложный опыт αβ, состоящий в одновременном выполнении опытов α и β. Очевидно, что неопределенность опыта αβ больше неопределенности опыта α, так как к неопределенности α здесь добавляется еще неопределенность исхода опыта β. Естественно считать, что степень неопределенности опыта αβ равна сумме неопределенностей, характеризующих опыты α и β. А так как опыт α и β имеет, очевидно, kl равновероятных исходов (они получаются, если комбинировать каждый из k возможных исходов опыта α c l исходами β, то мы приходим к следующему условию, которому должна удовлетворять наша функция f(k):
Последнее условие наталкивает на мысль принять за меру неопределенности опыта, имеющего k равновероятных исходов, число log k (ибо log (kl) = log k + log l). Такое определение меры неопределенности согласуется также с условиями, что при k = 1 она равна нулю и что при возрастании k она возрастает. Впрочем, нетрудно строго показать, что логарифмическая функция является единственной функцией аргумента k, удовлетворяющей условиям f(kl) = f(k) + f(l), f (1) = 0 и f (к) > f (l) при k > l.
Заметим, что выбор основания системы логарифмов здесь несуществен, так как в силу известной формулы
переход от одной системы логарифмов к другой сводится лишь к умножению функции f(k) = log k на постоянный множитель (модуль перехода logba), т. е. равносилен простому изменению единицы измерения степени неопределенности. В конкретных применениях «меры степени неопределенности» обычно используются логарифмы при основании два (другими словами — считается, что f (k) = Iog2k). Это означает, что за единицу измерения степени неопределенности здесь принимается неопределенность, содержащаяся в опыте, имеющем два равновероятных исхода (например, в опыте, состоящем в подбрасывании монеты и выяснении того, какая сторона ее оказалась сверху, или в выяснении ответа «да» или «нет» на вопрос, по поводу которого мы с равными основаниями можем ожидать, что ответ будет утвердительным или отрицательным). Такая единица измерения неопределенности называется двоичной единицей (сокращенно дв. ед.) или битом (binary digit); в немецкой литературе используется также выразительное ее название «Ja-Nein Einheit» («да- нет единица»). Подобная «да-нет единица» является в каком-то смысле самой естественной. Мы тоже в дальнейшем будем все время пользоваться двоичными единицами (битами); таким образом запись log k (где мы, как правило, не будем указывать основания системы логарифмов) будет обычно означать log2 k. Заметим только, что практически ничего не изменилось бы, если бы мы использовали более привычные десятичные логарифмы; это лишь означало бы, что за единицу степени неопределенности принимается неопределенность опыта, имеющего 10 равновероятных исходов (таким является, например, опыт, состоящий в извлечении шара из урны с десятью перенумерованными шарами, или опыт по отгадыванию одной цифры, если любая из десяти цифр имеет одинаковую вероятность быть загаданной). Эта последняя единица степени неопределенности (которую называют десятичной единицей или дитом) примерно в 3.3 раза крупнее двоичной единицы (ибо log2 10 ≈ 3,32).
Таблица вероятностей для опыта, имеющего k равновероятных исходов, имеет вид:
| исходы опыта | А1 | А2 | А3 | … | Ak |
| вероятности | 1/k | 1/k | 1/k | … | 1/k |
Так как общая неопределенность опыта по нашему условию равна log к, то можно считать, что каждый отдельный исход, имеющий вероятность 1/k, вносит неопределенность, равную р(1/k) log к = — (1/k) log (1/k) . Но тогда естественно считать, что в результат опыта, таблица вероятностей для которого имеет вид
| исходы опыта | А1 | А2 | А3 |
| вероятности | 1/2 | 1/3 | 1/6 |
исходы А1, А2 и А3 вносят неопределенность, равную соответственно, —(1/2) log (1/2), —(1/3)log (1/3) и —(1/6) log (1/6) , так что общая неопределенность этого опыта равна
—(1/2) log (1/2) — (1/3)log (1/3) — (1/6) log (1/6)
Аналогично этому можно положить, что в самом общем случае, для опыта α с таблицей вероятностей

мера неопределенности равна
Это последнее число мы, руководствуясь некоторыми глубокими физическими аналогиями, несущественными, впрочем, для всего дальнейшего, будем называть энтропией опыта α и обозначать через Н(α).
lim (— р log р) = 0 ( при р → 0)
Можно доказать, что функция
h (р) = — p log р — (1 — р) log (1 — р),
определяющая энтропию опыта с двумя исходами (вероятности которых равны р и 1 — р), принимает наибольшее значение (равное log 2 = 1) при р = 1/2. На рис. 1 изображен график этой функции, показывающии, как меняется энтропия k (р) при изменении р от 0 до 1.

В случае опыта с k возможными исходами энтропия задается формулой
где р1, р2, . . ., pk — вероятности отдельных исходов, так что всегда
В этом более общем случае также можно доказать, что функция Н (р1, р2, . . ., pk) принимает наибольшее значение (равное log k) при р1 = р2 = . . . = pk = 1/k. Иными словами, максимум неопределенности возникает при равномерном распределении вероятностей событий.
Задача. Имеются две урны, содержащие по 20 шаров — 10 белых, 5 черных и 5 красных в первой и 8 белых, 8 черных и 4 красных во второй. Из каждой урны вытаскивают по одному шару. Исход какого из этих двух опытов следует считать более неопределенным?
Таблицы вероятностей для соответствующих опытов (обозначим их через α1 и α2) имеют вид: опыт α1 (извлечение шара из 1-й урны):
| цвет вынутого шара | белый | черный | красный |
| вероятность | 1/2 | 1/4 | 1/4 |
опыт α2 (извлечение шара из 2-й урны):
| цвет вынутого шара | белый | черный | красный |
| вероятность | 2/5 | 2/5 | 1/5 |
Энтропия первого опыта равна
Н (α1) = — (1/2) log (1/2) — (1/4) log (1/4) — (1/4) log (1/4) = 1,5 бита, а энтропия второго несколько больше:
Н (α2) = — (2/5) log (2/5) — (2/5) log (2/5) — (1/5) log (1/5) = 1,52 бита.
Поэтому, если оценивать (как мы это условились делать) степень неопределенности исхода опыта его энтропией, то надо считать, что исход второго опыта является более неопределенным, чем исход первого.
Задача. Пусть из многолетних наблюдений за погодой известно, что для определенного пункта вероятность того, что 15 июня будет идти дождь, равна 0,4, а вероятность того, что в указанный день дождя не будет, равна 0,6. Пусть далее для этого же пункта вероятность того, что 15 ноября будет идти дождь равна 0,65, вероятность того, что 15 ноября будет идти снег, равна 0,15 и вероятность того, что 15 ноября вовсе не будет осадков, равна 0,2. Если из всех характеристик погоды интересоваться лишь вопросом о наличии и о характере осадков, то в какой из двух перечисленных дней погоду в рассматриваемом пункте следует считать более неопределенной?
Согласно тому, как понимается здесь слово «погода», опыты α1 и α2, состоящие в выяснении того, какая погода имела место 15 июня и 15 ноября, характеризуются следующими таблицами вероятностей:
| исходы опыта | дождь | отсутствие осадков |
| вероятность | 0,4 | 0,6 |
| исходы опыта | дождь | снег | отсутствие осадков |
| вероятность | 0,65 | 0,15 | 0,2 |
Поэтому энтропии наших двух опытов равны
H (α1) = — 0,4 log 0,4 — 0,6 log 0,6 ≈ 0,97 бита,
H (α2) = — 0,65 log 0,65 — 0,15 log 0,15 — 0,2 log 0,2 ≈1,28 бита > H(α1).
Следовательно, погоду 15 ноября в рассматриваемом пункте следует считать более неопределенной, чем 15 июня.
2. Энтропия сложных событий. Условная энтропия
Пусть α и β — два независимых опыта с таблицами вероятностей:
| исходы опыта | А1 | А2 | …… | Аk |
| вероятности | p(А1) | p(А2) | ……. | p(Аk) |
| исходы опыта | B 1 | B 2 | …… | B l |
| вероятности | p(B1) | p(B2) | ……. | p(Bl) |
Рассмотрим сложный опыт αβ, состоящий в том, что одновременно осуществляются опыты α и β. Этот опыт может иметь kl исходов:
где, например, А1В1 означает, что опыт α имел исход А1, а опыт β — исход В1. Очевидно, что неопределенность опыта αβ больше неопределенности каждого из опытов α и β, так как здесь осуществляются сразу оба эти опыта, каждый из которых может иметь разные исходы в зависимости от случая.
В математической теории энтропии доказывается правило сложения энтропий независимых опытов α и β, которое хорошо согласуется со смыслом энтропии как меры степени неопределенности.
Предположим теперь, что опыты α и β не независимы (например, что α и β — последовательные извлечения двух шаров иэ одной урны). В этом более общем случае мы не можем ожидать, что энтропия сложного опыта αβ будет равна сумме энтропий α и β. В самом деле, здесь может представиться такой случай, когда результат второго опыта полностью определяется результатом первого (например, если опыты α и β состоят в последовательном извлечении шаров из урны, содержащей всего два разноцветных шара). В этом случае после осуществления α опыт β уже не будет содержать никакой неопределенности; поэтому здесь естественно предполагать, что энтропия (мера степени неопределенности) сложного опыта αβ будет равна энтропии одного опыта α, а не сумме энтропий опытов α и β (можно убедиться, что это на самом деле так). Постараемся выяснить, чему равна энтропия сложного опыта αβ в общем случае.
Здесь уже нельзя заменить вероятности р (AiBj) просто произведениями соответствующих вероятностей: теперь р (AiBj) равно не р (Ai) р (Bj), а р (Ai) рAi (Bj), где рAi (Bj) — условная вероятность события Bj при условии Ai.
Энтропия опыта β зависит от исхода опыта α, так как от исхода α зависят вероятности отдельных исходов β. Полученное из этих соображений выражение естественно назвать условной энтропией опыта β при условии Ai и обозначить через HAi(β).
Учитывая сказанное, назовем условной энтропией β при условии выполнения α (мы будем обозначать его через Нα (β)) выражение:
Таким образом, окончательно имеем:
Это и есть общее правило для определения энтропии сложного опыта αβ. Его тоже можно назвать правилом сложения энтропий, аналогично выведенному выше правилу, относящемуся к тому частному случаю, когда опыты α и β независимы.
Следует отметить, что именно средняя условная энтропия Нα (β) играет существенную роль в рассматриваемых в этой книге вопросах. Дело в том, что коль скоро мы знаем заранее, какой именно исход Ai опыта α имел место, то при последующем определении условной энтропии НAi (β) опыта β мы можем полностью игнорировать все строки таблицы условных вероятностей, кроме единственной строки, отвечающей исходу Ai. Поэтому условная энтропия НAi (β) совсем не зависит от того, как изменяются вероятности отдельных исходов β при k — 1 исходах опыта α (из общего числа k исходов) и, следовательно, она лишь в весьма малой степени характеризует связь между опытами α и β , полное выражение которой дается всей таблицей условных вероятностей. Напротив того, средняя условная энтропия Нα (β), вычисление которой не предполагает известным исход α, глубоко отражает взаимную зависимость опытов α и β .
Понятие энтропии Энтропия как мера неопределенности
Подойдем к описанию случайных событий несколько с иной стороны. То, что событие случайно, означает отсутствие полной уверенности в его наступлении, что, в свою очередь, создает неопределенностьв исходах опытов, связанных с данным событием. Безусловно,степень неопределенностиразлична для разных ситуаций. Например, если опыт состоит в определении возраста случайно выбранного студента 1-го курса дневного отделения вуза, то с большой долей уверенности можно утверждать, что он окажется менее 30 лет; хотя по положению на дневном отделении могут обучаться лица в возрасте до 35 лет, чаще всего очно учатся выпускники школ ближайших нескольких выпусков. Гораздо меньшую определенность имеет аналогичный опыт, если проверяется, будет ли возраст произвольно выбранного студента меньше 20 лет. Для практики важно иметь возможность произвестичисленную оценкунеопределенности разных опытов. Попробуем ввести такую количественную меру неопределенности.
Начнем с простой ситуации, когда опыт имеет nравновероятных исходов. Очевидно, что неопределенность каждого из них зависит отn, т.е.
неопределенность = f(n)
Можно указать некоторые свойства этой функции:
f(1)=0, поскольку приn=1 исход опыта не является случайным и, следовательно, неопределенность отсутствует;
f(n) возрастает с ростомn, т.к. ввиду большого числа возможных исходов предсказание результата опыта становится весьма затруднительным.
Для определения явного вида функции f(n) рассмотрим два независимых опытаAиB, с количествами равновероятных исходов, соответственноnAиnB. Рассмотрим сложный опытC, который состоит в одновременном выполнении опытовAиB. Число возможных исходов опыта С равноnAnB, причем, все они равновероятны. Очевидно, неопределенность исхода такого опыта будет больше неопределенности опытаA, поскольку к ней добавляется неопределенностьB. Естественно допустить, чтомера неопределенности C равна сумме неопределенностей опытов A и B, т.е. неопределенностьаддитивна:
Теперь можно задуматься о том, каким может быть явный вид функции f(n), чтобы он удовлетворял свойствам (1) и (2) и соотношению ( 0 .5)? Легко увидеть, что такому набору свойств удовлетворяет функцияlog(n), причем, можно показать, что онаединственнаяиз всех возможных классов функций. Таким образом:
за меру неопределенности опыта с nравновероятными исходами можно принять числоlog(n).
Следует заметить, что выбор основания логарифма в данном случае значения не имеет, поскольку в силу известной формулы перехода от одного основания логарифма к другому
переход к другому основанию состоит во введении одинакового для обеих частей выражения ( 0 .5) постоянного множителя logba, что равносильно изменениюмасштаба(т.е. размера единицы) измерения неопределенности. Поскольку это так, мы имеет возможность выбратьудобноедля нас (из каких-то дополнительных соображений) основание логарифма. Таким удобным основанием оказывается 2, поскольку в этом случае за единицу измерения принимается неопределенность, содержащаяся в опыте, имеющем лишьдваравновероятных исхода, которые можно обозначить, например, ИСТИНА (True) и ЛОЖЬ (False) и использовать для анализа таких событий аппарат математической логики.
Единица измерения неопределенности при двух возможных исходах опыта называется бит.
(Название битпроисходит от английскогоbinarydigit, что в дословном переводе означает «двоичный разряд» или «двоичная единица».)
Таким образом, нами установлен явный вид функции, описывающей неопределенность опыта, имеющего nравновероятных исхода:

На основании формул (1.2 п.1.2.1) и ( 0 .6) несложно найти неопределенность, вносимую каждым отдельным исходом в общую. Поскольку исходовnи все они равновероятны (и, следовательно,равнозначны), а общая неопределенность равнаlog2n, из свойства аддитивности неопределенности следует, что неопределенность, вносимая одним исходом составляет



где – вероятность любого из отдельных исходов.
Таким образом, неопределенность (обозначим, наконец, ее E), вносимая каждым из равновероятных исходов, равна:
(0.7)
Теперь попробуем обобщить формулу ( 0 .7) на ситуацию, когда исходы опытов не равновероятны, например,p(A1) иp(A2). Тогда:
и 


Обобщая это выражение на nнеравновероятныхисходов, получим:
Введенная таким образом величина получила название энтропияопытаA. Вспоминая формулу для среднего значения дискретных случайных величин (1.8 п.1.2.2.), можно сказать, что


энтропия является мерой неопределенности опыта, в котором проявляются случайные события, и равна средней неопределенности всех возможных его исходов.
Энтропия как мера неопределенности
Случайные события могут быть описаны с использованием понятия «вероятность» (см. приложение А). Соотношения теории вероятностей позволяют найти (вычислить) вероятности как одиночных случайных событий, так и сложных опытов, объединяющих несколько независимых или связанных между собой событий. Однако описать случайные события можно не только в терминах вероятностей.
То, что событие случайно, означает отсутствие полной уверенности в его наступлении, что, в свою очередь, создает неопределенность в исходах опытов, связанных с данным событием. Безусловно, степень неопределенности различна для разных ситуаций. Например, если опыт состоит в определении возраста случайно выбранного студента 1-го курса дневного отделения вуза, то с большой долей уверенности можно утверждать, что он окажется менее 30 лет; хотя по положению на дневном отделении могут обучаться лица в возрасте до 35 лет, чаще всего очно учатся выпускники школ ближайших нескольких выпусков. Гораздо меньшую определенность имеет аналогичный опыт, если проверяется, будет ли возраст произвольно выбранного студента меньше 18 лет. Для практики важно иметь возможность произвести численную оценку неопределенности разных опытов. Попробуем ввести такую количественную меру неопределенности.
Начнем с простой ситуации, когда опыт имеет п равновероятных исходов. Очевидно, что неопределенность каждого из них зависит от n, т.е. мера неопределенности является функцией числа исходов f(n).
Можно указать некоторые свойства этой функции:
1. f(1) = 0, поскольку при п = 1 исход опыта не является случайным и, следовательно, неопределенность отсутствует;
2. f(n) возрастает с ростом п, поскольку чем больше число возможных исходов, тем более затруднительным становится предсказание результата опыта.
Для определения явного вида функции f(n) рассмотрим два независимых опыта α и β* с количествами равновероятных исходов, соответственно пα и пβ. Пусть имеет место сложный опыт, который состоит в одновременном выполнении опытов α и β; число возможных его исходов равно пα ∙ пβ, причем, все они равновероятны. Очевидно, неопределенность исхода такого сложного опыта α ^ β будет больше неопределенности опыта α, поскольку к ней добавляется неопределенность β; мера неопределенности сложного опыта равна f(nα ∙ nβ). С другой стороны, меры неопределенности отдельных α и β составляют, соответственно, f(nα) и f(nβ). В первом случае (сложный опыт) проявляется общая (суммарная) неопределенность совместных событий, во втором — неопределенность каждого из событий в отдельности. Однако из независимости α и β следует, что в сложном опыте они никак не могут повлиять друг на друга и, в частности, α не может оказать воздействия на неопределенность β, и наоборот. Следовательно, мера суммарной неопределенности должна быть равна сумме мер неопределенности каждого из опытов, т.е. мера неопределенности аддитивна:

* Для обозначения опытовсо случайными исходами будем использовать греческие буквы (α, β и т.д.), а для обозначения отдельных исходовопытов (событий) — латинские заглавные (А, В и т.д.).
Теперь задумаемся о том, каким может быть явный вид функции f(n), чтобы он удовлетворял свойствам (1) и (2) и соотношению (2.1)? Легко увидеть, что такому набору свойств удовлетворяет функция log(n), причем можно доказать, что она единственная из всех существующих классов функций. Таким образом:
за меру неопределенности опыта с п равновероятными исходами можно принять число log(n).
Следует заметить, что выбор основания логарифма в данном случае значения не имеет, поскольку в силу известной формулы преобразования логарифма от одного основания к другому.

переход к другому основанию состоит во введении одинакового для обеих частей выражения (2.1) постоянного множителя logb а, что равносильно изменению масштаба (т.е. размера единицы) измерения неопределенности. Поскольку это так, имеется возможность выбрать удобное (из каких-то дополнительных соображений) основание логарифма. Таким удобным основанием оказывается 2, поскольку в этом случае за единицу измерения принимается неопределенность, содержащаяся в опыте, имеющем лишь два равновероятных исхода, которые можно обозначить, например, ИСТИНА (True) и ЛОЖЬ (False) и использовать для анализа таких событий аппарат математической логики.
Единица измерения неопределенности при двух возможных равновероятных исходах опыта называется бит*.
* Название бит происходит от английского binary digit,что в дословном переводе означает «двоичный разряд» или «двоичная единица».
Таким образом, нами установлен явный вид функции, описывающей меру неопределенности опыта, имеющего п равновероятных исходов:

Эта величина получила название энтропия. В дальнейшем будем обозначать ее Н.
Вновь рассмотрим опыт с п равновероятными исходами. Поскольку каждый исход случаен, он вносит свой вклад в неопределенность всего опыта, но так как все п исходов равнозначны, разумно допустить, что и их неопределенности одинаковы. Из свойства аддитивности неопределенности, а также того, что согласно (2.2) общая неопределенность равна log2 п, следует, что неопределенность, вносимая одним исходом составляет

где р = — вероятность любого из отдельных исходов.
Таким образом, неопределенность, вносимая каждым из равновероятных исходов, равна:

Теперь попробуем обобщить формулу (2.3) на ситуацию, когда исходы опытов неравновероятны, например, р(А1) и р(А2). Тогда:

Обобщая это выражение на ситуацию, когда опыт α имеет п неравновероятных исходов А1, А2. Ап, получим:

Введенная таким образом величина, как уже было сказано, называется энтропией опыта ос. Используя формулу для среднего значения дискретных случайных величин (А.11), можно записать:

А ( α ) — обозначает исходы, возможные в опыте α.
Энтропия является мерой неопределенности опыта, в котором проявляются случайные события, и равна средней неопределенности всех возможных его исходов.
Для практики формула (2.4) важна тем, что позволяет сравнить неопределенности различных опытов со случайными исходами.