О нормальном распределении

В задачах по теории вероятностей часто появляется нормальное распределение. Иногда оно сразу фигурирует в условии, и иногда оно появляется в процессе решения. Подробнее о нормальном распределении можно почитать в интернете, например здесь:

http://ru.wikipedia.org/wiki/%... 5%ED%E8%E5

. В чем же особенность нормального распределения, что отличает его от других? Начну я издалека, с так называемого биномиального распределения. Предположим, мы повторяем некоторое испытание N раз. Если испытание может закончиться «успехом» с вероятностью p или «неудачей» с вероятностью q (естественно, p+q=1, поскольку «неудача» – это просто «не успех» и других вариантов нет) . «Успех» - это условное обозначение события, не имеющее оценки «хорошо». Например, если в револьвер вставить 1 патрон, крутануть и нажать курок, то для такого испытания «успех» - это выстрел (вряд ли участник «русской рулетки» посчитает такой исход успехом). Здесь вероятность «успеха» p =1/6. Другой пример – посеяли семечко и оно либо взошло («успех», с вероятностью p), либо нет («неуспех», с вероятностью 1-p). Последний пример: бросаем монетку, а успехом считаем выпадение «орла» (вероятность p=1/2). Такая последовательность испытаний, в которой вероятность успеха в каждом испытании постоянна, а испытания независимы (т.е. вероятность «успеха» в каждом испытании не зависит от того, сколько раз и когда был достигнут успех в предыдущих испытаниях) называется схемой бернулли. Успех и неуспех в схеме бернулли симметричны, т.е. мы можем считать «успехом» то, что раньше считали «неуспехом» и наоборот. Нужно только не забыть поменять вероятности (теперь «успех» будет иметь вероятность 1-p, а «неуспех» p). Сказать точно, сколько выпадет успехов при N испытаниях (удовлетворяющих схеме бернулли) мы не можем, т.е. это величина случайная. А случайные величины описываются распределением. В частности, случайная величина «Количество успехов при n испытаниях» принимает значение "k" с вероятностью

. Коэффициенты

(они называются биномиальными коэффициентами) находятся по формуле

. Теория биномиального распределения достаточно развита и она говорит, что математическое ожидание количества успехов в n испытаниях равно

. Если нарисовать график P(n,x) для x в диапазоне от 0 до n, то получатся «столбики», сначала маленькие, потом все выше, выше. Максимум при

(плюс-минус 1), а дальше спад и снова маленькие-маленькие. Наконец, они станут=0 при X>n (невозможно получить успехов больше, чем было испытаний). Площадь столбика в точке X – это вероятность, что успехов будет ровно X.

Суммарная площадь столбика в точке X и столбиков левее него – это вероятность, что количество успехов не более X. Как ее посчитать? Да очень просто – достаточно сложить P(n,k) для всех k<=X Пусть мы посадили 200 семян со всхожестью 0.8. Теория биномиального распределения говорит, что количество взошедших семян будет около 0.8 * 200=160. Это не значит, что взойдет ровно 160 семян – это значит, что если мы много-много раз будем сеять по 200 семян, то количество взошедших – это тоже случайная величина с максимумом в районе 160. Типичный в подобных задачах вопрос : а) какова вероятность, что количество взошедших семян от 155 до 170? б) какова вероятность, что количество взошедших семян не более 170? Для ответа на а) надо сложить все столбики с К от 155 до 170, а для ответа на б) надо сложить все «столбики» с K от 0 до 170. У-п-с-пс. Это 171 слагаемое, каждое из которых содержит факториалы (200!, 170! и тд), да и степени не слабые (калькулятор такое не осилит). Как быть? Взглянем еще раз на картинку и соединим вершины столбиков линией. Вместо суммирования площадей столбиков возьмем площадь под этой линией (т.е. интеграл). При малом количестве столбиков невооруженным глазом видна разница. Но чем столбиков больше, тем разница (относительная) меньше. При достаточно большом количестве разница доли процента (чего вполне достаточно для практики и ответов к задачам). Итак, мы заменяем суммирование столбиков интегралом по кривой. Но что это за кривая, какие ее свойства? Одно свойство очевидно – интеграл от 0 до N равен 1, т.к. интеграл от плотности должен равняться единице. Другое свойство - матожидание среднего количества «успехов» M должно быть таким же, как для столбиков (пики должны совпадать). Наконец, чтобы при расчете площадей можно было переходить от столбиков к интегралу, нам необходимо, чтобы среднеквадратичные отклонения (

ско

) были одинаковыми. Где же взять такое замечательную «кривую», чтобы всему этому удовлетворяла, да при этом и интеграл считался? Есть такая кривая - это функция плотности нормального распределения! Биномиальное распределение мы заменяем нормальным с таким же матожиданием и дисперсией (дисперсия-это квадрат ско, соотвественно ско - корень из дисперсии). Вдумчивый читатель засомневается (и обоснованно): для биномиального распределения вероятности при K<0 и K=>N равны 0, а у нормального «хвосты» тянутся в бесконечность, причем в обе стороны. На это можно сказать следующее: при решении задач ответ нужен с определенной точностью, а при достаточно большом количестве испытаний площадь под «хвостами» настолько маленькая, что оно гораздо меньше требуемой точности ответа. Допустимость такой замены и условия, когда такую замену можно делать - суть

теоремы Муавра-Лапласа

. Если коротко, то замена допустима, когда число испытаний N>100 и дисперсия n*p*q>20. При этих параметрах "столбики" биномиального распределения хорошо аппроксимируются кривой нормального распределения, но

только вблизи максимума

(отклонение от него до 3-5 сигм). Чем меньше N или дисперсия или мы дальше от максимума, тем хуже аппроксимация. Ладно, заменим биномальное распределение нормальным. Но как для него посчитать площадь под кривой (известно, что этот интеграл не берется в элементарных функциях). Обозначим f(X,M,S) функцию плотности вероятности для нормального распределения, где M -матожидание и S –ско (вместо M часто пишут "мю", в вместо S «сигма», но их неудобно набирать). Графики f() похожи на «колоколы» с максимумом в точки M и характерной шириной S (картинка слева):

. Пусть F(X,M,S) –функция распределения для f(X,M,S), т.е. площадь под кривой от

до X (для запоминания – маленькая f используется для функции плотности, а большая F для функции распределения, т.е интеграла от f). Графики F(X) показаны выше на картинке справа. Положим M=0, а S=1 (нормальное распределение с такими параметрами называется «стандартным»), оно симметрично относительно 0 (на графиках оно зеленое). Соответствующую функцию распределения обозначим Fс(X) (маленькая "с" - это "стандартное). Естественно,

. Из симметричности ясно, что Fc(0)=0.5 (это верно для любой функции F(X,0,S), у которой M=0). Для функции Fc(X) можно рассчитать значения на компьютере с каким-то шагом, занести их в таблицу и в дальнейшем ей пользоваться). Но как табулировать от

? Опустим нашу функцию вниз на 0.5 и определим

функцию Лапласа

Ф(x)=Fc(x)-0.5. Тогда Ф(

)=-0.5, Ф(0)=0, Ф(

)=1, . Обратите внимание – функция Ф(x) антисимметрична, т.е. Ф(-x)=-Ф(x) и поэтому достаточно табулировать ее только для x>=0. Итак, мы получили ответ на вопрос: "какова вероятность, что случайная величина, распределенная по стандартному нормальному закону примет значение <=X ?" Ответ: вероятность равна Fc(x)=Ф(х)+0.5. А если нормальное распределение имеет параметр M и S=1 (т.е. «сдвинутое» стандартное)? Опять составлять таблицу для F(X,M,1)? Вовсе нет. Раз F(X,M,1) - это «сдвинутое стандартное», значит F(X,M,1)=Fc(X-M) (надо сместить аргумент). В частности, F(M,M,1)=Fc(0)=0.5. Другой случай: F(X,0,S), где матожидание нулевое, а ско не равно 1. Плотность вероятности для такого распределения – это тоже симметричный относительно нуля колокол, только он шире (и ниже) стандартного при S>1 либо уже (и выше) при S<1. А это означает, что для расчета F(X,0,S) надо не сдвигать аргумент, а сжимать/растягивать: F(X,0,S )=Fc(X/S). И последний штрих, когда нормальное распределение имеет и ненулевое матожидание и ско, отличную от 1. Возможно, читатель догадался, что для такого «тяжелого» случая надо использовать и сдвиг и растяжение одновременно: F(X,M,S)= Fx((X-M)/S). Для выполнения расчетов, связанных с нормальным распределением (имеющим два произвольных параметра) достаточно знать значения одной-единственной «стандартной» функции Fc(x). Далеко не любое распределение с параметрами обладает такой замечательной особенностью.

Перейдем к практике – в конце концов, как посчитать F(X,M,S) для нашей задачи (сеем 200 семян со всхожестью 0.8 и надо ответить на вопросы: какова вероятность, что взойдет не более 170 семян, от 155 до 170 семян) ?

1. В Excel среди многих полезных функций есть НОРМ.РАСП(X,M,S,ЛОЖЬ) – это в точности f(X,M,S), т.е. функция плотности вероятности нормального распределения с параметрами M,S. А как посчитать функцию распределения F(X,M,X) для него же? Очень просто – заменить «ложь» на «истина», те. F(X,M,S)= НОРМ.РАСП(X,M,S,ИСТИНА). Естественно, НОРМ.РАСП(X,0,1,ложь/истина) будет соответствующей функцией для стандартного нормального распределения. В Excel при выполнении расчетов даже не надо сдвигать/растягивать аргументы – есть все готовое.

2. А если Excel недоступен или им нельзя пользоваться для получения ответа? Тогда придется сначала вычислить параметры M и S нашего распределения (как выше). Для расчета F(X,M,S) используем переход к стандартной функции: F(X,M,S)=Fc((X-M)/S)=Ф((X-M)/S )+0.5, а значение функции Лапласа Ф(X) возьмем из таблицы в интернете:

http://igriki.narod.ru/laplastable.htm

Важно:

к сожалению с функцией Лапласа очень просто запутаться, поскольку разные авторы используют разные определения. Мы выше определили функцию Лапласа так: Ф(x)=Fc(X) -0.5, где Fc(X)– вероятность, что случайная величина со стандартным нормальном распределением примет значение <=X (проще говоря, площадь под «колоколом» левее X для f(X,0,1)) . Соответственно, при х>0 это площадь под колоколом от 0 до x. А для x<0 используем антисимметричность: Ф(-x)=-Ф(x). Другое определение такое: Ф2(x)=площадь под колоколом от –x до x. В силу симметричности оно просто в 2 раза больше «нашей» Ф(x), т.е. Ф2(x)=2Ф(x). Наконец, третье определение Ф3(x)=Fc(x), т.е. в этом случае она просто совпадает со стандартной нормальной функцией распределения и связана с нашей формулой: Ф3(x)=Ф(x)+0.5. Увы, на этом путаница не заканчивается – функцией Лапласа могут называть функцию плотности вероятности стандартного нормального распределения fc(x). Чтобы разобраться, понимают ли под функцией Лапласа f() или какой-то вариант Ф(), посмотрите нет ли рядом слов «локальная», «интегральная». «Локальная функция Лапласа» - это всегда fc(x), а «интегральная функция Лапласа» - всегда вариант Ф(х) (какой именно – надо копать дальше). Если у нас «таблица функции Лапласа», смотрим значение при X= 0:

А) от 0.39 до 0.40, при увеличении X значения в таблице уменьшаются и стремятся к 0.

– это таблица плотности, она же локальная функция Лапласа,

Б) 0, при увеличении X стремятся к 0.5. Это «наша» функция Лапласа. Часто таблица заканчивается при X в районе 5, поскольку дальше «хвост» плотности настолько мал, что его отличием от нуля пренебрегают, т.е. Ф(x)=0.5 при x>5

В) 0, при увеличении X стремятся к 1. Это Ф2(x) , которая в 2 раза больше нашей.

Г) 0.5, при увеличении X стремятся к 1. Это стандартная нормальная функция распределения, те. Ф3(x) выше.

Вернемся к нашим «баранам», т.е. к семенам. Посадили 200 семян со всхожестью 0.8 и надо найти, какова вероятность что количество взошедших семян не больше 170. Чтобы использовать нормальное распределение, надо определить его параметры: Матожидание

и ско

подставляем в формулу Excel: НОРМ.РАСП(170;160;5.657;ИСТИНА) и получаем 0,9614.

Теперь посчитаем F(X,M,S)=Fc((X-M)/S)=Ф((X-M)/S)+0.5=Ф(1,77)+0,5. По таблице находим, что Ф(1.77)=0.4616 и получаем 0,9616. Табличный расчет чуть-чуть не совпал с Excel, но 3 десятичных знака такие же.

А сейчас фокус. Выше я писал, что для расчета можно сложить 171 столбик с факториалами и степенями, а это никакому калькулятору не под силу. Но что не под силу калькулятору – под силу Excel: формула БИНОМ.РАСП(170;200;0,8;ИСТИНА) махом суммирует 171 столбик и дает результат: 0.9717.

Наше приближенный расчет с помощью нормального распределения и использования таблицы Лапласа дал ошибку около 1% (что весьма неплохо).

Как теперь ответить на 2-й вопрос задачи: какова вероятность, что количество взошедших семян от 155 до 170, что для этого надо сделать? А для этого надо от вероятности «Взошло не более 170 семян» отнять вероятность «Взошло не более 154 семян». Их разница – это и есть «Взошло от 155 до 170 семян».

Сначала используем Excel: НОРМ.РАСП(170;160;5.657;ИСТИНА)- НОРМ.РАСП(154;160;5.657;ИСТИНА)=0.9614-0.1444=0.817

Теперь “через Лапласа”: Ф((170-160)/5.567)-Ф((154-160)/5.567)=Ф(1.77)-Ф(-1.06)= 0,4616+0,3554=0,817. И опять 3 знака таблицы и Excel совпали! Точный расчет в Excel через Биномиальное распределение дает 0,9717-0,1651=0,8066, т.е. расхождение 1%.

Наконец,

самое главное о нормальном распределении

. Пусть есть N различных независимых случайных величин, распределенных по нормальному закону (у каждой свое матожидание и своя дисперсия). Какой закон будет у их суммы? Ответ: сумма будет тоже распределена по нормальному закону, причем матожидание суммы равно сумме матожиданий слагаемых, а дисперсия суммы равна сумме дисперсий слагаемых. Это абсолютно точный результат. Пусть у нас опять N независимых случайных величин, но теперь у каждой

свой

закон распределения (причем такой, что существует матожидание и дисперсия). Тогда распределение суммы будет стремиться к нормальному распределению, причем матожидание суммы равно сумме матожиданий слагаемых а дисперсия суммы равна сумме дисперсий слагаемых. Когда складывается много независимых случайных величин, то

результирующее распределение стремится к нормальному

независимо от того, какие распределения у отдельных слагаемых.

Этот удивительный факт доказывается математически и называется центральной предельной теоремой (ЦПТ). Выставим ли мы много одинаковых ведерок под дождь и измерим количество воды в них, станем ли измерять размеры изготовленных на станке деталей или посчитаем процент проголовавших по участкам – везде должны получить в результате нормальное распределение или как его называют «распределение Гаусса». Много независимых случайных событий при объединении приводят к нормальному. А если не приводят – значит, они либо зависимы либо не случайны.

Мы это уже видели на примере семян. Для каждого семечка распределение либо 1 (взошло) с вероятностью 0.8 либо нет ( с вероятностью 0.2). Такое распределение далеко от «колокола». А сумма для 200 семян практически нормальное распределение (разница с нормальным в расчетах около 1%). И чем больше семян взять, тем меньше (в процентах) будет эта разница.

Краткое резюме: все прочие распределения в определенном смысле «стремятся к нормальному», все нормальные описываются двумя параметрами. Сдвигом и сжатием любое нормальное приводится к стандартному нормальному, которое рассчитывается по таблицам функций Лапласа