Точечный и интервальный методы оценки параметров гиперслучайных величин

УДК 519.2+600.1 И.И. ГОРБАНЬ

ТОЧЕЧНЫЙ И ИНТЕРВАЛЬНЫЙ МЕТОДЫ ОЦЕНКИ ПАРАМЕТРОВ ГИПЕРСЛУЧАЙНЫХ ВЕЛИЧИН

Abstract: Pointed and interval estimate methods has been developed for special non-determine phenomena (called as hyper-random values) for which the probable measure is absent.

Key words: hyper random values, non-determine phenomena.

Анотація: Розроблені точковий та інтервальний методи оцінки параметрів особливого класу недетермінованих явищ - гіпервипадкових величин, для яких не визначена імовірнісна міра.

Ключові слова: гіпервипадкові величини, недетермінові явища.

Аннотация: Разработаны точечный и интервальный методы оценки параметров особого класса недетерминированных явлений - гиперслучайных величин, для которых не определена вероятностная мера.

Ключевые слова: гиперслучайные величины, недетерминированные явления.

1. Введение

Все реальные явления (события, величины, процессы и поля), за исключением небольшого числа физических констант (таких как скорость света, постоянная Планка и др.), зависят от условий, в которых они наблюдаются. Условия постоянно меняются, а с ними меняются параметры и характеристики явлений. Поскольку всегда условия точно не известны, полностью описать явление детерминированными методами оказывается невозможным. Для описания явлений в неопределенных условиях используют методы теории вероятностей и математической статистики. Чтобы применять эти методы, необходима некоторая априорная информация о законе распределения исследуемого явления. Когда такая информация отсутствует, приходится делать предположение о виде распределения. Найти адекватное распределение иногда оказывается очень легко, иногда же не удается, несмотря на серьезный статистический анализ.

Исследование причин возникающих трудностей привело [1 - 3] к пониманию, что далеко не всегда существует определенный закон распределения. Условия меняются, а с ними может меняться и закон распределения. Отсутствие закона распределения означает, что вероятностная мера не определена. Неопределенные (недетерминированные) явления, для которых нельзя указать вероятностную меру, относятся к особому классу неслучайных, так называемых гиперслучайных [2] явлений.

Гиперслучайное явление можно представить статистической структурой (W,З, G,Pg), где

W - пространство элементарных событий, З - борелевское поле подмножеств событий, G -множество условий g, P - распределение вероятности в условиях g. Четверка

принципиально отличается от четверки, используемой [4] для описания случайных явлений, хотя по виду они и совпадают. Отличие состоит в том, что при рассмотрении случайного явления условия считаются постоянными, при рассмотрении же гиперслучайного явления допускается изменение условий в пределах множества G .

Исследованию гиперслучайных явлений посвящены работы [1 - 3, 5 - 7]. В пяти первых статьях главное внимание уделялось формированию теории гиперслучайных явлений, аналогичной классической теории вероятностей. При этом вопросы математической статистики

гиперслучайных явлений оказались несколько в стороне. Они нашли отражение лишь в работе [7]. В этой статье были определены основные базовые понятия, такие как гиперслучайная выборка, статистическая оценка гиперслучайной величины и др., предложена методология формирования гиперслучайных оценок и исследована их сходимость.

Целью настоящей статьи является дальнейшее развитие теории оценки гиперслучайных величин по образцу известной теории оценки случайных величин [8 - 10].

Гиперслучайные оценки, как и случайные, могут быть точечными и интервальными. Разработке обоих типов гиперслучайных оценок и исследованию их свойств посвящены отдельные подразделы статьи.

2. Точность точечных оценок

Рассмотрим задачу оценки векторного параметра 0 по результатам наблюдения гиперслучайной величины X. Точечную гиперслучайную оценку 0* будем рассматривать как некоторую статистику - функцию У = У(X) выборки X из гиперслучайной генеральной совокупности. Оценка 0 представляет собой гиперслучайную величину, которую можно описать множеством случайных величин 0*/ g, соответствующих различным условиям g Е G : 0* = {0*/ g Е о} .

е * *

Конкретную величину 0 гиперслучайной оценки 0 можно представить множеством детерминированных величин 0*/g, формируемых при различных условиях g Е О :

е* = {е*/g Ео} .

Точность точечной оценки в зависимости от постановки задачи можно характеризовать по-разному. При фиксированном векторном параметре 0 и фиксированном условии g в качестве

точности оценки 0 может выступать величина среднего квадрата абсолютной погрешности

0 * 0 2 е

Аg =М[ 0 — 0 /0,g]. Для характеристики точности оценки без привязки к определенным условиям можно говорить об интервале, в котором находится величина А2. Границами этого

е е 2 е

интервала могут служить А^ = шт[А2, А2] и А^ = шах[А^, А2], где Д2 = М5[ 0* -0 /0],

е е 2 е

Д_, = М_,[ 0 -0 /0] - средние квадраты абсолютной погрешности, рассчитанные с

использованием соответственно верхней и нижней границ функции распределения (0*/0), ¥1 (0*/ 0) .

Точность точечной оценки можно охарактеризовать также другими границами среднего квадрата погрешности:

2

2

* gЕG

А2 = БцрМ[ 0* — 0 /0,g], А2 = ^М[ 0* — 0 /0,g].

gЕG

3. Несмещенные и состоятельные оценки

Гиперслучайную оценку 0* параметра 0 будем называть несмещенной (несмещенной при всех условиях gе G), если для всех gе G математическое ожидание m~* =M[0*/0,g] условной

случайной величины 0*/0,g, рассчитанное по совокупности выборок, равно оцениваемому

параметру: m~. = 0 . В противном случае оценку будем называть смещенной.

0 /g

Необходимым условием несмещенности гиперслучайной оценки является равенство между собой математических ожиданий m§* Vg Е G. Отсюда вытекает, что при различных

математических ожиданиях m§* для разных условий g оценка 0* оказывается смещенной.

Следует обратить внимание, что даже для несмещенной оценки математические ожидания границ т5, т1 не всегда равны математическим ожиданиям т§. условных случайных величин

0*/0,g. Равенство имеет место, если условия не меняются и гиперслучайная величина вырождается в случайную величину.

В скалярном случае границы среднего квадрата погрешности Д?., Д2 и А2, Д2 можно

представить соответственно как АS = oS + Є50, А} = о} + Є10 и Аs = sup[og + Є0/g],

gG^G

(0 * - mS)2 / ё; og = М, (0* - mt)2 / ё

- условная дисперсия оценки, ЄS0 = (mS — ё),

А,. = inf [о g + Є 0 / g ], где Os = М

gЄG * *

- дисперсии

границ оценки, ог = М

(0* — me*/g ) / ё, g

Є10 = (т1 — 0) - смещения (систематические погрешности) относительно соответственно верхней и нижней границ функции распределения оценки и Є 0 / ^ = (т9. — 0) - смещение

(систематическая погрешность) в условиях g (рис. 1). Для характеристики абсолютной погрешности оценки Д= 0* -9 скалярного параметра 0 можно использовать интервал

[є50 — ка8, є 10 + ка1 ], определяемый систематическими погрешностями Є50, Є10,

среднеквадратическими отклонениями границ а5, а 1 и некоторой константой к, а для характеристики оценки 0* - интервал [т5 — кав, т} + ка 1 ] (рис. 1).

Если условные функции распределения случайных величин 0*/0,g не пересекаются и с ростом условных математических ожиданий оценки условные дисперсии оценки увеличиваются (тип распределения «а» в соответствии с классификацией работы [5]) или уменьшаются (тип распределения «б»), последний интервал определяется границами математического ожидания

оценки тб,, ті и границами среднеквадратического отклонения оценки ож, Оі . Для

распределения типа «а» он равен [тг — ко г, т* + ко * ], а для распределения типа «б» -

К — ко *, т* + ко г ].

Рис. 1. Веер условных функций распределения Е (0/0,g) (тонкие кривые) для различных условий g, ^ (0 /0) (жирная сплошная кривая) и нижняя

верхняя Е (0 /0) (жирная сплошная кривая) и нижняя Е (0*/0) (жирная пунктирная кривая) границы

функции распределения

е * А

Гиперслучайную оценку 0 фиксированного параметра 0 назовем состоятельной, если

е * е

при всех условиях gе О случайная оценка 0 / 0, g сходится по вероятности [7] к этому

параметру: Нш Р{

N

0 * — 0

>е / 0, g} = 0 Vg Е О , где N - объем выборки для каждого

условия g, е > 0 - как угодно малое число. Состоятельность оценки означает, что она удовлетворяет закону больших чисел.

Нетрудно убедиться, что необходимым условием состоятельности гиперслучайной оценки является вырождение ее в случайную величину при N . Отсюда следует, что оценки, сохраняющие гиперслучайный характер при N  ¥ , не состоятельны.

В работе [3] была выдвинута гипотеза о том, что все реальные явления, обычно рассматриваемые как случайные, в действительности являются гиперслучайными. Если это действительно так, то все оценки реальных величин оказываются несостоятельными. Отсюда следует, что потенциальная точность любых измерений ограничена.

4. Эффективная оценка скалярного параметра

*

Важной характеристикой оценки является ее эффективность. Гиперслучайную оценку 0е скалярного фиксированного параметра 0 назовем эффективной при всех условиях gе О, если

*

условные математические ожидания квадрата отклонения оценки 0 е от параметра 0 по

*

совокупности выборок заданного объема N не больше, чем для любых других оценок 0 .:

М[(0* - Є)2 / Є, е] < М[(0* - 0)2 / 0, е], і = 1,2,..., Уе Є О .

* 2 * Величина М (0 — 9) /9,е в общем случае не является дисперсией оценки Б [0 */ 9,Е ].

Она равна дисперсии лишь для несмещенных оценок. Для таких оценок условие эффективности может быть записано в виде О[0*/0^] < О[0*/0^], г = 1,2,... Vg е О .

Эффективность оценки, как и несмещенность, зависит от наличия априорных данных о распределении гиперслучайной величины X и от вида распределения.

Мерой эффективности могут служить границы относительной эффективности оценки I*, 11, определяемые как границы отношения математического ожидания квадрата отклонения

*

эффективной оценки 0* к математическому ожиданию квадрата отклонения рассматриваемой

Границы относительной эффективности находятся в интервале [0,1]. В случае, когда оценка эффективна, I* = ^ = 1.

Границы погрешности оценки можно оценить с помощью следующей теоремы.

Теорема 1. Пусть по выборке х объемом N для каждого условия gе О гиперслучайного

области определения N -мерной условной плотности вероятности /м (х / 0, е) не зависят от 0 . Эта плотность вероятности абсолютно интегрируема по х и дважды дифференцируема по 0 и,

оценки 0 *:

М[(01 — 9)2/9,е ] . М[(0 — 9)2/9,е ]

I* = 8иР---------ї------;------, ч = ті------------ї-------;-----

* еєО М[(0 * — 9)2/9,е] і ЕЄО М[(0 * — 9)2/9,е]

вектора

оценивается скалярный фиксированный параметр 0 . При этом границы

кроме того, для условной случайной оценки 0*/0,Е существуют первые два момента. Тогда границы среднего квадрата абсолютной погрешности , Д2 и границы

условной дисперсии

определяются неравенствами

где JN / - информация по Фишеру для случайной величины 0 */9,е :

\ / ^ \ 2 _ ^

М 1пfN

яа Яй2

д0 д0

М — оператор математического ожидания, действующий на вектор X .

Доказательство этой теоремы основано на известном неравенстве Крамера - Рао для случайных оценок. При выполнении указанных в теореме условий для случайных величин 0 */0,я справедливо следующее неравенство:

, о

дег

М[(0* - 0)2/0,е] > Б [0 */0,^] > На его основании справедливы неравенства (2).

1+-

'0 / я

д0

Из выражения (2) видно, что для обеспечения нулевой дисперсии величина

де

0 / я

д0

должна

равняться -1. Отсюда следует, что, так как и в случае оценки случайных величин, невозможно одновременно обеспечить нулевое смещение и нулевую дисперсию.

Для однородной независимой выборки неравенства (2) имеют вид

2

М, (0 *- \ 2 - 0) /0 > Б, [0 */0 > Бир яео де 1+ де 0/я д0 \

М. (0 *- /0 2 )0 1 > Б. 0 */0] > м де 1+ де 0/я

г я ес V д0 ,

где J1/ - условная информация по Фишеру, определяемая одномерной условной плотностью

распределения f1(X/ 0, я): J1/ = —М

д21п У1

Вместо приведенного выше определения эффективной оценки можно ввести другое определение,основанное на неравенстве(4).

Эффективной оценкой 0*е назовем оценку 0 *, для которой границы математического

ожидания определяются равенствами

2

М,

М,.

(0 * — 0) /0

(0 * — 0)2 /0

дг

1+ дг 0/я

д0

= Бир----------

яеС т.

1+

де

1/я

0/я

д0

= тГ

/ я

В общем случае определения (1) и (5) не эквивалентны. Если эффективная оценка в соответствии с выражениями (5) всегда удовлетворяет неравенству (1), то эффективная оценка в соответствии с выражением (1) не всегда удовлетворяет равенствам (5). Если не существует эффективной оценки в соответствии с выражениями (5), то эти выражения характеризуют не потенциальную точность оценки, а нижнюю границу точности оценки.

2

2

Теорема 2. Пусть по выборке х объемом N для каждого условия £є G гиперслучайного вектора X = {X/£ Є G} оценивается скалярный фиксированный параметр 0 . При этом границы области определения границ N -мерной плотности вероятности /ж(х / 0), /ш(х / 0) не зависят от 0 , границы плотности вероятности абсолютно интегрируемы по х и дважды дифференцируемы по 0 и, кроме того, для гиперслучайной оценки 0*/9 существуют первые два момента границ. Тогда средние относительно границ квадраты абсолютной погрешности Д^, Д? и дисперсии

границ Б5 ^0*/9|, Б1|0*/9| определяются неравенствами

2

Д2 >Б5 10 /9|>-

1+-

дє

д9

М,

д 1п

д9

Д2 >Б1 10 /9|>-

1+-

дє

1 о

д9

М

д 1п /N (Х/9) д9

где М 5, М1 - операторы математического ожидания соответственно для верхней и нижней

границ, действующие на вектор X.

Доказательство этой теоремы основано на аналогичной теореме для случайного вектора.

Границы функции распределения гиперслучайного вектора X можно рассматривать как функции

распределения случайных векторов X/и X/^, соответствующие условиям ^ и ^ ,

которые могут принадлежать, а могут и не принадлежать множеству G . На основании неравенства (3) справедливы неравенства (6).

Полученные результаты допускают обобщения на многомерный случай.

5. Эффективная оценка векторного параметра

Условной информационной матрицей Фишера назовем матрицу 1N / с элементами

д 2 1п fN

1І / £ = М

д 1п fN

д0

д0

= -М

д0 гд0,

* з

(і, І = 1, К),

определяемыми для К -мерного параметра 0 с помощью N -мерной условной плотности вероятности fN (X / 0, я) N -мерного случайного вектора X.

2

2

2

Отметим, что в том случае, когда N -мерный случайный вектор X для каждого условия я е О описывается гауссовским распределением с N -мерным математическим ожиданием

£(0/я) и корреляционной матрицей размером NXN, то [10] элементы условной

информационной матрицы Фишера

/_ = а?Г(е/ж> дМм („=1К),

V/е д0г я д0. К’-' '

1 У

где Т - оператор транспонирования.

Нижняя граница условной корреляционной матрицы ошибок

Я§Ф/ = М[(0* — 9>(0* — 9>Т/9,я] размером К хК определяется теоремой 3, обобщающей теорему 1.

Теорема 3. Пусть по выборке х объемом N для каждого условия яе О гиперслучайного вектора X = {X/я Е О} оценивается векторный параметр 0 = (01,..., 0К). При этом существует матрица, обратная матрице Б , размером К хК с элементами

g

д дв

dj/g = 1+-еto/g 0, j = 1,K), где ei0/g (i = 1,K) - компоненты вектора смещения e0/g .

Тогда

supUTR^ U < supUTDgIN/gDg'U,

geG g geG

inf U TR^ U < inf U TDsIn /gDg-1U,

geG 0 / g geG g N 'g g

где U - K-мерный вспомогательный вектор.

Доказательство теоремы основано на известном неравенстве Крамера - Рао для векторных случайных оценок, записываемом в данном случае для фиксированных условий g, и последующем переходе к границам.

Для несмещенной оценки неравенства (8) имеют вид

supU1 Я-1 U < supU1IN/gU,

geG ' geG

inf U TR-1 U < inf U TIN, U.

geG 0 /g - geG N/g

Эти неравенства аналитически выражает тот факт, что верхняя и нижняя границы нижней

границы эллипсоида рассеяния UTR— U = 1 произвольной несмещенной оценки 0* целиком

в / g

находятся в соответственно в верхней и нижней границах эллипсоида рассеяния UTIN / gU = 1, определяемом условной информационной матрицей Фишера.

6. Эффективная гиперслучайная оценка случайного параметра

Перейдем к рассмотрению понятия эффективной гиперслучайной оценки для случайного параметра 0.

Теорема 4. Пусть по гиперслучайной выборке х объемом N для каждых условий я оценивается скалярный случайный параметр 0, описываемый плотностью вероятности ^(0). При этом ^ +1)-мерная условная плотность вероятности fN+1( х, 0 / я) дважды

^ 0 дfN+1(х; 0 / д 2 f N+1(х; 0 / х 0

дифференцируема по 0, ---------------- и ---------2------ абсолютно интегрируемы по х и 0,

50

502

а Нш Г (0 * — 0 ) fN+1(х; 0 / я) = 0. Тогда

0^±го и

М, |(0 * — 0>2 ]> 8ир J—1g, М,[(0 * — 0)21> J—’g,

,еа "'я '  **>

где JN / - условная информация по Фишеру, определяемая выражением

М [[ д 1п fN+1( X;0 / я > 2' = —М д 21п fN+1( ^;0 / я >

50 V 502

N / я

а оператор математического ожидания М действует в последнем выражении на X и 0. Доказательство неравенств (10) строится по рассмотренной выше схеме.

Формулы (10) обобщаются на случай К -мерного векторного случайного параметра 0. Для

несмещенных оценок соответствующие неравенства имеют вид (9), где Я -, - корреляционная

9 / я

матрица ошибок размером К х К :

с.гг.

Яс, =М

9 / я

(0* — 0) (0* — 0)т/я 1г - условная информационная матрица Фишера с элементами

д 1п fN+к (^;0 /я > д 1п fN+к (^;0 /я >

и / я = М

50,

50

где в выражении (11) оператор математического ожидания действует на оценку 0 * и параметр 0,

а в выражении (12) - на X и 0.

Гиперслучайную оценку 0* фиксированного параметра 0 будем называть достаточной (при всех условиях я е О), если для всех я е О N -мерная условная плотность вероятности

fN(х1,...,xN/0*,я) выборки гиперслучайной величины X не зависит от параметра 0 , т. е. оценка

несет всю сосредоточенную в выборке полезную информацию о параметре 0 .

Если оценка эффективная, то она достаточная. Обратное утверждение неверно.

го

Для характеристики точности оценки можно использовать другой подход, аналог которого широко используется для случайных оценок, - метод интервального оценивания.

7. Метод интервального оценивания

Пусть для фиксированного параметра 0 существует гиперслучайная оценка 0*, границы функции распределения погрешности Д= 0* -9 этой оценки описываются выражениями Е(9* - 9) ,

Е (9* -9) , а границы плотности распределения - выражениями /(9* -9) , / (9* - 9) (рис. 2).

Рис. 2. Границы плотности распределения погрешности Д= 0* -9 оценки параметра 9

Вероятность того, что погрешность оценки не больше -8, определяется двойным неравенством а1 < Р(0* -9 < -8) < а*, а вероятность того, что она не меньше 8 , - неравенством

-8 -8 ¥

р5 < Р(0*-9 > 8) < р,, где а, = //,(9*-0)ё9*, а* = (9* -9)<19*, = /Л(9*-0)ё9*,

Р, = |/ (9* - 9)ё9*. Отсюда следует, что границы доверительной вероятности

8

Р(0* -8 < 9 < 0*+8) нахождения истинного значения параметра 0 в доверительном интервале I = (0* - 8,0*+8) определяются двойным неравенством

1 - (а* +р,) < Р(0* - 8 < 9 < 0* +8) < 1 - (а, +р5).

Подобно интервалу [т* — ко *, т, + ка, ], это неравенство характеризует точность гиперслучайной оценки.

Предложенные точечный и интервальный методы оценки точности могут быть

использованы для расчета погрешностей измерения параметров различных явлений, наблюдаемых в меняющихся условиях. Уместно отметить, что они дают более объективную информацию о явлении, чем традиционные методы, предполагающие определенный, например равномерный, закон распределения условий или вообще игнорирующие факт их изменения. Для иллюстрации справедливости последнего утверждения рассмотрим конкретный пример.

8. Пример

Рассмотрим контроль размера деталей. На рис. 3 и 4 представлены результаты измерения размера деталей, изготовленных на 30 различных станках, и оценки разных параметров, рассчитанные по полученной выборке.

Рис. 3. Результаты измерения размера деталей (изрезанная кривая), изготовленных на разных станках. Сплошными тонкими линиями изображены оценки математических ожиданий границ функции

**

распределения т* , т,, а светлыми пунктирными

**

тонкими - оценки отклонения от них т5 ± 3а*,

**

т, ±3а, Сплошной жирной линией изображена

оценка математического ожидания т , рассчитанная в предположении, что размер деталей носит случайный характер, а пунктирными жирными

**

линиями - оценки отклонения от нее т ± 3а

Рис. 4. Оценки условных функций распределения Е*(X / я) размеров деталей (тонкие светлые

кривые), оценки верхней Е (х) (жирная темная

сплошная кривая) и нижней Е/(х) (жирная темная

пунктирная кривая) границ функции распределения,

а также оценка функции распределения Е*(х),

построенная по всему объему выборки в предположении, что она носит случайный характер

Из рисунков видно, что выборка имеет выраженный гиперслучайный характер. Прогнозируемый трехсигмовый диапазон изменения размера деталей (т* -3а*, т* + 3а*) , рассчитанный в предположении, что размер деталей носит случайный характер, не согласован с реальным диапазоном колебаний размера. Диапазон же (т* -3а*,т* + 3а*), рассчитанный с учетом гиперслучайного характера оценки, адекватно представляет результаты измерения.

9. Заключение

1. Разработаны точечный и интервальный методы оценки параметров гиперслучайных величин. Для точечных гиперслучайных оценок введены понятия несмещенной оценки, состоятельной, эффективной и достаточной, а для интервальных гиперслучайных оценок - понятия доверительного интервала и границ доверительной вероятности. Доказаны теоремы, определяющие границы нижней границы точности точечной оценки и границы доверительного интервала интервальной оценки.

2. Показано, что предложенные методы оценки точности при работе в нестабильных и постоянно меняющихся условиях дают более объективную информацию об измеряемой величине, чем традиционные методы, предполагающие определенный, например равномерный, закон распределения условий или вообще игнорирующие факт их изменения.

3. Полученные результаты указывают на то, что из-за неконтролируемой изменчивости условий наблюдения точность любых измерений оказывается ограниченной.

СПИСОК ЛИТЕРАТУРЫ

1. Горбань И.И. Случайность, гиперслучайность, хаос и неопределенность // Стандартизація, сертифікація, якість. - 2005. - № 3. - С. 41-48.

2. Горбань И.И. Г иперслучайные явления и их описание // Акустичний вісник. - 2005. - Т. 8, № 1-2. - С. 16-27.

3. Горбань И.И. Г иперслучайные функции и их описание // Радиоэлектроника. - 2006. - № 1. - С. 3-15.

4. Королюк В.С. и др. Справочник по теории вероятностей и математическая статистика. - М.: Наука, 1985. -637 с.

5. Г орбань И.И. Методы описания гиперслучайных величин и функций // Акустичний вісник. - 2005 (в печати).

6. Горбань И.И. Стационарные и эргодические гиперслучайные функции // Радиоэлектроника. - 2006. - № 1. -С. 3-15.

7. Горбань И.И. Оценки характеристик гиперслучайных величин // Математичні машини і системи. - 2006. -№ 1. - С 40-48.

8. Ван Трис Г. Теория обнаружения, оценок и модуляции. - М.: Сов. радио, 1972. - Т. 1. - 743 с.; 1975. - Т. 2. -343 с.; 1977. - Т. 3. - 662 с.

9. Левин Б. Р., Шварц В. Вероятностные модели и методы в системах связи и управления. - М.: Радио и связь, 1985. - 312 с.

10. Горбань 1.1. Теорія ймовірностей і математична статистика для наукових працівників і інженерів. - К.: ІПММС НАН України, 2003. - 244 с.