Аналитические зависимости между коэффициентами детерминации и соотношением дисперсий ошибок исследуемых признаков в модели регрессии Деминга

УДК 519.862.6

Аналитические зависимости между коэффициентами

детерминации и соотношением дисперсий ошибок исследуемых признаков в модели регрессии Деминга

© М.П. Базилевский

Иркутский государственный университет путей сообщения, Иркутск, 664074, Россия

Рассмотрена проблема построения регрессионных моделей, в которых все переменные имеют стохастический характер. Для ее решения предложено использовать коэффициент детерминации. Получены аналитические зависимости коэффициентов детерминации от соотношения дисперсий ошибок исследуемых признаков. Поставлена оптимизационная задача, предполагающая максимизацию суммы коэффициентов детерминации каждого уравнения в регрессии Деминга. Дан модельный пример численной обработки регрессии Деминга с ее известными параметрами и ошибками признаков.

Ключевые слова: модель регрессии Деминга, метод наименьших квадратов, дисперсия ошибок, коэффициент детерминации.

Введение. Регрессионное моделирование является признанным инструментом обработки статистических данных [1, 2]. Построение регрессионной модели осуществляется в строгой последовательности основных этапов [1, 3]: сбор необходимой статистической информации, определение вида модели (т. е. математической формы связи между ее переменными), оценивание неизвестных параметров и проверка качества модели.

Самым распространенным методом оценивания неизвестных параметров регрессионных моделей является метод наименьших квадратов (МНК) [1-4]. Одной из предпосылок МНК является то, что значения объясняющих переменных, входящих в модель, должны быть неслучайными или детерминированными [3, 4]. Однако на практике не всегда возможно обеспечить выполнение этого условия. Это связано с неточностями, которые могут возникать при регистрации значений как объясняемой, так и объясняющих переменных, даже при использовании современных технических средств [2, 5]. Из этого следует, что значения объясняющих переменных могут иметь стохастическую природу. В этом случае оценки параметров модели, полученные с помощью МНК, могут оказаться смещенными, несостоятельными и неэффективными.

Задача построения регрессионной модели, предполагающей стохастический характер всех входящих в нее переменных, может быть решена с помощью регрессии Деминга. Проблема оценивания таких моделей, хоть и не до конца, но достаточно хорошо изучена [5-13].

Однако следует констатировать, что к настоящему времени практически отсутствуют работы по проблеме оценки качества регрессий Деминга. В данной работе качество таких моделей будем оценивать с помощью традиционного для регрессионного анализа коэффициента детерминации.

Регрессия Деминга. Пусть изучается взаимозависимость между двумя количественными признаками у их. В результате п опытов

или наблюдений получены пары чисел (х1, у1), * = 1, п. Предположим, что оба признака имеют стохастический характер, как результат наличия неконтролируемых ошибок в данных. Это означает, что фактически вместо пар (, у1) фиксируются значения

Х = X* +2x1, * = 1» П

у = у* + 8у,, * = 1, П

где (х*, у* | — «истинные» значения переменных; ошибки 8х и ву —

нормально распределенные случайные величины с нулевыми математическими ожиданиями и постоянными дисперсиями, т. е.

8 X

N

Очевидно, что для получения корректных результатов требуется

рассматривать зависимость между «истинными» значениями пере-

* *

менных у и х . Предположим, что такая связь между переменными задается простейшей линейной зависимостью

у* = а + ^ I = 1, п,

где а и Ь — неизвестные параметры.

Используя соотношения (1)-(2) для модели (3), перейдем к регрессии Деминга

Гу1 = а + Ьх* +8 ,

= * у'

Х1 = Х1 + 8 х,,

где х* — неизвестные «истинные» значения объясняющей переменной.

Для оценивания неизвестных параметров модели (4) требуется минимизировать сумму квадратов ошибок вх и в . Но поскольку эти

ошибки имеют разные дисперсии а2 и а2 , наша оптимизационная

задача будет иметь следующий функционал:

К I-

х=-¡=1

+ -¡=Ц--> Ш1П .

Введем параметр X = а^ / а^. Тогда, используя ошибки модели (4), представим функционал (5) в виде

X =

I ( - а - Ъх* )2 II В - х* )2 + ^

X

^ Ш1П,

где а =аР .

ьх

Используя необходимые условия существования экстремума

функции (6) —* = 0, найдем

дх*

х* = +—^т- а - Ъх:), / = 1, п. Х + Ъ2У ' '

дХ

Из условия — = 0, используя формулы (7), получим:

да

а = у - Ъх,

где у и х — выборочные средние характеристики.

дХ

Из условия — = 0, используя формулы (7)-(8), получим квад-

дЪ

ратное уравнение [5, 14] относительно параметра Ъ:

КхуЪ2-(Ву-ХБх ) Ъ-ХКху = 0,

где Бх, Оу — выборочные дисперсии признаков; Кху — ковариация. Смыслу задачи удовлетворяет только один из корней уравнения

Ъ = -

(Ву-ХВх ))(Ву-ХОх ) + 4ХК

2

ху

2 К

ху

Таким образом для решения задачи (6) сначала найдем оценку параметра Ъ по формуле (10), затем оценку параметра а по формуле (8) и, если требуется, определим оценки «истинных» значений

объясняющей переменной по формулам (7). Очевидно, что значения этих оценок будут зависеть от заданного отношения дисперсий ошибок исследуемых признаков X. При этом легко доказать, что регрессия Деминга является обобщением трех моделей регрессий [5, 8]:

• если X — ю, то имеем прямую регрессию у1 = а + Ьх1;

• если X = 1, то регрессия является ортогональной;

• если X —^ 0, то получаем обратную регрессию х{ = с + . Различные типы регрессий в зависимости от значений параметра X

представлены на рис. 1.

Рис. 1. Различные типы линий регрессии:

а — X ^ ю ; б — X = 1; в — X ^ 0

Для прямой регрессии переменную y будем считать зависимой, а переменную х — независимой. При этом минимизируем сумму квадратов вертикальных расстояний от данных точек до линии регрессии (рис. 1, а). Для обратной регрессии, наоборот, х — зависимая, а y — независимая переменная. При этом минимизируем сумму квадратов горизонтальных расстояний от данных точек до линии регрессии (рис. 1, в). В ортогональной регрессии минимизируем сумму квадратов длин перпендикуляров, опущенных из данных точек на линию регрессии, т. е. минимизируем евклидово расстояние (рис. 1, б).

Помимо трех рассмотренных выделим еще один тип регрессии Деминга — диагональную [5]. Для диагональной регрессии отношение дисперсий ошибок переменных пропорционально отношению

Dv

дисперсий наблюдаемых переменных, т. е. X = ——.

Dx

В работе [5] приведен аналитический вид смещений получаемых оценок параметров модели регрессии Деминга. Так, в предположении прямой регрессии, смещение оценки Деминга

lim M(b) = —1Т b,

1+у2

2 2 2 где у х =<^ех Юх. При отсутствии ошибок по х положим, что у х = 0,

следовательно, оценка параметра Ь будет несмещенной. А если модель прямой регрессии оценить при наличии шума по х, то оценка параметра Ь будет занижена относительно его истинного значения. В предположении обратной регрессии смещение оценки Деминга

Нш М (Ь) = (1 + у 2 ) Ь,

V у>

где у2 = аЕ Юу. Если отсутствуют ошибки по у, то оценка парамет-

.2 _2

Е У

ра Ь будет несмещенной. При наличии таких ошибок эта оценка бу дет приобретать смещение в сторону завышения.

В остальных случаях смещение оценки Деминга имеет вид

М (Ь) = Ь

1+у2

1 + у2

т. е. смещение зависит от уровней шума по у их одновременно.

у,

-П 2 2

В предположении диагональной регрессии ух =уу, следовательно,

оценка параметра Ь будет несмещенной.

Главная проблема при оценивании регрессии Деминга заключа-

22

ется в том, что заранее неизвестны дисперсии ошибок а8 и а8 исследуемых признаков, а значит, непонятно, какое именно значение параметра X следует выбрать для моделирования.

Аналитический вид коэффициентов детерминации регрессии Деминга. Критериями оценки качества модели Деминга (4) будем

2 * считать коэффициент детерминации Яу регрессии у1 = а + Ьх1 + гу

2 * и коэффициент детерминации Ях регрессии х1 = х1 + г . В общем

случае коэффициент детерминации Я2 показывает, какая доля дисперсии зависимой переменной трактуется дисперсией объясняющих переменных [3]:

Я2 = 1 - —,

п п 2

где ЯББ = ^82 — остаточная сумма квадратов; ТББ = - У) —

г=1 г=1

полная сумма квадратов.

Коэффициент детерминации принимает значения в пределах

2 2

0 < Я < 1. Чем выше Я , тем выше качество регрессии.

* *

Из уравнения х1 = х1 + вх, ошибка регрессии вх, = х1 - х1. Подставив в это выражение равенства (7)-(8), получим

Ъ2 (-х)-Ъ(у -у) Х + Ъ2

Возведем выражение (12) в квадрат и перейдем к сумме

вх. =—^-У 1 ' У .

х1 1 , г.2

п пЪ2

г2

1=1

к = я^ = ^ ; 2;

где Бх, Бу — выборочные дисперсии; Кху — ковариация.

Представим равенство (13) в виде

пЪ

Шх =—^- хЧ \ -—.

Из уравнения (9) имеем КхуЪ2 -БуЪ = Х(Кху -БхЪ). Тогда выражение (14) принимает вид

^ ПЪ

ЯББх =-2-=-2-.

х (х+ъ2)2 Х+Ъ2

Учитывая, что по определению полная сумма квадратов ТББх = = пБх, получим коэффициент детерминации

я 1 ЯБ^ ПЪ

х ТББх (х + Ъ2 )п(х Х + Ъ2  1 ;

Подставляя в выражение (16) соотношение (10), получим зависи-

2 * мость коэффициента детерминации Ях регрессии х1=х1 + вх1 от параметра Х:

К2

Г Г-Г2-^

Бх

Бу + ХБх +^(Ву-ХБх) + 4ХК ((у -ХБх)2 + ((у - ХБх))( -ХБх)2 + 4ХКху + 4ХК

ху

Я2=—-^-, -у

2

ху

У

Для нахождения коэффициента детерминации Яу предваритель-

*

но подставим в выражение (7) равенство х1 _ х1 + гх и, учитывая, что

*

у1 - а - Ъх1 _ ву,, получим соотношение Хгх, + Ъгу, _ 0, из которого

в У1 _ Ъ 8 х1 '

Возведем равенство (18) в квадрат и перейдем к сумме

Х2 п

Ж _ Шу —-г'

1 _1

Ъ21—1

Подставив в выражение

_

у Ъ2

Х + Ъ2 Х + Ъ2

Учитывая, что Т88у _ пРу, получим коэффициент детерминации

Л /V /7Л \ , 7 Л

Щ _ 1 _

1 _ пХ(Ру -КхуЪ) _ ЪГХ(Кху/Ру) + Ъ (х + Ъ2 )пРу у 2

Х + Ъ2

Подставив в выражение (21) соотношение (10), получим зависи-

2 * мость коэффициента детерминации Яу регрессии у1 _ а + Ъх1 + ву. от

параметра Х:

Щ _

2ХКхуРу

(ХК2у + в]-ХРхРу)) Ру-ХРх +^(Ру-ХРх)) + 4ХК

V

Ру (( -ХРх )2 + (Ру - ХРх ))(Ру-ХРх )2 + 4ХК

2

ху

4ХК

ху

Задача максимизации качества регрессии Деминга. Предположим, что отсутствует информация о том, является ли модель регрессии Деминга прямой, обратной, ортогональной или диагональной. Зададимся целью выбрать такое значение параметра Х, чтобы качество регрессии Деминга по возможности было бы наибольшим. Для этого поставим следующую оптимизационную задачу:

Ь = Я2у + Я2Х = 2 -

( п П \

X 8 2 X 8 2;

г=1 _ + г=1

Ах ^

^ тах.

Из сравнения функционалов £ и Ь в задачах (5) и (23) следует,

что при решении задачи (23) будут получены те же оценки параметру

ров а и Ь , что и при решении задачи (5) при X = ——, т. е. в случае

^х

диагональной регрессии. Оценка параметра Ь диагональной регрессии [5] имеет вид

Ь =

рурх, если К > °

V у х

-4Ву/Вх , если Кху < 0.

Если подставить в выражения для коэффициентов детерминации

ВУ

(17) и (22) значение X = ——, можно легко показать, что в точке экс-

^х

тремума функции (23) значения коэффициентов детерминации ре* * 2 2 грессий х1 = х1 +8 и у1 = а + Ьх1 +8у, равны, т. е. Ях = Яу.

Таким образом, для того чтобы качество регрессии Деминга было наилучшим с точки зрения максимизации функции (23), необходимо выбрать отношение дисперсий ошибок исследуемых признаков X как отношение их выборочных дисперсий ПуЮх. При этом оценки, полученные из решения задачи (23), будут несмещенными только в случае модели диагональной регрессии.

Пример численной обработки регрессии Деминга. Пусть в модели регрессии Деминга истинные значения параметров а = 7, Ь = 12,

* * * *

т. е. зависимость между переменными у и х имеет вид у = 7 +12х .

Для численной обработки такой регрессии были смоделированы 20

*

наблюдений, в которых переменная х принимает значения от 1 до 20. Для случайных остаточных составляющих 8х и 8 использовались случайные числа, распределенные по нормальному закону с нулевыми средними и постоянными дисперсиями: 8х^0,12^, 8у^0,92

Используя соотношения (4), были вычислены значения переменных у и х . Результаты представлены в табл. 1.

Таблица 1

№ п/п * у * х £у £* у х

1 19 1 0,716 1,058 19,716 2,058

2 31 2 -3,847 -1,527 27,153 0,473

3 43 3 13,683 0,051 56,683 3,051

4 55 4 -0,244 0,918 54,756 4,918

5 67 5 -11,595 0,393 55,405 5,393

6 79 6 13,727 -0,789 92,727 5,211

7 91 7 -0,092 -1,398 90,908 5,602

8 103 8 10,819 -1,082 113,819 6,918

9 115 9 -8,986 0,119 106,014 9,119

10 127 10 1,682 -0,210 128,682 9,790

11 139 11 -1,492 -0,003 137,508 10,997

12 151 12 2,191 0,745 153,191 12,745

13 163 13 -7,273 -1,132 155,727 11,868

14 175 14 2,156 0,964 177,156 14,964

15 187 15 4,582 2,205 191,582 17,205

16 199 16 -3,839 -0,079 195,161 15,921

17 211 17 17,543 -0,054 228,543 16,946

18 223 18 5,633 0,580 228,633 18,580

19 235 19 9,042 0,719 244,042 19,719

20 247 20 1,913 -1,342 248,913 18,658

Найденные по исходным данным выборочные средние признаков у = 135,316, х = 10,507, выборочные дисперсии Бу = 5031,773,

Бх = 35,578, выборочная ковариация Кху = 415,528.

Графики зависимостей (17) и (22) коэффициентов детерминации от параметра X представлены на рис. 2. Как видно, при X ^ 0 имеем обратную регрессию, а при X — прямую регрессию. Решением задачи (23) является точка пересечения графиков функций, имеющая координаты Х = БуЮх = 5031,773/35,578 = 141,43 и Я2 = 0,991. По

данным графиков видим, что если взять значение параметра X больше, чем 141,43, то уменьшатся ошибки по переменной х, но увеличатся ошибки по переменной у, а если взять X меньше, чем 141,43, — то наоборот.

Результаты оценивания параметров модели регрессии Деминга в предположении о ее виде представлены в табл. 2.

Согласно данным таблицы, все оценки параметра а = 7 оказались завышенными. Оценки параметра Ь = 12 в случае обратной и ортогональной регрессии оказались завышенными, а в случае прямой и диа-

Дг 1,000 0,995 0,990 0,985 0,980 0,975 0,970 0,965 0,960

20 40 60 80 100 120 140 160 180 200 220 240 260 280 I

Рис. 2. Зависимости коэффициентов детерминации от параметра X:

1 — коэффициент детерминации Ях; 2 — коэффициент детерминации Яу

Таблица 2

Предположение X а Ь Ях Яу Ях+Яу

Прямая 1 000 000 12,603 11,679 1 0,964 1,964

Обратная 0 8,085 12,109 0,964 1 1,964

Ортогональная 1 8,117 12,106 0,965 1 1,965

Диагональная 141,43 10,365 11,892 0,991 0,991 1,982

гональной регрессии — заниженными. При этом максимальное значение суммы коэффициентов детерминации дает диагональная регрессия.

Очевидно, что одного эксперимента такого типа недостаточно для оценки качества параметров регрессии. Поэтому с помощью метода Монте-Карло [15] была проведена серия из ста тысяч экспериментов. В каждой реализации была получена выборка, и по ней вычислены оценки коэффициентов а и Ь. Затем по всем ста тысячам реализациям получены средние значения оценок коэффициентов. Результаты показаны в табл. 3.

Таблица 3

Предположение Среднее значение а Среднее значение Ь

Прямая 10,135 11,702

Обратная 4,86 12,204

Ортогональная 4,927 12,198

Диагональная 7,558 11,947

Таким образом, все оценки параметров оказались смещенными. Эти результаты полностью согласуются с результатами, полученными в работе [5]. Так, при оценивании прямой регрессии при наличии шума по переменной х оценка параметра b занижается относительно его истинного значения. При оценивании обратной регрессии оценка приобретает смещение в сторону завышения. Оценки диагональной регрессии в нашем примере оказались наименее смещенными.

Выводы. Получены аналитические зависимости коэффициентов детерминации от соотношения дисперсий ошибок в модели регрессии Деминга. Определено такое соотношение дисперсий ошибок исследуемых признаков в модели регрессии Деминга, которое дает максимальную величину суммы коэффициентов детерминации. Рассмотрен модельный пример численной обработки регрессии Деминга в предположениях о том, что регрессия является прямой, обратной, ортогональной и диагональной. Доказана смещенность полученных в результате оценивания параметров.

ЛИТЕРАТУРА

[1] Айвазян С.А. Прикладная статистика. Т. 2: Основы эконометрики. Москва, ЮНИТИ-ДАНА, 2001, 432 с.

[2] Носков С.И. Технология объектов с нестабильным функционированием и неопределенностью в данных. Иркутск, Облинформпечать, 1996, 321 с.

[3] Гефан Г.Д. Эконометрика. Иркутск, Изд-во ИрГУПС, 2005, 84 с.

[4] Дрейпер Н., Смит Г. Прикладной регрессионный анализ. Москва, Финансы и статистика, 1986, 366 с.

[5] Тимофеев В.С., Щеколдин В.Ю., Тимофеева А.Ю. Идентификация зависимостей признаков стохастической природы на основе регрессии Деминга. Информатика и ее применения, 2013, т. 7, № 2, с. 60-68.

[6] Deming W.E. Statistical adjustment of data. New York, Dover, 2011, 288 p.

[7] Besalu E., de Julian-Ortiz J., Pogliani L. Ordinary and orthogonal regressions in QSAR/QSPR and chemistry-related studies. Match-Communications in Mathematical and in Computer Chemistry, 2010, no. 63, pp. 573-583.

[8] Huang L., Rattner A., Liu H., Nathans J. Tutorial: how to draw the line in biomedical research. eLife, 2013. Available at: https://elifesciences.org/content/2/e00638

[9] Bernard G., Bernadette B. Measurement methods comparison with errors-in-variables regressions. From horizontal to vertical OLS regression, review and new perspectives. Chemometrics and Intelligent Laboratory Systems, 2014, vol. 134, pp. 123-139. DOI 10.1016/j.chemolab.2014.03.006

[10] Dhanoa M.S., Sanderson R., Lopez S., Dijkstra J., Kebreab E., France J. Regression procedures for relationships between random variables. Modelling Nutrient Digestion and Utilisation in Farm Animals, 2011, part 1, pp. 31-39. DOI 10.3920/978-90-8686-712-7_3

[11] Shaoji Xu. A Property of Geometric Mean Regression. The American Statistician, 2014, vol. 68, iss. 4, pp. 277-281. DOI 10.1080/00031305.2014.962763

[12] Haeckel R., Wosniok W., Klauke R. Comparison of ordinary linear regression, orthogonal regression, standardized principal component analysis, Deming and Passing-Bablok approach for method validation in laboratory medicine. Laboratoriums Medizin, 2013, vol. 37, iss. 3, pp. 147-163.

DOI 10.1515/labmed-2013-0003

[13] Kallner A. Comprehensive method comparisons: getting more from the data. Accreditation and Quality Assurance, 2014, vol. 19, iss. 6, pp. 451-457. DOI 10.1007/s00769-014-1089-9

[14] Glaister P. Least squares revisited. The Mathematical Gazette, 2001, no. 85, pp. 104-107.

[15] Доугерти К. Введение в эконометрику. Москва, ИНФРА-М, 2009, 465 с.

Статья поступила в редакцию 18.05.2016

Ссылку на эту статью просим оформлять следующим образом: Базилевский М.П. Аналитические зависимости между коэффициентами детерминации и соотношением дисперсий ошибок исследуемых признаков в модели регрессии Деминга. Математическое моделирование и численные методы, 2016, № 2 (10), с. 104-116.

Базилевский Михаил Павлович — канд. техн. наук, доцент кафедры «Математика» ИрГУПС. e-mail: mik2178@yandex.ru

Analytical dependences between the determination coefficients and the ratio of error variances of the test items in Deming regression model

© M P. Bazilevskiy Irkutsk State Transport University, Irkutsk, 664074, Russia

The article deals with the problem of building regression models, in which all variables have stochastic nature. To solve it, we propose to use the determination coefficient. We obtain analytical dependencies of the determination coefficients from the ratio of error variances of the test items. We set the optimization problem, assuming the maximization of the determination coefficients sum for each Deming regression equation. We give a model example of the numerical processing of Deming regression with its parameters and sign errors which are known.

Keywords: Deming regression model, least square method, error variance, determination coefficient.

REFERENCES

[1] Aivazyan S.A. Prikladnaia statistika. V. 2: Osnovy ekonometriki [Applied statistics. Vol. 2: Fundamentals of econometrics]. Moscow, YuNITI-DANA Publ., 2001, 432 p.

[2] Noskov S.I. Tekhnologiya obyektov s nestabilnym funktsionirovaniem i neo-predelennostyu v dannykh [Technology of the objects with unstable operation and the data uncertainty]. Irkutsk, Oblinformpechat Publ., 1996, 321 p.

[3] Gefan G.D. Ekonometrika [Econometrics]. Irkutsk, IrGUPS Publ., 2005, 84 p.

[4] Dreiper N., Smit G. Prikladnoi regressionnyi analiz [Applied regression analysis]. Moscow, Finansy i statistika Publ., 1986, 366 p.

[5] Timofeev V.S., Shchekoldin V.Yu., Timofeeva A.Yu. Informatika i ee prime-neniya — Informatics and Applications, 2013, vol. 7, no. 2, pp. 60-68.

[6] Deming W.E. Statistical adjustment of data. New York, Dover, 2011, 288 p.

[7] Besalu E., de Julian-Ortiz J., Pogliani L. Match-Communications in Mathematical and in Computer Chemistry, 2010, no. 63, pp. 573-583.

[8] Huang L., Rattner A., Liu H., Nathans J. Tutorial: how to draw the line in biomedical research. eLife, 2013. Available at: https://elifesciences.org/content/27e00638

[9] Bernard G., Bernadette B. Chemometrics and Intelligent Laboratory Systems, 2014, vol. 134, pp. 123-139. DOI 10.1016/j.chemolab.2014.03.006

[10] Dhanoa M.S., Sanderson R., Lopez S., Dijkstra J., Kebreab E., France J. Modelling Nutrient Digestion and Utilisation in Farm Animals, 2011, part 1, pp. 31-39. DOI 10.3920/978-90-8686-712-7_3

[11] Shaoji Xu. The American Statistician, 2014, vol. 68, iss. 4, pp. 277-281. DOI 10.1080/00031305.2014.962763

[12] Haeckel R., Wosniok W., Klauke R. Laboratoriums Medizin, 2013, vol. 37, iss. 3, pp. 147-163. DOI 10.1515/labmed-2013-0003

[13] Kallner A. Accreditation and Quality Assurance, 2014, vol. 19, iss. 6, pp. 451-457. DOI 10.1007/s00769-014-1089-9

[14] Glaister P. The Mathematical Gazette, 2001, no. 85, pp. 104-107.

[15] Dougerti K. Vvedenie v ekonometriku [Introduction to econometrics]. Moscow, INFRA-M Publ., 2009, 465 p.

Bazilevskiy M.P., Cand. Sci. (Eng.), Assoc. Professor of the Mathematics Department at the Irkutsk State Transport University. e-mail: mik2178@yandex.ru