Двухшаговые оценки типа минимального расстояния для параметров модели arma(1,1)

Краткие сообщения

УДК 519.233.2, 519.246.8

ДВУХШАГОВЫЕ ОЦЕНКИ ТИПА МИНИМАЛЬНОГО РАССТОЯНИЯ ДЛЯ ПАРАМЕТРОВ МОДЕЛИ ARMA

И. Г. Эрлих1

Строятся новые оценки минимального расстояния с помощью предварительной оценки. Доказывается асимптотическая гауссовость построенной оценки с использованием равномерного линейного разложения случайно взвешенного остаточного эмпирического процесса в нестандартной окрестности истинного значения параметра. Также обсуждается вопрос асимптотической эффективности построенной оценки.

Ключевые слова: модель ARMA, оценки минимального расстояния, эмпирический процесс, равномерное линейное разложение.

A new type of minimum distance estimate is constructed in this paper based on a preliminary estimate. We establish the asymptotic normality of the estimate using a uniform linear expansion of a randomly weighted residual empirical process. Such an expansion is valid in a non-standard neighborhood of the true parameter value. We also discuss asymptotic efficiency of the proposed estimate.

Key words: ARMA model, minimum distance estimates, empirical process, uniform linear expansion.

1. В данной статье будут предложены новые двухшаговые оценки типа минимального расстояния (м.р.) для параметров модели ARMA(1,1). Метод м.р. окончательно оформился в 50-х годах прошлого века. В частности, в [1] доказана состоятельность оценок м.р. для параметра сдвига в схеме повторной выборки и параметров простейших линейных моделей. В 80-х годах была доказана асимптотическая нормальность параметрических и непараметрических оценок м.р. для параметров линейной регрессии и стационарной авторегрессии. Результаты и соответствующие ссылки можно найти в монографии [2]. В [3] и [4] доказана асимптотическая нормальность оценок м.р. для параметров нелинейных моделей с аддитивными шумами и для ARCH-модели.

В литературе не описаны оценки м.р. для параметров ARMA-модели, что связано скорее не с принципиальными, а с техническими затруднениями. Мы преодолеваем эти затруднения с помощью двухша-гового алгоритма оценивания.

2. Рассмотрим стационарную ARMA(1,1)-модель

параметры a и b неизвестны, |a| < 1, |b| < 1, a = —b; {et}teZ — независимые, одинаково распределенные случайные величины (н.о.р.с.в.) с функцией распределения (ф.р.) F(ж).

Условие (i): Ee1 = 0, Eel < ж, F(ж) имеет дифференцируемую плотность вероятности f (ж), f (ж)>0, sup |f'(x)| < ж.

Определим остатки рекуррентным соотношением

ut = aut-1 + £t + bet-1, t e Z,

^(0) = Щ - вгщ-х - 02^-1 (0), t = 1, 2,..., п,

ео(0) = 0, 0 = (01, 02)Т . Обозначим с := (а, Ь)Т.

Введем вектор е := , где {V} и суть стационарные решения уравнений

V = а^-1 + ^ = -Ь^-1 + t е Рассмотрим эмпирический процесс

д£ь{в) дв

1 Эрлих Иван Генрихович — асп. каф. теории вероятностей мех.-мат. ф-та МГУ, e-mail: erlikh-ivan@yandex.ru.

где Fn(x, 0) = n i I (0) ^ x} — эмпирическая ф.р., построенная по остаткам; t=i

Здесь hi (x) и h2(x) — априорно выбираемые функции, причем выполнено

Условие (ii): hi(x) дважды непрерывно дифференцируемы, sup |h^(x)| < то, sup (x)| < то, i = 1, 2, и Ehi(vi) = 0, Eh2(^i) = 0, Eh1(vi) < то, Eh^(^i) < то, J := E [h(eo)e^] > 0.

Заметим, что условие (ii) выполнено, если hi(x) = h2(x) = x.

В работах 80-х годов прошлого века при определении эмпирического процесса типа (1) вместо эмпирической ф.р. Fn(x, в) использовалась ф.р. F(x) в случае, когда распределение инноваций известно. Если же F(x) неизвестно, но выполняется условие симметрии распределения инноваций, то в качестве Fn(x, в) выступала функция 1 — I {£¿(0) ^ —x}. Идея использовать эмпирическую ф.р., построенную по остаткам, при определении эмпирического процесса типа (1) была описана в [4]. Это позволило построить оценку м.р. для параметра АИСН(1)-модели в случае, когда распределение инноваций неизвестно и нет условия симметрии. В ARMA(1,1) предельное распределение оценки м.р., построенной с помощью эмпирического процесса (1), будет таким же, как если бы вместо Fn(x, 0) стояла функция F(x).

Пусть сп — некоторая предварительная у^-состоятельная оценка для с. В качестве таковой можно взять, например, оценку наименьших квадратов (см. [5, § 8]). Определим оценку минимального расстояния (MD-оценку): Cn,MD := ArgminAKn(0), где

—те

Здесь ||-|| — евклидова норма и G(x) — априорно выбираемая функция, причем выполнено

Условие (iii): функция G(x) не убывает, ограничена и непрерывна на R.

В силу условия (iii) функция Kn(0) непрерывна по 0, а значит, достигает своего минимума на компакте. Таким образом, оценка Cn,MD всегда определена.

В работах [2-4] для нахождения оценки м.р. соответствующий функционал Kn(0) минимизируют по всем возможным в. Для доказательства асимптотической нормальности оценки устанавливается у/п-состоятельность оценки и находится линейное разложение соответствующего эмпирического процесса в окрестности O(n-i/2) истинного значения параметра. В настоящей работе функционал Kn(0) минимизируется не по всем 0, а лишь по 0 из "асимптотически малого компакта" с центром в некоторой предварительной yn-состоятельной оценке. Этот подход был описан в [6, § 6.6.3]. Таким образом, чтобы исследовать свойство оценки, необходимо получить разложение эмпирического процесса не в стандартной окрестности O(n-i/2) точки с, а в более широкой окрестности O(n-i/2 log n).

Теорема 1. Пусть выполнены условия (i)-(ii). Тогда для любого B > 0

sup

wn

n

где 'П(ж) := п-1/2 ^ Ь(е4-1) [I {£ ^ ж} — ^(ж)] , Ор(1) — бесконечно малая по вероятности величина. 4=1

Доказательство этой теоремы получено обобщением доказательства теоремы 2.1 из [7]. С помощью теоремы 1 устанавливается основной результат данной работы.

Теорема 2. Пусть выполнены условия (¡)—(ш). Пусть сп — некоторая у7п-состоятелъная оценка для с. Тогда верна сходимость по распределению

и1/2(сПмМВ — с) ^ N(0, £), £ = 1-1Е [Ь(ес)Ьт(ео)] (I-1 )та2(/, С),

где 2

а2(/,С)= Е^2,(£1)(/ /2^(ж)) ,^) = У [I {V < ж} —^(ж)] /(ж)^С(ж).

С помощью матричного неравенства Коши-Буняковского нетрудно показать, что минимум величины [Ь(во)ЬТ(ео) (J-1)T достигается при Л-1 (ж) = Л-2(ж) = ж. Аналогично, используя интегрирование по частям и одномерный вариант неравенства Коши-Буняковского, получаем

2

/ 2^С(ж)^ < ЕфС(£1 )ЕфЫьЫ,

где фыь(^) := / '(^)/-1(^), и равенство достигается при фс = фыь. Таким образом, минимум ст2(/, С) достигается при фс = фыь.

При таком выборе функций Л-1, Л-2 и С предельная дисперсия оценки м.р. совпадает с предельной дисперсией оценки максимального правдоподобия.

К сожалению, не всегда существует неубывающая ограниченная функция С, для которой фс = фыь. Например, при £1 ~ N(0,1) получаем фыь(^) = —V и ^С(ж) = (2п)1/2 ехр(ж2/2)^ж, т.е. С не ограничена. В этом случае для любого т ^ 1 положим

^Ст(ж) := I {|ж| < т} (2п)1/2 ехр(ж2/2)^ж.

Тогда Ст(ж) удовлетворяет необходимым условиям и, согласно теореме Лебега, при т ^ ж выполнено

фст ^ фыь, ^2(/,Ст) ^ (ЕфЫь(£1))-1.

Можно показать, что предельная ковариационная матрица оценки м.р. пропорциональна предельной ковариационной матрице GM-оценки, и в частности оценки наименьших квадратов при Л-1 (ж) = Л-2(ж) = ж, которая имеет вид ^ья = J-1 Ее2. Тогда асимптотическую относительную эффективность оценки м.р. по отношению к оценке наименьших квадратов (LS-оценке) можно определить как отношение скалярных множителей предельных ковариационных матриц, т.е.

Е^ а ¡чс(х))2

ЕфС

В случае, когда инновации еt имеют распределение с тяжелыми хвостами, оценка м.р. может быть сколь угодно лучше оценки наименьших квадратов при подходящем выборе функции С. Например, пусть инновации имеют распределение Тьюки

где <^(ж) — стандартная гауссовская плотность. Выберем ^С(ж) = I {|ж| ^ т} ^ж. Тогда при т ^ж получаем выд,ья ^ ж.

Одно из привлекательных свойств оценок м.р. — высокая эффективность в случае, когда инновации имеют распределение с тяжелыми хвостами. Другое — устойчивость к грубым выбросам, например в духе работы [8]. Этот вопрос заслуживает отдельного обсуждения, чему будет посвящена следующая статья.

СПИСОК ЛИТЕРАТУРЫ

1. Wolfowitz J. Estimation by the minimum distance method in nonparametric stochastic difference equations // Ann. Math. Stat. 1954. 25, N 2. 203-217.

2. Koul H.L. Weighted empiricals and linear models. Hayward (CA): IMS, 1992.

3. Koul H.L. Asymptotics of some estimators and sequential residual empiricals in nonlinear time series // Ann. Stat. 1996. 24, N 1. 380-404.

4. Sorokin A.A. On the minimum distance estimates in ARCH model // Math. Methods Stat. 2004. 13, N 3. 329-354.

5. Brockwell P.J. Davis R.A. Time series: theory and methods. N.Y.: Springer-Verlag, 1987.

6. Болдин М.В., Симонова Г.И., Тюрин Ю.Н. Знаковый статистический анализ линейных моделей. М.: Наука, 1997.

7. Boldin M. V. On empirical processes in heteroscedastic time series and their use for hypothesis testing and estimation // Math. Methods Stat. 2000. 9, N 1. 65-89.

8. Martin R.D., Yohai V.J. Influence functionals for time series // Ann. Stat. 1986. 14. 781-818.

Поступила в редакцию 09.10.2009