Анализ и исправление ошибок в метеорологической базе данных

можно найти ближайшую к району проектирования или строительства метеостанцию и получить результаты статистического прогноза экстремальных температур на любую декаду года. Статистический прогноз температурных экстремумов — ценная информация для миллионов людей и сотен производственных организаций и учреждений при условии грамотного вероятностного толкования полученного прогноза. Уровень математического мышления в XXI веке достаточно высок даже у большей части населения для быстрого осмысливания элементарных понятий из области теории вероятностей. Поэтому следует шире использовать в расчетах и прогнозах новую ёмкую метеорологическую характеристику — декадную композитную температуру воздуха.

В табл. 1 — 3 приведены шаблоны представления результатов массовых расчетов декадных экстремальных композитных температур, а на рис. 1 и 2 — карты прогнозных экстремальных температур воздуха в Сибири: минимальной температуры воздуха вероятностью превышения 99,9 % (то есть самой низкой за 1000 лет) в первой декаде января (рис. 1) и максимальной температуры воздуха вероятностью превышения 0,1 % (самой высокой в данной местности за 1000 лет) в первой декаде июля (рис. 2).

Преимущества карт изолиний перед точечными результатами измерений на метеорологической станции и их табличными представлениями заключаются в том, что, во-первых, при визуализации поля изолиний физической характеристики для обширной

территории сразу же обнаруживаются ошибки наблюдений или базы данных, отбраковываются или исправляются явно ошибочные данные, во-вторых, с помощью карты изолиний (карта равных значений) можно путем интерполяционных построений определить значение признака для любой точки поверхности, а не только для мест расположения метеостанций.

Библиографический список

1. Карнацевич, И. В. Новые расчетные характеристики температуры воздуха и их статистические прогнозы / И. В. Карнацевич, Е. Б. Березин // Омский научный вестник. — 2009. — № 1 (84). - С. 79-82.

КАРНАЦЕВИЧ Игорь Владиславович, доктор географических наук, профессор кафедры гидрогеологии, гидравлики и инженерной гидрологии Омского государственного аграрного университета и кафедры физической географии Омского государственного педагогического университета (ОмГПУ). Адрес для переписки: e-mail: karnat@omgpu.ru БЕРЕЗИН Евгений Борисович, ведущий специалист по защите информации ОмГПУ. БЕРЕЖАНСКАЯ Татьяна Валерьевна, студентка 32-й группы географического факультета ОмГПУ.

Статья поступила в редакцию 15.03.2010 г. © И. В. Карнацевич, Е. Б. Березин, Т. В. Бережанская

уДК 551 524 И. В. КАРНАЦЕВИЧ

Е. Б. БЕРЕЗИН Т. В. БЕРЕЖАНСКАЯ

Омский государственный педагогический университет

АНАЛИЗ И ИСПРАВЛЕНИЕ ОШИБОК В МЕТЕОРОЛОГИЧЕСКОЙ БАЗЕ ДАННЫХ_

Базы метеорологических данных обычно содержат ошибки, которые можно обнаружить и исправить несколькими описанными способами. Произведено сравнение экстремальных температур воздуха, полученных по наблюдениям до 2006 г. и по старым картам 1905 г. Сравнение показывает, что климат не меняется. Ключевые слова: экстремальные температуры, Сибирь, исправление ошибок.

Изучение динамики полей теплосодержания приземного воздуха на территории России и сопредельных стран в ХХ веке было начато в 2006 г. в рамках продолжающихся многолетних исследований закономерностей динамики теплоэнергетических и водных ресурсов на территории Сибири. Это стало возможным только благодаря тому, что в Интернете были выставлены на сайте [1] Всероссийского НИИ гидрометеорологии (г. Обнинск) ежесуточные измеренные на метеорологических станциях территории царской России, затем СССР и, наконец, Российской Федерации и соседних государств значения температуры воздуха и атмосферных осадков за все годы наблюдений до 2006 г.

База метеоэлементов насчитывает около 27 миллионов чисел — ежесуточных значений средних, минимальных (измеренных специальным минимальным термометром) и максимальных (измеренных специальным максимальным термометром) температур и осадков для 223 метеостанций территории.

Метеорологические станции в царской России были организованы и начали работать в разные годы. Наиболее длинные ряды наблюдений в БД имеют станции: Архангельск (1881), Астрахань (1881), Великие Луки (1881), Верхоянск (1885), Вильнюс (1890), Гурьев (1893), Елатьма (1891), Казань (1890), Киев (1881), Кизыл-Арват (18910, Киров (1891), Кишинев (1891), Махачкала и Минск (1892), Нижний Новгород (1893),

Исправление ошибок в БД. Максимальные в году температуры воздуха за все годы наблюдений в интервале 1881-1995 гг.

Таблица 1

Станция Дата Ошибочное значение Исправленное значение

Великие Луки 12.08.1901 45 25

Гасан-Кули 23.05.1987 62 30

Гурьев 04.07.1911 50 40

Иркутск 13.07.1994 52 30

Калмыково 24.07.1989 50 38

Красноярск 13.07.1923 44 34

Кустанай 30.07.1927 57 38

Оймякон 04.12.1981 74 — 74

Печора 20.07.1989 43 30

Сеймчан 29.01.1981 42 — 42

Тобольск 18.06.1901 44 30

Фергана 02.07.1982 66 30

Ханты-Мансийск 10.01.1990 40 — 40

Чекунда 12.01.1983 36 — 36

Уральск 16.01.1977 17 — 17

Уральск — вторичное исправление 23.01.1977 20 — 20

Уральск — третье исправление 30.01.1977 13 — 13

Николаевск-на Амуре 03.01.1980 18 — 18

Колпашево 19.01.1977 34 — 34

Колпашево — вторичное исправление 16.01.1977 26 — 26

Сковородино 14.01.1981 32 — 32

Ича 19.01.1983 15 — 15

Диксон 05.03.1979 34 — 34

Актюбинск 20.10.1912 41 12

Петропавловск 18.02.1977 20 — 20

Улан-Удэ 04.02.1981 25 — 25

Таблица 2

Ошибки и исправления в БД. Минимальные в году температуры воздуха за все годы наблюдений

Станция Дата Ошибочное значение Исправленное значение

Киров 10.01.1940 — 53 — 36

Октябрьская 02.01.1980 — 69 — 21

Печора 29.01.1946 — 56 — 49

Одесса (1894), Оренбург (1892), Пермь (1890), Ростов-на-Дону (1886), Санкт-Петербург (1881), Симферополь (1886), Сочи (1891), Ташкент (1881), Фергана (1882). На многих станциях наблюдения начаты в 20-х, 30-х и 40-х гг. На нескольких станциях первый год наблюдений приходится на 50-е гг. В среднем длина рядов составляет около 80 лет. Последний год наблюдений в базе данных —2006-й. Таким образом, период инструментальных наблюдений (1881 — 2006 гг.) на метеорологической сети станций России, СССР и соседних стран приходится в основном на ХХ век и характеризует термический режим приземной тропосферы в 20-м столетии.

В самом начале работы было обнаружено, что в электронной БД много ошибок поскольку сотруд-

ники Гидрометеорологической службы в докомпьютерную эпоху не успевали производить текущий анализ огромного потока информации — не было еще ни пакетов MS Excel, ни STATISTICA, не было приложений для быстрого построения карт полей физических величин, таких, как SURFER. Записи производились вручную карандашом и чернилами, а в конце ХХ и начале XXI веков десятки миллионов цифр на основании рукописей были набраны на клавиатурах и преобразованы в электронный вид.

СУБД WEATHER, созданная в 2006-2009 гг., позволяет производить ежегодные выборки значений элементов — максимальных, минимальных, средних суточных температур за годовой, месячный или суточный интервал, а также за множество последова-

Рис. 1. Карты средних годовых минимальной и максимальной температур воздуха 1905 г. [3]

Таблица 3

Сравнение абсолютных минимальных и максимальных годовых температур воздуха в Сибири по данным на 1905 и 2006 гг.

Станция Карта 1905 г. Карта 2009 г. Карта 1905 г. Карта 2009 г.

Минимальные Максимальные

Архангельск — 47 — 45 34 34

Салехард — 48 — 52 34 32

Тобольск — 50 — 52 34 37

Енисейск — 59 — 56 34 36

Иркутск — 45 — 50 37 37

Хатанга — 55 — 64 37 37

Верхоянск — 68 — 68 38 37

Магадан — 46 — 35 32 26

тельных суточных интервалов, например за любую декаду. С помощью СУБД можно за несколько секунд построить карту изолиний температур (минимальных, средних или максимальных) на любую дату, за несколько суток, месяц, год, за несколько лет или за все годы наблюдений.

Визуальное сканирование векторов (хронологических последовательностей) позволяет выделить — на основании общегеографических соображений — станции и годы с сомнительными данными. Например, в БД максимальная температура воздуха на сибирской таежной станции Иркутск, расположенной на границе зоны вечной мерзлоты, в 1994 г. характеризуется значением 52 градуса. Скорее всего, это — ошибка, так как мировой рекорд максимума температуры зарегистрирован в Африке и равен 58 градусов, а на юге Туркмении максимальная температура в пустынях достигает только 50 градусов. В таком случае с помощью редактора БД генерируется выборка ежесуточных температур за год с сомнительными значениями (с 01.01 по 31.12). Просматривая значения температуры можно быстро найти дату с сомнительным значением и сравнить его со значениями соседних суток. Анализ показал, что в Иркутске в 1994 г. максимальная температура была около 30 градусов.

Чаще всего обнаруживается ошибка в знаке (вместо минуса — плюс). В первые годы наблюдений (1880—1900-е) выявлены явно ошибочные данные,

значительно выходящие из диапазона последующих значений. Такие данные отбраковывались после корреляционного анализа — сравнения с данными соседней станции.

Следующим шагом в поиске ошибок, особенно для месячных векторов, было ранжирование значений в столбцах и просмотр хвостов (начала и конца) полученного ранжированного вариационного ряда. Обычно в начале или в конце столбца наглядно выделяются сомнительные значения. Например, ранжированный ряд начинается так: 28, 14, 14, 13, 12. Скорее всего, значение 28 — ошибочное, так как разность 28—14=14 градусов, а последующие разности равны 1—2 градуса. Для обнаружения ошибки создается выборка за тот год и месяц, в котором появилось значение 28, и вычисляется истинное значение методом интерполяции значений за предыдущие и последующие сутки. Это значение проверяется также по приближенной формуле t =0,5(1;мин + 1мак). Таким путем, конечно, можно выявить лишь грубые ошибки.

Вторым, наиболее эффективным и быстрым методом отбраковки данных является полевой метод. С помощью пакета программ SURFER (Golden Software), создающего на географической растровой подложке 3d-поверхности элементов в виде карт изолиний. На территории России в северных и срединных областях преобладают равнины и плоскогорья, в пределах которых семейства изолиний всех гидрометеорологических элементов имеют субширотное

Сравнение абс. экстрем . температур воздуха

60

Карта 2009 г.

Рис. 2. Сравнение абсолютных минимальных и максимальных температур воздуха по данным Большой Энциклопедии [3] (1905 г.) и по новейшим данным Госкомгидромета [1] (2006 г.) — данные табл. 3

ориентирование. На большей части территории линии идут макропараллельно, примерно на равном расстоянии друг от друга.

В этих областях подозрение вызывают так называемые «бычьи глаза» — семейства концентрических замкнутых изолиний, представляющих на 3d-поверх-ности физической характеристики провалы — квазиконические воронки или квазивулканические конусы. Обычно это обусловлено ошибками данных. После исправления ошибок эффект исчезает. На картах экстремумов, средних значений за все годы наблюдений ошибки были выявлены именно таким образом, однако, следует учесть, что в полях летних атмосферных осадков за конкретные короткие интервалы (сутки, декады) часто появляются закономерные островки «бычьих глаз», обусловленные ливнями.

Третий способ выявления ошибок в БД — множественная корреляция векторов данных соседних метеостанций или наложенные на один график хронологические последовательности суточных данных. Визуализация позволяет обнаружить и исправить ошибки.

Четвертый способ — программный модуль, сравнивающий данные соседних суток и предупреждающий об отклонениях, превышающих значение заданного критерия. Выбор критерия — наиболее проблемный вопрос в условиях континентального климата и перепадах температур на 20 — 25 градусов в течение суток.

В табл. 1 и 2 приведены примеры исправлений, внесенных в БД.

В работе [2] опубликованы 24 карты изолиний экстремальных (минимальных и максимальных суточных) температур воздуха за каждый месяц за весь

период наблюдений. При составлении каждой карты выполнялся анализ хода изолиний и, как правило, устранялись грубые ошибки. Гораздо труднее выявить ошибки при картировании средних температур и особенно атмосферных осадков.

В аспекте продолжающейся уже полвека дискуссии об изменениях климата интересно сравнить, как изменились научные представления о значениях экстремальных температур воздуха на территории северо-востока Евразии по прошествии ста лет. В Большой Энциклопедии издания 1905 г. [3, с. 353] к статье «Температура воздуха» прилагаются 6 карт изолиний — средней минимальной и средней максимальной температуры с нанесенными около пуансонов некоторых метеостанций числами (красным шрифтом) —абсолютными минимумами и максимумами, а также карты годовых, январских, июльских изотерм и годовых изаномал.

По картам (рис. 1) были определены значения минимума миниморума и максимума максиморума (абсолютных температур по состоянию на 1905 г.) и сопоставлены со значениями абсолютных экстремумов, вычисленными по удлиненным рядам наблюдений (БД до 2006 г.). Результаты корреляции представлены в табл. 3 и на рис. 2. Линия регрессии, идущая под углом 45 градусов к оси абсцисс, и совпадение данных наиболее длиннорядных (к 1905 году) станций свидетельствуют о том, что климат за последние 100 лет не изменился.

Библиографический список

1. Сайт Роскомгидромета. — URL : http: // www.meteo.ru. Дата обращения: 2006 г.

2. Карты ежемесячных экстремальных температур воздуха на территории северо-востока Евразии / И. В. Карнацевич [и др.] // Омский научный вестник. - 2009. - № 1(84). - С.72-79.

3. Температура / Большая Энциклопед1я в 20 т. ; под ред. С. Н. Южакова. — Спб. : Т-ва "Просвещеше", 1905. — Т. 18. Статистика по Ундозеро. — С. 353.

КАРНАЦЕВИЧ Игорь Владиславович, доктор географических наук, профессор кафедры гидрогеологии, гидравлики и инженерной гидрологии Омского государственного аграрного университета и кафедры физической географии Омского государственного педагогического университета (ОмГПУ). Адрес для переписки: e-mail: karnat@omgpu.ru БЕРЕЗИН Евгений Борисович, ведущий специалист по защите информации ОмГПУ. БЕРЕЖАНСКАЯ Татьяна Валерьевна, студентка 32-й группы географического факультета ОмГПУ.

Статья поступила в редакцию 15.03.2010 г. © И. В. Карнацевич, Е. Б. Березин, Т. В. Бережанская