Assessing the quality of modeling and forecasting in hydrology – reasoning about the method
Authors: Гарцман Б.И. 
Published: July 2024

Существующие в настоящее время гидрологические модели обеспечены лишь крайней ограниченными методическими средствами их калибровки, верификации и тестирования. Крайне актуальной представляется разработка на единой методической основе системы оценок качества при решении ряда типовых задач гидрологии – параметризации и верификации гидрологических моделей, имитационного и сценарного моделирования гидрологического режима, прогнозирования, инженерных расчетов. Без развития системы оценок качества дальнейшее развитие и эффективное практическое использование гидрологических моделей невозможны. В работе показана логика и, отчасти, история развития некоторых важнейших идей и подходов, применяемых в оценивании качества моделирования и прогнозирования, представлены направления их развития. Выполнена необходимая систематизация терминов рассматриваемой предметной области, начиная с базовых понятий «предсказание» и «прогноз», с рассмотрением дополнительных дефиниций: «непрерывные – агрегированные» прогнозы; «краткосрочные – долгосрочные» прогнозы; «методический», «стандартный», «идеальный», «инерционный», «режимный» прогнозы; и др. Рассмотрены этапы развития подхода «оценки умений» (skill scores) в разработке мер оценки качества гидрологического моделирования и прогнозирования, в основном на примере появления и модификации базовой для гидрологии меры – коэффициента эффективности Нэша-Сатклиффа. Особое внимание уделено двум разложениям меры NSE, показывающим её сводимость к базовым статистическим параметрам выборок измеренных и прогнозных значений переменной: средним значениям, среднеквадратическим отклонениям и коэффициенту корреляции. Предложено обоснование модификации оценки NSE путем применения её к предварительно ранжированным выборкам значений переменной. Сформулирован подход к оцениванию качества моделирования и прогнозирования на основе последовательно статистического подхода, с использованием статистических критериев сходства маргинальных распределений фактических и прогностических значений переменной. Намечен ряд задач перспективных исследований в области развития методов оценки качества гидрологических моделей и прогнозов.

The currently existing hydrological models are provided with extremely limited methodological tools for their calibration, verification, and testing. It seems extremely relevant to develop, on a unified methodological basis, a system of quality assessment for a number of typical hydrological tasks – parameterization and verification of hydrological models, simulation and scenario modeling of the hydrological regime, forecasting, engineering calculations, etc. Without solving this problem, further development and effective practical use of hydrological models are impossible. The paper demonstrates the logic and, to some extent, the history of the development of some of the most important ideas and approaches used in assessing the quality of modeling and forecasting, as well as to outline some prospects for their development. The necessary systematization of the terms of the subject area under consideration has been carried out, starting with the basic concepts of “prediction” and “forecast”, with consideration of additional definitions: “continuous – aggregated” forecasts; “short-term – long-term” forecasts; “methodological”, “standard”, “ideal”, “inertial”, “regime” forecasts; and etc. The stages of development of the “skill scores” approach in the development of measures for assessing the quality of hydrological modeling and forecasting are considered, mainly using the example of the emergence and modification of a basic measure for hydrology - the Nash-Sutcliffe efficiency coefficient. Special attention is paid to two decompositions of the NSE measure, demonstrating its reducibility to the basic statistical parameters of the samples of measured and predicted values of the variable – average values, standard deviations and correlation coefficient. A rationale for modifying the NSE estimate by applying it to pre-ranked samples of variable values is proposed. An approach to assessing the quality of modeling and forecasting is formulated based on a consistently statistical approach, using statistical criteria for the similarity of marginal distributions of actual and forecast values of a variable. A number of tasks for future research are outlined in the field of developing methods for assessing the quality of hydrological models and forecasts.