title: Evaluating the Quarterly Projection Model: A Preliminary Investigation
Creators: name: Amano, Robert
name: McPhail, Kim
name: Pioro, Hope
name: Rennison, Andrew
Publisher: name: Bank of Canada
Year: 2002

description: This paper summarizes the results of recent research evaluating the Bank of Canada's Quarterly Projection Model (QPM). Because QPM consists of a steady-state model and a dynamic model, our evaluation work consists of two parts.

The first part assesses the calibration of QPM's core steady-state using a variant of Canova's (1994, 1995) Monte Carlo approach. Using parameter values drawn from prior distributions, we assess QPM's sensitivity to various plausible parameter values. Our approach differs somewhat from the recent literature in that it specifically takes into account the uncertainty that surrounds the estimates of the steady-state values we are trying to evaluate. Instead of attempting to match exactly the desired properties of the data, we calculate confidence intervals around the mean of the variable we wish to match, subsequently discarding parameterizations that result in simulated data falling outside this interval.

The second part of the evaluation uses artificial data, generated stochastically with QPM, to test the dynamic model's ability to replicate key historical moments. Autocorrelations, reduced-form regressions, and temporal bivariate correlations are used to compare historical data with data produced by QPM. We also assess the sensitivity of our results to the structure of the stochastic shocks and the specification of the monetary policy rule.

The results of the two evaluations reveal some strengths and weaknesses in the model. For example, while most of the parameter calibrations in the steady-state model appear reasonable, there are some parameters for which other values may be more appropriate. Similarly, while the dynamic model can replicate most of the key historical moments, some work is required to develop the linkages between foreign and domestic variables.
description: Les auteurs exposent les résultats des recherches qu'ils ont menées récemment sur le Modèle trimestriel de prévision (MTP) de la Banque du Canada. Comme le MTP se compose d'un modèle de régime permanent et d'un modèle dynamique, son évaluation se présente en deux volets.

Dans le premier, les auteurs évaluent l'étalonnage du régime permanent de base du MTP au moyen d'une variante de la méthode de Monte-Carlo utilisée par Canova (1994 et 1995). À l'aide de valeurs tirées de lois de probabilité a priori, ils estiment la sensibilité du MTP à diverses valeurs paramétriques plausibles. Leur méthode diffère quelque peu de celle employée dans les études récentes, en ce sens qu'elle tient compte spécifiquement de l'incertitude qui entoure les estimations des paramètres de régime permanent qu'ils tentent d'évaluer. Plutôt que d'essayer de reproduire exactement les propriétés souhaitées des variables, les auteurs calculent des intervalles de confiance autour de la moyenne de la variable qu'ils désirent reproduire, pour ensuite éliminer les valeurs des paramètres qui font déborder les données simulées de cet intervalle.

Dans le second volet de leur évaluation, les auteurs s'appuient sur des données artificielles, générées de manière stochastique à l'aide du MTP, pour tester la capacité du modèle dynamique à reproduire des moments historiques clés. Ils se servent d'autocorrélations, de régressions à forme réduite et de corrélations temporelles bivariées pour comparer les données historiques avec les données produites au moyen du MTP. Ils évaluent en outre la sensibilité de leurs résultats à la structure des chocs stochastiques et à la formulation de la règle de politique monétaire.

Les deux évaluations font ressortir certains points forts et certaines faiblesses du modèle. Par exemple, bien que l'étalonnage de la plupart des paramètres semble raisonnable dans le modèle de régime permanent, des valeurs plus adéquates pourraient être affectées aux paramètres dans certains cas. De même, si le modèle dynamique peut reproduire la plupart des moments historiques clés, les liens entre les variables intérieures et étrangères méritent d'être étoffés.