Evaluating Fund Stabilization Programs with Multicountry Data: Some Methodological Pitfalls (Evaluation des programmes de stabilisation du Fonds Ã partir de donnÃ©es sur divers pays: quelques Ã©cueils mÃ©thodologiques) (La evaluaciÃ³n de los programas de estabilizaciÃ³n del Fondo con los datos de diversos paÃ­ses: algunas dificultades metodolÃ³gicas)

In the context of the continuing debate on Fund conditionality, many researchers both inside and outside the Fund have attempted to estimate the effects of Fund programs through the use of multicountry samples. A key challenge in such work is to estimate the counterfactual--that is, what would have happened in program countries in the absence of Fund programs. Two methodologies have been dominant in approaching this problem. The before-after approach implicitly estimates the counterfactual on the basis of preprogram outcomes in the program countries. The control-group approach, in contrast, relies on observed outcomes in nonprogram countries to estimate what would have happened in program countries in the absence of programs. Both approaches are subject to potentially serious statistical problems. Because the problems associated with the control-group approach are less well known (at least in the context of evaluating Fund programs), the paper focuses on the potential sources of bias in this methodology. In particular, the paper shows that, unless the program group is randomly selected, observed outcomes in the control group may be systematically different from what would have happened in the program-country group in the absence of programs. Further, there are good a priori reasons for believing that the assignment of countries to program and nonprogram groups is not random. The paper presents some empirical evidence, drawn from the experience of the 1970s, to support this view. Estimates of program effects that control for observable preprogram differences between program and nonprogram countries turn out to be quite different from those that do not control for these differences. Application of the control-group methodology to multicountry samples therefore requires the removal of "sample-selectivity bias," which can arise from a variety of sources. On a broader level, the paper demonstrates that considerable caution is needed in attempting to estimate and interpret the effects of Fund programs by using multicountry data. /// Dans le cadre du dA©bat permanent sur la conditionnalitA© du Fonds, un certain nombre de chercheurs, qu'ils soient membres du personnel de l'organisation ou non, se sont efforcA©s d'estimer les effets des programmes du Fonds A partir d'A©chantillons constituA©s par plusieurs pays. L'une des difficultA©s majeures que prA©sentent ces travaux consiste A estimer ce qui se serait passA© dans les pays A programme en l'absence de tout programme du Fonds. Deux mA©thodes principales ont A©tA© utilisA©es A cette fin. La premiA¨re, ou mA©thode pre-post-programme, estime de maniA¨re implicite ce qui se serait passA© en l'absence de programme A partir des rA©sultats enregistrA©s avant l'application du programme dans les pays A programme. La seconde, ou mA©thode du groupe de contrA´le, utilise en revanche les rA©sultats observA©s dans des pays sans programme pour estimer ce qui se serait passA© dans les pays A programme en l'absence de tout programme. Ces deux mA©thodes soulA¨vent des difficultA©s statistiques qui peuvent Aatre sA©rieuses. Parce que les problA¨mes liA©s A la mA©thode du groupe de contrA´le sont moins bien connus (du moins dans le contexte de l'A©valuation des programmes du Fonds), les auteurs de l'A©tude mettent l'accent sur les sources A©ventuelles de biais de cette mA©thode. Ils montrent notamment que les pays A programme doivent Aatre sA©lectionnA©s de maniA¨re alA©atoire; sinon, les rA©sultats qui sont observA©s dans les pays du groupe de contrA´le peuvent diffA©rer de maniA¨re systA©matique de ceux qu'auraient enregistrA©s, en l'absence de programmes, le groupe des pays A programme. Il existe en outre a priori de bonnes raisons de croire que l'affectation des pays au groupe de pays A programme ou au groupe de pays sans programme n'est pas alA©atoire. Les auteurs prA©sentent certains rA©sultats empiriques, obtenus dans les annA©es 1970, pour corroborer cette hypothA¨se. Les estimations des effets des programmes en cas de contrA´le des A©carts observables avant l'application d'un programme entre les pays A programme et les pays sans programme s'avA¨rent tout A fait diffA©rentes de celles pour lesquelles ces A©carts ne sont pas contrA´lA©s. L'application de la mA©thode du groupe de contrA´le A des A©chantillons constituA©s par plusieurs pays nA©cessite donc l'A©limination du biais liA© A la sA©lectivitA© de l'A©chantillon, qui peut provenir de diverses sources. De maniA¨re plus gA©nA©rale, les auteurs dA©montrent dans leur A©tude qu'il importe de faire preuve de la plus grande prudence lors de l'estimation et de l'interprA©tation des effets des programmes du Fonds au moyen de donnA©es relatives A plusieurs pays. /// En el marco del persistente debate sobre la condicionalidad del Fondo, muchos investigadores, pertenecientes a esta instituciA³n o ajenos a ella, se han valido de muestras de diversos paA­ses para estimar los efectos de los programas del Fondo. Una dificultad crucial en esa labor es la estimaciA³n de los efectos antitA©ticos; es decir, los que se hubieran producido de no haberse aplicado el programa del Fondo. Para resolver ese problema se aplican dos mA©todos principales. En el mA©todo que consiste en comparar la situaciA³n anterior con la posterior se estima implA­citamente la situaciA³n antitA©tica basAindose en los resultados obtenidos anteriormente en los paA­ses que han aplicado programas del Fondo. En cambio, en el mA©todo de grupo de control para estimar lo que habrA­a ocurrido en los paA­ses de no haberse aplicado programas en los mismos se toman como referencia los resultados observados en paA­ses en los que no se han aplicado programas. Ambos enfoques estAin expuestos a problemas estadA­sticos que pueden llegar a ser graves. Como los problemas relacionados con el mA©todo de grupo de control son menos conocidos (por lo menos en el contexto de la evaluaciA³n de los programas del Fondo), el presente estudio se concentra en los sesgos en potencia de ese mA©todo. Se pone de manifiesto, en especial, que a menos que se seleccione al azar a los paA­ses con programas, los resultados observados en el grupo de control pueden diferir sistemAiticamente de los que se habrA­an dado en el grupo de los paA­ses con programas de no haberse aplicado A©stos. Por aA±adidura, existen buenas razones para creer que la inclusiA³n de los paA­ses en el grupo de los que tienen programa o de los que no lo tienen no se hace al azar. Para respaldarlo se presenta cierta evidencia empA­rica sacada de la experiencia de la dA©cada de los setenta. Los datos obtenidos fueron sumamente dispares segAon que, para estimar los resultados de los programas, se tuvieran en cuenta o no las diferencias entre los dos mencionados grupos de paA­ses en lo referente a su situaciA³n anterior a los programas. Por tanto, para que pueda aplicarse la metodologA­a de grupo de control a las muestras plurinacionales hay que eliminar el "sesgo de la selectividad de la muestra", que puede obedecer a diversas causas. En el presente trabajo se demuestra, a un nivel mAis amplio, que se debe obrar con bastante prudencia cuando se trata de estimar e interpretar los efectos de los programas del Fondo mediante el uso de datos plurinacionales.