Sin embargo, esto tampoco resultó, por las condiciones de deterioro en que se encontraba la construcción, así que, por instrucciones de Francisco Xavier de Sarría, primer director de la Real Lotería, se mudó al patio de la Escuela de Medicina, en la Plaza de Santo Domingo, donde se llevaban a cabo los sorteos.