Desde entonces el obispo tuvo que vivir en diferentes mansiones hasta la construcción de este edificio.