Durante los dos siglos siguientes, el edificio fue deteriorándose hasta el punto de presentar un aspecto deplorable, según informa una crónica del navarro Monasterio de la Oliva fechada en 1950.