Da brannstasjonen skulle flytte ut av bygningen foreslo stadsingeniør Otto Waitz å rive den, og mente at «nogen Hensyn til Bygningen som en Antikvitet antages ikke nødvendig at tage, da den sees først at være opbygget i det 17 Aarhundre». Som grunnlag for sitt utsagn viste han til Carl Lous, en stavangersk «cicerone». Litt uvisshet var det likevel, og avisa opplyste den 24. februar 1883 at det ved ryddingen etter rivingen ville bli lett etter den gamle Vår Frues kirke. Avisa fortalte også at det var muligheter for å erverve seg klebersteiner hos stadsingeniøren til hageporter eller perlebånd. Marinemaleren Johan Jacob Bennetter kjøpte klebersteinene i den store østportalen. Den 24. februar 1883 var rivingen av bygningen påbegynt; den ble trolig avsluttet i mars samme år.