En tomtespekulant kjøpte opp eiendommene i området på åtti og nittitallet, og lot bygningene forfalle. Til tross for de antikvariske myndighetenes skepsis og verningen av selve byggverket, vedtok bystyret i år 2000 å demontere det. Ekserserhuset ble fjernet året etter mot løfter fra huseier om å bekoste gjenreising i samme område. Kvartalet er i dag revet, tomten solgt, og det foreligger planer om nybygg. Materialene fra Eksersershuset ligger fortsatt nedpakket i en rubbhall på Askøy, og er i dårlig forfatning. Det finnes mange gode ideer om gjenreising, blant annet ved Nordhordlandsbrua, Tellevik fort, Gamle Bergen og Koengen.