I 1976 ble nedrivningen av Hærens bygninger påbegynt, etter at Ammunitionsarsenalet og våpenproduksjonen var flyttet til Hjørring i 1971 som underlagt Hærens Materielkommando. Forsvaret ville ikke se Christiania gjentatt. De lokale Bryggegrupper, som også skapte Havneparken, forhindret dog nedrivning av de vesentligste bygninger. De således gjenværende bygninger, herunder den monumentale Geværfabrik, huset henholdsvis medborgerhuset Gimle og Teknisk Skole inntil 1990, da Geværfabrikken og andre bygninger ble revet ned. 1980-årenes resesjon motiverte kommunen til gjenbruk av eldre bygninger, og i 1989 utarbeidet arkitekt Anna Maria Indrio på Københavns kommunes foranledning et prosjekt til en kulturfabrikk i Ny Tøjhusgrundens bygninger. En forutsetning for prosjektet var at Københavns kommune kunne oppnå en rimelig leieavtale med eieren, Forsvarets Bygningstjeneste. Det lyktes imidlertid ikke, og nedrivning ble konsekvensen. Medborgerhuset Gimle lå dog ennå inntil 2000 i en tidligere magasinbygning, som sammen med den gjenværende monumentale Kommandantbolig og kontorbygning, som ble anvendt av Hjemmeværnet og Politiskolen, ble revet ned i 2001.