På slutten av 1940-årene var uenigheten skarp mellom Oslo kommune, som ville bevare Empirekvartalet, og staten. Kommunen bøyde av og vedtok riving i 1953. Likhuset var revet i 1920-årene da den daværende Henrik Ibsens gate (nå Hammersborggata) ble brutt igjennom til Akersgata, mens de øvrige murbygningene ble revet i 1959. Militærhospitalet ble demontert 1962 i samarbeid mellom Oslo Byes Vel og privatpersoner, og satt opp igjen på Grev Wedels plass i 1983. Gjerdet rundt Empirekvartalet langs Akersgata og Hospitalsgata ble gjenoppført i Universitetshagen mot Frederiks gate og Kristian IVs gate. Lindealleen i Regjeringsparken er det eneste av Empirekvartalet som står igjen på opprinnelig sted.