Etter at Kunstindustrimuseet flyttet til Frederiks hospital i Bredgade i 1926 ble bygningen benyttet til en rekke forskjellige formål, bl.a hovedkontor for De Forenede Bryggerier, Gymnastikinstitut, Officersforening og Garnisonsbibliotek. Tivoli overtok den i 1978 og ga den sitt nåværende navn. En sidefløy huser i dag Tivoligardens kaserne.