I 1930- og 1940-årene var det planer om å rive Mansion House og alle de andre bygningene i kvartalet, slik at man kunne bygge et nytt rådhus der. Regjeringen besluttet i stedet å legge et nytt industri- og handelsdepartement til området, hvilket betød at man ikke trengte å rive bygningene.