于庞大，财政亦不可行而告吹。1940年至1941年间，因应日军侵略香港的风险增加，政府合署兴建防空洞及地下隧道，以确保战时政府运作，而大楼于1941年12月5日根据《防卫条例》列为受保护地点，但未几英军在香港保卫战战败投降，故未有受到战火洗礼。在香港日佔时期，日军把香港占领地总督部改设于香港滙丰总行大厦。香港重光后，旧政府合署被英国殖民地政府再度作为辅政司署使用，但临时军政府曾临时征用法国外方传道会大楼为政府大楼。
中区政府合署.战后香港急速发展，辅政司署重建计画再度被提出，把