炮弹炸毁，官邸在香港日佔时期遭日军佔用，日军修复官邸后用作香港佔领地司令官邸。1945年8月香港重光，英军将建筑及陈设整修后恢复为三军司令官邸。1974年11月，三军司令官邸曾经开放予香港女童军协会举行卖物会筹款。驻港英军司令于1978年迁入在山顶白加道11号的新建官邸，而港督麦理浩因为港督府须要进行修葺工程，于1978年10月迁入原三军司令官邸暂住半年。
现今.1970年代后期，因为中区商业用地不足，港府与军部及英国政府商议后，驻港英军同意于1979年3月撤出域多利军营，并