楼的首位将领是英国驻华陆军总司令德忌笠少将。1932年，官邸改称「三军司令官邸」，但仍为驻港英军司令的官方住所。1941年12月香港保卫战期间，楼顶曾被日军炮弹炸毁，官邸在香港日佔时期遭日军佔用，日军修复官邸后用作香港佔领地司令官邸。1945年8月香港重光，英军将建筑及陈设整修后恢复为三军司令官邸。1974年11月，三军司令官邸曾经开放予香港女童军协会举行卖物会筹款。驻港英军司令于1978年迁入在山顶白加道11号的新建官邸，而港督麦理浩因为港督府须要进行修葺工程，于1978年10月迁入原三军司令官邸