，作为驻港英军司令的官邸，当时官邸称为「司令总部大楼」，是域多利兵房的一部份，亦成为了驻港英军司令的办公及住所。使用大楼的首位将领是英国驻华陆军总司令德忌笠少将。1932年，官邸改称「三军司令官邸」，但仍为驻港英军司令的官方住所。1941年12月香港保卫战期间，楼顶曾被日军炮弹炸毁，官邸在香港日佔时期遭日军佔用，日军修复官邸后用作香港佔领地司令官邸。1945年8月香港重光，英军将建筑及陈设整修后恢复为三军司令官邸。1974年11月，三军司令官邸曾经开放予香港女童军协会举行卖物会筹款。驻港英军司令于1