，三军司令官邸曾经开放予香港女童军协会举行卖物会筹款。驻港英军司令于1978年迁入在山顶白加道11号的新建官邸，而港督麦理浩因为港督府须要进行修葺工程，于1978年10月迁入原三军司令官邸暂住半年。
现今.1970年代后期，因为中区商业用地不足，港府与军部及英国政府商议后，驻港英军同意于1979年3月撤出域多利军营，并将军营的用地连同三军司令官邸移交给香港政府重新规划发展。官邸因为具有建筑特色及历史意义而获得保留，并在1984年改用作茶具文物馆。1995年，文物馆增建了新翼罗桂茶