计到建成历时仅3年，于1891年启用。东翼主要用作社交活动场地，即今之宴会厅。东翼面积与主建筑相若，由有盖楼梯相连，上层为宴会厅，下层为饭厅。1930年代，总督府日渐残旧，香港总督贝璐建议于马己仙崃道近宝云山山顶另外兴建新总督府，但是因为经济问题及第二次世界大战爆发而被搁置。
日佔时期.香港日佔时期期间，香港总督矶谷廉介没有入住总督府，但是仍然以此作为督宪府，并且作出了改建。改建计划由时年26岁的日本建筑师藤村清一负责，主要加建了中央日式塔楼，加建于原有两座建筑之间，把两座建筑物连