楼，竣工后历任香港总督一直有对该建筑进行加建和修改。第二次世界大战前最大的工程是扩建东翼，当时总督府由于举行活动日多，香港总督德辅决定加建东翼，由设计到建成历时仅3年，于1891年启用。东翼主要用作社交活动场地，即今之宴会厅。东翼面积与主建筑相若，由有盖楼梯相连，上层为宴会厅，下层为饭厅。1930年代，总督府日渐残旧，香港总督贝璐建议于马己仙崃道近宝云山山顶另外兴建新总督府，但是因为经济问题及第二次世界大战爆发而被搁置。
日佔时期.香港日佔时期期间，香港总督矶谷廉介没有入住总督府，