主建筑相若，由有盖楼梯相连，上层为宴会厅，下层为饭厅。1930年代，总督府日渐残旧，香港总督贝璐建议于马己仙崃道近宝云山山顶另外兴建新总督府，但是因为经济问题及第二次世界大战爆发而被搁置。
日佔时期.香港日佔时期期间，香港总督矶谷廉介没有入住总督府，但是仍然以此作为督宪府，并且作出了改建。改建计划由时年26岁的日本建筑师藤村清一负责，主要加建了中央日式塔楼，加建于原有两座建筑之间，把两座建筑物连接起来；屋顶改为日式帝冠样式及修改石柱墙饰；内部装设日式趟门和榻榻米台，并且加设了茶室；