为工程难度及实际需要而获得保留。香港总督葛量洪则在房间墙壁上镶嵌饰板，加装壁炉，增加兴建露台及安装独立空气调节等，于主楼门廊入口添置一对石狮子。香港总督麦理浩则为港督府进行大规模翻新，更换屋顶，宴会厅首次安装了中央空气调节系统，花园建设腰形泳池；扩充员工宿舍，并且加建风格与主楼相配的管家宿舍。香港总督戴麟趾、尤德、卫奕信及彭定康亦为港督府的设计作出了改动。
香港主权移交后.1997年香港主权移交，原来打算将港督府更改名称为特首府，作为香港特别行政区行政长官的官邸，但是根据传说，由于