二次世界大战后总督府继续用作总督之官邸。香港总督杨慕琦于1946年迁回官邸，将日式装置拆除，并且将其改为兴建成为4间睡房和浴室，惟日式塔楼及日式瓦顶因为工程难度及实际需要而获得保留。香港总督葛量洪则在房间墙壁上镶嵌饰板，加装壁炉，增加兴建露台及安装独立空气调节等，于主楼门廊入口添置一对石狮子。香港总督麦理浩则为港督府进行大规模翻新，更换屋顶，宴会厅首次安装了中央空气调节系统，花园建设腰形泳池；扩充员工宿舍，并且加建风格与主楼相配的管家宿舍。香港总督戴麟趾、尤德、卫奕信及彭定康亦为港督府的设计作出了改动。