且加建风格与主楼相配的管家宿舍。香港总督戴麟趾、尤德、卫奕信及彭定康亦为港督府的设计作出了改动。
香港主权移交后.1997年香港主权移交，原来打算将港督府更改名称为特首府，作为香港特别行政区行政长官的官邸，但是根据传说，由于担心英国在府内留下间谍装置，因此首任香港行政长官董建华拒绝以此作为官邸。最初，香港政府称之为前港督府，后来经过政府专家讨论后，建议将建筑物更名为「紫芦」，取意自建筑物上呈深紫啡色的屋顶。后来由于此名称与香港的一些已经存在的建筑物重叠，加上香港社会普遍不认同，使得