根据传说，由于担心英国在府内留下间谍装置，因此首任香港行政长官董建华拒绝以此作为官邸。最初，香港政府称之为前港督府，后来经过政府专家讨论后，建议将建筑物更名为「紫芦」，取意自建筑物上呈深紫啡色的屋顶。后来由于此名称与香港的一些已经存在的建筑物重叠，加上香港社会普遍不认同，使得此建议最终不获採用，而更改名称为现称。2005年3月10日董建华辞职，接任的曾荫权宣佈将以礼宾府为官邸，耗资1,450万港元维修，包括改良电力、电讯网络和影音系统，以及建造一座锦鲤池。行政长官专用书室及办公室则安装了防弹玻璃，以强化