建筑物更名为「紫芦」，取意自建筑物上呈深紫啡色的屋顶。后来由于此名称与香港的一些已经存在的建筑物重叠，加上香港社会普遍不认同，使得此建议最终不获採用，而更改名称为现称。2005年3月10日董建华辞职，接任的曾荫权宣佈将以礼宾府为官邸，耗资1,450万港元维修，包括改良电力、电讯网络和影音系统，以及建造一座锦鲤池。行政长官专用书室及办公室则安装了防弹玻璃，以强化保安及防止泄密。2006年1月12日，曾荫权伉俪正式迁进礼宾府，同月16日起，行政长官办公室从政府总部迁进礼宾府办公，恢复英国殖民地时期的安排。2