前身为总督府，1841年英国佔领香港岛后，将花园道、上亚厘毕道至己连拿利的山坡划为政府山，在此建立殖民地的行政中心。港督府位于上亚厘毕道，地理位置优越，前方远眺维多利亚港，俯瞰中区景致；下达政府总署、圣约翰座堂，旁为域多利军营，后有动植物公园，佈局反映英国人的管治与生活模式。总督府由第2任测量总署署长卡拉弗利设计，于1851年10月启动工程，历时4年至1855年竣工，耗资14,940英镑。除了首3任香港总督外，其余25位均有在总督府内居住。总督府另一个主要功能是接待贵宾及政要。初期接待的都是英国王室外籍重要