由第2任测量总署署长卡拉弗利设计，于1851年10月启动工程，历时4年至1855年竣工，耗资14,940英镑。除了首3任香港总督外，其余25位均有在总督府内居住。总督府另一个主要功能是接待贵宾及政要。初期接待的都是英国王室外籍重要人士，至第7任香港总督坚尼地上任后，才开始容许华人商人参与总督府的活动。最初总督府只有一座以新古典主义建筑风格兴建而成的主楼，竣工后历任香港总督一直有对该建筑进行加建和修改。第二次世界大战前最大的工程是扩建东翼，当时总督府由于举行活动日多，香港总督德辅决定加建东翼，由设计到建成