併入总督花园，而外围的开阔“外禁苑”成爲了现在的禁苑。此后，禁苑外围逐渐被佔用，但仍担负着作爲皇家植物园的缓冲区的作用。禁苑内的原生植被被砍伐，“菲利普禁苑“的河谷也被填平。原来位于麦觉理街以西的部分后来被政府卖出，所得资金用来修建现在的总督府以及环形码头。19世纪，禁苑西部的大片土地被挪用建造政府和公共建筑，包括悉尼议会大厦、新南威尔士州立图书馆、海德公园军营、悉尼铸币厰、土地登记局大楼等，在禁苑东部则建造了新南威尔士州立美术馆。
禁苑板球场.19世纪初年，悉尼的板球赛常在海