สมเด็จพระเจ้าเฮนรีที่ 8 ทรงสถาปนาสวนนี้ในปี 1536 เมื่อทรงเอาที่ดินมาจากเวสต์มินสเตอร์แอบบีย์แล้วใช้เป็นที่ล่าสัตว์ เปิดในสาธารณะในปี 1637 แล้วได้รับความนิยมอย่างรวดเร็ว มีการปรับปรุงใหญ่ในต้นคริสต์ทศวรรษที่ 18 ภายใต้พระบรมราชโองการของสมเด็จพระราชินีนาถแคโรไลน์ นิทรรศการใหญ่ปี 1851 จัดในสวนนี้ และเป็นที่ตั้งของวังแก้ว