El título de "palacio" se usó por primera vez para referirse a este lugar durante el siglo XII, cuando recibió los favores del rey Enrique I de Inglaterra, quien, hacia 1120, creó un zoológico en sus alrededores.