Tras la Gran Exposición de 1851 en Hyde Park, Joseph Paxton reclamó que el Palacio de Cristal se conservara en Hyde Park, pero el Gobierno decidió su traslado. Paxton fundó la Crystal Palace Company para adquirir el Palacio de Cristal por 70.000 libras, así como para adquirir terrenos en la cima de Sydenham Hill en Kent para reconstruirlo allí y ampliarlo con un coste de 1,3 millones de libras. El terreno de unas 157 hectáreas era boscoso y la propiedad de la mansión conocida como Penge Place era de Leo Schuster, emprendedor y amigo de Paxton. Esta zona estaba incluida a comienzos del siglo XIX era la parte norte de Penge Common, una gran área de dehesa colindante al Great North Wood. Entre 1852 y 1854 se reconstruyó un ampliado y rediseñado Palacio de Cristal en la nueva zona, ubicado en un parque construido por la Crystal Palace Company de Joseph Paxton.El desarrollo del terreno y los jardines del parque, que se extendía en el límite entre Surrey y Kent, costó bastante más que la reconstrucción del Palacio de Cristal. Edward Milner diseñó el jardín italiano y las fuentes, el gran laberinto y el jardín inglés, mientras que Raffaelle Monti fue contratado para diseñar y construir la estatuaria externa alrededor de los estanques, urnas y jarrones. Para construir las fuentes se tuvieron que edificar dos torres de agua alta, diseñadas por Isambard Kingdom Brunel, a las esquinas del palacio. El escultor Benjamin Waterhouse Hawkins fue contratado para realizar 33 modelos de dinosauros, completados en 1854, y otros animales extintos que acababan de ser descubiertos en la época. Charles Darwin donó el cráneo de un megatherium al parque. El reconstruido Palacio de Cristal fue inaugurado por la reina Victoria en junio de 1854.