El impulso definitivo para la realización de los jardines tuvo lugar en 1844, cuando Agustín Argüelles Álvarez (1776-1884), preceptor de la reina Isabel II durante su minoría de edad, y Martín de los Heros (1783-1859), intendente del Real Patrimonio, encargaron al arquitecto mayor de palacio, Narciso Pascual y Colomer (1808-1870), un nuevo diseño.