Este gran palacio, formado por diversos pabellones entre amplios jardines, se construyó anexo al monasterio de San Jerónimo el Real, cuya iglesia aún subsiste a espaldas del Museo del Prado.