El 13 de marzo de 1604 sobrevino un gran incendio que destruyó buena parte del palacio y la mayoría de las obras pictóricas allí depositadas, si bien se salvó la llamada "Venus de El Pardo", de Tiziano (actualmente en el Museo del Louvre).