En los siglos XVI y XVII, El Pardo contó además con una importante colección de pintura, que fue destruida, en su mayor parte, durante el incendio de 1604.