Til tross for atskillige ødeleggelser under krig og brann har slottet bevaret en mengde skatter, blant annet et berømt bibliotek med klassiske og arabiske håndskrifter. En særlig malerisamling omfatter verdifulle verker av nederlandske og spanske mestere som Rogier van der Weyden, Hieronymus Bosch, El Greco med flere. I noen av rommene finnes gjenstander etter Filip II. Den senere residensen lå i nordre fløy.