Hovedsamlingen er i en bygning i neoklassisistisk stil fra slutten av 1700-tallet, Villahermosa-palasset. Det er senere ombygd til å bli egnet som kunstmuseum, og har senere fått tilbygg som har tatt noe av den opprinnelige hagen. Tilbygget rommer temporære utstillinger, samt Carmen Thyssen-Bornemisza-samlingen som fungerer som eget supplement til hovedhuset. Begge byggene er i tre etasjer, med kjeller for museumsstab og lagre.