Museet omfatter Marienlyst gård, en lystgård fra ca. 1770, museumsbygningen fra 1930 med museets administrasjon, faste utstillinger og gjenstandssamlinger, og Lychepaviljongen fra 1990 med Galleriet, skiftende utstillinger og museumscafé, hallingtunet, med 5 gamle hus, det eldste fra 1760-tallet. Museet omfatter også de to største bevarte lystgårdene i Drammen, Austad gård og Gulskogen gård.