Museets to-etasjers hovedbygning i Sorös hovedgate, ble oppført i 1832-34 som lokale for Sorø Akademi, Det ble tegnet, trolig av Frederik Ferdinand Friis og ble et bygningsminnesmerke i 1981. To ekstra bygninger kom til i 2011, tegnet av Lundgaard & Tranberg Arkitekter, en langs hovedgata og en langs en sidegate. Da ble det også bygget et galleri under bakken, belyst gjennom skylights på innergården. Muséets nye bygg ble nominert som et av fire danske prosjekter til Den europeiske unions pris for samtidsarkitektur i 2013.