Museets hovedbygg ble tegnet av Erling Viksjø, og ferdigstilt i 1963. Fasaden er i naturbetong, en teknikk for overflatebehandling av betong som Viksjø selv utviklet.