Museumsbygningen ble tegna av arkitekt Bjart Mohr, og ble bygd på dugnad av folk i Holmsbu, under ledelse av Elias Eliassen (1902–1991). Byggematerialet var drammensgranitt som ble tatt ut på stedet, og det ble lagt vekt på at byggearbeidet i minst mulig grad skulle føre til tekniske inngrep i terrenget rundt bygningen. Bygningen er konstruert som fire overlappende kuber. I én av utstillingssalene er den ene steinveggen erstatta av et stort glassvindu, som gir utsikt rett inn i «Trollura» innunder Jarsåsen, motivet i et stort Sørensen-maleri som henger i samme sal.