I begynnelsen ble samlingene oppbevart i Ådlandsstova, en årestue fra ca. 1400 som stod på gården Ådland. Museet fikk sitt eget bygg i Vidsteenparken på Leirvik i 1938, og etter hvert vokste det frem et tun av eldre hus fra hele Sunnhordland i parken.