Ola E. Bøe startet så på egen hånd å kjøpe inn gjenstander til museet, og sammen med Knut O. Alfstad som var formann i styret hadde de snart kjøpt inn flere hundre gjenstander. En større samling ble kjøpt av kjøpmann og antikvitetshandler Jon Hoel som holdt til på Vangsnes i Vang. En annen større samling kom fra Louise Bang som holdt til på Bagn i Sør-Aurdal. Etter noen år kjøpte de så Handeloftet 1905. I 1909 var samlingen kommet opp i 600 enkeltgjenstander. I mai 1906 ble Valdreshaugen (en tre mål stor tomt) kjøpt fra Nes gard. Der ble Handeloftet satt opp. I 1917 solgte museet Valdreshaugen og kjøpte 18,5 mål ute på Storøya. Siden har dette vært tilholdssted for Valdres Folkemuseum.