Meningen var at bygningen skulle tilintetgjøres gjennom en brannøvelse, men krefter i bygda – med tidligere ordfører Ingjald Granum i spissen – klarte å redde bygningen. Ettersom eventyrfortelleren Jørgen Moe hadde vært kapellan i Krødsherad, og Olberg kirke og den digre eika, som Moe gjorde udødelig gjennom sitt berømte dikt «Den gamle Mester», befant seg rett på andre siden av vannet, kom ideen opp om å etablere et eventyrmuseum i bygningen.