Etter mange års forfall var det planer om at bygningen skulle brennes ned som en del av en brannøvelse. Bygningen ble reddet etter initiativ av blant andre tidligere ordfører Ingvald Granum. Ettersom eventyrforteller Jørgen Moe hadde vært kapellan i Krødsherad, i Olberg kirke, og den digre eika, som Moe gjorde udødelig gjennom sitt berømte dikt «Den gamle Mester», befant seg rett på andre siden av vannet, ble det besluttet å etablere et eventyrmuseum i bygningen. Theodor Kittelsen bodde i tillegg på den andre siden i Sigdal av Norefjell og brukte motiver fra området. Eventyrmuseet Villa Fridheim som ble etablert, er i hovedsak knyttet til Asbjørnsen og Moes virke som samlere, fortellere og utgivere av eventyr.