Ved utbruddet av andre verdenskrig var Raabe redd for at tyskerne skulle ta Bjørnsgard i besittelse. Men okkupasjonsmakten var opptatt av denne typen kulturminner og lovet i 1941 at krigen ikke skulle få skade Bjørnsgard. I 1945 giftet Raabe seg på nytt med skuespillerinnen Tore Segelcke (1901–1979). Da var det knapt plass til flere bygninger på Bjørnsgard, men de to fortsatte å samle gamle hus til Huldreheimen i Bykle i Setesdal, samt til Streitlien i Folldal, som de brukte som feriesteder.