I 1892 forlot han slektsgården som han hadde odelsretten til, så han kunne begynne på håndverksavdelingen ved Vallekilde højskole. Han ble værende her i to vintre, og om somrene arbeidet han som snekker. Vinteren 1896/1897 dro han til Askov højskole, hvor han stiftet bekjentskap med landsmannen Símun av Skarði. De skulle bli nære venner og medarbeidere. Rasmussen gikk også ett år ved Statens Lærerhøjskole i København med naturfag som hovedfag.