Han ble født i Miðvágur på Vágar. Foreldrene var fiskerbøndene Ata (født Haraldsdatter) og Johannes Rasmussen. Oppveksten ble ikke annerledes enn den var for barn flest på Færøyene på den tiden, da han tok del i forefallende arbeid når han ikke gikk på skole. Læreren hans var Jacob Jacobsen, som hadde gått i det første kullet på lærerseminaret i Tórshavn og en vinter på folkehøyskole i Danmark. Jacobsens kone, Anna Kjelnæs, hadde også gått på folkehøyskole, og det var gjennom dem at Rasmus Rasmussen fikk kjennskap til folkehøyskolebevegelsen.