Han kom fra en fiskerbondefamilie ved Skarð på Kunoy. Foreldrene var Elsa, født Matras på Viðareiði, og Johannes Johannessen. Han ble døpt Simon Johannes Frederik Johannessen, men forandret etternavnet i 1906 til «av Skarði», i betydningen «fra Skarð».