Sigmund Skards far var folkehøyskolelærer og skoledirektør Matias Skard (1846-1927) fra Øyer i Gudbrandsdalen og hans mor lærer og sekretær Gyda f. Christensen (1868–1916) fra Finnås i Hordaland. Matias ble enkemann to ganger før han giftet seg med Gyda. Marie f. Bø døde av tuberkulose kort etter at hun fødte sitt andre barn, og Nilsine f. Myhre fikk blodpropp like etter at hun fikk sitt første barn. Matias var i nesten ti år ene ansvarlig for de tre små barna. Han fikk fem barn med Gyda og sammen oppfostret de den store barneflokken, der Sigmund var nummer seks. Samtidig hjalp Gyda mannen i embetet.