Skjegstad var sønn av Kristian Olsen Skjegstad (1871–1959) og Marie Krog Borchgrevink (1873–1954). Han hadde fire brødre og to søstre. Han giftet seg med Petra Røhne (1903–1984), og fikk selv to sønner og en datter. De feiret sitt gullbryllup i 1983.