Sigmund vokste opp i et usedvanlig rikt miljø intellektuelt og kulturelt preget av kristelige, menneskelige og folkelige verdier. Halvbroren Olav ble professor på Landbrukshøyskolen i Ås og Torfinn ble hagebrukslærer ved Telemark landbruksskole på Søve. Broren Bjarne ble biskop i Tunsberg, Eiliv ble professor og Vemund dosent ved Universitetet i Oslo. Halvsøsteren Målfrid Birkeland var med å etablere Fana Folkehøgskule med sin mann Martin, og søsteren Gunhild Skard var lærer.