Sven Ole Fagernæs er samboer med tidligere høyesterettsdommer Kirsti Coward, og bror av Toppen Bech, og sønn av Syver Fagernæs (skattedirektør 1969–1976).