Inga Fergstad var datter av sogneprest, prost, ordfører og stortingsrepresentant Sivert Andreas Fergstad (1813-1886) og Ovidia Widerøe (1820-1881), datter av prost Falch Andreas Widerøe. Hennes far var en yngre bror av kobberslager og senere stortingsmann Johan Peter Bye. Hun forble ugift.