Storm Wergeland vokste opp hos sin morbror, prost Nicolai Wergeland, og antok familienavnet Wergeland. Han vokste dermed opp sammen med sin kusine Camilla og sine fettere Henrik og Oscar Wergeland. Den ett år yngre fetteren Oscar fikk i likhet med Nicolai Wergeland en vellykket militær karrière.