Han vokste opp i Swenssongården ved Torvet i Trondheim, der familien drev møbelhandel. Foreldrene var Pehr Gustaf Swensson og Julie Augusta Lynum. Nils Victor Swensson var yngre bror av lege og stortingsrepresentant Signe Swensson.