Nordstoga vokste opp på gården «Plassen» i Vinje i Telemark som den yngste av fire søsken. Han kommer fra en musikalsk familie; mora, Ellen Nordstoga, var folkesanger og faren, Olav Nordstoga, er tekstleser og kåsør. Sammen med Odds storebror, Aasmund Nordstoga, ga de ut platen med tekster av Aasmund Olavsson Vinje. Familiegården er for øvrig den samme som Olavsson Vinje vokste opp på.