Han vokste opp på en fattig husmannsplass i Vikmarka i Stjørdal. Ole Vigs mor, Marit Nilsdatter, var en av dalførets mest betydningsfulle haugianere.