Han vokste opp på slektsgården Nordre Venger (eller Vengerbakken) på Tønsaker i Eidsvoll. Foreldrene var Johan Amundsen Venger (1846–1921) av slekten Røkholt-Venger og Marte Olava, født Aas (1848–1907).