Han vokste opp i Fiskum i Øvre Eiker og var gift med Johanne Collett. En av deres sønner var dikteren Nils Collett Vogt.