Han var sønn av stortingsmann og landbruksminister Aasmund Halvorsen Vinje. Han overtok i 1905 sin fars stillinger som lensmann i Skudenes lensmannsdistrikt, som omfattet Skudenes, Skudeneshavn og Åkra, samt magistrat i Skudeneshavn.