Han var gift med Borghild Sophia Fostvedt (1853–1908) og var far til Torkell Vinje (1879–1955), stortingsrepresentant for Høyre 1931–1949.