Vinje var innvalgt på Stortinget fra Stavanger amt i seks perioder fra 1886 til 1906, først for Venstre, fra 1889 for Moderate Venstre. Han satt hele tiden i Næringskomiteen, og var lagtingspresident 1903–1905. Han var landbruksminister i Christian Michelsens regjering under unionsoppløsningen 1905, men gikk ut av regjeringen 6. november 1906.