Vinje var vararepresentant til Stortinget fra Rogaland i perioden 1925–1927. Han tilhørte Frisinnede Venstre, som stilte fellesliste med Høyre, og som stod sterkt i fiskerbygdene ved Karmsundet. Senere satt han i fire valgperioder, fra 1931 til 1949, som fast representant. Han satt den første perioden i Frisinnede Venstres stortingsgruppe, men sluttet seg så til Høyre. Han satt i Stortingets sjøfarts- og fiskerikomité.