Etter examen artium studerte Vinje filologi ved Universitetet i Oslo og ble cand. philol. i 1961. Han var lektor i norsk språk og litteratur ved Stockholms universitet 1962–67 og ble fil. lic. der i 1966 med avhandlingen . Fra 1967 til 1971 var han universitetslektor i nordisk språkvitenskap ved UiO. Han ble i 1971 utnevnt til professor i moderne norsk språk ved Universitetet i Trondheim, og i 1975 til professor i moderne nordiske språk ved UiO. Vinje gikk av med pensjon i 2006.