Terje Mathiassen gikk på Oslo katedralskole, og begynte å studere germanske og nordiske språk ved universitetet i Oslo i 1957. Etter å ha gått forsvarets russiskkurs slo han inn på studiet av russisk og tok -graden i 1965 under veiledning av Christian Schweigaard Stang. Siden studerte han sammenlignende baltisk og slavisk språkvitenskap under Carl H. Borgstrøm og Georg Morgenstierne, og tok doktorgraden i 1970 med en avhandling «Studien zum slavischen und indoeuropäischen Langvokalismus». Han ble ansatt som universitetslektor i 1971, som dosent i slaviske og baltiske språk i 1984 og som professor i 1987. Han var en populær foreleser, og underviste til å begynne med først og fremst i russisk og gammelkirkeslavisk. Senere konsentrerte han seg mer om de baltiske språkene, og bidro til å utvide studietilbudet i latvisk og litauisk ved universitetet gjennom 1980- og 1990-årene.