Martin Roos fullførte barneskolen på fødestedet og gikk på ungdomsskolen i Alba Iulia (Karlsburg) mellom 1957 og 1961. Han begynte også sine teologiske studier i Alba Iulia, men fortsatte fra 1962 til 1969 i Vest-Tyskland ved Philosophisch-Theologische Hochschule Königstein.