Han fullførte gymnaset i Peć / Pejë (Peja) i 1967, for så å bli uteksaminert fra Det filosofiske fakultet ved Universitetet i Prishtina i 1971. Rugova tilbrakte et akademisk år ved École Pratique des Hautes Études i Paris 1976-77 hvor han fordypet seg i litteratur, spesielt litterær teori. I 1984 oppnådde han doktorgrad (Ph. D.) i litteratur ved Universitetet i Priština.