રફીએ ઉસ્તાદ બડે ગુલામ અલી ખાન, ઉસ્તાદ અબ્દુલ વહીદ ખાન, પંડિત જીવન લાલ મટ્ટ અને ફિરોઝ નિઝામી પાસેથી ક્લાસિકલ મ્યુઝિકની તાલીમ લીધી હતી. લાહોરમાં માત્ર ૧૩ વર્ષની વયે રફીએ કે. એલ. સાયગલની ફિલ્મનું એક ગીત લલકાર્યું હતું જે તેમનો પહેલો સ્ટેજ-પર્ફોર્મન્સ હતો. ૧૯૪૧માં લાહોરમાં શ્યામ સુંદરના સંગીતમાં તેમણે ૧૯૪૪માં રિલીઝ થયેલી પંજાબી ફિલ્મ ‘ગુલ બલોચ’ માટે પ્લેબૅક આપ્યું હતું. એ વર્ષે જ રફીને ઑલ ઇન્ડિયા રેડિયોના લાહોર સ્ટેશન માટે ગાવાનું નિમંત્રણ મળ્યું હતું.