તેમના સાળા મોહમ્મદ હમીદ હતા કે જેમણે રફીની આવડતને પારખી અને તેમને પ્રોત્સાહિત કર્યા. રફીએ ઉસ્તાદ બડે ગુલામ અલી ખાન, ઉસ્તાદ અબ્દુલ વાહિદ ખાન, પંડિત જીવનલાલ મટ્ટો અને ફિરોઝ નિઝામી પાસે શાસ્ત્રીય સંગીત શીખ્યા.[૮][૯] રફીએ 13 વર્ષની વયે પોતાની પ્રથમ જાહેર રજૂઆત કરી હતી, કે. એલ. સેયગલ માટેના એક સંગીત જલસામાં તેમને ગાવાની તક મળી.[૮] 1941માં પંજાબી ફિલ્મ ગુલ બાલોચ માં (1944માં ફિલ્મ રજૂ થઈ) ઝિનત બેગમ સાથે "સોનિયે ની, હીરિયે ની" ગીતમાં શ્યામ સુંદર હેઠળ રફીએ પાર્શ્વ ગાયક તરીકેનું પોતાનું પ્રથમ ગીત ગાયું.[૧૦] આજ વર્ષે લાહોર સ્થિત ઓલ ઈન્ડિયા રેડિયો સ્ટેશને તેમને રેડિયો માટે ગાવા માટેનું આમંત્રણ આપ્યું.[૧૧] તેમણે પોતાની પ્રથમ શરૂઆત શ્યામ સુંદર-દિગદર્શિત 1941માં ગુલ બાલોચથી કરી, અને પછીના વર્ષોમાં ધી બોમ્બે તેમજ ગાવ કી ગોરી જેવી ફિલ્મોમાં ગીતો આપ્યા. રફીએ કેટલીક ફિલ્મો જેવી કે લૈલા-મજનૂ (1945) અને જુગનુમાં નાની ભૂમિકાઓ પણ ભજવી. લૈલા મજનૂમાં તેરા જલ્વા ગીતમાં તેમણે સમૂહગાનના ભાગરૂપે ગાયું હતું.[૧૨]