રફીએ ઉસ્તાદ બડે ગુલામ અલી ખાન  ઉસ્તાદ અબ્દુલ વાહિદ ખાન  પંડિત જીવનલાલ મટ્ટો અને ફિરોઝ નિઝામી પાસે શાસ્ત્રીય સંગીત શીખ્યા અને 13 વર્ષની વયે પોતાની પ્રથમ જાહેર રજૂઆત કરી હતી.