રફીએ ઉસ્તાદ બડે ગુલામ અલી ખાન ઉસ્તાદ અબ્દુલ વાહિદ ખાન પંડિત જીવનલાલ મટ્ટો અને ફિરોઝ નિઝામી પાસે શાસ્ત્રીય સંગીત શીખ્યા અને 13 વર્ષની વયે પ્રથમ વખત જાહેરમાં રજૂઆત કરી હતી.