રફીએ ઉસ્તાદ બડે ગુલામ અલી ખાન ઉસ્તાદ અબ્દુલ વાહિદ ખાન પંડિત જીવનલાલ મટ્ટો અને ફિરોઝ નિઝામી પાસે શાસ્ત્રીય સંગીત શીખ્યા અને 13 વર્ષની વયે પોતાની પ્રથમ જાહેર રજૂઆત કરી હતી.