1960માં ગુરુદત્તની કમબેક ફિલ્મ ‘ચૌદહવી કા ચાંદ’ના ટાઈટલ સોંગ માટે તો રફીએ શ્રેષ્ઠ ગાયક તરીકેનો એમનો પહેલો ફિલ્મફેર એવોર્ડ જીત્યો હતો. એ પછી એમણે એવા વધુ પાંચ એવોર્ડ જીત્યા હતા. 1977માં ‘હમ કિસી સે કમ નહીં’ ફિલ્મના ‘ક્યા હુઆ તેરા વાદા’ ગીત માટે એમને રાષ્ટ્રીય એવોર્ડ અપાયો હતો. 1967માં ભારત સરકારે એમને ‘પદ્મશ્રી’થી સમ્માનિત કર્યા હતા.