પંજાબના (બ્રિટીશ સમયનું ભારત) અમૃતસર નજીક આવેલા કોટલા સુલતાન સિંઘ ગામમાં હાજ્જી અલી મોહમ્મદના છ પુત્રોમાંથી મોહમ્મદ રફી સૌથી નાના હતા.[૬] તેમણે ગામના એક ફકિરની નકલ કરતા કરતા ગાવાનું શરૂ કર્યું, આથી રફીને ફિકોના હુલામણા નામથી ઓળખવામાં આવતા.[૬] 1935-36માં રફીના પિતા લાહોર ગયા અને બાદમાં તેમના પરિવારે પણ તેમની પાછળ સ્થળાંતર કર્યું. રફીના કુટુંબે લાહોરના નૂર મોહલ્લામાં પુરુષો માટેનું એક સલૂન ખરીદ્યુ.[૭]