પિતા હાજી અલી મોહમ્મદના છ પુત્રોમાં પાંચમો નંબર મોહમ્મદ રફીનો. બ્રિટિશ કાળમાં પંજાબથી હાજી અલીનો પરિવાર રોજીરોટીની તલાશમાં પાકિસ્તાનના લાહોરમાં રહેવા ચાલ્યો ગયો હતો અને હાજી મોહમ્મદે ત્યાં હેરકટિંગ સલૂન શરૂ કર્યું હતું. ઘરમાં ફીકોના નામે ઓળખાતા મોહમ્મદ રફીએ બચપણથી જ લાહોરમાં ગલીઓમાં ગીતો ગાતા ફરતા ફકીરોની નકલ કરીને કબીરનાં ભજનો ગાવાનું શરૂ કર્યું હતું. રફીના મોટા ભાઈ મોહમ્મદ દીનના મિત્ર અને બાદમાં તેમના બનેવી અબ્દુલ હમીદે બાળ મોહમ્મદ રફીની ટૅલન્ટ પારખી લીધી હતી અને કેટલાંક વર્ષો લાહોરમાં ગાયકી માટે સર્પોટ કર્યા બાદ હાજી અલીના પરિવારને સમજાવીને મોહમ્મદ રફીને ૨૪ વર્ષની વયે મુંબઈ લાવ્યા હતા.