મોહમ્મદ રફીનાં બે લગ્ન થયાં હતાં. પહેલાં લગ્ન પંજાબમાં તેમના ગામમાં જ રહેતી તેમની કઝિન બશીરા સાથે થયાં હતાં, પરંતુ દેશની સ્વતંત્રતા બાદ ઇન્ડિયા-પાકિસ્તાનના ભાગલા વખતે બશીરાના પેરન્ટ્સનાં રમખાણોમાં મોત થયાં હતાં અને રફીએ લાહોરથી પોતાના પરિવારને મુંબઈ તેડાવ્યો ત્યારે બશીરાએ ઇન્ડિયામાં રહેવા જવાનો ઇનકાર કરી દીધો હતો. ત્યાર બાદ તેમણે બીજાં લગ્ન કયાર઼્ હતાં. મોહમ્મદ રફીના પરિવારમાં ચાર પુત્રો અને ત્રણ પુત્રીઓ છે.