ગુરુવારે, જુલાઈ 31, 1980ના રોજ, ભારે હૃદય રોગના હુમલાના પગલે, રફીનું રાત્રે 10:50 વાગ્યે મૃત્યુ થયું.[૩૨] તેમનું છેલ્લું ગીત હતું “શામ ફિર ક્યું ઉદાસ હૈ દોસ્ત” (આસ પાસ ), જે તેમણે મૃત્યુના થોડા જ કલાકો પહેલા લક્ષ્મીકાંત-પ્યારેલાલ સાથે રેકોર્ડ કર્યુ હતું.[૩૩][૩૪] તેઓ ચાર પુત્રો (સઈદ રફી, ખાલિદ રહી, હામિદ રફી, શાહિદ રફી), ત્રણ પુત્રીઓ (પરવીન, નસરીન, યાસમીન) અને 18 પૌત્ર પૌત્રીઓ છોડી ગયા હતા.રફીને જુહુ મુસ્લિમ કબ્રસ્તાનમાં દફનાવાયા હતા.[૩૫] આ મુંબઈએ જોયેલી સૌથી મોટી અંતિમવિધિઓમાંની એક હતી, જેમાં 10,000 કરતાં વધુ લોકોએ ભાગ લીધો હતો.2010માં, નવા મૃતદેહો માટે જગ્યા કરવા માટે તેમની કબરને તોડી નંખાઈ હતી. મોહમ્મદ રફીના ચાહકો જે દર વર્ષે બે વખત, ડિસેમ્બર 24 અને જુલાઈ 31ના રોજ, તેમની જન્મ અને પુણ્યતિથિએ કબર પર આવે છે, તેઓ નિશાની તરીકે તેમની કબરની સૌથી નજીક આવેલી નારિયેરીનો ઉપોયગ કરે છે.[૩૬]તેઓ કદી પણ મદ્યપાન ન કરનારા, અત્યંત ધાર્મિક અને ખૂબ જ નમ્ર વ્યક્તિ હતા. તેઓ એક ચુસ્ત મુસ્લિમ હતા. એકવાર, જ્યારે ઓછા જાણીતા સંગીતકાર નિસાર બાઝમી (જેઓ પાકિસ્તાનથી સ્થળાંતરિત થયા હતા) પાસે તેમને ચૂકવવા માટે પૂરતા પૈસા ન હતા, ત્યારે તેમણે એક રૂપિયાની ફી લીધી અને તેમના માટે ગીત ગાયું. તેઓ નિર્માતાઓને નાણાકીય મદદ પણ કરતા હતા. એકવાર લક્ષ્મીકાંતે (લક્ષ્મીકાંત-પ્યારેલાલની જોડીમાંના એક) કહ્યું હતું કે- “તેઓ હંમેશા પાછું મેળવવાનું વિચાર્યા વિના આપતા હતા”.[૩૭]