૧૯૮૦ની ૩૧ જુલાઈના રોજ નવ વાગ્યે નાસ્તો પતાવીને મોહમ્મદ રફી એક બંગાળી ગીતનું રિહર્સલ કરી રહ્યા હતાં. દેવી મા પર આધારિત એક ડિવોશનલ ગીતમાં શ્યામલી મિત્રા નામનાં બંગાળી મ્યુઝિક-ડાયરેક્ટર તેમની સાથે હતાં. એક કલાક રિહર્સલ પતાવ્યા પછી લગભગ ૧૦ વાગ્યે તેમણે તેમના સાળાને પોતાને છાતીમાં દુખાવો થઈ રહ્યો છે એ વાત કહી. એ વખતે તેમના સાળાએ તેમને એક સોડા મિન્ટની ગોળી આપી. જોકે તેમને એનાથી ફરક ન પડ્યો એટલે તેઓ ડૉક્ટર પાસે દોડ્યા હતા. ફૅમિલી-ડૉક્ટરે તાત્કાલિક હૉસ્પિટલમાં જવા કહ્યું. અને તેઓ બાંદરાના રફી મેન્શનથી સીધા માહિમમાં આવેલી નૅશનલ હૉસ્પિટલમાં પહોંચ્યા હતા. હૉસ્પિટલમાં પોતાની રીતે ચાલીને તેઓ પહોંચ્યા હતા. હૉસ્પિટલમાં ખબર પડી કે તેમને હાર્ટ-અટૅક આવ્યો છે. જોકે નૅશનલ હૉસ્પિટલમાં અપૂરતાં મશીનોને કારણે તેમને બૉમ્બે હૉસ્પિટલમાં લઈ જવામાં આવ્યા. જોકે ત્યાં ગયા પછી પણ ત્યાંનાં કેટલાંક મશીનો ટેક્નિકલ ખામીને કારણે બંધ પડ્યાં હતાં, જેને કારણે તેમની ટ્રીટમેન્ટ વિલંબાઈ ગઈ. મશીન આવે ત્યાં સુધી તેમને એમ જ હૉસ્પિટલમાં કેટલીક પ્રાથમિક સારવાર પ્રમાણે રાખવામાં આવ્યા. છેક ૧૧ કલાકના અંતરાળ પછી મશીનની વ્યવસ્થા થઈ. જોકે જ્યારે ડૉક્ટરે તેમને તપાસ્યા ત્યારે તેમને ખબર પડી ગઈ હતી કે આ વ્યક્તિ હવે લાંબું નહીં ખેંચી શકે અને રાત્રે લગભગ ૧૦.૧૦ મિનિટે તેમનો જીવ જતો રહ્યો. બીજે દિવસે બપોરે સાડાબાર વાગ્યે તેમના ઘરેથી તેમના પાર્થિવ દેહને બાંદરાની જામા મસ્જિદ તરફ લઈ જવામાં આવ્યો ત્યારે હજારોની સંખ્યામાં જનમેદની ભેગી થઈ હતી. એટલા લોકો એકત્રિત થયા હતા કે છેક છ વાગ્યે તેઓ જામા મસ્જિદ પહોંચી શક્યા હતા. અને સાડાછ વાગ્યે તેઓ કબરમાં પહોંચી શક્યા હતા. તેમની અંતિમવિધિમાં રાજ કપૂર, સંજીવકુમાર, અમજદ ખાન, અમિતાભ બચ્ચન, મનમોહન દેસાઈ, શશી કપૂર, કલ્યાણજી-આણંદજી જેવા અનેક દિગ્ગજ કલાકારો સામેલ થયા હતા. રફીસાહેબનો દેહાંત થયો ત્યારે બહાર પણ જોરદાર વરસાદ વરસી રહ્યો હતો. જ્યારે તેમને કબરમાં ઉતારવામાં આવ્યા એ પછી થોડી વારે વરસાદ શાંત પડ્યો હતો. તેમના ચાહોકોએ ત્યારે કહ્યું હતું કે આ મહાન કલાકારની વિદાયથી આકાશ પણ રોઈ પડ્યું હતું, જે હવે ધીમે-ધીમે શાંત થઈ રહ્યું છે.