Hans siste konsert ble holdt 17. februar 1943 ved Alumni Gymnasium i Knoxville, og programmet besto blant annet av Chopins klaversonate nr. 2 (med den kjente sørgemarsjen). Han ble så dårlig etter denne konserten at han umiddelbart satte seg på toget tilbake til Los Angeles, en reise som tok tre dager. I slutten av mars ble Rakhmaninov raskt svakere, og han gikk etterhvert inn i koma. Natt til 28. mars sovnet han stille inn i i Beverly Hills, kun fire dager før sin 70-årsdag. Rakhmaninov hadde ønsket å bli begravet ved Villa Senar, men den pågående verdenskrigen gjorde dette umulig. I stedet ble han den 1. juni 1943 gravlagt på Kensico Cemetary i Valhalla, New York, blant annet til tonene av sin egen .