Han døde den 26. januar 1979 etter et hjerteinfarkt. Omstendighetene rundt dødsfallet er uklare, og de første rapportene fortalte at han døde på sitt kontor. Senere ble det klart at Rockefeller hadde fått infarktet i sitt hjem på Manhattan, og at han da hadde vært sammen med sin hjemmehjelp, den 26-årige Megan Marshak. Etter legerapportene hadde Marshak ventet i nær en time innen hun tok kontakt med en venninne, nyhetsreporteren Ponchitta Pierce, som i sin tur tilkalte ambulanse. Dette førte til mye spekulasjon i pressen angående Marshaks forhold til Rockefeller og hennes rolle under omstendighetene rundt dødsfallet. Marshak var også begunstiget i Rockefellers testamente, noe som ytterligere satte fart i rykteflommen etter Rockefellers død.