Montgomery døde av kreft 27. september 1981 på Columbia-Presbyterian Hospital på Manhattan. Han ble kremert og asken ble returnert til familien hans. Montgomerys to gjenlevende barn, Elizabeth og Robert jr., døde også begge av kreft.