Rudolf Abel døde av lungekreft i november 1971 og han ble gravlagt ved siden av sin far i Nye Donskoj gravlund i Moskva. Hans datter fortalte at hans siste ord var (oversatt til norsk): «Ikke glem at vi er tyskere uansett». Hans gravstein viser både hans ekte navn og hans alias. En gruppe av KGB-veteranene feiret deres hundreårsjubileum ved denne graven i 2003.