Hans foreldre, som var etniske tyskere fra Russland, hadde vært aktive i den revolusjonære bevegelsen i Russland, og de hadde flyktet til England i 1901. Hans far, Genrikh var en ivrig bolsjevik som deltok på hemmelige operasjoner og utdeling av forbudt litteratur i Russland før han og kona måtte flykte fra landet. Rudolf Abel ble immatrikulert ved London University i 1920. Familien flyttet fra England og til det nyetablerte Sovjetunionen i 1921, der faren Genrikh døde i 1935.