Hans far var offiser i hæren, og døde av gamle skader fra en rideulykke utenfor Jerusalem, der han var stasjonert som general, dagen før Peters niårsdag. Da hadde faren sittet i rullestol i flere år, og etter at de hadde vendt tilbake til England brøt familien sammen. Peters jødisk-russiske mor innledet så et forhold til den tidligere russiske regjeringsleder Aleksandr Kerenskij, som også hadde flyktet fra kommunistene.