Lee era primo de Ian Fleming, autor de las novelas de espionaje de James Bond, y la actriz Harriet Walter es sobrina suya.