Lees Vater, Geoffrey Trollope Lee (1879–1941), war Offizier in der britischen Armee und Teilnehmer des Ersten Weltkrieges und des Burenkrieges. Über seine Mutter Estelle Marie Carandini di Sarzano entstammte Lee dem alten gräflichen Adelsgeschlecht Carandini, das sich angeblich bis zu Karl dem Großen zurückverfolgen lässt. Aus diesem Grund nannte Lee seine eigene Filmfirma in den 1970er Jahren auch Charlemagne, nach der englischen und französischen Bezeichnung Karls des Großen. Seine Urgroßmutter war die Opernsängerin Marie Carandini. Aus der 1929 geschiedenen Ehe seiner Eltern stammte auch Lees Schwester Xandra (1917–2002). Er war ein Groß-Cousin von James-Bond-Erfinder Ian Fleming und der Onkel der Schauspielerin Harriet Walter.