Lee was born in Belgravia, London pada 27 Mei 1922, beliau anak kedua kelahiran keluarga selepas Xandra Carandini Lee (1917–2002). Ayahnya Leftenan Kolonel Geoffrey Trollope Lee (1879–1941) seorang anggota dalam King's Royal Rifle Corps ke-60 yang berkhidmat dalam Perang Boer Pertama dan Perang Dunia Pertama sementara ibunya Countess Estelle Marie ("née" Carandini di Sarzano; 1889–1981). seorang model lukisan dan ukiran yang pernah dijadikan rujukan para pengkarya seni zaman Edward dari Sir John Lavery, Oswald Birley, Olive Snell dan Clare Sheridan; - susur galur Estelle keturunan Charlemagne. Ibu bapa Lee bercerai ketik beliau berusia enam tahun, dia dan kakaknya dibawa ke Wengen, Switzerland untuk dibesarkan di sana.