Lee ble sendt på privatskole fra han var ni år gammel, først på Summer Fields School, deretter på Wellington College i Berkshire. Han meldte seg som frivillig på finsk side mot Sovjetunionen i vinterkrigen i 1939–1940, og tjenestegjorde i Royal Air Force under andre verdenskrig.