Fleming ble født den 28. mai 1908 i Mayfair i London. Han hadde skotske foreldre, Valentine og Evelyn Beatrice Fleming, som var henholdsvis offiser og kunstner. Han hadde i tillegg en bror, Peter, som var ett år eldre.