Nicholas Elliott var sønn av Claude Aurelius Elliott, en don ved Cambridge og rektor på Eton, dit Nicholas ble sendt etter Durnford School, en «prep school» på Isle of Purbeck i Dorset.