Douglas nació en Italia como el hijo mayor del político conservador Archibald, vizconde Drumlanring, y Caroline Clayton.