Geoffrey Malcolm Gathorne-Hardy var sønn av den konservative parlamentsrepresentanten Alfred Gathorne-Hardy og Isabella Louisa Malcolm. Han ble utdannet ved Eton og New College, Oxford, hvor han var president ved Oxford Union i 1899.