Halifax' barndom ble delt mellom to hus i Yorkshire, Hickleton Hall nær Doncaster og Garrowby. Han ble utdannet ved Eton og Christ Church i Oxford, og ble så ved All Souls College.