Entre 1886 y 1890, los tres hermanos mayores de Halifax murieron durante la infancia, dejándole, a los nueve años de edad, como heredero del título nobiliario de su padre, su fortuna y su lugar en la Cámara de los Lores.