Henry Paget war der einzige Sohn von Henry Paget, 2. Marquess of Anglesey (1797–1869) aus der Ehe mit Eleanora Campbell. Sein Großvater war der bedeutende Feldmarschall Henry Paget (1768–1854), der für seinen Einsatz bei der Schlacht von Waterloo zum Marquess of Anglesey erhoben worden war. Henry Paget hatte noch zwei Halbbrüder, Henry und Alexander, die beide aus der zweiten Ehe seines Vaters stammten.