Seu irmão mais velho, Henry William, 2.º Conde de Uxbridge (1768-1854), foi, em 1815, intitulado "Marquês de Anglesey" e é lembrado por ter liderado a cavalaria pesada na Batalha de Waterloo. Seu terceiro irmão, Sir Arthur Paget (1771-1840), foi um eminente diplomata durante as Guerras Napoleônicas, o quinto, Sir Charles Paget (1778-1839), serviu com distinção na Marinha e alcançou o posto de vice-almirante.