Его старший брат, Генри Уильям, 2-й граф Аксбридж, был в 1815 году произведён в маркизы Энглси и больше всего запомнился тем, что возглавил атаку тяжёлой кавалерии в битве при Ватерлоо. Третий старший брат, сэр Артур Пэджет (1771—1840), был известным дипломатом в течение Наполеоновских войн. Пятый брат, сэр Чарльз Пэджет (1778—1839), служил с отличием в военно-морском флоте и получил звание вице-адмирала.