Pocházel z waleského šlechtického rodu Bayly, který v roce 1769 přijal jméno vymřelého rodu Pagetů. Narodil se v Londýně jako nejstarší syn 1. hraběte z Uxbridge. Studoval ve Westminsteru a Oxfordu, v letech 1786–1788 absolvoval kavalírskou cestu. Podle otcových plánů měl být původně námořním důstojníkem, ale vstoupil do armády (1790), souběžně se stal členem Dolní sněmovny, poslancem byl v letech 1790–1804 a 1806–1810. V armádě od mládí vynikal jako důstojník jezdectva, zúčastnil se válek proti revoluční Francii a již v roce 1796 byl plukovníkem. Prosazoval zlepšení disciplíny a modernizaci jezdectva. V roce 1802 byl povýšen na generálmajora, později vynikl jako velitel na Pyrenejském poloostrově. Proslul vítěznou bitvou u Benavente v prosinci 1808, kde porazil elitní sbory napoleonské císařské gardy. V roce 1808 byl povýšen na generálporučíka.