Ardent conservateur, Jocelyn est Membre du Parlement pour le comté de Louth de 1806 à 1807, et de 1810 à 1820, lorsqu'il succède à son père dans le comté. En , il est admis au Conseil Privé et nommé Trésorier dans l'administration de Spencer Perceval, un poste qu'il conserve lorsque Lord Liverpool est devenu Premier Ministre en , après l'Assassinat de Spencer Perceval. En , il est fait Vice-Chambellan de la maison, poste qu'il occupe jusqu'à la chute du gouvernement Liverpool en 1827.