Peu après, il participe aux campagnes d'Allemagne et de France puis jure allégeance à Louis XVIII sous la Première Restauration. Le retour de Napoléon en 1815 incite le général à rejoindre une nouvelle fois l'Empereur, qui lui confie une division de cavalerie lourde avec laquelle Roussel charge à Waterloo. Il quitte par la suite le service actif et devient inspecteur-général de la cavalerie. Son ultime fait d'armes intervient en 1823, en tant que commandant d'une division de cuirassiers pendant l'expédition d'Espagne.