Après la Restauration, il fut chargé d’organiser le de ligne, fut mis en non-activité et rappelé en novembre comme chef de bataillon au léger avec la croix d’officier. Lors du débarquement de Napoléon, il se trouva à l’affaire du pont de la Drôme sous les ordres du duc d'Angoulême. M. d’Ambrugène, colonel du , ayant suivi le prince, on donna ce régiment à M. Roussel qui le ramena à Paris où il reçut ordre d'incorporer l’armée du Nord. À la bataille de Waterloo, le de ligne quitta le champ de bataille un des derniers et fit sa retraite sur Laon en ordre, tambours et musique en tête ; arrivé à Paris, il fut licencié. Le colonel Roussel fut mis à la retraite comme chef de bataillon. Rappelé avec ce même grade en 1822 au de ligne, il fit la campagne de 1823 et se distingua à l’affaire de Bois-le-Roi. Il fut nommé chevalier de Saint-Louis à l’affaire de Casterbersol ; il eut la plus grande part au succès de la journée et fut nommé lieutenant-colonel au léger ; le , il fut nommé colonel au de ligne.