Rappelé en France au début de la campagne de 1814, il prend part à la défense de Lyon à la tête d'une division sous le maréchal Augereau et s'illustre dans la plupart des combats qui ont lieu autour de la ville. Il se rallie à Napoléon lors des Cent-Jours en 1815 et retrouve un commandement à l'armée des Alpes, cette fois avec le grade de général de division. Ce dernier lui est toutefois retiré à la Restauration mais il le retrouve en 1831 comme lieutenant-général. Pannetier meurt quelque temps plus tard, en 1843.