Bordeaux'ssa syntynyt Vermet oli Michel Nicolas-Bernard Lepicien oppilas. Hän meni Roomaan tutkimaan antiikin mestareita. Hänen voitettuaan grand prix'n (1782) hänen isänsä oli käskettävä hänen palata Ranskaan estääkseen häntä menemästä luostariin. 1788 hänestä tuli École des Beaux-Arts'n jäsen ja 1810 Academie Royalen jäsen.