Nacque nelle Indie occidentali francesi. Fu uno dei tantissimi stranieri che combatté nella guerra d'America e in particolare uno dei tanti francesi (il più famoso fu il Marchese de La Fayette). La sua condotta durante la guerra fu disonorevole. Nonostante comandò egregiamente una brigata durante la battaglia di Trenton il 26 dicembre 1776, abbandonò la sua brigata durante l'avanzata britannica nella battaglia dell'Assunpink Creek il 2 gennaio 1777. Nel luglio dello stesso anno le sue forze erano a guardia del Monte Indipendenza, uno dei monti che circonda Fort Ticonderoga nel New York, dall'avanzata del generale britannico John Burgoyne. Il 6 luglio alla fine dell'assedio nemico, mentre le forze statunitensi eseguivano l'ordine di ritirata dal Forte, Fermoy mise a repentaglio l'operazione dando fuoco agli alloggi alle 2 del mattino. Dopo essergli stata rifiutata la promozione a maggior generale, nel gennaio 1778 si ritirò dall'esercito e tornò nelle Indie occidentali.