Il entre en service le , comme volontaire au bataillon de grenadiers du Gard, et il devient lieutenant-colonel en second de son bataillon le . Il se fait remarquer aux armées des Alpes et des Pyrénées-Orientales, à la bataille de Thun, à la défense du château de Puygcerda en 1795 puis fait les campagnes de 1796 à 1798 à l'armée d'Italie. Il est promu au grade de général de brigade le et sert aux armées du Danube et des Grisons. Le il prend le commandement d'une division au Portugal. Il est fait chevalier de la Légion d'honneur le et commandeur de l'ordre le . Gilly fait avec distinction les campagnes de 1807, 1808 et 1809 à la Grande Armée et reçoit un coup de feu à la bataille de Wagram. Il est nommé général de division le et prend le le commandement général des îles de Zélande. Il est fait grand officier de la Légion d'honneur le et baron de l'Empire le .