Originaire de Bar-sur-Ornain, comme le maréchal Oudinot, Exelmans est fils d'un négociant. Il fait de brillantes études qu'il interrompt pour s'enrôler le dans le des volontaires de la Meuse commandé par Oudinot, alors qu'il est à peine âgé de 16 ans. Aux armées de la Moselle et de Sambre-et-Meuse, il fait les campagnes de 1792 à 1796 : il combat à Valmy puis à Fleurus. Déjà sergent-major, il fut nommé sous-lieutenant en l'an V ().