Rundt 1769 giftet han seg med markise Marie Anne de Barbé-Marbois, en søster av François Barbé-Marbois. De fikk ett barn, sønnen François-Etienne de Kellermann, 2. hertug av Valmy.