Joseph Clemens fikk tre barn, to av dem med Konstanze de Grousselier, en sønn og en datter: grev Jean Baptiste Victor de Grosberg-Bavière (1706–1768) og grevinne Antoine Levin de Grosberg-Bavière (1710–1757). I tillegg fikk han en sønn, Emanuel de Bavière, med Anna Franziska de Louchier.