Etter at hustruen Elisabeth døde i 1825, giftet Gruber seg igjen, i 1826, med Maria Breitfuss fra Arnsdorf, som ti år tidligere hadde vært hans elev. Paret fikk ti barn sammen. Av Grubers totalt tolv biologiske barn overlevde bare fire: Franz Xaver (født 27. november 1826 i Lamprechtshausen; død 18. april 1871 i Hallein), Elisabeth (født 1. november 1832 i Berndorf; død 31. mars 1902 i Hallein), Amalie (født 9. juni 1834 i Berndorf; død 2. mai 1871 i Hallein) og Felix (født 18. mai 1840, død 11. januar 1884 i Hallein). Franz Xaver og Felix var også musikalsk aktive, og Franz Xaver grunnla i 1849 Halleins Liedertafel.