Gruber er fremst kjent som tonesetter til det verdenskjente julediktet av hjelpepresten Joseph Mohr, «Stille Nacht, heilige Nacht», som han første gang fremførte på julaften 1818 i Nikolaikirken i Oberndorf, med Joseph Mohr på gitar. Senere arrangerte han også hymnen for orgel. Gruber og Mohr skrev senere ytterligere salmer sammen.