Gleim fikk stor suksess både med sine anakreontiske og patriotiske dikt, og var en av sin tids mest berømte diktere. Helt inn på 1800-tallet ble diktene hans tonesatt, blant andre av Carl Philipp Emanuel Bach, Reichardt, Telemann, Rolle, Forkel, Hiller, Haydn, Mozart og Schubart.