Gleim urodził się w Ermsleben blisko Halberstadt. Studiował prawo na uniwersytecie w Halle, został następnie sekretarzem księcia Wilhelma Brandenburg-Schwedt w Berlinie. Na dworze poznał Kleista, z którym żył w przyjaźni. Gdy książę Wilhelm zginął w bitwie pod Pragą (1757), Gleim przeniósł się do księcia Leopolda von Dessau i został jego sekretarzem. Trudny charakter księcia spowodował jednak rezygnację pisarza ze stanowiska.