Flemming var sønn av den kurbrandenburgske geheimråd og president for den hinterpommerske hoffrett Georg Caspar von Flemming, nevø av feltmarskalk Heino Heinrich von Flemming og bror av den kursaksiske kammerherr Joachim Friedrich von Flemming og den brandenburgske generalløytnant Bogislaw Bodo von Flemming, og innehadde takket være slekten privileg som arvelandsmarskalk av Hinterpommern (siden 1695). Han behersket foruten tysk og fransk også engelsk flytende, og var også dyktig i det polske språk. mini|left|Flemmings palass i Dresden Jakob Heinrich von Flemming var ambassadør i Warszawa for kurfyrste August den sterke av Kurfyrstedømmet Sachsen og bidro til at denne også ble valg til konge over Polen-Litauen etter at tronen hadde stått ledig etter at Jan III Sobieski døde i 1696.