Karl Georg Heinrich von Hoym wurde 1739 als Sohn von Hans Bogislaws von Hoym, Erbherr auf Poblotz, und dessen Frau Auguste Henriette, geborene von Wobeser, geboren. Sein Vater, damals preußischer Lieutenant, starb bereits 1741 im Ersten Schlesischen Krieg. Ein Jahr später verstarb auch die Mutter. Von Hoym wurde daraufhin von Heinrich Graf von Podewils aufgenommen und mit dessen Söhnen aufgezogen.