W roku 1742 rozpoczął studia prawnicze w Halle, które zakończył stopniem doktora praw w 1745. Zainteresował się tam pismami, które pisał i wydawał Christian Wolff. W 1745 roku pruski MSZ Heinrich von Podewils zatrudnił go jako dyplomatę w Kabinettsministerium w 1745 roku. Jeszcze w tym roku Hertzberg pojechał jako sekretarz legacji na wybór cesarza Rzeszy do Frankfurtu nad Menem. Po klęsce pruskiej pod Kolinem (1757) pospieszył do Brandenburgii, by przygotować ją na atak wroga. W roku 1762 zawarł w imieniu Prus we Wrocławiu pokój z Rosją i Szwecją. Od roku 1763 pruski minister spraw zagranicznych ("Cabinetsminister").