Etter Københavns brann i 1728 ble Gram husvill, og mottok et tilbud om å bo hos geheimeråd Ludvig von Plessen. Her kom han i kontakt med en rekke menn som senere skulle utgjøre den ledende kretsen under kong Christian VI, blant andre Karl Adolf von Plessen og Iver Rosenkrantz. Etter tronskiftet i 1730 nøt Gram godt av disse forbindelsene, da han ble utnevnt til kongelig historiograf, kongelig bibliotekar og arkivsekretær. Samtidig beholdt han stillingen ved universitetet, og i 1731 ble han dessuten geheimearkivar.