I 1751 ble Fermor generalkommandant for St. Petersburg, Finland og styret av Novgorod. I 1756 vart han kommandant for en av hovedarméene under Apraksin.