В 1741 году участвовал в войне против Швеции, во время которой овладел Вильманстрандом и был награждён орденом Святого Александра Невского. С 1746 по 1758 годы Фермор руководил Канцелярией от строений.