Из рода Ферморов. Сын выходца из Шотландии, генерал-майора Виллима Юрьевича Фермора (ум. 1731). Военная карьера началась при Анне Иоанновне под началом Миниха, у которого Фермор служил адъютантом. Звание полковника присвоено за отличие во время Крымского похода 1736 года. В 1737 году, будучи генерал-квартирмейстером, имея под началом 350 человек, наткнулся на двухтысячный крымско-турецкий отряд и успешно оборонялся от превосходящего противника до подхода помощи. За это был произведён в генерал-майоры. В 1738 году командовал авангардом армии Миниха, в 1739 году — отличился в сражении под Ставучанами.