Върхът на военната кариера на Фермор е през Седемгодишната война. Като генерал-аншеф превзема Мемел и има принос за победата на руските войски при Грос-Егерсдорф (1757). През 1758 г. е назначен за командващ руските войски на мястото на Степан Апраксин и превзема Кьонигсберг и цяла Източна Прусия. Императрица Мария Терезия го дарява с графско достойнство. Безуспешно обсажда Данциг и Кюстрин; командва руските войски в сражението при Цорндорф (1758), за което получава орден „Света Ана“. Участва в Кунерсдорфското сражение през 1759 г.