Пик военной карьеры Фермора пришёлся на Семилетнюю войну. В чине генерал-аншефа он блестяще короткой осадой берёт Мемель, способствует победе русских войск при Гросс-Егерсдорфе (1757). В 1758 году становится командующим русскими войсками вместо С. Ф. Апраксина, берёт Кёнигсберг и всю Восточную Пруссию. Императрицей Марией-Терезией был возведён в графское достоинство. Безуспешно осаждал Кюстрин, командовал русскими войсками в сражении при Цорндорфе, за что получил ордена Андрея Первозванного и Святой Анны.