En 1757, Fermor était à la tête du corps d’armée qui s’empara du port stratégique de Memel en Prusse orientale et il prit part à la Bataille de Gross-Jägersdorf.