Ab 1808 war Olfermann am Feldzug der britisch-alliierten Armee auf der Iberischen Halbinsel in einem Infanterieregiment unter dem braunschweigischen Oberstleutnant Georg Ludwig Korfes (1769–1810) beteiligt. 1810 wurde er Adjutant des britischen Brigadiers Edward Michael Pakenham (1778–1815), zu dessen Brigade auch das Braunschweigische Leichte Infanterie-Regiment gehörte. Nach seiner Beförderung zum Captain im Jahre 1811, rettete sein entschlossenes Handeln während der Schlacht bei Fuentes de Oñoro das Regiment vor schweren Verlusten.