Frazer fue designado para comandar la artillería a caballo ("British Horse Artillery") del ejército de Wellington y estuvo presente en las acciones de Salamanca y Osma, en la batalla de Vitoria (13 de junio de 1813), ocasión en la que recibió el grado honorario de teniente coronel, en el sitio de San Sebastián (7 de julio al 8 de septiembre de 1813) donde fue comandante de las baterías del flanco derecho, en el paso del Bidasoa (7 de octubre), del Nivelle (10 de noviembre), en las acciones de Nive (9 al 13 de diciembre de 1813), en el cruce del Adour (23 de febrero de 1814), en el sitio de Bayona el 27 de febrero, donde fue gravemente herido, y en la batalla de Tolosa (10 de abril de 1814).