En 1811, el general mayor honorífico William Stewart pasó a ser comandante de la división. Stewart era aparentemente un Teniente Coronel magnífico, pero un General desastroso. La división padeció pérdidas importantes en la Batalla de La Albuera. Para el resto de 1812, la división era parte de un destacamento (esencialmente un cuerpo) al mando de Rowland Hill que cubrió el flanco sur del ejército principal de Wellington. Entonces se ganó el apodo de "División de Observación", pero era también conocida como "Los Sorprendentes", después de tomar a los franceses por sorpresa en los combates de Arroyo Molinos y Almaraz.