В битве при Ла-Альбуэра 16 мая 1811 года Стюарт возглавил британскую 2-ю дивизию, на которую пришёлся главный удар фланговой атаки маршала Сульта. Он развернул бригаду подполковника Джона Колборна, чтобы атаковать левый фланг огромной французской колонны Сульта. Сначала манёвр прошёл хорошо, так как британские мушкетёры в большом количестве уничтожали французскую пехоту. Однако потом, внезапно атакованные с фланга и тыла конными польскими лансерами и французскими гусарами, три полка Колборна были разбиты, потеряв человек; только спаслись. В этом бою две другие бригады Стюарта также сильно пострадали от стрельбы прямой наводкой французской артиллерии и ружейного огня, но это была не его вина. В эпической борьбе выжившие бойцы из его дивизии сдерживали французов, пока 4-я дивизия не спасла положение. Гловер, историк Пиренейской войны, писал: «Как командир батальона, Стюарт был превзойден только Муром; как генерал он был страшной угрозой».