Offiserene i kavaleriregimentene the Royals og Inniskillings fant det like vanskelig som sine kolleger i the Household Cavalry å holde troppene tilbake. Etter å ha tatt tap og under omgruppering var the Scots Greys og resten av the Union Brigade foran den franske hovedlinjen. Hestene var sprengt og styrken var i uorden, uten begrep om hva deres neste felles mål var. Noen angrep nærliggende kanonbatterier tilhørende «stort batteri». Selv om kavaleristene i the Greys hverken hadde tiden eller midlene til å ødelegge kanonene eller fjerne dem, satte de mange av dem ut av spill ved at kanonmannskapene ble drept eller rømte slagmarken. Napoléon beordret raskt et motangrep fra Farine og Travers kyrassérbrigader og Jaquinots to regiment Chevau-léger (lett og medium kavaleri) tilhørende I. korps lette kavaleridivisjon. Uorganisert og virrende rundt i bunnen av skråningen mellom herregården Hougoumont og vertshuset La Belle Alliance ble the Scots Greys og resten av det tunge britiske kavaleriet overrasket av motangrepet til divisjonsgeneral Jean-Baptiste Milhauds kyrassérer, støttet av lansenérer fra Jaquinots kavaleridivisjon.