De overlevende fra den franske keisergarden samlet seg ved de tre bataljonene i reserve (noen hevder det var fire) rett sør av La Haye Sainte. Et angrep fra generalmajor Frederick Adams brigade og en bataljon landwehr fra Hannover, støttet av generalmajorene Vivian og Vandeleurs kavaleribrigader på deres høyre flanke, presset den franske formasjonen mot oppløsning. De enhetene fra den franske keisergarden som fremdeles holdt sammen trakk seg tilbake mot vertshuset La Belle Alliance.