Den franske styrkens høyre flanke, venstre flanke og senter hadde nå alle gitt etter. Den siste franske styrken med samhold var to bataljoner fra den gamle keisergarden rundt vertshuset La Belle Alliance, de hadde blitt plassert der for å være en siste reserve og for å beskytte Napoléon ved en eventuell fransk retrett. Napoléon håpet å samle den franske arméen bak dem, men etter hvert som retrett gikk over i flukt var de også nødt til å trekke seg tilbake. De tok stilling med en bataljon på hver side av La Belle Alliance, i karré for å beskytte seg mot kavaleriangrep fra koalisjonsstyrkene. Inntil han ble overbevist om at slaget var tapt og han måtte flykte, kommanderte Napoléon karréen til venstre for vertshuset. Generalmajor Adams kavaleribrigade angrep og tvang denne karréen tilbake, mens prøyssiske styrker angrep den andre.