Nach Napoleons Niederlage bei Waterloo (18. Juni 1815) konnte Lavalette dem Kaiser nicht verbergen, dass die Stimmung entschieden gegen ihn war. Vergebens suchte er die Pairs zu kräftigem Handeln zu bewegen, während er Napoleon zur Abdankung riet. Am 22. Juni verlangte er in der Deputiertenkammer, dass die Gesetze bezüglich der Abdankung des Kaisers und der Schaffung einer Regierungskommission den Departements durch Sonderkuriere übermittelt werden sollten. Napoleon bat den Grafen, ihn ins Exil zu begleiten, was dieser ablehnte, da seine Gattin schwanger sei. Nach Napoleons Abreise blieb Lavalette entgegen dem Rat seiner Freunde in Paris. Er glaubte, kein Verbrechen begangen zu haben, das ihn zur Flucht nötigen würde.