Op 21 juni had het nieuws uit Waterloo de aanhangers van de keizer het zwijgen opgelegd. In het Elysée drong Savary er bij Napoleon op aan om de tweede troonsafstand te ondertekenen. Daarna vergezelde Savary de keizer richting Rochefort en ging hij met hem aan boord van de HMS Bellerophon met bestemming Plymouth (15 juli 1815). Toen Napoleon in Engeland aankwam vernam de keizer dat hij naar het eiland Sint-Helena zou worden verbannen. De Britten stonden hem toe drie officieren als zijn begeleiders te kiezen, met uitzondering van Savary (voor zijn rol in de zaak van de hertog van Enghien) en generaal Lallemand (voor het verraad tegenover Lodewijk XVIII).