Bernadotte var deretter uten oppdrag på La Grange i nær et år. Bonaparte var forbitret over hva han anså som nonchalant håndtering av ambassadørposten i Washington. Da Lucien Bonaparte ble beordret i eksil, avla han Bernadotte et langt besøk før avreisen, så i april 1804 var Bernadotte fremdeles blant generalene som var kritiske til Bonaparte. I begynnelsen av mai 1804 ble imidlertid Bernadotte innkalt til Bonaparte. Han ankom med bange anelser, men Bonaparte ønsket å ha ham på sin side, noe Bernadotte gikk med på.