In seguito al colpo di stato del 4 settembre dovette lasciare la Francia e passò qualche tempo in Spagna. Dopo il rientro di Napoleone dall'Egitto e la sua ascesa al potere con un colpo di Stato, Victoire ritornò e riprese possesso dei suoi beni, che non erano stati venduti, e della fortuna di suo marito.