Da den sovjetiske Røde armé rykket inn i Ungarn i 1944, flyktet familien til Sarkozy fra landet og de kom seg inn i Tyskland. De kom tilbake til hjemlandet igjen året etter, men alt de eide var blitt beslaglagt. Sarkozy flyktet først til Østerrike og deretter videre til Tyskland, samtidig som hans mor rapporterte til myndighetene om at sønnen hadde druknet i Balatonsjøen. Til slutt kom han til Baden-Baden, nær den franske grensen, der hovedkvarteret til den franske hæren i Tyskland var stasjonert, og der møtte han en flere rekrutterer for den franske fremmedlegionen.