Emmanuels far arbeidet for et amerikansk selskap og familien måtte flytte flere ganger i løpet av barndommen hans. Bare seks uker etter at Pahud ble født flyttet han sammen med foreldrene til Bagdad i Irak og bodde der i ett år. Familien flyttet igjen da Emmanuel var ett år gammel, denne gangen til Frankrike, og Emmanuels yngre bror ble født i Paris kort tid etter at de hadde flyttet dit. I 1972, flyttet familien til Madrid for en periode på to år, og i 1974 flyttet de videre til Roma der de bodde de neste fire årene. I 1978, i en alder av åtte år, flyttet Pahud og familien hans til Brussel i Belgia.