Den som utnevnte faren til posten i Haag, var biskopen og diplomaten Charles-Maurice de Talleyrand, og etter farens død i 1805 oppstod spekulasjoner om at Talleyrand var Eugènes virkelige far og at han hadde beskikket Charles Delacroix til oppdrag utenlands for å holde ham atskilt fra hustruen Victoire, som Talleyrand sto i med. På grunn av den økonomisk svekkede situasjonen som oppstod etter Charles Delacroix' død, måtte familien noen måneder senere flytte til Paris.