Barndommen tilbragte han til seks års alder i Marseille hos en enke ved navn Virginie Saget. Han trodde lenge at denne var hans mor. David Cohen de Léon, en finansmann av sefardisk herkomst og venn av Leopold II, ble senere hans pleiefar.