Foreldrene Nessim og Sarah Mustacchi kom egentlig fra øya Korfu i Hellas. Denne hadde imidlertid i mange år hadde vært italiensk og familien var derfor italienskspråklig. Familien flyttet til Alexandria i Egypt, hvor unge Yussef/Josef ble født og vokste opp, og hvor han lærte fransk. I den kosmopolitiske byen Alexandria hadde familien en bokhandel i et multinasjonalt miljø.