Attali hadde jødiske foreldre. Faren Simon drev et parfymeri i Alger. Før Algeries uavhengighet flyttet han i 1957 med sin familie som til Paris. Tvillingbroren, Bernard, var styreformann for Air France fra 1988 til 1993. Begge brødre gikk på Lycée Janson-de-Sailly og var skolekamerater med de franske politikerne Jean-Louis Bianco og Laurent Fabius.