De tweelingbroers Jacques en Bernard Attali werden geboren in Algiers, in het gezin van Sefardische Joden dat in januari 1943 gesticht werd door Simon Attali (1904-1987) en Fernande Abecassis. Simon, in Istanboel geboren en vroeg wees geworden, was twaalf toen hij begon te werken voor zijn moeder en het gezin met zeven zussen. Hij trok naar Algiers en werd er succesvol in de parfumerie. In 1951 werd een dochter, Fabienne Attali, geboren, die arts en psychiater werd. In 1956, bij het begin van de opstand in Algerije, verhuisde het gezin naar Parijs. Vader Attali bleef er verder actief in de parfumerie.