Lévy ble født i Béni Saf i Fransk Algerie i en rik algerisk-jødisk familie. Hans familie flyttet til Paris noen få måneder etter hans fødsel. Hans far André Lévy, ble milliardær i trevarebransjen.