Kassovitz syntyi Pariisissa 1967. Hänen isänsä on juutalainen ja Unkarista kotoisin oleva ohjaaja ja käsikirjoittaja Peter Kassovitz, joka jätti maan Unkarin kansannousun aikaan vuonna 1956, ja äitinsä ranskalainen Chantal Rémy. Kassovitz oli naimisissa Julie Mauduechin kanssa, ja heillä on Carmen-niminen tytär.