Fils unique d'un père horloger et d'une mère au foyer, ses parents sont issus de la communauté des juifs d'Algérie séfarades, de nationalité française. Sa famille quitte l'Algérie en 1962 après la déclaration de l'indépendance de l'Algérie et s'installe en Israël. Lorsqu'Yvan Attal a six mois, ses parents décident de quitter Israël car, en tant que juifs d'Afrique du Nord, ils se sentent mal accueillis et ils subissent une forme de discrimination de la part des élites ashkénazes.